AVALIAÇÃO DE PADRÕES GRAMATICAIS EM TRANSFORMERS NA LÍNGUA PORTUGUESA: UM ESTUDO SOBRE CABEÇAS DE ATENÇÃO

Nome do aluno

 

RICARDO GOMES DE OLIVEIRA

 

Título do trabalho

 

AVALIAÇÃO DE PADRÕES GRAMATICAIS EM TRANSFORMERS NA LÍNGUA PORTUGUESA: UM ESTUDO SOBRE CABEÇAS DE ATENÇÃO

 

Resumo do trabalho

 

O avanço dos modelos de linguagem natural culminou na adoção de arquiteturas baseadas em atenção, como o Transformer, capazes de representar relações gramaticais complexas em textos. Este trabalho investiga o comportamento das cabeças de atenção do Transformer, para o português brasileiro, na modelagem de padrões gramaticais, como transitividade verbal, voz passiva, pronomes reflexivos e orações subordinadas. São extraídos os valores de atenção por camada e cabeça, com o objetivo de identificar especializações sintáticas no mecanismo atencional. Métricas como UUAS (Undirected Unlabeled Attachment Score) e entropia são utilizadas para mensurar a correlação entre atenção e dependências gramaticais. Os resultados apontam que algumas cabeças de atenção apresentam seletividade elevada e alinhamento estrutural com relações sintáticas, sugerindo que parte do conhecimento gramatical é internalizado de forma distribuída e mensurável. Este estudo contribui para a compreensão da interpretabilidade e da organização interna de modelos Transformer aplicados ao processamento da língua portuguesa.

 

Orientador

 

Daniela Barreiro Claro

 

Membro Titular Externo (com afiliação)

 

Aline Marins Paes Carvalho (UFF)

 

Link para o curriculum lattes

 

http://lattes.cnpq.br/0506389215528790

 

Membro Titular Interno ou Titular Externo 2 (com afiliação)

 

Marlo Souza

 

Link para o curriculum lattes

 

http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4246824U6

 

Membro Suplente Externo (com afiliação)

 

Jackson Souza (ICTI - UFBA)

 

Link para o curriculum lattes

 

http://lattes.cnpq.br/0019187301069627

 

Membro Suplente Interno ou Suplente Externo 2 (com afiliação)

 

Tatiane Rios (UFBA-IC)

 

Link para o curriculum lattes

 

http://lattes.cnpq.br/0851148137941240

 

Data da defesa

 

24 Jul, 2025

 

Horário da defesa

 

1:00 PM

 

Quais os principais impactos deste trabalho (social, tecnológico, científico, ambiental)?

 

Cientifico: Análise de LLMs e o seu comportamento quando focados nas cabeças de atenção para a língua portuguesa tem um impacto cientifico para avaliar o comportamento destes modelos.
Tecnicamente é possivel minimizar os LLMs para a lingua portuguesa. E o impacto ambiental é minimo.

 

 

Data da Defesa: 
24/07/2025 - 13:00
Tipo de Defesa: 
Defesa de Mestrado