|
Nome do aluno
|
RICARDO GOMES DE OLIVEIRA
|
|---|---|
|
Título do trabalho
|
AVALIAÇÃO DE PADRÕES GRAMATICAIS EM TRANSFORMERS NA LÍNGUA PORTUGUESA: UM ESTUDO SOBRE CABEÇAS DE ATENÇÃO
|
|
Resumo do trabalho
|
O avanço dos modelos de linguagem natural culminou na adoção de arquiteturas baseadas em atenção, como o Transformer, capazes de representar relações gramaticais complexas em textos. Este trabalho investiga o comportamento das cabeças de atenção do Transformer, para o português brasileiro, na modelagem de padrões gramaticais, como transitividade verbal, voz passiva, pronomes reflexivos e orações subordinadas. São extraídos os valores de atenção por camada e cabeça, com o objetivo de identificar especializações sintáticas no mecanismo atencional. Métricas como UUAS (Undirected Unlabeled Attachment Score) e entropia são utilizadas para mensurar a correlação entre atenção e dependências gramaticais. Os resultados apontam que algumas cabeças de atenção apresentam seletividade elevada e alinhamento estrutural com relações sintáticas, sugerindo que parte do conhecimento gramatical é internalizado de forma distribuída e mensurável. Este estudo contribui para a compreensão da interpretabilidade e da organização interna de modelos Transformer aplicados ao processamento da língua portuguesa.
|
|
Orientador
|
Daniela Barreiro Claro
|
|
Membro Titular Externo (com afiliação)
|
Aline Marins Paes Carvalho (UFF)
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Membro Titular Interno ou Titular Externo 2 (com afiliação)
|
Marlo Souza
|
|
Link para o curriculum lattes
|
http://buscatextual.cnpq.br/
|
|
Membro Suplente Externo (com afiliação)
|
Jackson Souza (ICTI - UFBA)
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Membro Suplente Interno ou Suplente Externo 2 (com afiliação)
|
Tatiane Rios (UFBA-IC)
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Data da defesa
|
24 Jul, 2025
|
|
Horário da defesa
|
1:00 PM
|
|
Quais os principais impactos deste trabalho (social, tecnológico, científico, ambiental)?
|
Cientifico: Análise de LLMs e o seu comportamento quando focados nas cabeças de atenção para a língua portuguesa tem um impacto cientifico para avaliar o comportamento destes modelos.
|