Avaliação de Padrões Gramaticais em Arquiteturas Transformer na Língua Portuguesa: Um Estudo sobre Cabeças de Atenção

Ricardo Gomes de Oliveira

Avaliação de Padrões Gramaticais em Arquiteturas Transformer na Língua Portuguesa: Um Estudo sobre Cabeças de Atenção

Os modelos baseados em arquiteturas Transformers, tal como o BERT, têm se mostrado eficazes em tarefas linguísticas. Porém, pouco conhecimento se tem sobre o funcionamento interno dos Transformers quando aplicados a uma língua morfossintaticamente complexa como o português. Algumas sentenças que incluem diferentes estruturas gramaticais, tais como transitividade verbal, voz passiva, pronomes reflexivos, e orações subordinadas necessitam ser analisadas quando mencionadas dentro da arquitetura Transformers. Assim, o presente trabalho propõe uma avaliação da representação de padrões gramaticais em modelos de linguagem na estrutura de atenção de arquiteturas Transformers. Os resultados parciais indicam que as cabeças de atenção possuem um papel significativo na modelagem de dependências gramaticais, distinguindo os padrões gramaticais em camadas e cabeças pontuais.

Daniela Barreiro Claro

Aline Paes

http://lattes.cnpq.br/0506389215528790

Marlo Souza

http://lattes.cnpq.br/0506389215528790

Tatiane Rios

http://lattes.cnpq.br/0851148137941240

Helena Caseli

http://lattes.cnpq.br/6608582057810385

19 Dec, 2024

2:00 PM