|
Nome do aluno
|
JOAO MEDRADO GONDIM
|
|
Título do trabalho
|
Ampliando modelos de Image Captioning com Informações Linguísticas
|
|
Resumo do trabalho
|
O aumento no número de aplicações que demandam acessibilidade, recuperação de informação e interação humano-computador vem culminando com uma crescente necessidade de geração automatizada da descrição de uma imagem. Essa descrição automatizada requer uma identificação do cenário, dos personagens e dos objetos presentes e de como esses elementos se relacionam entre si. A partir destes elementos torna-se possível gerar uma sentença em linguagem natural descrevendo o conteúdo da imagem. O desenvolvimento de métodos capazes de gerar de uma maneira automática as sentenças que descrevem a imagem permeia uma área de pesquisa denominada \textit{Image Captioning}. A maioria das pesquisas e \textit{datasets} da área de \textit{Image Captioning} se concentram na língua inglesa, desenvolvendo modelos e construindo recursos eficientes no estado da arte. Línguas com poucos recursos para desenvolvimento, tais como o Português, demandam maior pesquisa para alcançarem uma sentença descritiva e compreensível. Porém, somente a aglomeração de vários objetos da imagem não geram uma sentença na língua Portuguesa. Diante deste contexto, este trabalho propõe a análise e incorporação de recursos linguísticos que possam guiar o modelo de linguagem na geração de uma descrição que seja mais representativa da imagem e da sentença em Português. Experimentos preliminares foram realizados com a tradução de \textit{datasets} para a geração da descrição em Português. Os resultados obtidos dão indícios que a análise morfológica das saídas de um modelo de \textit{Image Captioning}, bem como a incorporação de classes gramaticais durante o treinamento, contribuirão para uma melhor descrição da imagem em língua Portuguesa.
|
|
Orientador
|
Daniela Barreiro Claro
|
|
Co-orientador
|
Marlo Souza
|
|
Membro Titular Externo (com afiliação)
|
Sandra Àvila (Unicamp)
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Membro Titular Interno ou Titular Externo 2 (com afiliação)
|
Tatiane Rios
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Membro Suplente Externo (com afiliação)
|
Ricardo Rios
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Membro Suplente Interno ou Suplente Externo 2 (com afiliação)
|
Rerisson Cavalcante (IL - UFBA)
|
|
Link para o curriculum lattes
|
http://lattes.cnpq.br/
|
|
Data da defesa
|
23 Aug, 2023
|
|
Horário da defesa
|
9:00 AM
|