Ampliando modelos de Image Captioning com Informações Linguísticas

Ampliando modelos de Image Captioning com Informações Linguísticas

 

O aumento no número de aplicações que demandam acessibilidade, recuperação de informação e interação humano-computador vem culminando com uma crescente necessidade de geração automatizada da descrição de uma imagem. Essa descrição automatizada requer uma identificação do cenário, dos personagens e dos objetos presentes e de como esses elementos se relacionam entre si. A partir destes elementos torna-se possível gerar uma sentença em linguagem natural descrevendo o conteúdo da imagem. O desenvolvimento de métodos capazes de gerar de uma maneira automática as sentenças que descrevem a imagem permeia uma área de pesquisa denominada \textit{Image Captioning}. A maioria das pesquisas e \textit{datasets} da área de \textit{Image Captioning} se concentra na língua inglesa, desenvolvendo modelos e construindo recursos eficientes no estado da arte. Línguas com poucos recursos, tais como o Português, demandam mais recursos para alcançarem uma sentença descritiva e compreensível. Porém, somente a aglomeração de vários objetos da imagem não geram uma sentença na língua Portuguesa. Além disso, a maioria dos \textit{datasets} construídos são mapeados para a língua inglesa, dificultando o aprendizado do Português. Diante deste contexto, este trabalho propõe a incorporação de recursos linguísticos que possam guiar o modelo de linguagem na geração de uma descrição que seja mais representativa da imagem e da sentença em Português. Experimentos preliminares foram realizados com a tradução de \textit{datasets} para a geração da descrição em Português. Os resultados obtidos dão indícios que a incorporação de recursos linguísticos contribuirão para uma melhor descrição da imagem em língua Portuguesa.