Sistemas de recuperação de imagens baseado em modelos generativos com o dataset FINE

Fillipe de Almeida Andrade (Universidade Federal da Bahia - UFBA)

Sistemas de recuperação de imagens baseado em modelos generativos com o dataset FINE

Uma tarefa particular de recuperação de imagens consiste em identificar e retornar um conjunto de imagens relevantes a partir de uma descrição textual. Embora essa tarefa seja amplamente explorada em domínios relacionados à busca por conteúdo visual, seu uso em contextos específicos, como a recuperação de imagens baseadas em emoções faciais, ainda é pouco investigado. O tema das expressões emocionais ainda é predominantemente explorado por meio de tarefas de classificação de imagens, abordagem amplamente adotada por modelos de deep learning, especialmente por redes neurais convolucionais. Esta proposta de qualificação investiga o uso de visual language models (VLMs), em particular o modelo CLIP, com o objetivo de mapear descrições textuais e imagens faciais em um espaço semântico compartilhado, possibilitando a recuperação de imagens com base em conteúdo emocional. Para viabilizar essa investigação, será construído o conjunto de dados Facial Intensity of Emotions (FINE), contendo anotações de raça, gênero, emoções básicas e múltiplos níveis de intensidade, com garantia de equilíbrio entre as classes. Para o sistema de recuperação de imagens, propõe-se explorar diferentes variantes do modelo CLIP (ViT-L/14, ViT-B/16 e ViT-B/32), tanto no cenário zero-shot quanto com fine-tuning utilizando o dataset proposto. A avaliação será conduzida com base em métricas como Recall@K e acurácia Top-K. Espera-se que a abordagem proposta proporcione ganhos significativos nessas métricas, especialmente em relação a variáveis demográficas, como raça e gênero, em razão do balanceamento promovido pelo dataset desenvolvido.

Luciano Rebouças de Oliveira (Universidade Federal da Bahia - UFBA)

Eduardo Furtado de Simas Filho (Universidade Federal da Bahia - UFBA)

http://lattes.cnpq.br/6012321412801915

Jefferson Fontinele da Silva (Universidade Federal do Maranhão - UFMA)

http://lattes.cnpq.br/4592887904839028

Kalyf Abdalla Buzar Lima (Instituto Federal de Educação, Ciência e Tecnologia da Bahia - IFBA)

http://lattes.cnpq.br/4613476711431079

Marcelo Mendonça dos Santos (Instituto Federal de Educação, Ciência e Tecnologia da Bahia - IFBA)

http://lattes.cnpq.br/4271397173667661

28 Aug, 2025

2:00 PM