Avaliação da Eficácia de Mensagens de Erro Baseadas em LLM para Programadores Novatos

Luis Gustavo de Jesus Araujo

Avaliação da Eficácia de Mensagens de Erro Baseadas em LLM para Programadores Novatos

Aprender programação, para muitos estudantes, é uma tarefa complexa. As dificuldades encontradas por estudantes contribuem para as altas taxas de reprovação e abandono em cursos de Computação. Diversos pesquisadores têm-se debruçado sobre este problema e apresentam diversas soluções, como a criação ou aplicação de metodologias e ferramentas para o ensino de programação. Um dos fatores de dificuldade, já sinalizado por outros pesquisadores, relaciona-se ao entendimento de mensagens de erro de programação. Pesquisadores têm investigado a emissão de mensagens de erro de compilador ou interpretador, propondo melhorias nestas mensagens desde a década de 1960. No entanto, esta área de pesquisa ainda possui diversas lacunas provenientes do método de geração de mensagens pré-cadastradas. Estas limitações são relacionadas à eficácia, cobertura, adaptabilidade relacionada à criação de novas versões de linguagens de programação e falta de contexto relacionado ao problema e às soluções dos estudantes. A partir de 2023, pesquisadores têm focado na emissão de mensagens geradas por Modelos Grandes de Linguagem (da sigla em inglês, LLM) no intuito de minimizar as limitações mencionadas. Estas pesquisas são embrionárias e, por isso, carecem de estudos aprofundados sobre como gerar as mensagens, quais elementos são importantes para os estudantes, qual a eficácia das mensagens geradas e quais são as características de tais mensagens.
Esta pesquisa visa propor e avaliar a eficácia de um modelo de emissão de mensagens de erro melhoradas geradas por LLM para estudantes novatos utilizando a linguagem Python.
Para a realização deste estudo, diversas etapas metodológicas foram executadas, incluindo o desenvolvimento de uma ferramenta apropriada para a emissão de mensagens melhoradas, a realização de um estudo de caso exploratório e a condução de experimentos com especialistas. Durante o estudo de caso e o experimento, foram coletados e analisados dados quantitativos e qualitativos. O estudo de caso, além de permitir explorar a emissão de mensagens melhoradas pré-cadastradas, possibilitou o teste da ferramenta desenvolvida. Os resultados obtidos são promissores e justificam a execução das próximas etapas deste trabalho. Além do modelo de geração de mensagens, este trabalho visa apresentar uma nova métrica para avaliar a eficácia das mensagens melhoradas, tendo como ponto de partida o fenômeno de recorrência do erro -- quando o erro reaparece após uma ou mais sequência(s) de outro(s) erro(s). Para a conclusão da pesquisa, planeja-se realizar atividades de implementação do modelo de geração de mensagens melhoradas por LLM e um experimento com estudantes novatos para avaliação do modelo. Ao final deste trabalho de pesquisa, esperamos contribuir diretamente para: i) Fornecer um novo modelo para geração de mensagens melhoradas que pode aumentar a sua eficácia para estudantes novatos; ii) Gerar evidências empíricas sobre a eficácia de mensagens melhoradas em um curso introdutório de programação; iii) Disponibilizar uma nova métrica de avaliação das mensagens melhoradas; iv) Disponibilizar o ambiente PEEF, desenvolvido e utilizado nesta pesquisa, a fim de colaborar com o processo de ensino-aprendizagem em cursos da área de Computação.

Christina von Flach Garcia Chavez

Roberto Almeida Bittencourt

RODRIGO SILVA DURAN (IFMS)

http://lattes.cnpq.br/9177838864862014

DANIELA BARREIRO CLARO (UFBA)

http://lattes.cnpq.br/9217378047217370

Jean Clemisson Santos Rosa

http://lattes.cnpq.br/9916725844796050

Robespierre Dantas da Rocha Pita

http://lattes.cnpq.br/9031151666715654

06 Aug, 2024

8:00 AM