Uma avaliação comparativa entre métricas de erro em um curso introdutório de programação com Python

Abstract

O feedback oferecido por mensagens de erro produzidas por compiladores e interpretadores tipicamente não é suficiente para apoiar os estudantes novatos. A inserção de feedback adicional nestas mensagens, na forma de mensagens de erro melhoradas, pode ser uma solução para melhor apoiar os estudantes novatos na aprendizagem de programação. No entanto, o oferecimento deste feedback adicional necessita de avaliação acerca da sua eficácia. Para esta avaliação, diversas técnicas são utilizadas, desde abordagens manuais a automatizadas, como as métricas de erro dos estudantes. Da literatura, destacamos as métricas Error Quotient (EQ), Watwin Algorithm e Repeated Error Density (RED). Apesar da existência destas métricas, questões relacionadas à avaliação da eficácia das mensagens permanecem em aberto. Neste artigo, objetivamos comparar as métricas existentes e propor uma nova métrica com base nos achados. Para tal fim, foi ofertado um curso introdutório de Python no ambiente PEEF. Por meio dos dados obtidos no ambiente, as métricas foram mensuradas para todos os projetos. Como resultado, ratificamos a dependência de contexto das métricas EQ e Watwin, além da adequação de RED para abordagens de programação introdutória com Python. Entretanto, destacamos algumas limitações desta última e propomos uma nova métrica, RECurrent Error Density (REC), visando melhor responder ao questionamento sobre o impacto das mensagens melhoradas na aprendizagem dos estudantes novatos. Os resultados demonstram que REC consegue mensurar erros em 43,3% dos projetos dos estudantes, atribuindo avaliação a 30,9% de projetos a mais que a métrica RED. Estes resultados demonstram que o fenômeno de recorrência de erro ocorre e não é considerado adequadamente pelas métricas apresentadas.