Predição de desempenho em ambientes computacionais para turmas de programação: um Mapeamento Sistemático da Literatura

Abstract

Turmas de programação têm um alto índice de reprovação e, por conta disso, muitos estudos vêm sendo conduzidos para realizar a predição do desempenho do aluno, para ajudar na tomada de decisão. Nesse caminho, o presente trabalho realizou um mapeamento sistemático da literatura dos anos de 2009 a 2019 com o intuito de caracterizar estudos que propuseram métodos relacionados com predição de desempenho em ambientes computacionais para turmas de programação. No total, 911 publicações foram exploradas, em que 70 foram aceitas para o fichamento. No geral, as pesquisas exploram técnicas de Aprendizagem de Máquina (AM) e Mineração de Dados (MD) para fazer inferências, através da modelagem de perfis de programação dos estudantes. Os resultados apontam lacunas e questões abertas para essa área.

Explaining Individual and Collective Programming Students’ Behavior by Interpreting a Black-Box Predictive Model

“…Our work enriches the research on programming learning with findings of effective and ineffective early students behaviours (currently considered an open question [11], [50], [53], [58]), and the educational data mining field, with an accurate and explainable ML pipeline that can be useful for early intervention and student self-regulation.…”

“…Thus, this paper advances the state of the art by addressing the challenge of extracting an explainable, transparent model for AI in Education for CS1 [7], by demonstrating how to interpret the predictive model's decision, in order to better support students and instructors (and other stakeholders). Such challenge is important, because the educational literature [11], [50], [53], [58] notes the lack studies on early learner behaviours that can be effective or ineffective. Effective programming behaviours are those that potentially increase the students' chances of passing, whereas ineffective behaviours decrease the students' chances of success in the course [58].…”

Uso de atributos de código para classificação da facilidade de questões de codificação

“…Aprender programação requer muita prática, em grande parte através de questões de codificação [1,10,15,21,23,29,30,34,44]. Para um instrutor, a correção manual das soluções elaboradas pelos estudantes, além de desgastante, é por vezes demorada [2,9,29,30]. Nesse contexto, os Ambientes de Correção Automática de Códigos (ACACs) vêm sendo largamente empregados [2,5,9,31,36,41,44].…”

“…Cabe ao estudante elaborar uma solução (código) que atenda às especificações de entradas e saídas do problema. Feito isso, o estudante deve submeter sua solução para que o ACAC faça uma verificação quanto à corretude funcional por meio de um conjunto de casos de testes previamente definidos [12,29,33,41,44]. Por fim, o ACAC gera uma mensagem indicando se o estudante obteve ou não sucesso com sua solução.…”

“…Além do uso de questões já disponíveis na base do ACAC para compor uma nova atividade, o instrutor pode optar por elaborar novas questões. Estas não dispõem de informações que possam indicar o quão fácil será sua resolução por um estudante [10,29]. Logo, para que o sorteio aleatório de questões seja equânime, faz-se necessário um mecanismo capaz de classificar a facilidade de novas questões antes de serem apresentadas aos estudantes, utilizando para isso somente os dados disponíveis no momento de cadastro [15,44], ou seja, somente as informações disponibilizadas pelo instrutor.…”