Otimização e automação da predição precoce do desempenho de alunos que utilizam juízes online: uma abordagem com algoritmo genético

Abstract

In this work, we present an approach to predict student performance in the very first two weeks from CS1 classes, which use programming online judges. We performed the prediction with a binary classification, i.e., we estimated whether the student succeeded or failed. To do so, we employed a method using an evolutionary algorithm to build and optimize automatically the machine learning pipeline. We trained the predictive model with data from 9 different courses run during 6 terms (2016)(2017)(2018). As a result, we achieved an AUC of 0.87 on the validation set.Resumo. Neste trabalhoé apresentada uma abordagem para a predição ainda nas duas primeiras semanas de aula do desempenho de alunos de turmas de Introduçãoà Programação de Computadores que utilizam sistemas de correção automática de código. O desempenho do aluno foi inferido através de uma classificação binária, istoé, foi estimado se o aluno iria ser aprovado ou reprovado na disciplina. Para tanto, foi utilizado um método que emprega uma algoritmo genético para a construção automática de um pipeline de aprendizagem de máquina. O modelo foi treinado com dados de alunos de 9 cursos diferentes ao longo de 6 semestres distintos (2016)(2017)(2018). Como resultado, obteve-se umá area sob a curva ROC de 0,87 na base de validação.

Predição de desempenho em ambientes computacionais para turmas de programação: um Mapeamento Sistemático da Literatura

“…Tais atributos eram então utilizados para formar um perfil de programação de cada aluno. Para ilustrar, existem estudos que modelaram: a forma como o estudante lida com o erro analisando pares de compilação [Jadud 2006]; com os prazos, [Auvinen 2015, IX Congresso Brasileiro de Informática na Educação (CBIE 2020) Anais do XXXI Simpósio Brasileiro de Informática na Educação (SBIE 2020) Pereira et al 2019a]; o quão resiliente e determinado o estudante se encontra durante a resolução das questões propostas, que é calculado com base no número de tentativas e na corretude dos códigos [Ahadi et al 2016, Fonseca et al 2019; qual o padrão de digitação do(a) estudante quando ele(a) está programando [Leinonen et al 2016, Pereira et al 2019b]; a análise sintática do grafo de fluxo de controle dos códigos submetidos [Otero et al 2016, Pereira et al 2019c; mudança de código entre submissões e comportamentos de procrastinação [Edwards et al 2009]; análise estática dos códigos submetidos [Dwan et al 2017, Azcona et al 2018. Os 7 trabalhos que foram conduzidos em MOOC ou AVA usavam como atributo a frequência de uso de recursos e atividades.…”

“…De uma forma geral, as técnicas de previsão de desempenho encontradas na literatura são baseadas em dois passos: (i) gerar modelos de perfis de programação dos alunos à medida que esses desenvolvem suas soluções para os problemas de programação propostos, e (ii) usar técnicas de estatística inferencial, MD ou AM para explorar as dimensões dos perfis de programação e prever o desempenho dos estudantes a partir dos modelos gerados. Os perfis de programação podem ser originados a partir de variados tipos de evidências, dentre as quais destacamos: o modo como o estudante lida com o erro [Jadud 2006]; com os prazos, [Auvinen 2015, Pereira et al 2019a; o quão resiliente e determinado o estudante é durante suas tentativas de solucionar as questões propostas [Ahadi et al 2016], e a análise sintática do grafo de fluxo de controle dos códigos submetidos [Otero et al 2016, Pereira et al 2019c. Todos esses trabalhos analisam como esses perfis de programação do aluno se relacionam com a nota.…”

Using learning analytics in the Amazonas: understanding students’ behaviour in introductory programming

“…Regarding unsucRes , a high value may look like a sign of ineffectiveness. When students try a lot, even not achieving a correct solution, they show resilience, which is an important characteristic for programmers (Pereira, Oliveira, Fernandes, Junior, & Carvalho, 2019). In addition, Online Judges based on dynamic analysis have limitations and sometimes they may be unfair, since they perform a string comparison between student solution output and the expected output.…”

Tempos de Transição em Estados de Corretude e Erro como Indicadores de Desempenho em Juízes Online

“…Em ambos os estudos, os autores uniram os atributos com a nota das avaliações e introduziram em um classificador Random Forest obtendo precisões de até 86% [Dwan et al 2017] e acima de 80% [Alves et al 2019]. Como uma extensão do trabalho de Dwan et al (2017), Pereira et al (2019) atingiram uma acurácia média de aproximadamente 83% na classificação utilizando algoritmos genéticos para otimização do classificador, usando dados do início do curso. Carter et al (2015) analisou o processo de programação dos alunos e desenvolveu um modelo de estado de programação normalizado (Normalized Programming State Model -NPSM) para descrever vários estados de correção do programa (sintático ou semântico) e as transições entre esses estados.…”