Um estudo comparativo entre dois modelos que estimam a habilidade dos estudantes: ELO e Teoria de Resposta ao Item

Abstract

Currently, there are many online platforms that offers programming exercise libraries where evaluation occurs automatically. The present work presents an analysis of two models that aims to estimate the students' ability: ELO and TRI Theory. ELO was developed to classify players through game history, and TRI estimates skill through a set of responses given to a set of items. For the application of the models we use a database made available by an Online Judge platform. The results show us differences between the models in relation to the estimated abilities, differences that we believe are related to the way in which each model estimates the parameters.

Uso de atributos de código para classificação da facilidade de questões de codificação

“…Alguns autores optam por adaptar modelos já existentes para o contexto de questões de programação. Por exemplo, Zaffalon et al [43] apresenta um estudo analítico de dois modelos que estimam a habilidade de estudantes: Teoria de Resposta ao Item (TRI) e ELO. A TRI estima a probabilidade de um indivíduo acertar um item em função das características do item e da(s) habilidade(s) estimada(s) do indivíduo.…”

Classificação de dificuldade de questões de programação com base em métricas de código

“…Por usuários, entenda-se aqui tanto instrutores, ao cadastrarem questões, quanto estudantes, ao deixarem um rastro de registros na tentativa de resolver questões propostas. Por exemplo, [Zaffalon et al 2019] compararam dois modelos de estimar o desempenho de estudantes: Elo e TRI. O modelo Elo foi desenvolvido por [Pelánek 2016] e empregado originalmente para classificar jogadores de xadrez, mas pode ser usado em sistemas de aprendizagem quando interpretamos a resposta do estudante a um item como uma partida entre o estudante e o item.…”

“…Dessa forma, se pudermos estimar a dificuldade de uma questão de codificação antes de ela ser aplicada em uma avaliação, teremos condições de configurar o ACAC para sortear questões com níveis semelhantes de dificuldade. Na literatura, algumas abordagens de estimação da dificuldade desse tipo de questão se baseiam na Teoria de Resposta ao Item (TRI) [Zaffalon et al 2019], e outras, em métricas de legibilidade do enunciado (no sentido de facilidade de leitura) [Santos et al 2019]. Na abordagem por TRI, há o inconveniente de que a dificuldade só pode ser determinada depois que a questão (item) já tenha sido resolvida por um conjunto expressivo de estudantes.…”

Sistema de recomendação baseado no ELO para problemas de pré-cálculo: Um experimento com calouros universitários

“…Os sistemas de classificação ELO encontram utilização em situações em que a habilidade de alguns "jogadores"deve ser estimada com base em resultados de competição entre pares. O modelo matemático e uma avaliação mais detalhada do nosso modeloé descrito em como descrito em [Langville and Meyer 2012, Elo 1978, Prisco et al 2017, Prisco et al 2018, Zaffalon et al 2019.…”

“…Em trabalhos anteriores, propomos um modelo cognitivo para recomendação de objetos de aprendizagem. Avaliamos o modelo através do histórico de interação dos estudantes com uma plataforma de submissão de problemas de programação [Prisco et al 2018, Prisco et al 2017, Zaffalon et al 2019. Neste trabalho desejamos avaliar o modelo em um contexto além da computação e em um ambiente de recomendação, no qual há de fato a intervenção ao estudante.…”