Classificação de dificuldade de questões de programação com base em métricas de código

Abstract

No ensino de programação utilizando juízes online, é importante apresentar ao estudante questões de programação em nível crescente de dificuldade, bem como equilibrar os níveis das questões sorteadas pelo ambiente durante avaliações. Este trabalho propõe e valida um método para classificar automaticamente a dificuldade de questões de programação com base em métricas extraídas de códigos de soluções cadastrados pelos(as) instrutores(as). Ao todo, foram analisadas 354 questões implementadas em Python e elaboradas para turmas de introdução à programação ministradas entre 2017 e 2019. Verificou-se que o uso de métricas extraídas de código pode sim ser utilizado para estimar a dificuldade de questões, além de elucidar alguns aspectos da dificuldade encontrada pelos estudantes.

Uso de atributos de código para classificação da facilidade de questões de codificação

“…Nossa abordagem demonstrou a viabilidade da classificação da facilidade de questões de codificação, pelo uso de atributos extraídos de códigos de solução elaborados por instrutores (QP1), sendo capaz de superar os resultados de Lima et al [19]. Logo, a divisão do conjunto de questões segundo os tópicos abordados (conceitos de programação), além de melhorar o desempenho dos classificadores (QP2) também reduziu a quantidade de atributos utilizados pelos modelos, em todos os conjuntos de questões.…”

“…Seguindo a mesma abordagem, Lima et al [19] apresentaram um método de classificação de questões de codificação segundo sua dificuldade. Todas as questões foram aplicadas em exames presenciais de turmas de introdução à computação.…”

“…Neste trabalho, esse índice foi simplificado para apenas dois níveis, pois a adoção de mais níveis reduziria a quantidade de amostras das classes minoritárias em partições estratificadas num treino por validação cruzada. Além disso, o uso de dois níveis nos permitiu comparar nossa abordagem com o trabalho realizado por Lima et al [19]. O mapeamento realizado está disposto na Tabela 1.…”

Mapeamento e análise empírica de misconceptions comuns em avaliações de introdução à programação

“…Os alunos de disciplinas introdutórias de programação exibem vários entendimentos errôneos de conceitos e outras dificuldades nos conhecimentos sintático, conceitual e estratégico [18,27,38]. Tais dificuldades experimentadas pelos alunos estão relacionadas a muitos fatores, incluindo falta de familiaridade com a sintaxe, linguagem natural, conhecimento matemático, modelos mentais imprecisos, falta de estratégias, ambientes de programação e conhecimento e instrução dos professores [27,35].…”

Validação e análise de um inventário de conceitos sobre programação introdutória

“…Além disso, as metodologias já desenvolvidas foram validadas e/ou analisadas em contextos pouco diversos, o que dificulta sua replicação. Mais especificamente, no tópico de programação introdutória, não há instrumento validado para o português do Brasil e de uso aberto, no melhor do nosso conhecimento.Note que a disciplina de introdução à computação (conhecidas na literatura como CS1) pode ser complexa para os alunos de graduação, já que regularmente ela demanda alta capacidade cognitiva de abstração dos problemas propostos [5,6,8,13,15,19,20,22]. Isso vale tanto na área da computação, como em outros cursos de graduação das ciências exatas e engenharias em que CS1 é uma disciplina obrigatória [2,7,9,21].…”