Uso de atributos de código para classificação da facilidade de questões de codificação

Abstract

No ensino de programação, é comum o uso de Ambientes de Correção Automática de Código (ACACs). Esses apresentam uma alta diversidade de exercícios de programação que requerem que o estudante elabore um código como solução. Contudo, um obstáculo é classificar a facilidade ou dificuldade desses exercícios de modo que sejam apresentados conforme o nível de conhecimento do aluno, ou para que durante uma avaliação formulada por sorteio aleatório de questões, os alunos possam receber exercícios com nível de dificuldade semelhantes. Nesse sentido, este trabalho apresenta um método para classificar automaticamente o grau de facilidade de questões de codificação em Python, usando para isso atributos extraídos de códigos de solução. Foram analisadas 354 questões, agrupadas em 07 conjuntos segundo os tópicos abordados, que foram previamente definidos na ementa de uma disciplina de introdução à programação. Essas questões foram aplicadas em exames presenciais de turmas ministradas entre os anos de 2017 e 2019. Entre os resultados, verificou-se que a facilidade das questões pode ser estimada por meio de atributos do código de solução dos instrutores, com f1-score de 0,94 e acurácia de 0,92. Além disso, o conjunto de atributos relevantes para classificação variou conforme o tópico de programação abordado pelas questões.

Learning Analytics in Introductory Programming Courses: A Showcase from the Federal University of Amazonas

“…As the syllabus of the CS1 course is divided into seven modules, in (Lima et al, 2021b) we sought to explore the classification of questions within each module. For this, the hit rate was discretized regarding the ease of programming questions within each course module, as shown in Table 3.…”

Complexidade versus dificuldade: Uma análise da sua correlação em questões de programação em juízes on-line

“…Ao final dessa extração, 709 questões foram selecionadas. No entanto, como visto por Lima et al (2021), questões com poucas interações de alunos não são adequadas para amostragem, pois levam em consideração o desempenho de poucos estudantes. Portanto, utilizou-se o mesmo critério de Lima et al (2021) e foram selecionadas apenas as questões com submissões de 16 ou mais alunos.…”

“…As variáveis independentes consistem em atributos de código, tais como complexidade ciclomática, número de operadores e número de linhas lógicas. A extração de atributos foi feita utilizando os scripts 4 disponibilizados por Lima et al (2021). Ao final, a complexidade de cada código da base seria descrita por meio de 130 atributos 5 .…”

“…Para não descartá-las, foi adotada a estratégia de selecionar as soluções dos próprios alunos, idealmente a que mais se aproximaria de uma solução do instrutor. Como a seleção manual seria muito custosa, a estratégia adotada para seleção foi baseada nos mesmos critérios adotados por Lima et al (2021): 1. solução correta; 2. menor número de submissões; 3. menor número de testes; e 4. menor número de erros de sintaxe.…”

Um Método de Detecção de Plágio para Sistemas Juiz On-line baseado no Comportamento dos Alunos

“…No entanto, apesar das vantagens do uso de juízes online, ainda carecem estudos sobre como detectar e/ou coibir as práticas de plágio que ocorrem nos exercícios compartilhados através desses sistemas [Pereira et al 2020c, Pereira et al 2021a]. Porém, no que concerne as disciplinas de introduc ¸ão à programac ¸ão (CS1), que são apontadas por muitos trabalhos como disciplinas de alta complexidade para alunos iniciantes [Rossi 2016, Pereira et al 2020a, Araujo et al 2021], a prática de plágio pode parecer um artifício válido para alcanc ¸ar o êxito tão esperado [Lima et al 2021].…”