Using learning analytics in the Amazonas: understanding students’ behaviour in introductory programming

Abstract

Tools for automatic grading programming assignments, also known as Online Judges, have been widely used to support computer science (CS) courses. Nevertheless, few studies have used these tools to acquire and analyse interaction data to better understand the students’ performance and behaviours, often due to data availability or inadequate granularity. To address this problem, we propose an Online Judge called CodeBench, which allows for fine‐grained data collection of student interactions, at the level of, eg, keystrokes, number of submissions, and grades. We deployed CodeBench for 3 years (2016–18) and collected data from 2058 students from 16 introductory computer science (CS1) courses, on which we have carried out fine‐grained learning analytics, towards early detection of effective/ineffective behaviours regarding learning CS concepts. Results extract clear behavioural classes of CS1 students, significantly differentiated both semantically and statistically, enabling us to better explain how student behaviours during programming have influenced learning outcomes. Finally, we also identify behaviours that can guide novice students to improve their learning performance, which can be used for interventions. We believe this work is a step forward towards enhancing Online Judges and helping teachers and students improve their CS1 teaching/learning practices.

For whom should we gamify? Insights on the users intentions and context towards gamification in education

“…To analyse the data, we used AR and clusters since these methods are used to find patterns within a dataset and have been used in recent exploratory research concerned with gamification and data-driven methods [Palomino et al 2019;Pereira et al 2020a]. AR were used to find the relations between the intentions and demographic/contextual variables.…”

Tempos de Transição em Estados de Corretude e Erro como Indicadores de Desempenho em Juízes Online

“…Mais particularmente, muitos trabalhos têm proposto o uso de técnicas de aprendizado de máquina para predizer o desempenho final de alunos em turmas de programação [Pereira et al 2020]. Dwan et al (2017) e Alves et al (2019) realizaram seus trabalhos com turmas de IPC que utilizam um ACAC.…”

“…Contudo, os exercícios práticos foram desconsiderados, visto que boa parte deles estava incompleta ou não respondida. Além disso, havia casos de códigos submetidos com um valor baixo de logs gerados, o que pode sugerir plágio, conforme explicado por [Pereira et al 2020]. Dessa forma, foram considerados apenas os dados gerados a partir dos exames, pois têm alto impacto na nota final e são realizados em um ambiente controlado, contando com a presença do professor no laboratório, e tempo determinado para concluir a avaliação.…”

Uso de atributos de código para classificação da facilidade de questões de codificação

“…Aprender programação requer muita prática, em grande parte através de questões de codificação [1,10,15,21,23,29,30,34,44]. Para um instrutor, a correção manual das soluções elaboradas pelos estudantes, além de desgastante, é por vezes demorada [2,9,29,30]. Nesse contexto, os Ambientes de Correção Automática de Códigos (ACACs) vêm sendo largamente empregados [2,5,9,31,36,41,44].…”