Adaptive Rubrics

Abstract

Grading is a notoriously difficult and time-consuming part of teaching. For open-ended programming, mathematical, or design problems, assigning consistent scores and giving useful feedback can be very challenging. Large classes compound this difficulty. Adding TAs to the team can help parallelize the process but may impede grading consistency and quality. We present an adaptive rubric creation and application process to enable high-quality responses to student work, at scale. This process uses exploratory data analysis to discover common patterns in student responses to a problem, then tailors a rubric and feedback to address these patterns. Our method is supported by current grading tools, which allow calculation of the simple population-level statistics we need to extract meaningful features from a corpus of student work. In this case study, we describe using adaptive rubrics for a discrete math class for CS majors: the grading team found that this process produced concrete and transparent justifications of student scores and that it facilitated conversations around grading that were grounded in course learning objectives and values. CCS CONCEPTS • Social and professional topics → Student assessment; • Applied computing → Learning management systems;

Uso de Rubricas em Pesquisas de Informática e Educação - Uma Revisão Sistemática da Literatura

“…Existem categorização clássicas de rubricas relatada em pesquisas da Ciência da Educação [1,3,10], mas outras não são categorizadas como as clássicas e são definidas pelas necessidades dos autores de forma experimental [2,4,14,16,18].…”

“…Se houve algum tipo de feedback durante a disciplina ou a análise dos pesquisadores foi feita após o encerramento da disciplina. A rubrica foi usada em um estudo empírico em sala de aula em 85,72% das pesquisas [5,6,7,8,9,10,13,14,15,16,17,18,19,20,21,22,23,27] e em 14,28% não foi usada [24,25,26].…”

“…Foi analisado também se houve algum tipo de feedback durante a disciplina. Em 66,66% das pesquisas foi dado algum tipo de feedback durante a disciplina, isto ocorreu nos artigos [5,7,8,9,10,14,15,16,17,18,19,20,24,27]. Em 33,34% não houve qualquer tipo de feedback descrito pelos autores dos artigos, isto ocorreu em [6,13,21,25,22,23,26].…”

“…Em 33,34% não houve qualquer tipo de feedback descrito pelos autores dos artigos, isto ocorreu em [6,13,21,25,22,23,26]. Não envolve disciplinas de programação específica e sim fundamentos da lógica de programação 14,28% [18,20,24] Vários paradigmas de disciplina de programação 26,08% [16,17,19,22,23,26] Programação, com sintaxe específicas, de um módulo de uma ferramenta.…”

“…• Em 66,67%, não houve correção automática ou semiautomática dos códigos fontes. Os pesquisadores que fizeram esta prática são [5,6,8,10,13,14,17,18,19,21,22,23,26,27]. • Em 19,05%, houve correção automática ou semiautomática dos códigos fontes.…”