Running an Online Mathematics Examination with STACK

Abstract

In this paper I discuss running an online examination with STACK for a year 1 "Introduction to Linear Algebra" course. The COVID pandemic has continued to disrupt teaching during 2021-22, and were are still not able to return to the examination hall for a traditional exam. Instead, our examinations were still "take home". Under these circumstances we wrote a fully automatically marked final test for the course. With over 800 students on the course in 2021-22, the paper-based examination was estimated to cost about 50 person-days to mark. Clearly, reducing this cost is an attractive prospect. However, important questions remain. To what extent can we write questions which cover the learning objectives of the course? How did the students do with the test? What recommendations can we offer for similar courses, and future years? In particular, do we need to return to the exam hall?

Avaliação online no ensino superior

“…Ele permite estabelecer critérios de avaliação para que o sistema, por meio de propriedades matemáticas, classifique automaticamente as respostas como corretas, erradas ou parcialmente corretas. Ao professor cabe decidir os critérios sobre o crédito parcial da questão (Sangwin;Köcher, 2016).…”

“…Todavia, com a gama de representações do objeto matemático, observamos que uma das dificuldades dos alunos era a familiarização com a linguagem matemática utilizada para atribuir as respostas a uma dada tarefa. Assim, disponibilizamos material didático aos alunos para auxiliá-los a transitar entre as diferentes maneiras de representar o objeto matemático, pois "acreditamos que aprender a escrever expressões simples em uma sintaxe formal é uma habilidade indispensável para alunos de graduação em Matemática, mas que temos a responsabilidade de ensinar" (Sangwin;Hermans, 2013, p. 17).…”

“…A evolução das tecnologias e das pesquisas sobre sua integração nos processos de ensino e aprendizagem possibilitou desenvolver tarefas avaliativas no contexto do ensino remoto, indo além de questões de múltipla escolha ou de verdadeiro e falso, proporcionando, ao aluno, questões randômicas e que aceitavam diferentes registros de representação do objeto matemático como respostas, além de oportunizar feedback para alunos e professores, que são dimensões fundamentais da avaliação formativa. O retorno permite que os professores acompanhem a aprendizagem dos alunos e que estes monitorem o próprio progresso e engajamento nas atividades (Panero;Aldon, 2016;Sangwin;Köcher, 2016).…”

“…Outra limitação da ferramenta está na capacidade de avaliar a justificativa dos alunos e da creditação das questões parcialmente corretas. Para Sangwin (2023), embora o STACK tenha a capacidade de conceder crédito parcial em certas questões, essa habilidade não se estende a todas as situações, nem se compara à flexibilidade inerente a um professor. Essa falta de flexibilidade pode resultar avaliações injustas, especialmente nos casos que demandam uma abordagem interpretativa dos erros cometidos pelos alunos.…”

“…No ensino da Matemática, há várias ferramentas tecnológicas que possibilitam criar uma avaliação automática, comumente associada a questões de múltipla escolha. Contudo, tais formas avaliativas têm sido criticadas há anos, pois podem privilegiar o conhecimento procedural ao invés do conceitual (Sangwin;Köcher, 2016). Motivados pela necessidade de avaliar as respostas dos alunos em atividades matemáticas, os autores indicam o STACK (System for Teaching and Assessment using a Computer Algebra Kernel), um sistema de avaliação online, de código aberto, para apoiar os métodos de avaliação em Matemática.…”