Avaliação Automática de respostas discursivas curtas baseado em três dimensões linguísticas

Abstract

As the use of virtual environments grows, there is a need for a system of automatic evaluation of discursive answers. This paper proposes a method for automatic evaluation of discursive short answers based on a machine learning architecture. The predictive method is based on the collection of features (140) of similarity between texts in a taxonomy of three linguistic dimensions: lexical, syntactic and semantic. As a result, we obtained quadratic kappa 0.72 human x system (SxH) against 0.94 human x human (HxH) for the proof of biology and an accuracy 0.76 SxH against 0.58 HxH for the proof of geography.Resumo. Com o crescimento do uso de ambientes virtuais cresce a necessidade de um sistema avaliador automático para respostas discursivas. Este trabalho propõem um método para avaliação automática de respostas discursivas curtas baseado numa arquitetura de aprendizagem de máquina de 5 etapas. O método preditivo é baseado na coleta de features (140) de similaridade entre textos numa taxonomia de três dimensões linguísticas: léxico, sintático e semântico. Como resultado obtivemos kappa quadrático 0.72 sistema x humano (SxH) contra 0.94 humano x humano (HxH) para a prova de Biologia e uma acurácia 0.76 SxH contra 0.58 HxH para a prova de Geografia.

teste

“…Quando voltamos ao processo de correção textual sendo feito muitas vezes de forma manual, podemos encontrar aplicações de correção de redações, estabelecendo critérios avaliativos, que poderiam servir como suporte ao examinador em tomadas de decisão, proporcionando um auxílio importante em sua avaliação (COSTA; OLIVEIRA; CASTRO JÚNIOR, 2020). Trabalhos como de Sirotheau et al (2019) destacam como uma aplicação que processa linguagem natural na correção de questões dissertativas apresenta maturidade suficiente para que possam ser utilizadas em Ambientes Virtuais de Aprendizagem.…”