A scoring rubric for automatic short answer grading system

Abstract

During the past decades, researches about automatic grading have become an interesting issue. These studies focuses on how to make machines are able to help human on assessing students' learning outcomes. Automatic grading enables teachers to assess student's answers with more objective, consistent, and faster. Especially for essay model, it has two different types, i.e. long essay and short answer. Almost of the previous researches merely developed automatic essay grading (AEG) instead of automatic short answer grading (ASAG). This study aims to assess the sentence similarity of short answer to the questions and answers in Indonesian without any language semantic's tool. This research uses pre-processing steps consisting of case folding, tokenization, stemming, and stopword removal. The proposed approach is a scoring rubric obtained by measuring the similarity of sentences using the stringbased similarity methods and the keyword matching process. The dataset used in this study consists of 7 questions, 34 alternative reference answers and 224 student's answers. The experiment results show that the proposed approach is able to achieve a correlation value between 0.65419 up to 0.66383 at Pearson's correlation, with Mean Absolute Error (𝑀𝐴𝐸) value about 0.94994 until 1.24295. The proposed approach also leverages the correlation value and decreases the error value in each method.

Regresi Linear untuk Mengurangi Bias Sistem Penilaian Uraian Singkat

“…Penelitian mengenai AES selanjutnya telah dilakukan menggunakan beberapa tes kemiripan teks, antara lain Longest Common Subsequence (LCS), cosine coefficient, Jaccard coefficient, dan Dice coefficient yang dipadukan dengan mekanisme pencocokan kata kunci untuk sistem penilaian uraian singkat dalam bahasa Indonesia [5]. Mekanisme pencocokan kata kunci ini bertujuan untuk meminimalkan kelompok kata yang bukan merupakan poin utama penyusun jawaban.…”

“…Terlebih lagi, cosine similarity berhasil memberikan kinerja yang lebih baik dalam mengukur kemiripan teks dibandingkan metode serupa lainnya [6]. Sementara itu, mekanisme pencocokan kata dipilih karena berhasil meningkatkan kinerja penilaian sistem AES berdasarkan penelitian sebelumnya [5]. Gabungan metode cosine similarity dan mekanisme pencocokan kata tersebut selanjutnya akan ditambah regresi linear yang motivasinya akan dibahas pada bagian IV ketika membahas hasil.…”

“…Minimalisasi keberagaman nilai manual ini dimaksudkan untuk tidak terlalu memengaruhi koefisien korelasi pada (5) (tingkat linearitas hubungan kedua nilai dan ) sehingga regresi linear masih relevan dilakukan. Selain itu, apabila jawaban uraian singkat sangat dimungkinkan beragam, dapat dibuat beberapa alternatif kunci jawaban sehingga bisa memberikan nilai sistem dan nilai manual yang lebih sesuai seperti yang telah dilakukan sebelumnya [5].…”

“…Sebagai informasi tambahan, koefisien korelasi untuk sistem AES dengan metode cosine similarity atau cosine coefficient cukup tinggi, yaitu antara 0,6 dan 0,7 pada penelitian lain [5], [6]. Hal tersebut mengindikasikan bahwa regresi linear dapat diterapkan untuk sistem AES pada penelitian tersebut.…”

Automatic Short Answer Grading System in Indonesian Language Using BERT Machine Learning

“…Currently, many short answer question grading systems have been studied to get better grading accuracy. In 2019 Hasanah et al [7] conducted a study entitled "A scoring rubric for automatic short answer grading system". This study aims to perform grading without using language semantic's tool.…”