Theory-based learning analytics to explore student engagement patterns in a peer review activity

Abstract

Peer reviews offer many learning benefits. Understanding students' engagement in them can help design effective practices. Although learning analytics can be effective in generating such insights, its application in peer reviews is scarce. Theory can provide the necessary foundations to inform the design of learning analytics research and the interpretation of its results. In this paper, we followed a theory-based learning analytics approach to identifying students' engagement patterns in a peer review activity facilitated via a webbased tool called Synergy. Process mining was applied on temporal learning data, traced by Synergy. The theory about peer review helped determine relevant data points and guided the top-down approach employed for their analysis: moving from the global phases to regulation of learning, and then to micro-level actions. The results suggest that theory and learning analytics should mutually relate with each other. Mainly, theory played a critical role in identifying a priori engagement patterns, which provided an informed perspective when interpreting the results. In return, the results of the learning analytics offered critical insights about student behavior that was not expected by the theory (i.e., low levels of co-regulation). The findings provided important implications for refining the grounding theory and its operationalization in Synergy.

Üni̇versi̇te Öğrenci̇leri̇ni̇n Akran Geri̇ Bi̇ldi̇ri̇mi̇ Verme Davranişlarinin Süreç Madenci̇li̇ği̇ İle İncelenmesi̇

“…Süreç madenciliğiyle bir dizi zaman damgalı eyleme dayalı süreç modelleri oluşturulur ve bu modeller zaman ekseninde öğrenci davranışındaki akış ve kalıpları belirlemeye yardımcı olur (Matcha et al, 2020). Bu teknik, son yıllarda öğrencilerin çalışma stratejilerini ve öz-düzenleme süreçlerini modellemek için yaygın olarak kullanılmaktadır (Er et al, 2021;Gašević et al, 2017;Saint et al, 2020). Süreç madenciliğini gerçekleştirmek için Disco 2 yazılımı kullanılmıştır.…”

“…Tutarlı bir şekilde, yüksek performans grubundaki öğrencilerin davranışları iş birlikçi geri bildirim teorisiyle ile uyumluyken, orta performanslı öğrencilerin davranışlarında teoriden önemli ölçüde sapmalar olmuştur. İdeal öğrenicilerin davranışlarının teori ile daha uyumlu olduğuna dair benzer bulgular alan yazında da rastlanmaktadır (Er et al, 2021;Saint et al, 2020).…”