Towards Automatic Flow Experience Identification in Educational Systems: A Qualitative Study

Abstract

One of the main challenges in the field of learning technologies is the automatic students' flow experience identification in educational systems. This challenge occurs because the flow experience identification is usually conducted by using invasive techniques (e.g., eye trackers or electroencephalograms) or approaches that are not able to handle a large number of students at the same time (e.g., questionnaires/scales or interviews). Despite recent studies proposed to analyze students' flow experience based on user data logs, most of these studies are theoretical without data-based analysis. To move towards the automatic flow experience identification in educational systems, we conducted a qualitative study to analyze possible relations between the students' interaction data logs, behavior, and flow experience in an educational system. The results show that some data logs are related to the students' flow experience. Our results provide insights into the relations amongst the data logs, the flow experience, and students' behavior, which could be beneficial to the development of an approach for automatic identification of the flow experience in educational systems.

The Relationship Between Students' Flow Experience and Their Behavior Data in Gamified Educational Systems

“…Considering the limitations of the previously presented methods, researchers are investigating the possibility of measuring flow experience through data logs that are produced by the users while using the systems, and it has been presenting promising results in the educational technology field [17,18,22,19].…”

“…Previous techniques adopted to measure flow experiences, such as electroencephalography (EEG), eye trackers, interviews, and questionnaires, presented limitations as high cost and the impossibility of conduct a massive application [17,20,21]. A more recent and promising approach is to measure flow experiences through the use of data logs of students in learning systems [17,18,19,22]. However, this field is still poorly explored, and there is a lack of empirical data-driven study to investigate the relation between the users' data logs and their flow experience in gamified educational systems [17,18,19,20,23].…”

Identification of the flow experience in gamified educational environment

“…Ипак, ова истраживања изучавају само једну од девет димензија тока -баланс изазова и вештина. Одређени радови баве се квалитативним истраживањем везе искуства тока студената са логованим подацима (Oliveira, Toda, Palomino, Rodrigues, Shi, L., Isotani, 2020), док неки истраживачи користе методе машинског учења како би моделирали искуства студената (Semerci & Goularas, 2020). Анализа досадашњих истраживања указује на постојање потребе за експериментима у другим новим контекстима, између осталог и у гејмификованим образовним окружењима, што је предмет овог рада.…”

“…Како велики број студената користи онлајн образовне платформе последњих година (нарочито у последњих годину дана услед здравствене кризе проузроковане ковид-19 инфекцијом), долази до креирања огромних скупова података генерисаних током ових интеракција чија је анализа била предмет многих истраживања искуства студената (Akçapınar, Hasnine, Majumdar, Flanagan, Ogata, 2019;López-Zambrano, Lara, Romero, 2020;Mubarak, Cao, Zhang, 2020). Резултати истраживања указују на постојање повезаности између различитих димензија искуства тока студената и логованих података (Oliveira et al, 2020;Semerci & Goularas, 2020), стога је постављена истраживачка хипотеза: Постоји корелација између логованих података у гејмификованим образовним окружењима и искуства тока студената током интеракције у њима.…”

“…Утврђено је постојање негативне корелације између логованих података и димензије јасни циљеви, што се може објаснити постојањем претходно наведене корелације, јер када студент не прими једнозначну повратну информацију, вероватно је да неће моћи јасно разумети циљеве активности. Овај резултат је у складу са закључцима аналогног квали-тативно истраживања (Oliveira et al, 2020) у коме је идентификована да је број тачних корака/активности у пропорцији са димензијом јасни циљеви. Најзначајнија негативна корелација је идентификована између логованих података и димензије губитак самосвести.…”