Computer-generated log-file analyses as a window into students' minds? A showcase study based on the PISA 2012 assessment of problem solving

Greiff, Samuel; Wüstenberg, Sascha; Avvisati, Francesco

doi:10.1016/j.compedu.2015.10.018

Cited by 137 publications

(136 citation statements)

References 19 publications

Supporting

Mentioning

124

Contrasting

Unclassified

Order By: Relevance

“…Process-oriented dynamic testing originated from an intention to detect (individual) changes in strategy use as a result of training (Resing & Elliott, 2011) and from the idea that examining strategy use would enable an examiner to assess how a person's solving of a task progresses. Examination of an individual's use of strategies, offering information on which specific strategies might be used more effectively, may provide valuable insight into what a person needs to improve specific task performance (Greiff, Wüstenberg, & Avvisati, 2015). The pivotal role of strategy use in task performance has also been highlighted by Siegler (2004Siegler ( , 2007.…”

Section: Process-oriented Testingmentioning

confidence: 99%

Process assessment in dynamic testing using electronic tangibles

Veerbeek

Vogelaar

Verhaegh³

et al. 2018

Computer Assisted Learning

View full text Add to dashboard Cite

Task solving processes and changes in these processes have long been expected to provide valuable information about children's performance in school. This article used electronic tangibles (concrete materials that can be physically manipulated) and a dynamic testing format (pretest, training, and posttest) to investigate children's task solving processes and changes in these processes as a result of training. We also evaluated the value of process information for the prediction of school results. Participants were N = 253 children with a mean age of 7.8 years. Half of them received a graduated prompts training; the other half received repeated practice only. Three process measures were used: grouping behaviour, verbalized strategies, and completion time. Different measures showed different effects of training, with verbalized strategies showing the largest difference on the posttest between trained and untrained children. Although process measures were related to performance on our dynamic task and to math and reading performance in school, the amount of help provided during training provided the most predictive value to school results. We concluded that children's task solving processes provide valuable information, but the interpretation requires more research.

show abstract

Section: Process-oriented Testingmentioning

confidence: 99%

Process assessment in dynamic testing using electronic tangibles

Veerbeek

Vogelaar

Verhaegh³

et al. 2018

Computer Assisted Learning

View full text Add to dashboard Cite

show abstract

“…Moreover, log files can offer valuable feedback about students' learning and cognitive abilities (Greiff et al, 2014). Many recent studies have shown that students' log files provide validity evidence (e.g., Lee & Jia, 2014;Wise & DeMars, 2005), possible associations with student performance (Goldhammer et al, 2014;Greiff et al, 2015), and a better understanding on non-traditional competences (Azzolini, Bazoli, Lievore, Schizzerotto, & Vergolini, 2019).…”

Section: Introductionmentioning

confidence: 99%

The Effects of Log Data on Students’ Performance

Yavuz

2019

Eğitimde Ve Psikolojide Ölçme Ve Değerlendirme Dergisi

View full text Add to dashboard Cite

This study aimed to assess the relationships between response times (RTs), the number of actions taken to solve a given item, and student performance. In addition, the interaction between the students' information and communications technology (ICT) competency, reading literacy, and log data (time and number of actions) were examined in order to gain additional insights regarding the relations between student performance and log data. The sample consisted of 2 348 students who participated in the triennial international large-scale assessment of the Programme for International Student Assessment (PISA). For the current study, 18 items in the one cluster of the 91st booklet were chosen. To achieve the aim of the study, explanatory item response modeling (EIRM) framework based on generalized linear mixed modeling (GLMM) was used. The results of this study showed that students who spent more time on items and those that took more actions on items were more likely to answer the items correctly. However, this effect did not have variability across items and students. Moreover, the interaction only with reading and the number of actions was found to have a positive effect on the students' overall performance.

show abstract

“…A gyenge, közepes és magas szintű hármas osztályozás a szakértősség mennyiségi kü-lönbségeivel is megfogható, amire korábbi kutatások már felhívták a figyelmet (Sonnleitner et al, 2012;Greiff, Wüstenberg, & Avvisati, 2015;OECD, 2014). Ugyanakkor a tipikus közepes szintű problémamegoldó profil meglétét nem támasztották alá elemzéseink.…”

Section: Diszkusszióunclassified

A problémamegoldó és tanulási stratégiák változása 11 és 19 éves kor között: logfile elemzések

Molnár¹

2017

Magyar Pedagógia

View full text Add to dashboard Cite

A pedagógiai mérés-értékelés fejlődése új lehetőségeket teremtett a problémamegoldó ké-pesség iskolai kontextusban történő vizsgálata előtt. A problémamegoldó képesség, mint tantárgyakat átfogó, diszciplínákat átmetsző, a tudás alkalmazhatóságát biztosító transzverzális képesség fontosságát mutatja, hogy az OECD PISA vizsgálatsorozatában is kiemelt helyet kapott. Mérték a második (komplex problémamegoldás -2003; OECD, 2004), az ötödik (kreatív problémamegoldás -2012;OECD, 2010;Funke, 2010) és a hatodik ciklusban (kollaboratív problémamegoldás -2015) is. Mindemellett a legújabb nemzeti és nemzetközi, készségek és képességek definiálását célzó programok is a legfontosabb 21. századi képességek közé sorolták (Binkley et al., 2012). Az oktatási sikeresség kapcsán számos elemzés utalt jelentős mértékű prediktív szerepére Schweizer, Wüstenberg, & Greiff, 2013;Molnár, 2016a), miközben explicit iskolai fejlesztése a mai napig nem valósul meg . A tanulmányban bemutatott elemzések célja 11-19 éves diákok minimálisan komplex, szimulált problémák feltérképezése során alkalmazott explorációs stratégiáinak minőségi és mennyiségi leírása, valamint azok változásának feltérképezése logfájlokon alapuló látens profil elemzések alkalmazásával.A problémamegoldó képesség fejlettségi szintjét mérő kutatásokban más tudás-és ké-pességterületekre vonatkozó vizsgálatokkal ellentétben kevésbé merült fel az igény arra, hogy ugyanazon konstruktum mérése valósuljon meg technológiaalapon, mint korábban papíralapon. E helyett a technológia adta lehetőségek minél szélesebb körű kihasználásá-val a problémamegoldó képesség eddig nem vizsgált részképességeinek kutatása, illetve maga a konstruktum, mint a 21. század egyik kulcsfontosságú képessége, került újradefi-niálásra. A papíralapú, statikus problémák segítségével történt kutatások eredményei egyre kevésbé tükrözték azt, hogy a mai kor diákja milyen jó problémamegoldónak bizonyul a technológiai eszközökkel telített mindennapi életében. Ennek hatására a probléma-megoldó képesség újabb dimenzióinak kutatása indult el számítógép-alapon, lehetővé vált a problémamegoldó képesség korábban nem vizsgált aspektusainak (l.

show abstract

Computer-generated log-file analyses as a window into students' minds? A showcase study based on the PISA 2012 assessment of problem solving

Cited by 137 publications

References 19 publications

Process assessment in dynamic testing using electronic tangibles

Process assessment in dynamic testing using electronic tangibles

The Effects of Log Data on Students’ Performance

A problémamegoldó és tanulási stratégiák változása 11 és 19 éves kor között: logfile elemzések

Contact Info

Product

Resources

About