Complex problem solving in educational contexts—Something beyond g: Concept, assessment, measurement invariance, and construct validity.

Abstract

Innovative assessments of cross-curricular competencies such as complex problem solving (CPS) have currently received considerable attention in large-scale educational studies. This study investigated the nature of CPS by applying a state-of-the-art approach to assess CPS in high school. We analyzed whether two processes derived from cognitive psychology, knowledge acquisition and knowledge application, could be measured equally well across grades and how these processes differed between grades. Further, relations between CPS, general mental ability (g), academic achievement, and parental education were explored. Hungarian high school students in Grades 5 to 11 (N = 855) completed MicroDYN, which is a computer-based CPS test, and the Culture Fair Test 20-R as a measure of g. Results based on structural equation models showed that empirical modeling of CPS was in line with theories from cognitive psychology such that the two dimensions identified above were found in all grades, and that there was some development of CPS in school, although the Grade 9 students deviated from the general pattern of development. Finally, path analysis showed that CPS was a relevant predictor of academic achievement over and above g. Overall, results of the current study provide support for an understanding of CPS as a cross-curricular skill that is accessible through computer-based assessment and that yields substantial relations to school performance. Thus, the increasing attention CPS has currently received on an international level seems warranted given its high relevance for educational psychologists.

A problémamegoldó és tanulási stratégiák változása 11 és 19 éves kor között: logfile elemzések

“…A papíralapú, statikus problémák segítségével történt kutatások eredményei egyre kevésbé tükrözték azt, hogy a mai kor diákja milyen jó problémamegoldónak bizonyul a technológiai eszközökkel telített mindennapi életében. Ennek hatására a probléma-megoldó képesség újabb dimenzióinak kutatása indult el számítógép-alapon, lehetővé vált a problémamegoldó képesség korábban nem vizsgált aspektusainak (l. Molnár, 2012;Greiff et al, 2013;Wüstenberg, Greiff, Molnár, & Funke, 2014), mint például a probléma feltérképezése, megoldása során alkalmazott explorációs stratégiák minőségi különböző-ségének feltérképezése.…”

“…Az interaktív problémamegoldás teszt 10-10 problémája különböző komplexitású, a MicroDYN modellen alapuló (Funke, 1992;Greiff et al, 2013), minimálisan komplex rendszer volt. Felépítésükben azonosak voltak a PISA 2012 kreatív problémamegoldás kutatásban alkalmazott interaktív problémákkal (OECD, 2014).…”

“…Ennek érdekében 180 másodperc alatt a Brekon és a Mikas nevű bementi változók értékeinek változtatásával, majd a beállított értékek alkalmazásával ('Alkalmazás' gombra való kattintás) és a kimeneti változókban történt értékváltozás megfigyelésével szabadon, irányítás nélkül fedezhették fel a rendszert. Greiff et al, 2013) A problémamegoldás második fázisában a probléma alatt található modellben nyilak segítségével ábrázolni kellett a felfedezett összefüggésrendszert (melyik bemeneti változó melyik kimeneti változóra van hatással -sajátdinamika és mellékhatás (l. 1. ábra) nem szerepelt a tanulmányban elemzésre került problémák között). Végül a harmadik fázisban működtetni kellett a rendszert: megismerve a valódi összefüggéseket a bemeneti változók értékeit változtatva elérni a kimeneti változók előre meghatározott célértékeit.…”

A dinamikus problémamegoldó képesség mint a tudás elsajátításának és alkalmazásának képessége

“…Ellenkező esetben 0 pontot kapott a probléma e fázi-sának megoldására. Greiff, Wüstenberg, Molnár, Fischer, Funke és Csapó, 2013;R. Tóth, Molnár, Wüstenberg, Greiff és Csapó, 2011) adaptáltuk azokat.…”

“…Miután a SEM elemzések nagyobb mintaelemszámot igényelnek, mint a hagyományos manifeszt szintű statisztikai eljárások -Ullman (2007) javaslata értelmében a közelített paraméterek száma ne legyen több, mint a vizsgált minta ötöde (Greiff, Wüstenberg, Molnár, Fischer, Funke és Csapó, 2013) -, ezért a különböző teszteket megoldó 4. és 5. évfolyamos diákok adatait a közös itemekre alapozva, összevonva vettük bele ebbe az elemzésbe. (A 3. évfolyamosok tesztjében a problémák első fele jelent csak meg, így ott értelmezhetetlen volt a dimenzionalitás-vizsgálat.…”