Comparing apples with oranges? An approach to link TIMSS and the National Educational Panel Study in Germany via equipercentile and IRT methods

Nissen, Annika; Ehmke, Timo; Köller, Olaf; Duchhardt, Christoph

doi:10.1016/j.stueduc.2015.07.003

Cited by 10 publications

(4 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Onderzoek in Canada, Duitsland, Engeland en de Verenigde staten toont verder dat de vaardigheden die gemeten worden in internationale studies psychometrisch nauw verwant zijn met hun nationale toetsen (Cartwright, 2012;Ehmke, van den Ham, Sälzer, Heine, & Prenzel, 2020;Hambleton, Sireci, & Smith, 2009;Nissen, Ehmke, Köller, & Duchhardt, 2015;Wagner, Hahn, Schöps, Ihme, & Köller, 2018). Bijgevolg, als toetsen in internationaal vergelijkend onderzoek en nationale studies nauw verwante constructen meten, dan is het niet verbazend dat ze op gelijkaardige trends uitkomen.…”

Section: Lezen Lager Onderwijsunclassified

Tonen de Vlaamse peilingsonderzoeken en internationale studies dezelfde trends in leerlingprestaties?

Dockx,

Pelgrims,

Aesaert

et al. 2023

Pedagog. Stud.

View full text Add to dashboard Cite

Het Vlaamse onderwijs wordt geconfronteerd met dalende leerlingprestaties in verschillende internationaal vergelijkende studies. Deze studies hanteren daarbij een toetskader dat is gericht op het meten van vaardigheden over verschillende landen en culturen. Hierdoor is het onbekend of een trend voor een bepaalde vaardigheid in een internationale studie gelijk is aan de trend van de vaardigheid zoals deze begrepen wordt in de Vlaamse context. Vlaanderen organiseerde echter tussen 2002 en 2022 jaarlijks peilingsonderzoeken die wel gebaseerd waren op de Vlaamse eindtermen. In deze studie onderzochten we de trends voor lezen en wiskunde volgens de Vlaamse peilingsonderzoeken en vergeleken deze met trends in internationale studies. Daarnaast gingen we de robuustheid na van de trends in internationaal vergelijkende studies door nieuwe itemparameters enkel op basis van Vlaamse gegevens te schatten. De resultaten toonden dat de trends voor de peilingsonderzoeken en internationale onderzoeken gelijkaardig zijn voor overeenkomstige vaardigheden. Wanneer de itemparameters van de internationale studies enkel op basis van de Vlaamse gegevens werden geherkalibreerd, werden de trends meer gelijkaardig in grootte.

show abstract

Section: Lezen Lager Onderwijsunclassified

Tonen de Vlaamse peilingsonderzoeken en internationale studies dezelfde trends in leerlingprestaties?

Dockx,

Pelgrims,

Aesaert

et al. 2023

Pedagog. Stud.

View full text Add to dashboard Cite

show abstract

“…Fünf Plausible Values (PVs) wurden pro Schülerin/Schüler und Test gezogen und linear auf den Mittelwert von M = 500 und eine Standardabweichung von SD = 100 transformiert. Nissen et al (2015) haben gezeigt, dass die Verteilungen der mit dem Equipercentile Equating verlinkten Werte im Vergleich zum IRT-Linking ähnlicher sind. Das Equipercentile Equating basiert auf der Idee, dass die Testwerte aus zwei Tests mit dem gleichen Perzentilrang als gleichwertig deklariert werden (Kolen und Brennan 2004).…”

Section: Skalenäquivalenz Und Linkingunclassified

“…Methode ermöglicht die Vorhersage der Werte des Tests A aus den Werten des Tests B und umgekehrt. Für die Verknüpfung mit Hilfe des Equating müssen die Tests in Bezug auf alle Merkmale des Ansatzes vonKolen und Brennan (2004) ähnlich sein Nissen et al (2015). haben in ihrer Studie das Linking auf Grundlage der Item-Response-Theorie (IRT) und das Equipercentile Equating hinsichtlich der Qualität des Linkings miteinander verglichen, indem sie die Mathematik-Werte des TIMSS 2011-Tests für die vierte Klasse mit den entsprechenden Werten des NEPS-Tests 2010 für die fünfte Klasse verknüpft haben.…”

unclassified

Vergleichbarkeit der naturwissenschaftlichen Kompetenz in der neunten Klasse im Nationalen Bildungspanel und im IQB-Ländervergleich 2012

et al. 2019

Self Cite

View full text Add to dashboard Cite

Zusammenfassung Verschiedene Schulleistungsstudien in Deutschland messen die Kompetenz von Schülerinnen und Schülern in den Naturwissenschaften am Ende der Sekundarstufe I, wie z. B. der IQB-Ländervergleich (LV; neuerdings IQB-Bildungstrend) und das Nationale Bildungspanel (NEPS). Die vorliegende Untersuchung beschäftigt sich mit der Überprüfung der dimensionalen Äquivalenz und der Skalenäquivalenz der Testwerte von NEPS und dem LV mit dem Ziel, die Skalen beider Studien miteinander zu verlinken. Zu diesem Zweck wurde eine Linking-Studie durchgeführt, in der 678 Schülerinnen und Schüler in einem Single-Group-Design die Aufgaben aus beiden Studien bearbeitet haben. Die Analysen zeigten eine hohe Vergleichbarkeit der NEPS-und LV-Testinstrumente hinsichtlich der faktoriellen Struktur der Daten sowie der Verteilung von Kompetenzwerten. Das Linking erfolgte mittels Equipercentile Equating und zeigte eine hohe Übereinstimmung der Testwertverteilung beider Studien sowie der Verteilung der Personen auf die Kompetenzstufen des LV.

show abstract

“…Jahrgangsstufe), welche unterschiedliche Kompetenztests bearbeitet hatten (NEPS vs. IQB-LV 2012). Um Skalen miteinander zu verlinken, werden in der Literatur unterschiedliche Linkingmethoden vorgeschlagen (Nissen et al 2015 …”

Section: Linking-studie -Durchführung Stichprobe Und Analysenunclassified

Standard-based abilities in mathematics at the end of upper secondary education

Kampa

Hinz²,

Haag³

et al. 2017

Z Erziehungswiss

Self Cite

View full text Add to dashboard Cite

Standard-based abilities in mathematics at the end of upper secondary educationA linking-study Abstract Several large-scale assessments focus on mathematical abilities at the end of upper secondary education. They show that more than 50% of graduates fail to meet the target-level of pre-university education in mathematics. To extend these findings, we pose the question whether the same graduates at least meet the goals related to the Educational Standards for the intermediate school-leaving certificate. Particularly, we investigate whether the upper secondary education succeeds in consolidating or even deepening the content and abilities of the lower secondary level education. We analyzed data from students (N = 3641) who were enrolled in grade 13 in academic and vocational upper secondary schools in Schleswig-Holstein. In upper secondary level in Schleswig-Holstein, students opt between different tracks: academic and vocational. Through a linking study, the administered test in mathematics was transformed to the national metric (M = 500, SD = 100, end of grade 9) of the IQB-National Assessment 2012 for the intermediate school leaving certificate in mathematics. The results show that at the end of upper secondary education norms that are typically expected for the acquisition of the intermediate school leaving certificate are more than met in almost all tracks. We conclude by elucidating implications for target levels of pre-university education.

show abstract

Comparing apples with oranges? An approach to link TIMSS and the National Educational Panel Study in Germany via equipercentile and IRT methods

Cited by 10 publications

References 15 publications

Tonen de Vlaamse peilingsonderzoeken en internationale studies dezelfde trends in leerlingprestaties?

Tonen de Vlaamse peilingsonderzoeken en internationale studies dezelfde trends in leerlingprestaties?

Vergleichbarkeit der naturwissenschaftlichen Kompetenz in der neunten Klasse im Nationalen Bildungspanel und im IQB-Ländervergleich 2012

Standard-based abilities in mathematics at the end of upper secondary education

Contact Info

Product

Resources

About