Critical appraisal in systematic reviews of educational research—Planning steps and criteria for assessing the internal validity of intervention studies

Abstract

ZusammenfassungSystematische Reviews, die in der evidenzbasierten Medizin heute fest etabliert sind, werden auch in der Bildungsforschung zunehmend umgesetzt. Mithilfe solcher Übersichtsstudien lassen sich Wirkungsbefunde zu pädagogischen Maßnahmen umfänglich zusammentragen und evaluieren. Da hierfür eine Einschätzung der Qualität der empirischen Datenlage notwendig ist, stellt die Qualitätsbewertung von Studien eine zentrale Aufgabe im Review-Prozess dar. Sofern die Durchführung eines Reviews nicht über externe Review-Organisationen erfolgt, muss die Studienbewertung selbstständig konzipiert werden. Dies birgt jedoch Herausforderungen angesichts der vielfältigen Forschungsdesigns von pädagogischen Interventionsstudien und möglichen Bewertungskriterien, die passend zum Evidenzkonzept in der Bildung und zum jeweiligen Untersuchungsgegenstand definiert werden müssen. Der Beitrag beleuchtet die selbstständige Konzeptionierung der Studienbewertung in systematischen Reviews der Bildungsforschung und fokussiert dabei die Beurteilung der internen Validität von Interventionsstudien. Es werden relevante Planungsschritte zusammengefasst und reflektiert, die aus einer Recherche in theoretisch-konzeptionellen Arbeiten und Kriterien-Checklisten zur Qualitätsevaluation hervorgehen. Die Umsetzung dieser Schritte wird anhand der Studienbewertung eines systematischen Reviews zur Wirkung sprachsensibler Unterrichtsansätze exemplarisch illustriert. Dabei wird auch das Kriterienraster zur Beurteilung der internen Validität von pädagogischen Interventionsstudien vorgestellt, das in diesem Review als Ergebnis des Konzeptionsprozesses entstanden ist. Der Beitrag macht deutlich, dass die Studienbewertung gründliche Planungen und Richtungsentscheide voraussetzt. Das vorgestellte Kriterienraster kann zur Orientierung für die Qualitätsbewertung in anderen systematischen Reviews der Bildungsforschung dienen.

Effects of Arts-Based Pedagogy on Competence Development in Nursing: A Critical Systematic Review

“…The CEC Standards also provide a grid for classifying the evidence base of practices based on high-quality research [82]. Quality criteria sets must be adapted to the context and scope of the systematic review [58]. For this review, QIs 2.2 and 5.3 of the CEC Standards were excluded because they refer to requirements in special education and do not fit arts-based pedagogy.…”

“…Quantitative intervention studies are crucial in educational impact research because they allow for statistical verification of the causality between intervention and effect. They are an essential element of evidence-based practice (EBP), where the effectiveness of an intervention is the determining factor [58]. A practice is considered evidence-based if it is "supported by a sufficient number of research studies that (a) are of high methodological quality, (b) use appropriate research designs that allow for assessment of effectiveness, and (c) demonstrate meaningful effect sizes" ( [59], p. 495).…”