Development of the Concept Inventory CCCI-422 Regarding the Underlying Scientific Principles of Climate Change

Abstract

ZusammenfassungDer aktuelle Klimawandel stellt unsere Gesellschaft, besonders zukünftige Generationen, vor große Herausforderungen. Ein grundlegendes Verständnis des Klimawandels kann nicht nur Jugendlichen dabei helfen, falsche oder widersprüchliche Darstellungen besser einzuschätzen, um so am gesellschaftlichen Diskurs zum Thema Klimawandel teilhaben zu können. Um Aussagen über das Verständnis von zentralen fachlichen Inhalten zum Klimawandel zuverlässig treffen zu können, braucht es geeignete Testinstrumente. Für die Entwicklung eines Concept Inventories zu den naturwissenschaftlichen Grundlagen des Klimawandels (den wir CCCI-422 nennen) wurden zentrale fachliche Inhalte identifiziert, offene Aufgaben entwickelt und schließlich Distraktoren und Attraktoren aus insgesamt über 50 Interviews abgeleitet. Anschließend wurde der Concept Inventory in mehreren Pilotierungs- und Validierungsstudien eingesetzt, um so unterschiedliche Argumente, die für den Einsatz des CCCI-422 sprechen, zu sammeln. Es wurde etwa eine Teilstudie durchgeführt, um ein Argument für die externe Validität der Testwertinterpretation zu formulieren. Dabei zeigten sich theoretisch angenommene Unterschiede auch in den Personenfähigkeiten. In zwei weiteren Teilstudien konnten zusätzlich Argumente für die Instruktionssensitivität des Concept Inventories formuliert werden. Als Argument für die Konstruktvalidität lässt sich zudem auf Basis von Dimensionsanalysen eine eindimensionale sowie fünfdimensionale Struktur ableiten. Diese fünf Dimensionen entsprechen den fünf theoretisch abgeleiteten Inhaltsbereichen, wobei tendenziell Unterschied Wetter – Klima der leichteste und Atmosphäre unserer Erde der schwerste Inhaltsbereich sind. Wir plädieren daher dafür, dass der CCCI-422 abhängig vom Einsatzzweck als eindimensionaler oder fünfdimensionaler Concept Inventory genutzt werden kann. In diesem Beitrag wird der entwickelte Concept Inventory inklusive seinem Entstehungsprozess vorgestellt, der als Onlinematerial zur Nutzung zur Verfügung gestellt wird.

Navigating the complexities of student understanding: Exploring the coherency of students' conceptions about the greenhouse effect

“…The present study focuses on specific students' conceptions related to the greenhouse effect, such as conceptions about the reflection of visible light and infrared radiation by greenhouse gases. However, it is important to acknowledge that there may be other misconceptions or factors influencing students' understanding of the greenhouse effect that were not considered in this study or covered by the concept inventory developed by Schubatzky, Wackermann, et al (2023). Especially, we not only acknowledge but suspect that students' understanding of reflection, absorption, and radiation might very well influence the coherency of students' frameworks.…”

“…Hence, these knowledge pieces are building blocks for the general model/framework. We thereby focus on an adequate framework of the GHE, a reflection-based framework and an ozone-hole-based framework, derived from the preconception types of Reinfried and Tempelmann (2014) We decided to call these general models frameworks instead of mental models, because we used one single-select item to diagnose the students' frameworks and we do not want to evoke the impression that it is possible to infer a mental model from only one simple question, although we think of the frameworks as strong indicators for their mental models since the multiple choice answers were derived from over 50 interviews with students (Schubatzky, Wackermann, et al, 2023). Regarding the knowledge pieces, we focus on students' ideas regarding three questions concerning (1) the interaction of greenhouse gases with visible radiation from the Sun, (2) visible radiation reflected by the Earth, and (3) ideas about the interaction of greenhouse gases with infrared radiation from the Earth.…”

“…To identify the students' conceptions about the GHE, we used parts of a climate change concept inventory (Schubatzky, Wackermann, et al, 2023) using single-select questions. The items of this concept inventory were developed in several qualitative and quantitative cycles and investigated with respect to content, cognitive, and construct validity.…”

“…Hence, our analysis of Research Questions 1a and 1b highlights the importance of aligning knowledge pieces with the corresponding framework to promote a comprehensive understanding of the GHE. However, it is possible that participants did not have sufficient instruction regarding the greenhouse effect (Schubatzky, Wackermann, et al, 2023, and hence the corresponding knowledge pieces are not developed), and thus the relationships between knowledge pieces and frameworks are not strongly developed.…”

“…Furthermore, it is important to note that although the answers in the concept inventory do reflect typical student misconceptions about the greenhouse effect (Schubatzky, Wackermann, et al, 2023;Wackermann et al, 2022), concept inventories are designed based on the assumptions and perspectives of the test developers, which may not align with students' diverse cultural, linguistic, or experiential backgrounds. However, several validation studies were conducted during the development of the concept inventory to ensure cognitive validity (Schubatzky, Wackermann, et al, 2023). Due to the use of single-select items, certain conceptions may have been imposed upon the students that they would not have used otherwise.…”