Short-Scale Construction Using Meta-Analytic Ant Colony Optimization: A Demonstration With the Need For Cognition Scale

Abstract

The Need for Cognition Scale (NCS) is a self-report scale measuring individual differences in the tendency to engage in and enjoy thinking. The shortened scale with 18 items (NCS-18; Cacioppo et al., 1984) has widely been administered in research on persuasion, critical thinking, and educational achievement. Whereas most studies advocated for essential uni-dimensionality, the question remains which psychometric model yields the best representation of the NCS-18. In the present study, we compared six competing measurement models of the NCS-18 with meta-analytic structural equation models using summary data of 86 samples (N = 89,468). Results demonstrated that the negatively worded items introduced considerable measurement bias that was best accounted for with an acquiescence model. In a further analytical step, we showcased how the pooled correlation matrix can be used to compile short versions of the NCS via Ant Colony Optimization. We examined model fit and reliability of short scales with varying item numbers (between 4 and 15) and a balanced ratio of positively and negatively worded items. We discuss the potentials and limits of the newly proposed method.

Measurement of Instrumental and Critical Digital Skills as Well as Technology-Related Teaching Skills of (Prospective) Teachers

“…Häufig werden bei der Entwicklung von Kurzskalen Items basierend auf deren Reliabilität ausgewählt, wobei jedoch nicht selten die Validität der Skalen abnimmt(Rammstedt und Beierlein 2014;Schweizer 2011;Steger et al 2022). Metaheuristische Algorithmen haben sich diesen traditionellen Verfahren als überlegen erwiesen(Olaru et al 2019;Schroeders et al 2023;Schroeders, Wilhelm, und Olaru 2016). Diese Algorithmen erlauben, unter Bezugnahme auf theoretische Prämissen inhaltliche Konstrukte ebenfalls zu berücksichtigen(Steger et al 2022).…”

“…Diese Algorithmen erlauben, unter Bezugnahme auf theoretische Prämissen inhaltliche Konstrukte ebenfalls zu berücksichtigen(Steger et al 2022). Zudem operieren sie auf der Ebene der Validität der kompletten Skala und nicht nur einzelner Items und sind daher nicht anfällig für Sequenzeffekte(Schroeders et al 2023). Zur Entwicklung der Kurzskala wurde daher auf den metaheuristischen Ant Colony Optimization Algorithms-Ansatz (ACO) zurückgegriffen, der nach Vorbild des Verhaltens von Ameisen bei der Futtersuche entwickelt wurde (s Schroeders et al 2023)…”

“…. Der Algorithmus ermöglicht, eine optimale Skala unter Berücksichtigung verschiedener Auswahlkriterien zu finden, wobei komplexe kombinatorische Prozesse ablaufen, die mit traditionellen Verfahren nicht in angemessener Zeit lösbar wären(Schroeders et al 2023). Damit wird möglich, für eine Skala eine optimale Modellpassung einer bestimmten Anzahl an Items zu ermitteln und gleichzeitig Kriterien festzulegen, die eine Abdeckung der inhaltlichen Konstrukte sicherstellen(Steger et al 2022).Im Fall der vorliegenden Studie bedeutet das, dass wir mithilfe des ACO-Ansatzes die Bedingungen festlegen können, denen die Kurzskala genügen muss, die wir erzeugen wollen.…”