Application of a Cognitive Diagnostic Model to a High-Stakes Reading Comprehension Test

Abstract

General cognitive diagnostic models (CDM) such as the generalized deterministic input, noisy, “and” gate (G-DINA) model are flexible in that they allow for both compensatory and noncompensatory relationships among the subskills within the same test. Most of the previous CDM applications in the literature have been add-ons to simulation studies. Although there are some applications of CDMs such as the Fusion Model and the Rule Space Model to educational assessment data in general and second-language data in particular, there are few studies applying general models such as the G-DINA. The purpose of the present study was to demonstrate the application of the G-DINA to the reading comprehension data of a high-stakes test. To this end, an initial Q-matrix was developed, validated, and cross-validated. The skill profiles of the test takers were estimated using the “CDM” package in R. Throughout, the process of constructing and validating a Q-matrix was elaborated on, the benefits of general models were emphasized, and implications for research investigating inter-skill relationships were discussed. Finally, suggestions for further research, to better take advantage of the flexibilities of general diagnostic models, were presented.

Two-Step Likelihood Ratio Test for Item-Level Model Comparison in Cognitive Diagnosis Models

“…Although it has been found in the CDM context that the LR test is relatively more robust than the W test (Sorrel et al, 2017), the current implementation of the LR test is very time consuming, given that it requires to calibrate many different models and compare them to the general model. For this reason, the W test is generally preferred (e.g., de la Torre et al, 2015;Ravand, 2016) and is the one implemented in the software available (e.g., the CDM and GDINA packages in R; Ma & de la Torre, 2016;Robitzsch, Kiefer, George, & Uenlue, 2016). In this work, we introduce an efficient approximation to the LR test, 2LR, based on a two-step estimation procedure under the G-DINA model framework originally introduced by de la .…”

Evaluación de la Comprensión Lectora mediante un Modelo de Diagnóstico Cognitivo

“…Lee y Sawaki (2009) dispusieron una estructura más simple de atributos: Comprensión de detalles, conexión de ideas e inferencias. Intentos posteriores han identificado otros atributos, como: Vocabulario, sintaxis, extracción de información explícita y comprensión de información implícita (Li, Hunter, & Lei, 2015), los identificados por Ravand (2016): Lectura de detalles, lectura inferencial (inferencia), lectura de idea principal, sintaxis y vocabulario o los propuestos en el trabajo de Hemmati, Baghaei y Bemani (2016): Generación de inferencias, extracción de información explícita, identificación del significado de palabras de acuerdo al contexto, identificación de referencias pronominales y evaluación de opciones de respuesta. En todos estos casos, el paso siguiente a la identificación y selección inicial de las habilidades o atributos que permitieron explicar el desempeño en comprensión, fue la elección del modelo cognitivo más adecuado al constructo y los datos.…”

“…De acuerdo a estos autores, una decisión de importancia corresponde a la elección de un modelo compensatorio o no compensatorio, también llamado conjuntivo. Estos últimos han sido mucho más comunes en comprensión de lectura (Buck, Tatsuoka, & Kostin, 1997;Buck, Van Essen, Tatsuoka, Kostin, Lutz, & Phelps, 1998;Hemmati, Baghaei, & Bemani, 2016;Jang, 2009;Ravand, Barati, & Widhiarso, 2013;Ravand, 2016;von Davier, 2005). Algunos conocidos modelos de tipo no compensatorio son el Rule Space Model (Svetina, Gorin, & Tatsuoka, 2011;Tatsuoka, 2009), el Attributes Hierarchy Model o AHM (Wang & Gierl, 2011), el modelo Deterministic-Input, Noisy-And-Gate, DINA, el modelo Reparameterized Unified Model (RUM) o su sutil derivación, el Fusion Model (Jang, 2009) y el modelo Reduced Reparameterized Unified Model, o RRUM (Jang, 2009;Jang, Dunlop, Wagner, Kim, & Gu, 2013;Li, Hunter, & Lei, 2015), también reconocido como Noncompesatory Reparameterized Unified Model, NC-RUM (Ravand & Robitzsch, 2015).…”

“…Más recientemente, han sido aplicados con buenos resultados algunos modelos de carácter general o saturados. Entre ellos el denominado Generalized Deterministic-Input, Noisy-And-Gate Model, G-DINA Hemmati, Baghaei, & Bemani, 2016;Ravand, 2016), que agrupa los modelos DINA, DINO, RRUM y el General Diagnostic Model o GDM (von Davier, 2005).…”

“…DINA es restrictivo, pues no dominar un atributo necesario para responder un ítem, es igual a no dominar ninguno de ellos. G-DINA relaja el supuesto de igual probabilidad de éxito para todos quienes no han dominado cualquiera, alguno o todos los atributos requeridos para un ítem (Ravand, 2016).…”