Skills Diagnosis Using IRT‐Based Latent Class Models

Abstract

This article describes a latent trait approach to skills diagnosis based on a particular variety of latent class models that employ item response functions (IRFs) as in typical item response theory (IRT) models. To enable and encourage comparisons with other approaches, this description is provided in terms of the main components of any psychometric approach: the ability model and the IRF structure; review of research on estimation, model checking, reliability, validity, equating, and scoring; and a brief review of real data applications. In this manner the article demonstrates that this approach to skills diagnosis has built a strong initial foundation of research and resources available to potential users. The outlook for future research and applications is discussed with special emphasis on a call for pilot studies and concomitant increased validity research.

Cognitive Diagnostic Analysis of Reading Comprehension Items: The Case of English Proficiency Assessment in Saudi Arabia

“…The results are provided in Table 4. Using the MAD cutoff values for levels of ICC recovery described earlier, (a) there are two items (11 and 29) with very good recovery, MAD<0.02, (b) 13 items (3,6,7,10,14,16,17,21,24,27,32,35,39) with good recovery, 0.02 ≤ MAD<0.05, (c) seven items (12,13,18,26,28,36,37) with somewhat good recovery, 0.05 ≤ MAD<0.07), (d) six items (2,15,19,22,25,34) with somewhat poor recovery, 0.07 ≤ MAD<0.10, (e) and 11 items (1,4,5,8,9,20,23,30,31,33,38) The presence of items with unsatisfactory (somewhat poor or poor) ICC recovery is not a surprise because it is not realistic to expect that the small number of attributes with relatively high level of generality, used in this study, would be sufficient to fully explain the conditional probabilities of correct response for all test items. Nevertheless, the ICC fit and misfit of STEP-RC items provide information in line with the purpose of the present study; (more details on that matter are provided in the discussion part).…”

“…CDMs have been developed in a variety of frameworks such as (a) item response theory (IRT), [17][18][19], (b) rule space methodology [14,[20][21][22], (c) latent class modeling [6,9,[23][24][25], (d) IRT-based latent class modeling [26][27][28], and (e) Bayesian modeling [29]. Although practical applications of CDMs exist in different areas of assessment, such as mathematics [30][31][32][33], language testing [8,[34][35][36][37], and psychology [12,16], the current practice is still behind theoretical and methodological developments in the field of cognitive diagnosis modeling.…”

2010, odyssée des modèles de classification diagnostique (MCD)

“…en effet, ce sujet a fait l'objet du numéro spécial à l'hiver 2007 du Journal of Educational Measurement (almond, 2007 ;Bolt, 2007 ;diBello & stout, 2007 ;Gierl, 2007 ;henson, templin & douglas, 2007 ;roussos, templin & henson, 2007 ;stout, 2007). Peu de temps après, un article synthèse de rupp et templin (2008) est publié dans le dernier numéro de l'année 2008 de la revue Measurement : Interdisciplinary Research & Perspective, le reste de ce numéro étant constitué par trois articles commentaires qui lui sont reliés (Gierl, 2008 ;Karelitz, 2008 ;leighton, 2008).…”

“…la validité externe des classifications diagnostiques obtenues doit être étudiée en comparant les résultats à d'autres sources d'information (Bolt, 2007 ;haberman & von davier, 2007). l'équivalence des diagnostics issus des mêmes données mais de modèles différents, ou de données provenant de différents tests doit également être étudiée (Maris & Bechger, 2009 ;roussos et al, 2007 ;sinharay & haberman, 2009). enfin, la validité interne des modèles doit faire l'objet d'études approfondies afin de s'assurer de la qualité des classifications (roussos et al, 2007 ; sinharay & haberman, 2009).…”

“…ainsi, les habiletés sont à l'origine du choix du modèle, selon qu'elles sont vues comme compensatoires ou non, et le test devrait être développé sur la base de ces habiletés. il faut donc définir de nouvelles méthodes pour développer des tests et vérifier la fiabilité des données obtenues avant de pouvoir espérer mener des études empiriques valides (Gorin, 2009 ;henson, 2009 ;loye et al, sous presse ;roussos et al, 2007 ;sinharay & haberman, 2009). toutefois, la question de savoir s'il est vraiment possible de démêler des habiletés spécifiques qui sont fortement corrélées entre elles, ainsi qu'à une habileté générale, reste ouverte.…”