Item response theory in educational assessment and evaluation

Abstract

Item response theory provides a useful and theoretically well-founded framework for educational measurement. It supports such activities as the construction of measurement instruments, linking and equating measurements, and evaluation of test bias and differential item functioning. It further provides underpinnings for item banking and flexible test administration designs, such as multiple matrix sampling, flexi-level testing, and computerized adaptive testing. First, a concise introduction to the principles of IRT models is given. The models discussed pertain to dichotomous items (items that are scored as either correct or incorrect) and polytomous items (items with partial credit scoring, such as most types of openended questions and performance assessments). Second, it is shown how an IRT measurement model can be enhanced with a structural model, such as, for instance, an analysis of variance model, to relate data from achievement and ability tests to students’ background variables, such as socio-economic status, intelligence or cultural capital, to school variables, and to features of the schooling system. Two applications are presented. The first one pertains to equating and linking of assessments, and the second one to a combination of an IRT measurement model and a multilevel linear model useful in school effectiveness research.La théorie de réponse à l’item (TRI) fournit un cadre utile et théoriquement bien fondé pour la mesure en éducation. Elle soutient des activités telles que la construction d’instruments de mesure, les procédures de mise en relation et de vérification d’équivalence des mesures, l’évaluation du biais d’un test et le fonctionnement différentiel d’items. Elle prévoit la base pour des banques d’items et des designs flexibles pour l’administration d’un test, comme les méthodes d’échantillonnage multicritérié, « flexi-level testing », et la méthode du test adaptatif par ordinateur. Tout d’abord, une brève introduction aux principes de modèles TRI est donnée. Les modèles discutés concernent des items dichotomiques (items qui sont corrects ou incorrects) et des items polytomiques (items à un crédit partiel, comme la plupart des questions ouvertes et questions de l’évaluation des compétences). Deuxièmement, on montre comment un modèle de mesure TRI peut être amélioré en utilisant un modèle structurel, par exemple, un modèle d’analyse de la variance, pour établir un lien entre les données provenant de tests pour mesurer le rendement et la capacité des élèves à des variables, tels leur statut socio-économique, leur niveau d’intelligence ou leur capital culturel, et à des variables caractérisant l’école et le système scolaire. Deux applications sont présentées. La première se rapporte aux procédures de type mise en parallèle (equating et linking), et la seconde à une combinaison d’un modèle de mesure TRI et d’un modèle linéaire multiniveaux utilisé dans la recherche relative à l’efficacité de l’école.A teoria de resposta ao item (TRI) fornece um quadro útil e teoricamente bem fundamentado para a...

Évaluation des systèmes éducatifs

“…ils seront ensuite systématiquement utilisés dans les rap ports tiMss et Pisa. l'utilisation des analyses fondées sur le Mri (Glas, 2008 ;valois et Martin (2008) dans les enquêtes comparatives représente l'une des avancées méthodologiques les plus importantes de ces vingt der nières années. dans la perspective de telles analyses, il convient d'anticiper, de préciser dès le début ce que chaque item est supposé mesurer et de prévoir des équilibres entre catégories.…”

“…ces résultats auront d'autant plus de valeur si on les considère en gardant la tête froide, et le sens de la mesure. (ramseier, 2008 ;simon, turcotte, Ferne & Forgette-Giroux, 2007), les modèles Mri (Glas, 2008). les défis qui nous paraissent à ce jour les plus pertinents à relever par la revue touchent en particulier le débat sur le concept de compétence, la comparabilité, les modèles d'analyse, la communication des résultats et l'impact des enquêtes sur l'apprentissage des élèves.…”

L’évaluation entre « technicité » et « théorisation » ?

“…Mais, à la faveur du développement des supports numériques de traitement de l'information, un bouleversement progressif du travail de l'évaluateur s'est manifesté, passant du traitement manuel au traitement informatique, puis du traitement classique des données à des formes de traitement de plus en plus sophistiquées, comme en témoignent des numéros de la revue Mesure et évaluation en éducation des années 2000 (par ex., lafontaine & simon, 2008 ; le numéro thématique Méthodologie de la mesure, 2008 2 ). les contenus de ces publications ou vrent des perspectives importantes au développement de techniques nouvelles, comme celle résultant de l'adoption des Modèles de réponse aux items (Glas, 2008) souvent citée. elles montrent la variété des choix méthodologiques l'évaluation entre « technicité » et « théorisation » ?…”

Development of short forms for screening children’s dental caries and urgent treatment needs using item response theory and machine learning methods

“…Item response theory (IRT) is useful in identifying a parsimonious set of survey items with acceptable psychometric properties [10][11][12][13]. It has been widely used in education assessments [14], psychological tests [15], and health outcome measurements [16]. IRT models maximize the likelihood of the individual response pattern to estimate the item characteristics and the individual's latent trait.…”