Factors Affecting the Difficulty of Reading Comprehension Items for Successful and Unsuccessful Readers

Abstract

This study assessed the contributions of various test features (passage variables, question types, and format variables) to reading comprehension performance for successful and unsuccessful readers. Items from a typical standardized reading comprehension test were analyzed according to 20 predictor test features. A three-stage conditional regression approach assessed the predictability of these features on item-difficulty scores for the two reader groups. Two features, location of response information and stem length, accounted for a significant amount of explained variance for both groups. Possible explanatory hypotheses are considered and implications are drawn for improved test design as well as for further research concerning interactions between assessment task features and reader performance.A CHALLENGE TO RESEARCHERS and practitioners over the years has been the accurate assessment of reading comprehension processes. Reading comprehension presents special assessment challenges due to complex interactions between reader, text, and task (see Johnston, 1983, for a review). The most commonly used tool for the formal assessment of reading comprehension remains the multiple-choice question tapping information presented through rather brief, intact passages. Educational decisions concerning students' placements and programs are influenced heavily by performance on such standardized measures, and the assumption is often made that all students' performance scores represent the same valid manifestation of the latent construct, comprehension. However, it has been suggested that the validity of such assessments can be affected by certain features of the test itself, such as passage variables (e.g.

Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva

“…Esta línea de investigación se ha construido a partir de la indagación (principalmente, mediante entrevistas semiestructuradas y autoreportes verbales) sobre las estrategias que utilizan los sujetos para resolver ítems de comprensión de lectura (Farr, Pritchard y Smitten, 1990;DeMauro, Merritty y Adams, 1994;Powers y Wilson, 1995;Rupp, Ferne y Choi, 2006). Asimismo, el intento de predecir el nivel de dificultad de los ítems ha generado una gran cantidad de investigaciones en las que el interés fundamental es identificar variables predictoras de índole lingüística y cognitiva (Drum, Calfee y Cook, 1981;Stahl y Jacobson, 1986;Davey, 1988;Kirsch y Mosenthal, 1990;Freedle y Kostin, 1991;Freedle y Kostin, 1992;Daneman y Hannon, 2001;Sheehan y Ginther, 2001;Gorin y Embretson, 2006;Ozuru, Rowe, O'Reilly y McNamara, 2008;Leroy, Helmreich y Cowie, 2010). En estas últimas, se ha utilizado un enfoque primordialmente cuantitativo, echando mano de técnicas estadísticas tradicionales como la regresión múltiple, el análisis de varianza y las correlaciones; sin embargo, también se encuentran diversos estudios en los que se utiliza el LLTM para estimar la capacidad predictiva de ciertas características de los ítems de comprensión de lectura y de razonamiento lógico (Embretson y Wetzel, 1987;Sheehan y Mislevy, 1990;Gorin, 2005;Sonnleitner, 2008;Attoresi, Picón, Abal, Aguerri y Galibert, 2009;Gilbert, Picón, Lozzia, Aguerri y Attorresi, 2010;Poinstingl, 2009).…”

La comprensión del discurso escrito: Una propuesta teórico-metodológica para su evaluación

“…Diversos especialistas (Koda, 1987;Davey, 1988;Alderson, 2000) se han centrado en la relevancia que este aspecto puede tener a la hora de evaluar la comprensión de textos escritos, dando origen a una gran controversia al respecto. Autores como Nuttall (1996), sostienen que a mayor extensión del texto, el nivel de logro disminuye.…”

The Relative Difficulty and Significance of Reading Skills

“…Alderson (2000) cites quantitative studies supporting multi-divisible view such as Carroll (1993), Drum et al (1981), Pollitt et al (1985), and Davey (1988). Qualitative studies against a unitary view of reading include Anderson et al (1991), Bachman et al (1988), Brutten et al (1991), Lumley (1993), Weakly (1993) and Weir et al (1990), as cited by Weir and Porter (1994 ).…”