This research seeks to identify possible predictors of the difficulty level of reading comprehension items used in a standardized psychometric test for university admission. Several potential predictors of difficulty were proposed, namely, propositional density, negations, grammatical structure, vocabulary difficulty, presence of enhancement elements (words highlighted typographically), item abstraction level and degree of similarity between correct option and relevant text to resolve the item. By Linear Logistic Test Model (Fisher, 1973) it was found that the number of propositions, the syntactic structure, and fundamentally, the presence of difficult words contributed to the prediction of the item difficulty level.
ResumenEsta investigación busca identificar posibles variables predictoras del nivel de dificultad de los ítems de comprensión de lectura utilizados en una prueba psicométrica estandarizada para la admisión a una institución universitaria. Se propusieron varios posibles predictores del nivel de dificultad, a saber: densidad proposicional, negaciones, estructura sintáctica, dificultad del vocabulario, presencia elementos de realce (palabras resaltadas tipográficamen-te), abstracción del ítem y grado de similitud entre opción correcta y texto relevante para resolver el ítem. Mediante el Modelo Logístico Lineal de Rasgo Latente se encontró que la cantidad de proposiciones, la estructura sintáctica y, fundamentalmente, la presencia de léxico difícil de comprender contribuyeron a la predicción del nivel de dificultad.
Reconociendo que el género, como constructo, es expresión de una estructura de poder, se buscó explicar diferencias observadas a favor de los varones en dos pruebas estandarizadas de contexto matemático: componente matemático de la Prueba de Admisión de la Universidad de Costa Rica y la Prueba de Matemática del Bachillerato de la Educación Formal. La muestra fue de 487 estudiantes que en 2015 cursaban el undécimo año en 10 secundarias públicas diurnas, de la gran área metropolitana de Costa Rica, 269 eran mujeres. Se estimaron modelos de regresión multinivel con el puntaje en cada prueba como variable de respuesta. El modelo reducido solo incluyó como predictor el sexo de cada estudiante, y el modelo completo incluyó, además, un indicador de habilidades de razonamiento y los puntajes en las siguientes escalas: sexismo hostil y benevolente, actitud hacia la equidad de género en matemática y autoeficacia matemática. Los resultados apuntan a que las diferencias de género se reducen considerablemente al controlar habilidades de razonamiento. El sexismo benévolo predice el desempeño en las pruebas, aunque en menor medida. También se generó evidencia del efecto moderador del colegio para la relación entre el sexo y el puntaje en la prueba de admisión, y, especialmente, para los promedios de la prueba de bachillerato. La autoeficacia matemática también resultó de relevancia predictiva en esta última. Estos resultados evidencian la necesidad de que el personal docente promueva activamente esta dimensión de autoeficacia en sus estudiantes, especialmente en las mujeres. Las considerables diferencias en los promedios de las pruebas de Bachillerato, según colegio, aun siendo todos públicos y de la gran área metropolitana, sugieren la presencia de inequidades que deberían estudiarse con mayor profundidad, incluidos centros educativos de las diversas regiones del país, los cuales podrían presentar todavía mayores desigualdades.
[Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva]by/por
AbstractThis research seeks to identify possible predictors of the difficulty level of reading comprehension items used in a standardized psychometric test for university admission. Several potential predictors of difficulty were proposed, namely, propositional density, negations, grammatical structure, vocabulary difficulty, presence of enhancement elements (words highlighted typographically), item abstraction level and degree of similarity between correct option and relevant text to resolve the item. By Linear Logistic Test Model (Fisher, 1973) it was found that the number of propositions, the syntactic structure, and fundamentally, the presence of difficult words contributed to the prediction of the item difficulty level.
ResumenEsta investigación busca identificar posibles variables predictoras del nivel de dificultad de los ítems de comprensión de lectura utilizados en una prueba psicométrica estandarizada para la admisión a una institución universitaria. Se propusieron varios posibles predictores del nivel de dificultad, a saber: densidad proposicional, negaciones, estructura sintáctica, dificultad del vocabulario, presencia elementos de realce (palabras resaltadas tipográficamen-te), abstracción del ítem y grado de similitud entre opción correcta y texto relevante para resolver el ítem. Mediante el Modelo Logístico Lineal de Rasgo Latente se encontró que la cantidad de proposiciones, la estructura sintáctica y, fundamentalmente, la presencia de léxico difícil de comprender contribuyeron a la predicción del nivel de dificultad.
[Objetivo] El propósito del estudio fue examinar la relación entre autoeficacia matemática y el rendimiento en la prueba nacional de bachillerato en matemáticas, que considera otros predictores psicosociales relevantes y los efectos moderadores del sexo y del centro educativo. [Metodología] El diseño del estudio fue de corte observacional y transversal, con la participación de 487 estudiantes de undécimo año, provenientes de colegios públicos de la Gran Área Metropolitana de Costa Rica. Se aplicaron varios instrumentos para medir: sexismo hostil y benevolente, percepciones de igualdad de género en las habilidades matemáticas, autoeficacia matemática y habilidades de razonamiento. [Resultados] Los resultados del análisis multinivel bayesiano de efectos aleatorios confirmaron las diferencias a favor de los hombres en la medida de autoeficacia, donde el sexo del estudiantado fue un moderador entre la relación de la autoeficacia matemática y el puntaje de la prueba. Además, se encontró que, según el sexo, la asociación entre autoeficacia y rendimiento también se encontró moderada por el centro educativo. [Conclusiones] Entre las conclusiones se destaca que, si el efecto moderador del colegio entre autoeficacia y rendimiento difiere por sexo, esto implica que las acciones dirigidas a promover la autoeficacia no tendrán el mismo resultado en los hombres y en las mujeres, lo que evidencia la necesidad de desarrollar intervenciones diferenciadas.
En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.