University Entrance Examinations in Spain: Using the Construct Comparability Approach to Analyze Standards Quality

Abstract

In recent years, important methodological attempts have been made to explore the comparability of examination standards, especially in the context of certifications and university entrance. The present study aimed to explore the use of a construct comparability approach through a comparative analysis of the academic scores on 15 subjects from Spanish University Entrance Examinations in the Valencian Community, with a sample of 22,996 students in the call of June 2018. We employed the Rasch partial credit model as an estimation method, counting each subject as the item of an instrument related to academic achievement. The results confirmed the unidimensionality assumption and the goodness of fit of the model in relation to all subjects, although no discrimination between high and low ability students was detected because of the lack of monotonicity of the score categories. We observed that the level of difficulty of the subjects was appropriate to the students' ability levels. Important conclusions have been drawn for the improvement of the standard qualification process, and future research directions have been proposed.

Validación interna de la prueba de inglés de la EvAU en la Comunidad de Madrid

“…La sección de inglés, y por extensión las demás, se basa teóricamente en el procedimiento denominado school-based decision-making (Carr-Hill et al, 2018), cuyo enfoque es el análisis y propuestas de expertos. Desafortunadamente, en general, los expertos carecen de los conocimientos técnicos y académicos en evaluación para la responsabilidad que supone un examen con un impacto como este (Veas et al, 2020b). Además, estos expertos coordinan las correcciones, de modo que deben basarse en ítems que tienen muy poca variación (objetivos) pero que, al ser mayormente ítems abiertos, introducen sesgos muy importantes que investigadoras como Amengual Pizarro (2004) han probado que ponen en riesgo el grado de fiabilidad de los exámenes (Amengual Pizarro, 2005).…”

“…El vacío legal y la falta casi total de un alfabetismo en evaluación supone que ninguno de los agentes Issue 41, January 2024 educativos reclame otra prueba más completa y exigente, aunque, obviamente, mucho más cara (Fernández Álvarez et al, 2022). Añadiremos que, además de la integración de las tareas orales para que aumente la representatividad del constructo de la prueba, se deben recopilar evidencias de validez empírica (Veas et al, 2020a), basadas en el uso real del idioma que requieren los estudiantes preuniversitarios para su incorporación a la Educación Superior.…”