Autorreportes verbales en voz alta para la identificación de procesos de razonamiento en pruebas estandarizadas / Verbal Self-reporting to Identify Reasoning Processes in Standardized Tests

Abstract

<p>Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universitarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una evidencia de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.</p><p> </p><p>Abstract:</p><p>Abstract Current standards for assessing the psychometric quality of psychological and educational tests stipulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.</p>

Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta

“…En la Figura 1, se presenta un ítem con el que se pretende medir la capacidad del examinado para parafrasear correctamente el enunciado principal (Brizuela, Jiménez, Pérez y Rojas, 2016). Por lo tanto, una evidencia de validez sobre los procesos de respuesta en este ítem sería el hecho de que el examinado pudiera desarrollar una respuesta similar a la opción correcta (la A) si se le proporcionara una guía o "pista" que, en este ejemplo, consistiría en indicarle que parafrasee lo dicho sobre el ser humano.…”

“…Se utilizaron 14 ítems del área verbal de la Prueba de Aptitud Académica, los cuales forman parte del banco de ítems empleados regularmente para el ensamblaje de esta prueba, por lo cual se consideran material confidencial y no pueden ser mostrados en el presente artículo. Estos 14 ítems fueron seleccionados debido a que fueron clasificados previamente por los investigadores a cargo del estudio como indicadores de las estrategias de resolución definidas en la Tabla 1, las cuales fueron desarrolladas como parte del estudio publicado en Brizuela et al, (2016).…”

“…Dichos ítems se refieren a situaciones cotidianas que son parte de las experiencias (educativas, personales, laborales, imaginarias, etc.) a las que comúnmente se enfrentan los aspirantes, y su objetivo es medir las habilidades de razonamiento en contextos verbales para propósitos de ingreso a la Universidad de Costa Rica y a la Universidad Nacional de Costa Rica (Brizuela y Montero, 2013;Brizuela et al, 2016;Jiménez y Morales, 2009-2010Rojas, 2013;Rojas, 2014).…”

“…Percatarse de que una o dos palabras del texto principal son sinónimas (u equivalentes en algún sentido) entre sí o respecto de la respuesta correcta. Fuente: Elaboración propia, con información de Brizuela et al (2016).…”

“…Algunos ejemplos de las categorías empleadas por los jueces pueden consultarse en Brizuela et al (2016), estudio en el que también se explica detalladamente cómo se elaboraron las categorías.…”