<p>Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universitarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una evidencia de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.</p><p> </p><p>Abstract:</p><p>Abstract Current standards for assessing the psychometric quality of psychological and educational tests stipulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.</p>
<p>En este artículo se explica y ejemplifica cómo se puede implementar un análisis de invarianza de medición con<br />ítems dicotómicos con el fin de obtener evidencias de validez.<br />El ejemplo fue desarrollado con datos de la Prueba de Aptitud Académica (PAA; PPPAA, 2014) de la Universidad de Costa Rica (UCR). El análisis fue desarrollado según género y según tipo de colegio (público y privado). El método usado fue un análisis factorial confirmatorio con dos factores correlacionados definidos por los dos componentes de la PAA (N = 11304). En cada análisis grupal se alcanzó la invarianza estricta. A partir de lo anterior, se concluyó que las puntuaciones del test presentan la misma unidad de medida en hombres y mujeres, al igual que en estudiantes de colegios privados y públicos. Finalmente, estos resultados constituyen una evidencia de validez de las puntuaciones de la PAA en términos de su estructura interna, desde la perspectiva de la equidad.</p>
El objetivo del presente artículo es brindar evidencias de validez y de confiabilidad sobre una prueba nueva para medir el nivel de comprensión lectora de estudiantes universitarios. Para ello se empleó un diseño de investigación observacional y transversal, mediante la cual se aplicó la prueba a un grupo de 244 estudiantes de primer ingreso a una carrera universitaria. Los resultados fueron analizados con base en la Teoría Clásica de los Test y en el modelo de Rasch, así como también se estimó el coeficiente de correlación de Pearson entre las puntuaciones en la prueba y un curso universitario de primer año de carrera. El principal hallazgo de este estudio es la creación de una prueba de 44 ítems que permite generar puntuaciones con una confiabilidad de 0,74 y que presentan una correlación estadísticamente significativa (p < 0,000) de 0,21 [0,09, 0,33] con las notas de estudiantes en un curso de carrera de primer año. Con base en los análisis efectuados, se concluye que la prueba podría ser útil para detectar estudiantes de primer ingreso a la educación superior que podrían presentar problemas de comprensión lectora y, por ende, ver disminuido su rendimiento académico. En este sentido, la prueba podría servir para propósitos de screening, es decir, para coadyuvar en la elaboración de planes remediales, implementación de intervenciones educativas y desarrollo de unidades didácticas orientadas al fortalecimiento de la comprensión lectora de los(as) estudiantes universitarios de primer ingreso.
r e s u m e n En este artículo se presenta el proceso de construcción y validación de una rúbrica para medir la expresión escrita de estudiantes universitarios de primer año de ingreso. Se recogieron 117 ensayos escritos por estudiantes universitarios (75 mujeres y 42 hombres) de la carrera de Filología Españo-la de la Universidad de Costa Rica. Los ensayos fueron calificados por dos evaluadoras con base en una rúbrica, después de lo cual se calcularon diferentes índices de concordancia entre jueces para evaluar la calidad técnica de ésta. Entre los resultados más importantes se observó un porcentaje de acuerdo absoluto [±3 errores] del 90% en la mayoría de los rubros evaluados. Por otro lado, se observaron correlaciones pequeñas y moderadas entre los aspectos incluidos en la rúbrica. A partir de estos resultados se discute la utilidad de utilizar la lingüística textual como base teórica para construir rúbricas de evaluación. Palabras claveConfiabilidad; rúbrica; expresión escrita; estudiantes universitarios A B s t r A c tThis article describes the process of construction and validation of a rubric to measure the writing of first-year university students. 117 essays written by Spanish Philology students (75 women and 42 men) of the University of Costa Rica were collected. Two evaluators, based on a rubric, rated the compositions after which different raters agreement coefficients were calculated to assess the technical quality of the rubric. Among the most important results, a 90% of absolute agreement was observed [± 3 errors] in most of the areas evaluated. On the other hand, small and moderate correlations between the aspects included in the rubric were observed. From these results the utility of using text linguistics as a theoretical basis for constructing written expression rubrics are discussed.
<p><em><strong>Español</strong></em></p><p>La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho entrevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participantes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solución de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las puntuaciones de la prueba en el rendimiento académico en la UCR.</p><p><em><strong>English</strong></em></p><p>The premise of this study is that a cognitive model can increase students’ performance for solving items on a standardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies previously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.</p>
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
hi@scite.ai
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.