Amenazas a la validez en evaluación: implicaciones en educación médica

Abstract

Las amenazas a la validez en evaluación educativa son elementos que interfieren con la interpretación propuesta de los resultados de una prueba, pueden ocurrir tanto en exámenes escritos como en pruebas de desempeño y evaluación de competencias clínicas. Estas amenazas se suelen agrupar en dos clases principales: subrepresentación del constructo y varianza irrelevante al constructo. La primera se refiere a que en la prueba no haya suficientes ítems, casos u observaciones para generalizar apropiadamente al dominio completo que se pretende evaluar. La segunda tiene que ver con la presencia de sesgos que interfieren de manera sistemática con la interpretación de los resultados de una prueba, como pueden ser la calidad de los ítems y errores sistemáticos de los evaluadores, entre otros factores que pueden influir sobre la puntuación obtenida. En este artículo se describen las características de las amenazas principales, su importancia y algunas recomendaciones para evitarlas al elaborar y aplicar instrumentos de evaluación en ciencias de la salud. La comprensión de estas amenazas es útil para desarrollar pruebas cuyos resultados tengan niveles aceptables de validez que nos permitan conocer mejor el desempeño de los estudiantes.

Psychometric Properties of an Instrument to Evaluate Students’ Perception of Learning Objects in Statistics

“…Finally, it is important to highlight what refers to the affordability of the instrument to the target population; the understanding of the instructions and items was between good and excellent degree. The analysis of this characteristic is fundamental since it allows to ensure that the instrument and its items are understandable by the students and possible alterations of their answers by aspects of redaction and, at the same time, reduce possible problems with the items that may affect evaluative capacity (Carrillo-Avalos et al, 2020; Carvajal et al, 2011).…”

Evidencias de validez del proceso de admisión a una escuela de medicina en México

“…El responsable de proveer evidencias es el desarrollador de la prueba. Se verifica si el instrumento cumple el objetivo del constructo medido, por medio de evidencia sobre las características psicométricas de las puntuaciones, representación del constructo y las amenazas a la validez 27 . Las inferencias de Kane, sus hipótesis correspondientes, las fuentes de evidencia de Messick para comprobarlas, y el plan de recolección de evidencia se señalan en la tabla 2.…”

Análisis de instrumentos evaluativos empleados en ciencias durante la pandemia: selección múltiple, indicadores y rendimiento

“…les utilizando nuevas herramientas de aprendizaje 5 y adoptar diferentes instrumentos evaluativos 6. En este sentido, una primera etapa del desafío fue capacitar a los docentes en la adaptación de los instrumentos de evaluación mediante los recursos que disponen las plataformas virtuales que ampliamente se han utilizado en educación como Moodle, Collaborate Blackboard y/o Proctortrack 7,8. En una segunda etapa se ha ponderado revisar el rendimiento de los estudiantes y analizar las variables que intervienen en ello 9,10 . Autores mencionan que tanto docentes como estudiantes reconocen fac-tores facilitadores como el uso de métodos digitales ágiles y la flexibilidad temporal en la revisión de recursos asincrónicos, que intervienen en la consolidación del e-learning en ciencias de la salud 11,12. En cuanto a las dificultades y barreras en el rendimiento de los estudiantes, los equipos docentes han detectado las falencias y han diseñado estrategias de mitigación y apoyo como el uso de cursos en línea masivos y abiertos (MOOC) 13,14, disponibilidad de instrumentos formativos de ejercitación previa, y herramientas asincrónicas que el estudiante realiza en forma complementaria para apoyar su proceso de aprendizaje1 5. Por otro lado, la observación del rendimiento obtenido en evaluaciones mediante plataforma virtuales se ha puesto en foco revisar dos aspectos; uno de ellos relacionado con la incorporación de estrategias que limiten la copia y el plagio online 16,17 ; y por otro lado, necesidad de examinar la validez, y la rigurosidad en los instrumentos de evaluación 18,19. En este sentido, Carrillo y colaboradores (2020) han sido enfáticos en alertar y describir sobre las amenazas en la validez de los instrumentos de evaluación formados con preguntas de selección, en los que se presencian vicios como la formulación en negación, la elaboración incorrecta de los enunciados en el uso del lenguaje, el sesgo, las discordancias de dominio, y el testwiseness, con el fin de mejorar la calidad de las preguntas que apunten a ser realmente efectivas 20 .…”