Distractores en preguntas de opción múltiple para estudiantes de medicina: ¿cuál es su comportamiento en un examen sumativo de altas consecuencias?

Abstract

Introducción: Los exámenes de opción múltiple son la herramienta más utilizada en la evaluación del conocimiento en estudiantes de medicina. Se ha demostrado que tres opciones para cada ítem son suficientes, sin embargo, muchos exámenes en nuestro medio aún están compuestos por preguntas con cinco opciones. El estudio de los distractores no funcionales (DNF) es necesario para mejorar la calidad de los exámenes.
 Objetivo: Identificar los DNF y su comportamiento en una evaluación sumativa de altas consecuencias en estudiantes de medicina.
 Método: Se realizó análisis psicométrico del Examen Profesional Teórico de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), en la versión de 2008. Se calcularon dificultad, discriminación y correlación punto-biserial de cada ítem y de sus cuatro distractores. Se obtuvo la frecuencia de preguntas con cero a cuatro DNF y se valoraron las diferencias de DNF por ítem y sus características psicométricas. Se contrastó el comportamiento psicométrico del examen completo, con una versión en la que se eliminaron los ítems con cuatro DNF.
 Resultados: El examen tuvo 420 reactivos de opción múltiple con cinco opciones de respuesta, fue contestado por 882 sustentantes. El instrumento tuvo un alfa de Cronbach de 0.93. De los 1 680 distractores evaluados, sólo 788 (46.9%) fueron funcionales. Más de dos tercios del total de ítems contaron con dos o más DNF. Se encontró un promedio de 2.12 ± 0.99 DNF por ítem, la mayoría de los cuales fueron elegidos por menos de 5% de los sustentantes. A mayor cantidad de DNF, mayor índice de dificultad y menor poder de discriminación de los ítems.
 Conclusiones: Los ítems con dos distractores funcionales comprenden la mayoría de los reactivos del examen. Dos distractores plausibles representan una alternativa asequible para elaborar los ítems, manteniendo o mejorando la confiabilidad y el perfil psicométrico de este tipo de evaluaciones.

Análisis de pruebas de opción múltiple en carreras de la salud de la Universidad Mayor

“…En relación a los distractores, se encontró que, en promedio, había aproximadamente 1.51 distractores funcionales por pregunta. Este resultado coincide con la literatura médica revisada: en promedio, solo 2 distractores resultan eventualmente ser funcionales 5,13 . Además, ello muestra un mejor comportamiento de las preguntas de cuatro alternativas, ya que a pesar de tener un distractor menos, presentaron prácticamente la misma cantidad de distractores funcionales que las de cinco alternativas.…”

“…Esto reafirma investigaciones recientes sobre el número óptimo de distractores, que sugieren ampliamente que cuatro opciones (una respuesta "correcta" y tres distractores) son tan efectivas como cinco 6,29,30 (una repuesta "correcta" y cuatro distractores). Un buen distractor está destinado a identificar a los examinados con conocimientos parciales o superficiales 5,31 ; por ello debe ser verosímil en forma y contenido y no dar claves indirectas que orienten a la respuesta 12,13 . A mayor cantidad de distractores no funcionales en un test, es menor el poder de discriminación de las preguntas 5,16 .…”

“…Esto debería propiciar una retroalimentación diferenciada y medidas remediales a los estudiantes. Los distractores son opciones no correctas de respuesta [8][9][10] , las que para ser funcionales deben ser verosímiles y no dar claves 5,[11][12][13] . Finalmente, el coeficiente de fiabilidad de un test indica la consistencia (o precisión) del instrumento de medición 14 .…”

Reflexiones sobre adivinar en preguntas de opción múltiple y cómo afecta el resultado del examen

“…En general, dos Figura 2 Probabilidad, bajo el modelo Nedelsky, de aprobar un examen en función del número de ítems, con y sin fórmula de corrección, para cada escenario descrito en la tabla 1. distractores constituyen un límite natural y asequible para un IOM, y se sugiere que sólo se incluyan más si se logra asegurar la calidad y pertinencia de los excedentes 41---43 . Además, existe suficiente evidencia sobre exámenes con tres o cuatro distractores en donde al menos uno de ellos es no funcional 6,10,11,14,39,44,45 , lo cual propicia un aumento del efecto de EG y TW y hace debatibles los juicios que se basan en los resultados del examen, principalmente para puntajes cercanos al estándar de pase y preocupantemente si se trata de un examen de altas consecuencias. Desde el contexto de educación médica, es evidente la preocupación asociada con acertar por adivinación, especialmente cuando se asume correspondencia entre el porcentaje de respuestas correctas y el porcentaje de preguntas en las que el estudiante tiene el conocimiento suficiente para reconocer la respuesta correcta.…”

Evaluación de reactivos de opción múltiple en medicina. Evidencia de validez de un instrumento

“…Algunos estudios han reportado también que estos defectos en la elaboración tienen una repercusión en las características psicométricas de los reactivos 10,11 , lo cual puede tener efectos negativos en la calificación de los estudiantes 12 . Identificar estos errores en las características cualitativas (relacionadas con la calidad en su elaboración), permitirá someterlos a revisión antes de ser aplicados, mejorando la construcción del instrumento.…”