Item Analysis of a Multiple-Choice Exam

Abstract

Although foreign language testing has been subject to some changes in line with the different perspectives on learning and language teaching, multiple-choice items have been considerably popular regardless of these perspectives and trends in foreign language teaching. There have been some studies focusing on the efficiency of multiple choice items in different contexts. In Turkish context multiple choice items have been commonly used as standardized stake holder tests as a requirement for undergraduate level for the departments such as English Language Teaching, Western Languages and Literatures and Translation Studies and academic progress of the students in departments. Moreover, multiple choice items have been used noticeably in all levels of language instruction. However, there hasn’t been enough item analysis of multiple-choice tests in terms of item discrimination, item facility and distractor efficiency. The present study aims to analyze the multiple choice items aiming to test grammar, vocabulary and reading comprehension and administrated at a state university to preptory class students. In the study, 453 students’ responses have been analyzed in terms of item facility, item discrimination and distractor efficiency by using the frequency showing the distribution of the responses of prepatory students. The study results reveal that, most of the items are at the moderate level in terms of item facility. Besides, the results show that 28% of the items have a low item discrimination value. Finally, the frequency results were analyzed in terms of distractor efficiency and it has been found that some distractors in the exam are significantly ineffective and they should be revised.

Análisis de ítems para prueba de clasificación en inglés en una universidad colombiana

“…Con todo lo anterior, y ante la necesidad de consolidar una prueba de clasificación válida y confiable, se optó iniciar los estudios estadísticos de la misma con la medición de los Índices de Dificultad (en adelante IF, por sus siglas en inglés) y de discriminación (en adelante ID, por sus siglas en inglés). Si bien estos no son los únicos estudios estadísticos que se pueden aplicar a una prueba, sí constituyen un punto de partida, según lo establecen los antecedentes consultados en la revisión bibliográfica (Janssen & meier, 2013;Toksöz & Ertunç, 2017;Sugianto, 2020). A continuación, se definen ambos índices.…”

“…Por otra parte, el ID hace referencia al potencial que tiene un ítem para distinguir a los examinados con mejor nivel de los examinados con nivel inferior (Brown, 2004;Carr, 2011;Toksöz & Ertunç, 2017). Si un ítem obtiene respuestas correctas de la mayoría de examinados de nivel alto, y respuestas incorrectas de la mayoría de examinados de nivel bajo, entonces dicho ítem es apropiado para diferenciar entre examinados de proficiencia alta y de proficiencia baja.…”

“…Se encontró que, si bien estos ítems suponen un reto alto para los examinados, hubo un porcentaje considerable de la población examinada que resolvió las preguntas correctamente, lo cual indica que no se trata de ítems imposibles de ser resueltos. De acuerdo con la literatura revisada, y teniendo en cuenta que se trata de una cantidad baja, se mantuvieron estos ítems en el prototipo final de la prueba, dado que este tipo de ítems jalona el desempeño de los examinados con mayor nivel y no genera efecto washback negativo en la población examinada (Brown, 2004;Toksöz & Ertunç, 2017). En general, se trata de una prueba exigente, como se aprecia en la Tabla La Tabla 5 permite ver que el 52% de los ítems están entre las categorías de Difícil o Muy Difícil, lo cual indica que UVEPLAT es una prueba con tendencia a la alta exigencia.…”

Assessment and Evaluation of Hybrid Education for Mechanical Engineering by Items Analysis of Summative Examination on Firefighting Systems during Covid-19 Pandemic

“…Their Study was conducted at department of Pathology, Islamabad medical and dental college. Toksöz and Ertunç (2017) conducted an item analysis of MCQ exam in language and literary studies. They found that most of used items were at moderate level and their results classified 28% of the items in low item discrimination value.…”

Item Analysis and Teachers’ Factors in Designing a Test

“…MCQs are very popular in language testing today although foreign language testing has changed in line with the different perspectives on language learning and teaching, [7]. MCQs or "items" are often applied to assess students in various examinations throughout the world for their objectivity and broad coverage in a shorter time [8].…”