Effect of the Number of Response Categories on the Reliability and Validity of Rating Scales

Abstract

The Likert-type format is one of the most widely used in all types of scales in the field of social sciences. Nevertheless, there is no definitive agreement on the number of response categories that optimizes the psychometric properties of the scales. The aim of the present work is to determine in a systematic fashion the number of response alternatives that maximizes the fundamental psychometric properties of a scale: reliability and validity. The study is carried out with data simulated using the Monte Carlo method. We simulate responses to 30 items with correlations between them ranging from 0.2 to 0.9. We also manipulate sample size, analyzing four different sizes: 50, 100, 200, and 500 cases. The number of response options employed ranges from two to nine. The results show that as the number of response alternatives increases, both reliability and validity improve. The optimum number of alternatives is between four and seven. With fewer than four alternatives the reliability and validity decrease, and from seven alternatives onwards psychometric properties of the scale scarcely increase further. Some applied implications of the results are discussed.

Do C-Tests with Different Number of Gaps Measure the Same Construct?

“…The results of this study are in line with Baghaei (2011). He demonstrated that the correlations between C-Tests with different number of gaps (5,10,15,20,25,30,35,40) and a reading comprehension test, which was used as an external criterion, were almost the same for all the eight C-Tests. This is evidence that C-Test construct is independent of the number of gaps in each passage.…”

“…Baghaei (2011) systematically monitored and compared the psychometric properties of C-Tests with different number of gaps. He compared eight C-Tests which contained 5,10,15,20,25,30,35, and 40 gaps in each passage and concluded that as the number of gaps in each passage increased the internal consistency reliability, item discrimination and factrorial validity increased accordingly.…”

Cuestionario para la evaluación del optimismo: Fiabilidad y evidencias de validez

“…El uso de una escala de 5 puntos se debe a que es entre 4 y 6 categorías de respuesta cuando los parámetros psicométricos se estiman con mayor precisión (Lozano, García-Cueto y Muñiz, 2008). De manera complementaria se incluyó la pregunta "Soy una persona optimista", con el propósito de tener una estimación subjetiva global del optimismo de los participantes.…”

Experiencias esquizotípicas en la adolescencia: propiedades psicométricas del Schizotypal Personality Questionnarie-Child

“…En este estudio se utilizó un formato de respuesta Likert de cinco categorías (1= "completamente en desacuerdo"; 5 = "completamente de acuerdo"). Un formato de respuesta Likert mejora la fiabilidad de las puntuaciones y favorece la obtención de evidencias de validez (Lozano, García-Cueto, y Muñiz, 2008). Asimismo, una puntuación dimensional en psicopatología mejora sustancialmente la validez y la fiabilidad de la medición (Markon, Chmielewski y Miller, 2011).…”

“…Se debe mencionar que la posible mejora de la fiabilidad de las puntuaciones del SPQ-C podría venir determinada por el formato de respuesta tipo Likert de 5 puntos utilizada en este trabajo. En la literatura especializada se aconseja la utilizacion de este formato de respuesta para mejorar la calidad métrica de las puntuaciones (Lozano et al, 2008), así como para la construcción de puntuaciones dimensionales en medidas psicopatológicas (Markon et al, 2011). Por otro lado, ningún item presentó un funcionamiento diferencial en función del sexo de los participantes, aspecto que garantiza la comparación y la equidad de las puntuaciones entre los grupos a comparar.…”