Misestimation of Reliability Using Coefficient Alpha and Structural Equation Modeling When Assumptions of Tau-Equivalence and Uncorrelated Errors Are Violated

Abstract

Coefficient alpha (α) has been described as a lower bound for test reliability. However, previous research indicates that when certain assumptions are violated, α can either overestimate or underestimate reliability. Raykov (1997a) has shown how structural equation modeling (SEM) can be used to estimate reliability. This study has introduced method factors into the model in Raykov (1997a) to avoid a potential limitation of the SEM approach. Monte Carlo simulation shows that when certain assumptions are violated, either method (α or SEM) can show a substantial bias, though in the most extreme circumstances the bias of α estimates are larger than the bias of SEM-based reliability estimates. Circumstances that favor one method or the other are described and explored.

Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna

“…En este caso, una vez que se controla el efecto de la variable latente, los ítems con expresión positiva conservan una covarianza no despreciable entre sí, al igual que los ítems redactados negativamente. Esta situación puede modelizarse especificando algunas correlaciones distintas de cero entre errores (Figura 2, derecha; e.g., Brown, 2015;Marsh, 1996), o bien como un factor de método debido a la composición del cuestionario (Figura 4; ver más adelante y también Gu et al, 2013) o incluso como un parámetro debido a las diferencias individuales de los encuestados (Maydeu-Olivares y Coffman, 2006). En aras de la simplicidad, en este apartado nos centraremos en la primera de las opciones enunciadas y nos referiremos brevemente al resto al tratar con la suposición de unidimensionalidad.…”

“…En este caso, las estimaciones de las cargas factoriales serían incorrectas (e.g., Brown, 2015) y tanto omega como α serían estimadores de la fiabilidad poblacional sesgados, aunque el sesgo sería mucho mayor si se utilizase α (Gu et al, 2013). Además, α ya no podría ser considerado como el límite inferior de fiabilidad de las puntuaciones (Raykov, 2001).…”

“…Los estudios de simulación de Gu et al (2013) demostraron que, en presencia de errores correlacionados, α puede sobrestimar la fiabilidad en la población con diferenciales tan altos como .38. Esto significaría, por ejemplo, que una puntuación con una fiabilidad real de .40, que es completamente inaceptable, puede dar como resultado un valor de α de hasta .78, lo que puede conducir a la conclusión errónea de que se trata de una fiabilidad bastante buena.…”

“…Siempre que el modelo se ajuste a los datos, en el denominador se puede utilizar la suma de las varianzas y covarianzas observadas, tal como discutimos al presentar la Ecuación 3. Este coeficiente omega jerárquico constituye una especificación más general de la Ecuación 5 tal como se explica en Gu et al (2013) para datos cuantitativos y en Yang y Green (2011) para datos ordinales.…”

“…El conocimiento del cuestionario y de su desempeño psicométrico en estudios previos puede ayudar enormemente a limitar el coste del estudio piloto sin comprometer la estimación correcta de la fiabilidad. De acuerdo con los resultados de los estudios de simulación discutidos a lo largo de este trabajo, α es un buen estimador de la fiabilidad para modelos congenéricos con cargas factoriales altas y un gran número de ítems (Gu et al, 2013). La principal amenaza para una correcta estimación de la fiabilidad proviene de la presencia de errores correlacionados no corregidos o de efectos de méto-do, una amenaza que empeora cuando el cociente entre las cargas factoriales y el error es bajo (Gu et al, 2013) y en medidas basadas en un número de ítems reducido (Graham, 2006).…”