Meta‐Analysis of Coefficient Alpha: A Reliability Generalization Study

Abstract

Increasing precision of measurement is a goal of scientific advancement, but Nunnally's (1978) .70 benchmark for coefficient alpha (alpha) has remained the omnibus test for reliability for nearly 40 years. This likely arises due to there only being scattered empirical evidence of the degree to which the field has met or surpassed this standard. Using metaanalytic techniques known as reliability generalization (RG), we cumulate alphas across 36 commonly used individual differences, attitudes, and behaviours from 1675 independent samples (N 5 991,588). Our primary finding is that alphas almost always exceed .70 and generally fall above .80. In addition, we identified factors that moderate alpha including the specific measure used, the number of scale items, and the rater. The study provides baseline alphas that can be used for research planning and design; it also offers best practices for RG and notes the benefits of RG for understanding systematic fluctuations in reliability.

Moderators of the internal consistency of error‐related negativity scores: A meta‐analysis of internal consistency estimates

“…However, for the sake of interpretability both Bonett-transformed (denoted as α B ) and backtransformed estimates (denoted as α) are reported for each model. When moderators were ERN RELIABILITY GENERALIZATION 13 included in the model, the back-transformed estimates represent the summation of the intercept and moderator effect, again for the sake of interpretability (see Greco, O'Boyle, Cockburn, & Yuan, 2017;Piqueras, Martín-Vivar, Sandin, San Luis, & Pineda, 2017;Vicent, Rubio-Aparicio, Sánchez-Meca, & Gonzálvez, 2019).…”

Supporting robust, rigorous, and reliable reviewing as the cornerstone of our profession: Introducing a competency framework for peer review

“…Similarly, methods sections tend to report certain statistics, such as fit indices for measurement models and coefficient alphas, to indicate the degree of measurement error. Authors may present, and reviewers may demand statistics that surpass arbitrary thresholds (Greco, O'Boyle, Cockburn, & Yuan, 2018;Williams, O'Boyle, & Yu, 2017). These hurdles in the review process put much weight on specific theoretical and methodological issues and may result in reviewers losing sight of other important features of a manuscript.…”

Çocuklar İçin Yeme Davranışları Ölçeğinin Türkçe Geçerlik ve Güvenirliği

“…Bir ölçeğin güvenirliği, bir değişkenin gerçek değerinin ölçme araçları ile doğru ve tam olarak ölçülebilme derecesidir. Güvenirlik, ölçme aracının ölçmeyi amaçladığı özelliğin ya da özelliklerin ne kadar kararlılıkla ölçülmekte olduğunun göstergesidir (25,(33)(34)(35)(36)(37). Ölçme aracı geliştirmede güvenirlik sınanırken ölçeğin tutarlı, duyarlı ve kararlılık sağlanması gerekir.…”

“…Ölçeğin duyarlılığı ise ölçek veya sonuçlarının biriminin büyüklüğü ile ilgilidir. Birim aralığı küçükse ölçme daha duyarlıdır (24,26,35). Bu araştırmada ölçek güvenilirliğinin test edilmesinde alfa katsayısı ve iç tutarlıktan yararlanılmıştır.…”

“…İç tutarlık, madde analizi madde toplam korelasyonu (r) bir maddeden alınan puanlar dizisi ile ölçeğin toplamından alınan puanlar dizisi arasında pozitif ve yüksek ilişki gözlenmesidir. Madde toplam korelasyon katsayısı .30 ve üstü maddelerin iyi olduğunu, .20-.30 arası maddelerin zorunluysa ölçme aracına alınabileceği, .20 ve altındaysa maddelerin ölçekten çıkarılması gerektiğini belirtmektedir (33)(34)(35)(36)(37). Bu çalışmada madde toplam korelasyonunun .41 ile .88 arasında ve istenilen aralıkta olduğu saptanmıştır.…”