An Investigation of Group Invariance in Test Equating According to Gender

Abstract

The aim of this study is to investigate the group invariance condition according to Tucker and Levine observed score equating among linear equating methods. In the study, the 4 th and 6 th booklets of the PISA 2012 Mathematics subtest were used. Booklets were equated according to group and gender sub-variables, and then group invariance of each condition and WMSE values were calculated. Within this scope, REMSD and RMSD (x) group invariance indexes were employed. The results of the study indicated that, when WMSE values, obtained according to equating methods, were compared, Tucker observed score equating method with regard to whole-group and gender sub-groups produced the lowest error. When RMSD and REMSD values obtained according to gender sub-groups were examined by linear equating methods, it was found that group invariance value is smaller than criterion value for Tucker equating method, while it was greater than criterion value for Levine equating method. Eventually, group invariance condition was met for Tucker observed score equating, but not for Levine observed score equating.Keywords: Equating, group invariance, Tucker linear equating, Levine linear equating Öz Bu çalışmanın amacı doğrusal eşitleme yöntemlerinden Tucker ve Levine gözlenen puan eşitleme yöntemlerine göre eşitlemenin grup değişmezliği koşulunun incelenmesidir. Bu çalışmada PISA 2012 matematik alt testine ait 4. ve 6. kitapçıklardan elde edilen test puanları kullanılmıştır. Kitapçıklardan elde edilen puanlar tüm grup ve cinsiyet alt değişkenine göre eşitlenmiştir. Her bir koşula ait grup değişmezliği ve WMSE değerleri hesaplanmıştır. Bu bağlamda grup değişmezliği indekslerinden REMSD ve RMSD (x) kullanılmıştır. Araştırma sonucunda eşitleme yöntemlerine göre elde edilen WMSE değerleri karşılaştırıldığında hem tüm grup hem cinsiyet alt grubuna göre en az hata veren yöntemin Tucker gözlenen puan eşitleme olduğu görülmüştür. Doğrusal eşitleme yöntemleriyle cinsiyet alt grubuna göre elde edilen RMSD ve REMSD değerleri incelendiğinde, Tucker eşitleme yöntemi için kriter değerden küçük iken, Levine eşitleme yöntemi için kriter değerden daha yüksek çıkmıştır. Böylece grup değişmezliği koşulunun Tucker eşitleme yönteminde sağlanırken, Levine eşitleme yönteminde sağlanmadığı görülmüştür.