Simulation Studies of the Effects of Small Sample Size and Studied Item Parameters on SIBTEST and Mantel‐Haenszel Type I Error Performance

Roussos, Louis A.; Stout, William

doi:10.1111/j.1745-3984.1996.tb00490.x

Cited by 194 publications

(219 citation statements)

References 11 publications

Supporting

Mentioning

194

Contrasting

Unclassified

Order By: Relevance

“…and Chang ( 1994) showed that when the studied item discrimination parameter is substantially higher than the item discrimination parameters of the matching items, the Mantel method and other observed-score procedures can produce distorted results, including unacceptably high Type I error rates. These results parallel those of Roussos and Stout (1993) and Uttaro and Millsap (1994) for the dichotomous case.…”

Section: J_n Equation 3 Which Is Known As the Item Category Responsesupporting

confidence: 82%

“…Some simulation studies that have shown considerable robustness of observed-score methods are Donoghue, Holland, and Thayer (1993) and Shealy and Stout (1993) in the dichotomous case and Grima (1993a, 1993b) in the polytomous case. Other researchers have found very large Type I error rates for the observed-score methods under certain conditions, including Shealy (1989), Roussos and Stout (1993), and Uttaro and Millsap (1994) in the case of the MH and Allen and Donoghue (in press) and Chang, Mazzeo, and Roussos (in press) in the case of the Mantel or SMD procedures. Further discussion of the robustness issue appears in Section 4.3.1.…”

Section: Errors In Matchini Examinees In Dif Assessmentmentioning

confidence: 95%

See 1 more Smart Citation

Describing and Categorizing Dif in Polytomous Items

Zwick

Thayer

Mazzeo

1997

ETS Research Report Series

View full text Add to dashboard Cite

The purpose of this project was to evaluate statistical procedures for assessing differential item functioning (DIF) in polytomous items (items with more than two score categories). Three descriptive statistics—the Standardized Mean Difference, or SMD (Dorans & Schmitt, 1991), and two procedures based on SIBTEST (Shealy & Stout, 1993) were considered, along with five inferential procedures—two based on SMD, two based on SIBTEST, and the Mantel (1963) method. The DIF procedures were evaluated through applications to simulated data, as well as data from ETS tests. The simulation included conditions in which the two groups of examinees had the same ability distribution and conditions in which the group means differed by one standard deviation. When the two groups had the same distribution, the descriptive index that performed best was the SMD. When the two groups had different distributions, a modified form of the SIBTEST DIF effect size measure tended to perform best. The five inferential procedures performed almost indistinguishably when the two groups had identical distributions. When the two groups had different distributions and the studied item was highly discriminating, the SIBTEST procedures showed much better Type I error control than did the SMD and Mantel methods, particularly in short tests. The power ranking of the five procedures was inconsistent; it depended on the direction of DIF and other factors. Routine application of these polytomous DIF methods at ETS seems feasible in cases where a reliable test is available for matching examinees. For the Mantel and SMD methods, Type I error control may be a concern under certain conditions. In the case of SIBTEST, the current version cannot easily accommodate matching tests that do not use number‐right scoring. Additional research in these areas is likely to be useful.

show abstract

Section: J_n Equation 3 Which Is Known As the Item Category Responsesupporting

confidence: 82%

Section: Errors In Matchini Examinees In Dif Assessmentmentioning

confidence: 95%

Describing and Categorizing Dif in Polytomous Items

Zwick

Thayer

Mazzeo

1997

ETS Research Report Series

View full text Add to dashboard Cite

show abstract

“…Eğer referans grubun doğru yanıtlama olasılığı büyük ise MH>1 ve eğer odak grubun doğru yanıtlama olasılığı büyük ise MH<1 olacaktır. Eğitimsel Test Hizmetleri (Educational Testing Service-ETS), DMF etki büyüklüğüne ait bazı değerler önermiş ve bu değerler Roussos and Stout (1996) tarafından modifiye edilmiştir. |ΔMH| < 1 ise ihmal edilir düzeyde; 1 ≤ |ΔMH| < 1,5 ise orta düzeyde, |ΔMH)| ≥ 1,5 yani sıfırdan büyük ölçüde farklılık gösteriyor ise yüksek düzeyde DMF olduğunu gösterir.…”

Section: Mantel-haenszel (Mh) Yöntemiunclassified

MIMIC, SIBTEST, Lojistik Regresyon ve Mantel-Haenszel Yöntemleriyle Gerçekleştirilen DMF ve Yanlılık Çalışması

ARIKAN¹,

UĞURLU²,

ATAR³

2015

HUJE

View full text Add to dashboard Cite

“…Tip hata oranlarının, 20 maddelik testte 40 maddelik testten daha fazla olduğunu belirtmiştir. Roussos ve Stout (1996), yaptıkları simülasyon çalışmasında DMF'yi belirlemek için MH ve SIBTEST yöntemlerini kullanmış, örneklem büyüklüklerini ve yetenek dağılımlarını manipüle etmiş ve bu yöntemlerdeki 1. Tip hatayı araştırmışlardır.…”

Section: Introductionunclassified

Değişen Madde Fonksiyonunun Belirlenmesinde Kullanılan Yöntemlerde I. Tip Hata ve Güç Çalışması

Sünbül

2016

İlköğretim Online

View full text Add to dashboard Cite

Seçil Ömür Sünbül, Yrd. Doç. Dr., Mersin Üniversitesi, secilomur@mersin.edu.tr ÖZ. Bu çalışmada, Değişen Madde Fonksiyonunun belirlenmesinde kullanılan çeşitli yöntemlerin belirli koşullardaki I. Tip hata ve güç oranlarının belirlenmesi amaçlanmıştır. I. Tip hata ve güç oranlarının belirlenmesi simülasyon çalışmasıyla yapılmıştır. Klasik Test Kuramı'nadayalı değişen madde fonksiyonunun belirlenmesinde kullanılan yöntemlerde, örneklem büyüklüğünün, madde sayısının, referans grubundaki örneklem büyüklüğünün toplam örneklem büyüklüğüne oranlarının değişimlenmesinin 1. Tip hata oranları ortalamalarını çok fazla değiştirmediği görülmektedir. Madde Tepki Kuramı'nadayalı değişen madde fonksiyonunun belirlenmesinde kullanılan yöntemlerde ise, örneklem büyüklüğünün artmasıyla I. Tip hata oranlarının ortalamasının azaldığı, madde sayısının artmasıyla I. Tip hata oranlarının ortalamasının değişmediği ve referans ve odak gruplardaki örneklem büyüklüğü oranlarının eşit olduğu koşulda I. Tip hata oranları ortalamasının daha düşük olduğu görülmektedir. Güç oranlarının belirlenmesi için yapılan çalışmada, hem Klasik Test Kuramı'na hem de Madde Tepki Kuramı'na dayalı değişen madde fonksiyonu belirlenmesinde kullanılan yöntemlerde, örneklem büyüklüğünün ve değişen madde fonksiyonu miktarının artmasıyla güç oranlarının ortalamasının da arttığı görülmektedir. Tüm yöntemlerde, madde sayısının değişimlenmesinin güç oranlarının ortalamalarını çok fazla değiştirmediği, ayrıca, değişen madde fonksiyonlu madde sayısının oranının arttırılmasının ve referans ve odak gruplardaki örneklem büyüklüğü oranlarının farklı olması güç oranlarının ortalamasını azalttığı görülmektedir. Anahtar Kelimeler: Değişen Madde Fonksiyonu, I. Tip Hata Oranı, Güç Çalışması ABSTRACT. In this study Type I Error rates and power study of several differential item functioning determination methods were investigated for several conditions. For this purpose simulation studies were conducted for methods which belong to Classical Test Theory (CTT) and Item Response Theory (IRT). The results for Type I Error rates of differential item functioning determination methods under the framework of CTT show that none of manipulation criteria have significant effect on average Type I Error rates. For IRT based methods it has been observed that the increase of sample size causes the decrease of average Type I error rates while increasing the number of items has no significant effect on average Type I Error rates, and that the equal ratio of reference and focal sample sizes cause lower average Type I error rates. The results for power study for both differential item functioning determination methods of CTT and IRT show that the increase of sample size and the magnitude of differential item functioning cause the increase of average power rates. No significant effect of the number of items on average power rates could be observed.

show abstract

Simulation Studies of the Effects of Small Sample Size and Studied Item Parameters on SIBTEST and Mantel‐Haenszel Type I Error Performance

Cited by 194 publications

References 11 publications

Describing and Categorizing Dif in Polytomous Items

Describing and Categorizing Dif in Polytomous Items

MIMIC, SIBTEST, Lojistik Regresyon ve Mantel-Haenszel Yöntemleriyle Gerçekleştirilen DMF ve Yanlılık Çalışması

Değişen Madde Fonksiyonunun Belirlenmesinde Kullanılan Yöntemlerde I. Tip Hata ve Güç Çalışması

Contact Info

Product

Resources

About