The goal of this study is to determine the reliability of the performance points of dentistry students regarding communication skills and to examine the scoring reliability by generalizability theory in balanced random and fixed facet (mixed design) data, considering also the interactions of student, rater and duty. The study group of the research consists of the 16 dentistry students who took communication skills elective course in Hacettepe University in 2014-2015 academic year. In the study, the variability sources are taken as student (s), rater (r), occupation (o) and task (t). 16 students are assigned with 16 different duties and whether the students fulfill the duties is rated by 8 raters from two different occupation groups, 4 standard patients and 4 academicians. On these facets using different designs G study has been performed. Within the scope of this study the sxrxt design where all variability sources are crossed; sx(o:r)xt design where the occupation nested on rater as the result of scoring of the students by two different occupation groups as standard patient and academicians; sxaxt and sxspxt facets where rater facet is taken as fixed facet according to occupation groups (sp: Standard Patient, a: Academician) were examined. For each design estimated variance components are discussed separately.

No abstract

ÖzBu çalışmada, Madde Tepki Kuramı'na göre ikili puanlanan ve bir, iki ve üç parametreli lojistik modellere uygun olarak üretilen maddelerde, çeşitli madde-uyum indekslerinin, çeşitli koşullardaki (örneklem büyüklüğü, test uzunluğu ve uyumsuzluk yüzdesi) I. tip hata ve güç oranlarının incelenmesi amaçlanmıştır. Çalışmada, indekslerin I. tip hata ve güç oranlarının belirlenmesi simülasyon çalışmasıyla yapılmıştır. Çalışmada, madde uyumu için geleneksel indekslerden χ², Q1 ve G 2 indeksleri ile alternatif indekslerden S-χ² indeksi kullanılmıştır. Çalışmada yer alan dört farklı madde-uyum indeksinin I. tip hata ve güç oranları, örneklem büyüklüğü (1000, 2000, 4000), test uzunluğu (20, 30, 40) ve uyumsuzluk yüzdesi (%0, %10, %30 ve %50) değişimlenerek incelenmiştir. Veriler R 3.3.2 yazılımı kullanılarak üretilmiştir ve "mirt" paketi kullanılarak analiz edilmiştir. Çalışmada üretilen ve analiz edilen model olmak üzere iki tür model kullanılmıştır. Üretilen modele uygun madde tepkileri ile analiz edilen modele uygun madde tepkileri için madde-uyum indekslerinin p değerleri ve serbestlik dereceleri hesaplanmıştır. Uyum indekslerinin I. tip hata ve güç oranları 0.05 anlamlılık düzeyine göre değerlendirilmiştir. Her uyum indeksinin tüm koşullardaki I. tip hata ve güç oranları hesaplanarak bu indeksler karşılaştırılmıştır. Çalışma sonucunda, tüm faktörlerde S-χ² indeksinin diğer indekslere göre daha düşük hataya sahip olduğu görülmüştür. 2000 ve üzeri örneklem büyüklüğünde ve 20 ve daha fazla maddeden oluşan testlerde S-χ² indeksinin diğer indekslerden daha düşük I. tip hata oranına ve daha yüksek güce sahip olduğu görülmüştür.Anahtar Kelimeler: Madde Tepki Kuramı, madde-uyum indeksi I.tip hata, güç, S-χ² AbstractIn this study, it was aimed to investigate type I error and power rates of the item fit indices through various conditions (sample sizes, different test lengths and different magnitudes of misfit) for dichotomously generated items based on one-, two-, and three-parameter logistic models in Item Response Theory. In this study, the type I error and power rates of these item fit indices were assessed in a simulation study. χ², Q1 and G 2 indices as traditional item fit indices and S-χ² index as alternative indices were assessed. The performance of four different item fit indices in study were compared by manipulating three different sample size (1000, 2000, 4000), three different test lengths (20, 30, 40) and four different misfit magnitude (%0, %10, %30 and %50). Item responses were generated using the R 3.3.2 software program and analyzed by using "mirt" package in R software. The p value of item fit indices and their degrees of freedom were calculated for both item responses for generating model and analysis model. Type I errors and power rates of item fit indices were examined according to significance levels of 0.05. All item fit indices in this study were compared by calculating the type I error and power rates of each item fit indices under all conditions. The findings indicated that S-χ² index has lower t...

BT-BOBUT), DINA ve DINO model için farklı nitelik sayısında, madde kalitesinde ve test uzunluklarında madde seçim algoritmalarının performanslarını ölçme doğruluğuna göre incelemektir.Çalışma kapsamında, nitelik sayısı 5 ve 8 olarak değişimlenmiş ve her madde en az bir nitelik ve en fazla 4 nitelik ölçecek şekilde sınırlandırılmıştır. Veri üretiminde, g ve s parametreleri yüksek madde kalite düzeyi için U(0,05-0,25) ve düşük madde kalite düzeyi için U(0.10-0.30) tekbiçimli dağılımdan çekilmiştir. Her bireyin her niteliğe sahip olma şansı %50 olacak şekilde 3000 bireye ait bilişsel örüntüler üretilmiştir. Sonlandırma kuralı olarak 8, 16 ve 24 sabit test uzunlukları kullanılmıştır.Çalışmada kullanılan madde seçim algoritmaları GDI, JSD, MI, PWCDI ve PWKL'dir. Madde seçim algoritmalarının performansları, nitelik ve örüntü koruma oranlarına göre değerlendirilmiştir.Çalışmada veri üretimi ve analizleri R 3.6.3 yazılımı kullanılarak gerçekleştirilmiştir. Çalışma sonucunda, madde kalitesi ve test uzunluğu arttıkça tüm algoritmaların ölçme doğruluk değerlerinin arttığı, nitelik sayısı arttıkça ölçme doğruluğunun azaldığı tespit edilmiştir. JSD algoritmasının ölçme doğruluğu tüm koşullarda en yüksek iken, PWKL algoritmasının en düşük olduğu bulunmuştur. DINA ve DINO modellerde PWKL algoritması dışındaki algoritmaların performansı yaklaşık aynı iken, DINO modelde PWKL algoritmasının ölçme doğruluğunun DINA modelden daha düşük olduğu bulgusu elde edilmiştir.