Angoff, Yes/No ve Ebel Standart Belirleme Yöntemlerinin Karşılaştırılması

Abstract

Öz Bu araştırmada Angoff, Yes/No ve Ebel standart belirleme yöntemleri ile elde edilen uzman kararları ve kesme puanları karşılaştırılmıştır. Araştırmanın verilerini, 20 maddelik bir başarı testinden alınan 489 öğrenci puanı ve 17 uzmanın bu başarı testindeki maddeler için üç farklı standart belirleme yöntemine göre vermiş oldukları kararlar oluşturmaktadır. Verilerin analizi uzmanlar arası uyum Angoff ve Ebel yöntemleri için Kendall'ın uyuşum katsayısı (W) ve Yes/No yöntemi için Cohen'in Kappa istatistiği ile; üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasındaki farklılıklar bağımlı iki oran arasındaki farkın testi ile; üç yöntemden elde edilen kesme puanlarına göre öğrenci puanları başarılı-başarısız olmak üzere yapay ikili hâle getirilip aralarındaki uyuma Cohen'in Kappa istatistiği ile; üç yönteme ait kesme puanları arasındaki uyum ise Pearson Momentler Çarpımı Korelasyon Katsayısı ve bağımlı gruplar t testi ile test edilmiştir. Bu araştırma sonunda yöntemlerde uzmanlar arasında makul bir uyumun yakalanabildiği; üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasında 0,01 hata düzeyinde manidar farklılık olduğu ve öğrencilerin başarılı-başarısız sayılma durumları bakımından uyum olduğu görülmüştür. Kesme puanları arasında Angoff-Yes/No yöntemleri arasında yüksek düzeyde, Angoff-Ebel yöntemleri arasında orta düzeyde bir ilişki olduğu ve Yes/No-Ebel yöntemleri arasında anlamlı bir ilişki olmadığı görülmüştür.

Mesleki̇ Kidemi̇n Kesme Puani Beli̇rlemeye Etki̇si̇ni̇n Genellenebi̇li̇rli̇k Kurami İle İncelenmesi̇

“…Puanlayıcılardan bütün maddeler için elde edilen ihtimal değerlendirmeleri toplanır ve puanlayıcı sayısına bölünmek suretiyle ortalaması alınarak puanlayıcı grubu ve test için nihai kesme puanı belirlenmiş olur. Angoff yöntemi Türkiye'de ve yurtdışında çokça kullanılmasına rağmen (Behuniak vd., 1982;Brennan & Lockwood, 1980;Çetin, 2011;Demir, 2014;Gündeğer ve Doğan, 2014;Kane, 1994;Yousuf, Violato & Zuberi, 2015) puanlayıcılar tarafından minimum yeterlik düzeyindeki öğrencinin maddeyi doğru cevaplayabilme olasılığının isabetli bir şekilde tahmin edilebilmesinin güç bir görev olduğundan dolayı eleştirilmektedir (Shepard, 1993).…”

Anxiety in Prospective Teachers: Determining the Cut-off Score with Different Methods in Multi-Scoring Scales

“…The studies on methods of determining cut-off scores in the field of educational sciences reveals examples comparing several methods in success tests finding out pros and cons of the methods (Çetin, 2011;Gündeğer, 2012;Impara and Plake, 1998;Ömür and Selvi, 2010;Stone, Koskey and Sondergeld, 2011;Tanrıverdi, 2006;Taşdelen, 2009;Taşdemir, 2013;Vivo and France, 2008). Besides, there are studies in which methods of determining cut-off scores and examining the psychometric properties in multiple-scoring psychological tests (Konkan, Şenormancı, Güçlü, Aydın and Sungur, 2013;Konuk, Kıran, Tamam, Kararahmet, Aydın and Atık, 2007;Koyuncu, 2015;Tülübaş, 2009).…”

“…For example, Jeager (1989) refers to advantages and disadvantages of having a large number of experts in his research, and states that a group of 10 to 15 judges is sufficient. In another study on determining the optimum number of judges for the Angoff method, Gündeğer (2012) found out that reliability does not change if a larger number of judges are employed. As a result, 10 judges were employed in this study.…”

Determination of cutting score in performance tasks<p>Performans görevlerinde kesme puanının belirlenmesi

“…Standart belirleme çalışmaları, öğrencilerin ilgili konuda yeterli bir performansa sahip olup olmadıklarını belirleyebilmek için geçme puanını hesaplamak üzere yapılır. Alanyazında birçok standart belirleme çalışması bulunmaktadır ve bunların pek çoğu da çoktan seçmeli testler üzerinden geçme puanı hesaplama çalışmalarıdır (Chang,1996;Çetin ve Gelbal, 2010Çetin ve Gelbal, , 2013Gündeğer ve Doğan, 2014;Hurtz ve Hertz,1999;Impara ve Plake,1997;Taşdelen, 2009;Taşdemir, 2013;Tülübaş, 2009).…”