Item discrimination index, which indicates the ability of the item to distinguish whether or not the individuals have acquired the qualities that are evaluated, is basically a validity measure and it is estimated by examining the fit between item score and the test score. Based on the definition of item discrimination index, classroom observation scores were used in this study instead of test scores as the indication of having the tested quality.In the framework of the study, a 25-item multiple-choice test prepared in the context of 8th grade Mathematics Unit "Multipliers and Multiples" was administered to a total of 109 8th graders (44 females, 65 males) studying in 4 separate classrooms of Ömer Nasuhi Bilmen Secondary School in Şanlıurfa Province. Furthermore, these students’ Mathematics teachers were asked to observe and score students during the unit and the obtained observation scores were used as external criterion in estimating the discrimination index. By using this criterion, fit values estimated with the help of upper and lower groups consisting of 27% from the extremes of the criterion score distribution and biserial correlation were compared with the traditional conditions where test scores were utilized. It was found that item discrimination indices based on classroom observations were higher than those based on test scores in both of the discrimination indices estimated via upper-lower 27% groups and biserial correlation. This finding was discussed to be related to the fact that while classroom observation scores were an external validity criterion, test scores were composed of items whose discrimination values were calculated. The finding also demonstrated that classroom observation scores were more rigid and eliminative than test scores in terms of discrimination.
Bu çalışmada Angoff ve Madde Tepki Kuramına (MTK) dayalı Madde Haritalama yöntemleri ile belirlenen kesme puanlarının karşılaştırması amaçlanmıştır. Çalışma için ÖSYM tarafından 2000-2012 yılları arasında, yılda iki kez yapılan ve akademik kadrolara atanma aşamasında puanları ön koşul olarak kabul edilen ÜDS'nin 2005 yılı Sosyal Bilimler İngilizce testi arşiv verileri kullanılmıştır. Her iki yöntemin yürütülmesinde de yedi yargıcı ile çalışılmış ve bu yöntemlerle belirlenecek 3 kesme puanına ilişkin yeterlik düzeylerinin sınırında kalan adayların dil yeterlikleri Avrupa dil portfolyosu çerçevesi esas alınarak 15 kişilik bir uzman grubunun görüşleri doğrultusunda tanımlanmıştır. İki yönteme göre belirlenen kesme puanlarının "öğretim üyesi dışındaki öğretim elemanı kadrolarına atanabilme" düzeyi için anlamlı derecede farklı olduğu ancak "Doçentlik başvurusu yapabilme" ve " İngilizce okutmanlığı başvurusu yapabilme" düzeyleri için benzer olduğu bulunmuştur. MTK'ya dayalı belirlemelere bir geçerlik kanıtı oluşturmak amacıyla yanıtlayıcı örneklemine ait verilerden elde edilen madde parametrelerine göre maddeler yeniden haritalanmış ve yargıcılarla ikinci bir madde haritalama çalışması yürütülmüştür. Bu iki uygulamada verilen kararların birbirleri ile uyumlu olması, yapılan işlemin geçerliği için kanıt olarak kabul edilmiştir. Angoff ve MTK'ya dayalı Madde Haritalama yöntemleri ile üç ayrı kesme puanının belirlenmesinde yargıcılar arası uyum araştırılmıştır. MTK'ya dayalı Madde Haritalama yönteminde yargıcıların birbirleri ile uyumlu kararlar verdikleri, Angoff yöntemi için yargıcılar tarafından verilen kararların birbirleri ile uyumlu olmadığı görülmüştür. Yargıcıların iş yükünü azaltma ve onlara ortak standardı yakalama konusunda yol göstererek daha tutarlı sonuçlar elde etmeyi sağlama gibi avantajları sebebiyle MTK'ya dayalı Madde Haritalama Yöntemi'nin daha güvenilir ve kullanışlı olduğu görülmüştür.
ÖZETAnketler, sosyal bilimler araştırmalarında yaygın olarak kullanılan; kısa zamanda çok sayıda yanıtlayıcıya ulaşabilme imkânı tanıyan, hazırlanması ve puanlanması kolay olan ölçme araçlarıdır. Ancak anket geliştirirken araştırmacıların gözden kaçırdığı bazı noktalar, araştırma sonuçlarını olumsuz etkileyebilmektedir. Anketlerin hazırlanması aşamasında üzerinde durulması gereken önemli noktalardan biri tepki kategorilerinin net, herkes tarafından aynı anlama gelen, örtüşmeyen ifadelerden oluşmasıdır. Tarama modelinde yürütülen bu çalışmada anket maddelerinin tepki kategorilerinde yaygın olarak kullanılan; sıklık, zaman, miktar ve mesafe bildiren ifadelerin yanıtlayıcılar tarafından nasıl algılandığını belirlemek amaçlanmıştır. Bu amaç doğrultusunda yanıtlayıcılara anlamca kapalı olan; "nadiren", "çok uzak", "az" gibi derecelendirme sözcükleri ile oluşturulmuş tepki kategorileri içeren bir anket, daha sonra da sayısal olarak derecelendirilmiş tepki kategorileri içeren ikinci bir anket verilmiştir. Yanıtlayıcıların ilk ankette verdiği yanıtlar ile ikinci ankette verdiği yanıtların frekansları sayılarak çapraz tablolar ile eşleştirilmiş, kategoriler arası uyuma Kappa istatistiği ile bakılmıştır. böylece yanıtlayıcıların ilk ankette verilen tepki kategorilerine sayısal olarak yükledikleri anlamlar ortaya konulmaya çalışılmıştır. Araştırmanın bulguları yanıtlayıcıların sayısal olarak ifade edilmeyen, "nadiren", "çok uzak", "az" gibi ifadeleri birbirlerinden farklı algıladıklarını göstermektedir. Yanıtlayıcılar zamanı, sıklığı, miktarları ve mesafeleri birbirlerinden farklı nitelendirdikleri için ölçme araçlarında kişiden kişiye göre değişebilecek ifadelerin yer alması sonuçların objektifliğine zarar verecektir. Bunu engellemek için olabildiğince net, herkes için aynı anlama gelen ve mümkünse sayısallaştırılmış tepki kategorilerine yer verilmesi önerilebilir.Anahtar Kelimeler: tepki kategorileri, anket, dereceleme türü maddeler RESPONDENTS' INTERPRETATIONS ABOUT RESPONSE CATEGORIES OF QUESTIONNAIRESABSTRACT Questionnaires, which are frequently used measurement instruments in social sciences, are easily distrubuted to a large number of people and allow anonimity. When developing a questionnaire, researchers should be sure that the response categories are mutually exclusive and encompass the total range of answers and should check whether the response categories have the same meaning to all respondents or not. The purpose of this article is to introduce the respondents' interpretations about response categories of rating scales. For this purpose, two questionnaires are developed, which have the same items but different response categories. In first questionnaire, response categories was words about frequency, time, money and distance as "sometimes", "a long time", "much money", "near" etc. In the other questionnaire, the reponse categories was quantified as "once a day or more", "about 20km-50km", "about 100TL-300TL" etc. Intercategorization was examined with kappa statisticAs a result it is introduced that response ca...
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
hi@scite.ai
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.