The effect of test instruction and risk taking tendency on psychometric properties of multiple choice tests<p>Test yönergesi ve risk alma eğiliminin çoktan seçmeli testlerin psikometrik özelliklerine etkisi

Abstract

The research is a quasi-experimental research which aims to investigate the effect of test instruction and risk taking tendency on the psychometric properties of multiple choice tests. The study group of the research comprised of 220 undergraduate students studying at different departments of Ankara University Faculty of Educational Sciences in 2014-2015 spring term. An achievement test of measurement and evaluation course consisting of 24 items was applied to students in the study group. The test was applied to four similar groups with different instructions. A risk taking scale was applied to determine the risk taking tendency of the students. The data were analyzed by using one way ANOVA, dependent sample t-test, independent sample ttest, Feldt test, Fisher's z test, Pearson correlation coefficient, Spearman's rank-order correlation coefficient and confirmatory factor analysis. The findings showed that corrected score means, uncorrected score means and reliability coefficients calculated from corrected scores of tests applied with different instructions were significantly different whereas reliability coefficients calculated from uncorrected scores were not significantly different. The validity of Özet Bu araştırma, test yönergesi ve risk alma eğiliminin çoktan seçmeli testlerin psikometrik özellikleri üzerindeki etkisini incelemeyi amaçlayan yarı deneysel bir araştırmadır. Araştırmanın çalışma grubu, 2014-2015 bahar döneminde Ankara Üniversitesi Eğitim Bilimleri Fakültesinde öğrenim gören 220 öğrenciden oluşmaktadır. Çalışma grubundaki öğrencilere ölçme ve değerlendirme dersi başarısını ölçen 24 maddelik çoktan seçmeli test uygulanmıştır. Başarı testi birbirine benzer dört öğrenci grubuna farklı yönergelerle uygulanmıştır. Öğrencilerin risk alma eğilimini belirlemek için risk alma ölçeği uygulanmıştır. Veriler; tek faktörlü varyans analizi, ilişkili örneklemler için t-testi, ilişkisiz örneklemler için t-testi, Feldt testi, Fisher z testi, Pearson korelasyon katsayısı, Spearman sıra farkları korelasyon katsayısı ve doğrulayıcı faktör analizi teknikleriyle analiz edilmiştir. Araştırmadan elde edilen bulgular, farklı yönergelerle uygulanan testlerin ham puan ortalamaları, düzeltilmiş puan ortalamaları ve düzeltilmiş puana göre hesaplanan güvenirlik katsayıları arasında manidar fark olduğunu; buna karşın ham puanlara göre hesaplanan güvenirlik katsayıları arasında manidar fark 1 This study was summarized from the master thesis titled as "The Effect of Test Instruction and Risk Taking Tendency on the Psychometric Properties of Multiple Choice Tests and Guessing Tendency" 2 PhD Student, Ankara University, Institute of Educational Sciences, coban.ercan@gmail.com 3 Prof. Dr., Ankara University, Faculty of Educational Sciences, Department of Measurement and Evaluation, rnukhet@yahoo.com Çoban, E., & Demirtaşlı, R. N. (2017). Test yönergesi ve risk alma eğiliminin çoktan seçmeli testlerin psikometrik özelliklerine etkisi. Journal of Human Sciences, 14(3), 2949-2967. doi:10.14687/jhs.v14i3.4449 2950 the test...