This report aims to introduce the fundamental features of the free Jamovi software to academics in the field of educational measurement for use at undergraduate and graduate level research. As such, after introducing the R based interface and the integrated development environment, the core functions of Jamovi are presented, the installation for GNU7Linux, Windows, and MacOS is explained and screenshots of frequently conducted statistical analyses are provided. Additionally, the module support of Jamovi is presented, along with a use case scenario on developing further functionality for Jamovi using modules. Specifically, conducting metaanalysis and Bayesian statistics using modules in Jamovi are explained through examples.

Many studies have been conducted on the effect of item order in self-report questionnaires on mean scores. This research aims to study the effect of item order on measurement invariance in addition to mean scores. To this end, two groups randomly obtained from the same sample were presented a fixed order form in which all items belonging to the same dimension were adjacent to each other, and a random order form in which the items were randomly sequenced respectively. The results obtained revealed a statistically significant difference between the mean scores of the two forms. In the next stage of the study, the fit indices obtained from the confirmatory factor analysis (CFA) applied to the two separate forms and the modification indices (MI) suggested by the software were compared. Both forms returned high modification suggestions for adjacent items or items presented near each other. Additionally, it was found that high χ2 reductions suggested by the MIs in one form resulted in low χ2 reductions in the other. Lastly, multiple group CFA (mg-CFA) was conducted to determine whether or not measurement invariance was achieved through different item order presentations of the scale. The findings indicate that measurement invariance could not be achieved even at the first stage of analysis. It may specifically be stated that presenting respondents items under the same dimension together ensures empirical findings congruent with theoretical structure.

This article may be used for research, teaching, and private study purposes. Any substantial or systematic reproduction, redistribution, reselling, loan, sub-licensing, systematic supply, or distribution in any form to anyone is expressly forbidden.

ÖZ: Bu araştırmanın amacı, Türkiye'de yükseköğretimde uzaktan eğitim bağlamında, çoktan seçmeli soruların güçlük ve ayırt edicilik değerlerinin soru türlerine göre farklılık gösterip göstermediğini belirlemek ve öğrencilerin soru türlerine ilişkin görüşlerini almaktır. Karma olarak desenlenen araştırmada hem nicel hem nitel veriler toplanmıştır. Nicel veriler için 905 soru üzerinde çalışılmış ve madde analizi raporlarından yararlanılmıştır. Nitel veriler ise öğrencilerin soruların güçlük değerlerine ilişkin görüşlerini ortaya koymak amacıyla 20 uzaktan öğrenciyle yapılan yarı-yapılandırılmış görüşmelerle gerçekleştirilmiştir. Araştırmada soruların olumlu soru kipindeki sorular, olumsuz soru kipindeki sorular, cevabı işlem gerektiren sorular ve K Tipi sorular olmak üzere 4 türde olduğu saptanmıştır. Araştırma sonuçlarına göre olumlu ve olumsuz soru kipindeki sorularla cevabı işlem gerektiren soruların madde güçlükleri arasında istatistiksel olarak manidar bir fark bulunurken, soruların ayırt edicilik değerleri arasında manidar bir fark bulunmamıştır. Öğrencilerin soruların güçlük değerlerine ilişkin görüşleri ve tercihlerinin farklılaştığı tespit edilmiştir. Anahtar sözcükler: çoktan seçmeli sorular, güçlük değeri, ayırt edicilik değeri, soru türü, uzaktan eğitim ABSTRACT: The purpose of this study is to determine whether difficulty and discrimination indices of multiple choice questions differ according to item types in Turkey in higher education in a distance education setting and to identify the opinions of students on item types. In this mixed study, both quantitative and qualitative data were collected. Quantitative data were collected from Item Analysis reports including 905 items whereas qualitative data were collected from 20 students via semi-structured interviews to reveal the opinions of students on difficulty levels of questions. It was identified that items were in 4 types which were positive, negative, problem-based and K-Type questions. As a result, there is a significant difference between the difficulty indices of positive questions and problem-based questions as well as negative questions and problem-based questions. On the other hand, no significant difference was found between the discrimination indices. In addition, it was found that opinions of students on the difficulty levels of questions showed variety. Keywords: multiple choice questions, difficulty index, discrimination index, item type, distance education GİRİŞEğitimde ölçme ve değerlendirme, öğretim tasarımı sürecinin önemli bir öğesidir; öğrenme-öğretme süreçleri ile ilgili geribildirim sağlayarak tüm sürecin gözden geçirilmesini ve geliştirilmesini sağlar. Öğrenci başarısının ölçülmesinde çeşitli araçlar kullanılmaktadır. Bu araçların geleneksel ve tamamlayıcı ölçme araçları olmak üzere iki başlık altında toplandığı söylenebilir (Popham, 2003). Sık kullanılan geleneksel araçların çoktan seçmeli testler, doğru-yanlış testleri, eşleştirme testleri, klasik yazılı sınavlar, sözlü sınavlar ve ödevler; tamamlayıcı araçların ise portfolyo,...