A Comparison of Mantel-Haenszel and Standardization Methods: Detecting Differential Item Functioning

Abstract

The purpose of this study was to review the sensitivity of the two methods, the Mantel-Haenszel (MH and the Standardization methods to detect differences in function items (DIF). Sensitivity was based on the number of DIF grains. The data used in this study were generation data using the Wingen3 program in the form of a response dichotomy of 3054. Sample size was (200 and 1000) responses for the reference group and (200 and 1000) responses for the focus group. Samples were taken randomly as many as 35 replications. The distribution of the ability of the two groups was normal with average and variance, 0 and 1 respectively. The results of the study indicated that MH method were more sensitive than standardization method in DIF detection for samples of 400 and 2000. The finding also assumed there were possibility that standardization method was supreme when using a small sample or the number of population members of the focus group and reference was not balanced, while the focus group was less than the reference group. Abstrak:Tujuan penelitian ini untuk meninjau sensitivitas dua metode yaitu metode Mantel-Haenszel (MH) dan metode Standarisasi dalam deteksi perbedaan fungsi butir atau Differential item functioning (DIF). Sensitivitas ditinjau dari banyaknya butir DIF. Data yang digunakan dalam penelitian ini adalah data generasi dengan menggunakan program Wingen3 yang berbentuk respons dikotomi sebanyak 3054. Ukuran sampel (200 and 1000) respons untuk kelompok referensi dan (200 and 1000) respons untuk kelompok fokus. Sampel diambil secara acak sebanyak 35 replikasi. Distribusi kemampuan kedua kelompok adalah distribusi normal dengan rata-rata dan varians yaitu 0 dan 1. Hasil penelitian menunjukkan bahwa metode MH lebih sensitif dari pada metode standarisasi dalam deteksi DIF untuk sampel 400 maupun sampel 2000. Dari hasil penelitian ini ditemukan bahwa ada kemungkinan metode standarisasi lebih unggul ketika menggunakan sampel yang kecil atau jumlah anggota populasi kelompok fokus dan referensi tidak seimbang, dimana kelompok fokus lebih sedikit dibandingkan kelompok referensi.

Basic Algebra Ability Analysis of Junior High School students with the Rasch Model Approach

“…Good test items will provide accurate information from the test results. In this case, the item does not benefit one particular group, so the item is accurate in measuring the respondent's ability data (Rustam et al, 2019). Following are the results of the Differential Item Functioning (DIF) analysis Table 2.…”

Deteksi Bias Gender Pada Instrumen Evaluasi Belajar Kimia Dengan Metode Mantel-Haenzel

“…Dalam uniform DIF, probabilitas menjawab benar suatu butir untuk satu kelompok secara konsisten lebih rendah dibandingkan kelompok yang lain (Fidelis, 2018). Hal tersebut ditunjukkan dengan adanya dua buah Item Characteristic Curve (ICC) yang paralel atau sejajar satu sama lain (Uyar, Kelecioglu, & Dogan, 2017), sehingga mengindikasikan tidak adanya interaksi antara tingkat kemampuan dan keanggotaan kelompok (Rustam, Naga, & Supriyati, 2019).…”

“…Sementara itu, non-uniform DIF didefinisikan sebagai fungsi butir yang mendukung satu kelompok di beberapa tingkat kemampuan dan mendukung kelompok lain di tingkat kemampuan lain di seluruh skala kemampuan (Uyar, Kelecioglu, & Dogan, 2017). Hal tersebut ditunjukkan dengan adanya dua buah ICC yang tidak seragam (Salehi & Tayebi, 2012) atau saling berpotongan satu sama lain (Uyar, Kelecioglu, & Dogan, 2017), sehingga mengindikasikan adanya interaksi antara tingkat kemampuan dan keanggotaan kelompok (Rustam, Naga, & Supriyati, 2019) dan itu cukup sulit ditafsirkan (Salehi & Tayebi, 2012).…”