Performa Teknik Regularisasi Dalam Penanganan Masalah Multikolinieritas

Abstract

Multikolinieritas adalah kondisi terdapat hubungan linier antar variabel independen, dimana diantara variabel independen tersebut saling berkorelasi. Akibatnya akan sulit untuk melihat pengaruh variabel independen terhadap variabel dependen. Penanganan multikolinieritas salah satunya dapat dilakukan menggunakan teknik regularisasi yaitu bentuk regresi yang mengatur atau menyusutkan perkiraan koefisien menuju nol. Teknik regularisasi yang akan dibahas pada penelitian adalah regresi ridge, LASSO dan elastic net. Regresi ridge hanya dapat menyusutkan koefisien regresi menuju angka 0, tetapi tidak pernah tepat ke angka 0. Regresi elastic net dapat menyusutkan koefisien regresi tepat nol, melakukan seleksi variabel secara simultan dan dapat memilih kelompok peubah yang berkorelasi. Sedangkan, regresi LASSO hanya dapat menyusutkan koefisien dan menetapkan koefisien ke angka 0. Oleh karena itu, LASSO dapat menghasilkan model dengan variabel terbaik. Namun, LASSO memiliki beberapa kelemahan. Ketika jumlah variabel independent lebih kecil dibanding jumlah amatan, kinerja LASSO lebih didominasi oleh ridge. Ketika jumlah variabel independent lebih besar dibanding jumlah amatan, maka LASSO hanya memilih n variabel yang diikutkan dalam model. Sehingga, untuk mengatasi high dimensional data yang mengandung multikolinieritas dilakukan penelitian menggunakan teknik regularisasi regresi ridge, LASSO dan elastic net untuk dibandingkan kebaikan modelnya berdasarkan nilai MSE terkecil. Data yang digunakan merupakan data simulasi dan studi kasus dari website resmi BPS serta UCI machine learning repository. Disimpulkan bahwa dari 30 pengacakan, model ridge baik memodelkan dataset dengan p = 20, 40, dan 80 atau kondisi dataset dimana jumlah variabel independent lebih kecil dibanding jumlah amatan dan elastic net baik memodelkan dataset dengan p = 100, 160, dan320.