Klasifikasi Multi Class Pada Analisis Sentimen Opini Pengguna Aplikasi Mobile Untuk Evaluasi Faktor Usability

Abstract

Dalam proses pengembangan maupun pengujian perangkat lunak, faktor usability merupakan aspek yang paling penting. Evaluasi faktor usability tersebut dapat dilakukan dengan menganalisa orientasi sentimen pada opini pengguna berdasarkan faktor usability. Namun, setiap opini juga memiliki tingkat sentimen yang mencerminkan tinggi rendahnya orientasi sentimen, sehingga akan lebih efektif apabila tingkat sentimen juga dipertimbangkan dalam proses evaluasi. Selain itu, opini pengguna juga dapat memiliki lebih dari 1 faktor usability. Hal tersebut dikarenakan setiap dokumen opini dapat terdiri lebih dari 1 kalimat dimana setiap kalimat bisa memiliki faktor usability yang berbeda. Berbeda dengan perangkat lunak lainnya, aplikasi mobile memiliki batasan dan konteks tersendiri. Sehingga model usability yang digunakan juga berbeda dengan perangkat lunak lainnya. Model PACMAD merupakan model usability yang disesuaikan dengan batasan dan konteks dari aplikasi mobile. Oleh karena itu dalam penelitian ini diusulkan suatu metode evaluasi faktor usability dengan menggunakan klasifikasi multi class pada analisis sentimen dengan mempertimbangkan tingkat sentimen opini pengguna aplikasi mobile berdasarkan model usability PACMAD. Data opini pengguna dikaslifikasian dengan model klasifikasi multi class dengan metode naive bayes, kemudian dianalisis orientasi dan tingkat sentimennya dengan menggunakan metode SentiWordNet Interpretation. Berdasarkan hasil ujicoba diperoleh nilai akurasi sebesar 74,7%, precision 43,2%, recall 29,5% dan f-measure 34,5%.

Implementation of Usability Testing Methods to Measure the Usability Aspect of Management Information System Mobile Application (Case Study Sukamiskin Correctional Institution)

“…Based on research by Satria Utama (2011) [9], the increasing of user interface in more effective, efficient and increasing of user satisfaction gotten from usability evaluation result with Eye Tracking technique. S. R. Wardhana (2016) [10] revealed sentiment analysis for usability factor evaluation is a usability factor evaluation method that considers orientation and sentiment level in a mobile application user review. By considering the level of sentiment on user reviews, the resulting evaluation scores become more effective and in accordance with the usability factors reviewed by users.…”

“…Septiyawan Rosetya Wardhana (2016) [10] in considering review of mobile application user the evaluation score is more effective and suitable with usability factor which is review by user.…”

“…The similar researches about usability testing have been conducted by Hanifah Muslimah Az-zahra (2015) [8], Satria Utama (2011) [9], Wardhana (2016) [10], Hoehle (2015) [11], Syaifullah (2017) [12], and Fahmi (2018) [13]. Based on the previous findings, they tested effectivity level, efficiency, and user satisfaction.…”

Aspect-Based Sentiment Analysis of KAI Access Reviews Using NBC and SVM

“…First, the data need to be labeled. The labeling process was done manually by two final year Information System student of Universitas Amikom Yogyakarta, which work together on labeling the aspect category and the sentiment polarity, based on usability aspect of Nielsen (1994) which is learnability, memorability, efficienty, and errors [9]. But here, the memorability aspect are treated as the same aspect as learnability since is has similar meaning.…”

Pemilihan Metode dan Algoritma dalam Analisis Sentimen di Media Sosial : Sistematic Literature Review

“…Gambar 2 merupakan hasil penyandian axial artikel yang diklasifikasikan berdasarkan studi kasus, dengan deskripsi topik ulasan sebagai berikut : perguruan tinggi [15]; covid-19 [16], [17]; usaha waralaba [18]; ulasan video [19], [20]; ulasan produk [21]- [26]; ulasan pelanggan guest house [27]; ulasan aplikasi mobile [28]- [31]; pornografi [32]; travel agent [33], [34]; topik viral desa penari [35]; tokoh publik [36], [37]; solusi pengelolaan sampah [38]; sistem pencarian kost [39]; ruang belajar dan ruang guru [40]; perusahaan penjual online [24], [41], [42]; pengguna aplikasi mobile [43]. Hal ini menunjukkan bahwa kajian analisis sentimen terkait dengan ulasan video, produk, aplikasi mobile, travel agent, tokoh publik, perusahaan penjualan online menjadi populer.…”