Pengembangan Aplikasi Pengenalan Bahasa Isyarat Abjad Sibi Menggunakan Metode Convolutional Neural Network (Cnn)

Abstract

Menyampaikan informasi dibutuhkan bahasa yang mudah dipahami. Penyandang tunarungu memiliki bahasa tersendiri dalam komunikasi yaitu bahasa isyarat. Bahasa isyarat SIBI (Sistem Isyarat Bahasa Indonesia) sering digunakan dalam kondisi formal. Pemahaman mengenai bahasa isyarat perlu ditanamkan sejak dini. Di SDLB Purworejo III Kota Pasuruan telah diajarkan bahasa isyarat. Namun dalam proses pembelajarannya masih menggunakan buku panduan, video pembelajaran atau bahkan peragaan secara langsung oleh guru.Pada penelitian ini dilakukan proses klasifikasi peragaan bahasa isyarat abjad SIBI berdasarkan peragaan secara langsung oleh guru maupun murid di depan kamera secara realtime. Aplikasi dibuat berbasis web serta proses klasifikasi menggunakan metode Convolutional Neural Network (CNN). Dataset berupa citra digital peragaan abjad SIBI diperoleh dari 1 orang guru dan 3 orang murid penyandang tunarungu, diperoleh total dataset 416 citra terdiri dari 384 citra hasil pengambilan gambar dan 32 citra digital hasil konversi video peragaan bahasa isyarat abjad J dan Z karena peragaan berupa gerakan aktif. Keluaran dari sistem ini berupa label kelas abjad dan nilai probalitas hasil klasifikasi yang ditampilkan pada webcam dalam website. Pengujian melibatkan 2 orang relawan dengan melakukan uji coba sebanyak 52 kali munggunakan model klasifikasi hasil training. Berdasarkan pengujian menggunakan rumus confusion matrix, diperoleh nilai accuracy, recall, specificity dan sensitivity sebesar 80,76% .

Penerapan Metode Convolutional Neural Network dalam Klasifikasi Bahasa Isyarat

“…Selanjutnya pada penelitian yang dilakukan oleh [5] yang menggunakan metode convolutional neural network untuk mengenali gerakan tangan bahasa isyarat amerika dan mendapatkan akurasi sebesar 94.34%. Adapun penelitian yang dilakukan oleh [6] yang membuat sebuah aplikasi untuk mengenali bahasa isyarat abjad SIBI dengan metode CNN dan mendapatkan akurasi sebesar 80,76%. Adapun peneliti yang menggunakan metode CNN lainnya untuk mengklasifikasikan bahasa isyarat dan menghasilkan akurasi 92,88% yang dilakukan oleh [7].…”

Pengenalan Alfabet SIBI Menggunakan Convolutional Neural Network sebagai Media Pembelajaran Bagi Masyarakat Umum

“…Overfitting adalah keadaan dimana hampir seluruh data yang telah ditraining mencapai persentase yang baik, namun pada proses prediksi terjadi ketidaksesuaian [13]. Dropout akan menghilangkan neuron yang dianggap noise untuk sementara secara acak untuk mencegah terjadinya overfitting [17].…”

“…Dalam algoritma CNN, proses belajar untuk mendapatkan nilai optimal disebut learning rate [21]. Adam merupakan salah satu algoritma optimasi (optimizer) yang bertujuan untuk mendapatkan nilai bobot yang optimal, meningkatkan akurasi serta mengurangi kesalahan [17]. Adam memiliki keunggulan seperti hemat memori, efisien dan komputasi dan cocok untuk berbagai ISSN: 2477-5126 e-ISSN: 2548-9356 Zahrah Fadhilah: Pengenalan Alfabet SIBI Menggunakan… 166 masalah optimasi non-convex pada Machine Learning Adadelta [24].…”

Analisis Perbandingan Algoritma Machine Learning dan Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI)

“…Akurasi yang didapat dengan menggunakan filter adalah 98%, namun jika tanpa menggunakan filter hanya 25%. (Sholawati et al, 2022) melakukan klasifikasi menggunakan CNN untuk citra SIBI abjad A hingga Z. Akurasi, recall. Specificity, dan sensitivity yang dihasilkan dari penelitian ini adalah 80.76%.…”