Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network Berbasis ESP32 dan Platform Edge Impulse

Abstract

Penyandang disabilitas dan orang tua lansia sering mengalami kesulitan dalam melakukan aktivitas seperti manusia pada umumnya. Dalam kondisi seperti ini diperlukan alat yang dapat memanggil perawat untuk meminta bantuan hanya dengan gerakan tangan. Selain itu, denyut nadi dan suhu tubuh juga perlu dipantau setiap saat oleh perawat. Penelitian ini bertujuan merancang alat untuk mengklasifikasikan lima gerakan tangan menggunakan metode machine learning dengan algoritma Artificial Neural Network (ANN) dari platform Edge Impulse. Implementasi dilakukan dengan menggunakan ESP32, sensor akselerometer, sensor suhu tubuh dan sensor denyut nadi. Semua data hasil klasifikasi, pembacaan suhu tubuh dan denyut nadi dikirimkan ke aplikasi Android, yang memungkinkan perawat mengetahui panggilan dari gerakan tangan dan memantau kondisi denyut nadi dan suhu tubuh pengguna alat. Algoritma ANN pada Edge Impulse mencapai akurasi pengenalan gerakan tangan sebesar 99,9%. Berdasarkan pengujian oleh lima responden, gerakan tangan "circle" memiliki tingkat keberhasilan tertinggi sebesar 94%, sedangkan gerakan tangan "stand" memiliki tingkat keberhasilan paling rendah sebesar 72%. Serta didapatkan rata-rata error pengukuran suhu tubuh sebesar 1,58% dan rata-rata error pengukuran denyut nadi sebesar 8,43%.