Identifikasi Isyarat Tangan dengan Pola Alfabet Arab Menggunakan Arduino, Sensor 3D Gesture, dan Algoritma K-Nearest Neighbors

Abstract

Gesture recognition technology is currently growing rapidly, especially in the scope of the hand gesture recognition system. This is very helpful for humans in controlling smart objects around them in more efficient ways, for example using hand movement patterns as input devices. By utilizing gesture recognition technology, research is carried out with creating a natural and simple mini text input device that works like a keyboard using hand movement recognition interaction in the air. The study was conducted on the case of Arabic text input using the Arduino Pro Micro microcontroller with an Inter Integrated Circuit (I2C) communication system and 3D Gesture Sensor with MPU-6050 chip. Movement patterns sent by sensors based on hand movements will be classified using the K-Nearest Neighbors (K-NN) algorithm. The K-Nearest Neighbors algorithm classifies movement patterns using the Euclidean distance formula and looks for the closest test data values or the closest neighborhood concept. Data was taken from two gyroscope axes, the GX and GZ axis. The results obtained are the K-Nearest Neighbors Algorithm works optimally by using a K value (n_neighbors) of 1, with the result of the model score of 99%. The device can classify 48 different motion labels namely the alif-ya character, numbers 0-9, and several keyboard functions (enter, space, delete letters, and delete words) very well, and get a testing accuracy of 88,18%

Teknologi pengenalan gerakan dewasa ini semakin berkembang pesat terkhusus pada lingkup sistem pengenalan isyarat tangan. Hal ini sangat membantu manusia dalam mengontrol benda-benda pintar disekeliling dengan cara yang lebih efisien, contohnya menggunakan pola gerakan tangan sebagai piranti inputan. Dengan memanfaatkan teknologi pengenalan gerakan, dilakukan penelitian dengan membuat sebuah perangkat inputan teks mini dan sederhana yang bekerja layaknya keyboard dengan menggunakan interaksi pengenalan pergerakan tangan di udara. Penelitian dilakukan pada kasus inputan teks arab menggunakan mikrokontroller Arduino Pro Micro dengan sistem komunikasi Inter Integrated Circuit (I2C) dan Sensor 3D Gesture menggunakan chip MPU-6050. Pola gerakan yang dikirimkan oleh sensor berdasarkan gerakan jari tangan akan diklasifikasian dengan algoritma K-Nearest Neighbors (K-NN). Algoritma K-Nearest Neighbors mengklasifikasikan pola gerakan dengan menggunakan rumus jarak Euclidean dan mencari nilai data uji terdekat atau konsep ketetanggaan terdekat. Data berasal dari dua sumbu perubahan gerakan secara giroskop pada sensor, yakni sumbu GX dan sumbu GZ. Hasil penelitian yang diperoleh adalah Algoritma K-Nearest Neighbors bekerja dengan optimal menggunakan nilai K (n_neighbors) sebesar 1, dengan hasil skor model sebesar 99%. Perangkat dapat mengklasifikasikan 48 label gerakan berbeda yakni karakter alif-ya, angka 0-9, dan beberapa fungsi keyboard (enter, spasi, hapus huruf, dan hapus kata) dengan sangat baik, serta mendapatkan akurasi pengujian sebesar 88,18%.