Sarung Tangan Elektronik Penerjemah Bahasa Isyarat Berdasarkan American Sign Language Dengan Metode Sensor Fusion
| Format: | Bachelors |
|---|---|
| Terbitan: |
#CREATOR_ORGNAME#
, 2020
|
| Subjects: | |
| Online Access: |
http://digilib.polban.ac.id\/download.php?id=33500 |
Daftar Isi:
- Penyandang disabilitas tuli dan bisu umumnya menggunakan Bahasa isyarat untuk berkomunikasi. Namun tidak semua orang dapat memahami penggunaan bahasa isyarat ini. Untuk mengatasi masalah tersebut pada Tugas Akhir ini telah direalisasikan sebuah sarung tangan elektronik yang berfungsi menerjemahkan bahasa isyarat huruf A-Z dan angka 0-9 berdasarkan American Sign Language (ASL). Alat ini dilengkapi 5 buah sensor fleks di setiap jari, sebuah IMU (Inertial Measurement Unit) 3-axis accelerometer, dan 3-axis giroskop untuk mendeteksi gerakan jari dan posisi tangan. Untuk mengolah pembacaan data dari sensor digunakan metode sensor fusion. Operator fusion yang digunakan terdiri dari Operator Kalman Filter untuk pengolahan data IMU, Operator (IF-THEN) untuk pengolahan data dari 5 buah sensor fleks, dan Operator (IF-THEN) untuk mengklasifikasikan gerakan ASL berdasarkan penggabungan kedua operator tersebut. Selanjutnya data ini dikirimkan ke aplikasi mobile melalui internet, dan ditampilkan pada smartphone, serta dapat disuarakan menggunakan fitur text to speech. Pengujian terhadap 5 orang naracoba menunjukkan sarung tangan elektronik ini telah dapat menerjemahkan 28 gerakan ASL (77%) dengan baik, waktu rata-rata pengiriman data adalah 1, 32 detik, huruf A-Z dan angka 0-9 telah dapat disuarakan dengan benar. Fitur text to speech ini juga dapat membedakan pengejaan huruf, pengucapan kata, dan kalimat dengan baik. Untuk menerjemahkan gerakan-gerakan ASL yang mirip (M, N, S, T, U, dan V), sarung tangan elektronik ini memiliki kepresisian < 60%. Ketidakpresisian ini diakibatkan karena sarung tangan belum didesain mengikuti struktur anatomi tangan pengguna sehingga mempengaruhi pembacaan sensor di setiap jari. Untuk meningkatkan kepresisian ini dapat diterapkan teknologi machine learning, atau teknologi image processing. Kata kunci: Sarung Tangan Elektronik, Bahasa Isyarat, Sensor Fusion, Aplikasi Mobile, American Sign Language.