Klasifikasi Pengenalan Huruf Hijaiyah Pada Bahasa Isyarat Arab Menggunakan Transfer Learning EfficientNetB1

Diani Eka Putri
Jumadi Jumadi
Eva Nurlatifah


DOI: https://doi.org/10.29100/jipi.v10i2.6174

Abstract


Individu Muslim dengan gangguan pendengaran sering menghadapi tantangan dalam mempelajari Al-Qur'an, terutama karena kurangnya sistem pendukung untuk pembelajaran bahasa isyarat Arab. Bahasa isyarat memainkan peran penting dalam memfasilitasi komunikasi yang efektif bagi mereka yang mengalami kesulitan pendengaran. Untuk mengatasi masalah ini, penelitian ini bertujuan untuk mengembangkan sistem pengenalan Bahasa Isyarat Arab (ArSL) dengan menggunakan Convolutional Neural Network (CNN) dan pendekatan Transfer Learning menggunakan model pre-trained EfficientNetB1. Sistem ini dirancang untuk mengidentifikasi gerakan bahasa isyarat Arab dari dataset yang terdiri dari 28 huruf Hijaiyah, dengan masing-masing huruf memiliki 100 citra. Pengujian dilakukan pada model dengan empat skenario berbeda untuk menemukan konfigurasi yang paling optimal. Hasil penelitian menunjukkan bahwa dengan membekukan 30% lapisan awal model selama fine-tuning menghasilkan akurasi 98.95% pada data train dan 99.52% pada data validation. Pada data pengujian, model mencapai performa terbaik dengan accuracy, precision, recall, dan f1-score masing-masing sebesar 100%.

Keywords


Bahasa Isyarat Arab; Convolutional Neural Network; EfficientNetB1; Fine-Tuning; Transfer Learning

Full Text:

PDF

Article Metrics :

References


U. Hasanah and others, “Desain Pembelajaran Pendidikan Agama Islam bagi Anak Tunarungu di SLB Negeri 01 Jakarta,” Jaktarta: Fakultas Ilmu Tarbiyah dan Keguruan UIN Syarif Hidayatullah Jakarta, 2021.

M. Al-Barham, A. Jamal, and M. Al-Yaman, “Design of Arabic Sign Language Recognition Model,” arXiv preprint arXiv:2301.02693, 2023.

S. Rahmat, S. A. Rahman, N. H. Tukiran, R. Musa, N. A. Othman, and A. A. A. Dzulkarnain, “Development of hearing impairment inventory for religious duties of Muslim adult,” Medical Journal of Malaysia, vol. 76, no. 2, pp. 205–211, 2021.

Q. Bani Baker, N. Alqudah, T. Alsmadi, and R. Awawdeh, “Image-Based Arabic Sign Language Recognition System Using Transfer Deep Learning Models,” Applied Computational Intelligence and Soft Computing, vol. 2023, no. 1, p. 5195007, 2023.

R. M. Duwairi and Z. A. Halloush, “Automatic recognition of Arabic alphabets sign language using deep learning.,” International Journal of Electrical & Computer Engineering (2088-8708), vol. 12, no. 3, 2022.

B. Y. AlKhuraym, M. M. Ben Ismail, and O. Bchir, “Arabic sign language recognition using lightweight cnn-based architecture,” Inter-national Journal of Advanced Computer Science and Applications, vol. 13, no. 4, 2022.

S. Hayani, M. Benaddy, O. El Meslouhi, and M. Kardouchi, “Arab sign language recognition with convolutional neural networks,” in 2019 International conference of computer science and renewable energies (ICCSRE), 2019, pp. 1–4.

N. A. Sundari, R. Magladena, and S. Saidah, “Klasifikasi Jenis Kulit Wajah Menggunakan Metode Covolutional Neural Network (CNN) Efficientnet-B0,” eProceedings of Engineering, vol. 9, no. 6, 2023.

B. K. Wardana, E. Rachmawati, and T. A. B. Wirayuda, “Pengenalan Gestur Tangan Statis Menggunakan CNN dengan Arsitektur Effi-cient-Net B4,” eProceedings of Engineering, vol. 8, no. 2, 2021.

W. R. PERDANI, R. MAGDALENA, and N. O. R. K. C. PRATIWI, “Deep Learning untuk Klasifikasi Glaukoma dengan menggunakan Arsitektur EfficientNet,” ELKOMIKA: Jurnal Teknik Energi Elektrik, Teknik Telekomunikasi, & Teknik Elektronika, vol. 10, no. 2, p. 322, 2022.

M. E. Al Rivan and S. Hartoyo, “Klasifikasi Isyarat Bahasa Indonesia Menggunakan Metode Convolutional Neural Network,” Jurnal Teknik Informatika dan Sistem Informasi, vol. 8, no. 2, pp. 364–373, 2022.

R. M. Y. Brianorman and R. Munir, “Perbandingan Pre-Trained CNN: Klasifikasi Pengenalan Bahasa Isyarat Huruf Hijaiyah,” Jurnal Sistem Informasi Bisnis, vol. 13, no. 1, pp. 52–59, 2023.

L. Arisandi and B. Satya, “Sistem Klarifikasi Bahasa Isyarat Indonesia (Bisindo) Dengan Menggunakan Algoritma Convolutional Neu-ral Network,” Jurnal Sistem Cerdas, vol. 5, no. 3, pp. 135–146, 2022.

N. K. D. A. Putri, A. Luthfiarta, and P. L. W. E. Putra, “OPTIMIZING BUTTERFLY CLASSIFICATION THROUGH TRANSFER LEARNING: FINE-TUNING APPROACH WITH NASNETMOBILE AND MOBILENETV2,” Jurnal Teknik Informatika (Jutif), vol. 5, no. 3, pp. 685–692, 2024.

M. Tan and Q. Le, “Efficientnet: Rethinking model scaling for convolutional neural networks,” in International conference on ma-chine learning, 2019, pp. 6105–6114.

F. Zhuang et al., “A comprehensive survey on transfer learning,” Proceedings of the IEEE, vol. 109, no. 1, pp. 43–76, 2020.

M. A. Kzrak, Z. Müftüoğlu, and T. Yldrm, “Limitations and challenges on the diagnosis of COVID-19 using radiology images and deep learning,” in Data science for COVID-19, Elsevier, 2021, pp. 91–115.

H. Alhichri, A. S. Alswayed, Y. Bazi, N. Ammour, and N. A. Alajlan, “Classification of remote sensing images using EfficientNet-B3 CNN model with attention,” IEEE access, vol. 9, pp. 14078–14094, 2021.

Y. Jie et al., “Combined multi-layer feature fusion and edge detection method for distributed photovoltaic power station identifica-tion,” Energies (Basel), vol. 13, no. 24, p. 6742, 2020.

A. Kulkarni, D. Chong, and F. A. Batarseh, “Foundations of data imbalance and solutions for a data democracy,” in Data democracy, Elsevier, 2020, pp. 83–106.