İşaret Dili Çevirmen Sistemi Tasarımı ve Uygulaması

Abstract

Sağlıklı ve sağır insanlar arasında yorumlama stratejileri tasarlamak için çok sayıda çaba sarf edilmiştir. Bu sistemlerin en önemlilerinden biri İnsan-Bilgisayar-Etkileşim (HCI) sistemleri olarak adlandırılan sistemlerdir. Bu alanda son yıllarda birçok işaret dili simülasyon çalışması geliştirilmektedir. Bu çabalar en fazla İşaret Dili'ni İngilizce konuşma ve metne, ayeti ise İngilizceye dönüştürmek için çalışıldı. Genellikle sağlıklı kişilerle Arap sağırları arasında minimum etkileşim vardır. Bu nedenle, normal kişiler ve Arap sağır topluluğu arasında daha iyi bir iletişim sağlamak için ArSL'yi Arapça konuşmaya veya metne çevirebilen bir dönüştürme sistemi tasarlamak çok önemlidir. Bu tezde, Konuşmadan İşaret diline çeviri sistemi yapılacaktır; hedef, Arap harflerinin konuşma sinyallerini standart Arap işaret diline çevirebilen bir çevirmen şeması tasarlamaktır. Bu devre, sağırlar ve normal insanlar arasındaki iletişim gibi çok sayıda uygulama için kullanılabilecek insan dostu bir program şemasını gerçekleştirmek için kullanılabilir. Sistem tasarım gereksinimlerini karşılamak için, veri toplama için konuşma sinyallerinin kaydedilmesi, ön işlemeden sonra özellik çıkarımı ve tanıma son adımı dahil olmak üzere çeşitli aşamalar gerçekleştirilmiştir. Daha sonra sistem, konuşulan harfin tersi olan parmak hareketlerinin görüntüsünü göstermek için çevirmen yapısına tanıma faktörlerini sağlar. Bu çalışmada Örüntü Tanıma Sinir Ağı (PRNN) kullanılmıştır. Girdi örneklerini istenen sınıflara ayırma yeteneğine sahip ileri beslemeli bir ağdır. Ağ, toplam 28 ana Arap harfinin her harfi için 20 örnek olmak üzere 560 eğitim örneği ile geri yayılım algoritması ile eğitilmiştir. Ardından, PRNN modelinin eşleşen çıktı etiketlerini ne kadar uygun tahmin ettiğini görmek için eğitilen model sırasıyla 140 ve 140 veri seti ile doğrulandı ve test edildi. Ağ, 28 sınıfın (harflerin) tamamı için başarıyla eğitilmiştir. Tanıma, %98'e varan mükemmel bir teşhis oranıyla sağlandı.Numerous efforts have been to design interpretation strategies between the healthy and deaf people. One of the most important of these systems is what called as Human-Computer-Interaction (HCI) systems. Many simulation works of sign language are evolved in the last years in this field. At most, these efforts have been worked to convert Sign Language into English speech and text, and verse versa. Usually there is minimal interaction between healthy persons and the Arabic deaf persons. So it is very important to design a conversion system that can translate ArSL into Arabic speech or text and vice versa to provide a better communication between normal persons and Arab deaf community. In this thesis, a translation system for Speech to Sign language will be accomplished; the target is to design a translator scheme that can translate the speech signals of Arabic letters into display the standard Arabic sign language. This circuit can be used to realize a human-friendly program scheme that can be used for numerous applications such as communication between the deaf and the normal people. Several stages have been carried out to gratify the system design requirements, including: recording the signals of speech for data collection, feature extraction after pre-processing, and the recognition final step. Then, the system provides the recognition factors to the translator structure, to display image of movements of fingers that antipodean the spoken letter. In this work, Pattern Recognition Neural Network (PRNN) was used. It is a feedforward network that has an ability of classifying input samples into desired classes. The network was trained with back-propagation algorithm by 560 training samples, 20 samples for each letter of the entire 28 main Arabic letters. Then, the trained model was validated and tested with 140 and 140 dataset respectively, to see how fit the PRNN model predicts the matching data set of output labels. The network is successfully trained for all 28 classes (letters). The recognition was achieved with an excellent diagnosis rate of up to 98%.