Lati̇s Tabanli Anlam Çözümlenmesi̇ İle Türkçe İşaret Di̇li̇ Tercüme Si̇stemi̇

Abstract

ÖZGünlük hayatta insanlar; fikirlerini, düşüncelerini ve yaşadıklarını çevrelerindeki insanlara iletmek için birbirleriyle etkileşirler. İşitme ve konuşma engelli insanlar ise çevreleriyle bu etkileşimi sağlayamazlar. Başkalarıyla iletişim kurmak için işaret dilini kullanırlar. İşaret dili ise, işitme ve konuşma engellilerin kendi aralarında el hareketleri ve yüz mimikleri ile iletişim kurmalarını sağlayan ülkeden ülkeye değişen evrensel olmayan bir dildir. Bu anlamda yapılan çalışmanın amacı, işitme ve konuşma bozukluğu olan kişilerle normal insanlar arasındaki iletişimi sağlayan Türkçe İşaret Dili tercüme sistemini geliştirmektir. Önerilen bu sistemle işaret dilini gösteren el hareketleri, Kinect aygıtı yardımıyla yakalanarak Kontur Analizinde kullanılan algoritmalarla çözümlenmiştir. Çözümlenen görüntülerden elde edilen kelimelerin gerçek anlamları, Biçimsel Kavram Analizi Kuramı çerçevesinde hazırlanan tematik rol latisleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtikleri cümlelerle birlikte bilgisayar ekranında görüntülenmiştir. Böylece bu sistemle, engelli bir kişinin kitlesel bir kalabalıkla iletişim kurabilmesi sağlanmıştır. Ayrıca geliştirilen bu sistemle Türkçe'nin anlamsal çözümlenmesine de katkı sağlanması hedeflenmiştir.Anahtar Kelimeler: Biçimsel kavram analizi, işaret dili tanımlama, kinect, kontur analizi, tematik rol latisleri TURKISH SIGN LANGUAGE TRANSLATION SYSTEM WITH A LATTICE-BASED SEMANTIC ANALYSIS ABSTRACTIn daily life people interact with each other to communicate their ideas, thoughts and experiences to the people around them. On the other hand, people with hearing and speech impairments are not capable of communicating with their environment in the given sense. Thus, they use sign language to communicate with others. Sign language is a non-universal language that changes depending on the country in which it's being used and enables people with hearing and speech impairments to communicate with other people through hand gestures and facial expressions. In this sense, the aim of the study is to develop Turkish Sign Language translation system that enables communication between people with speech and hearing impairments and healthy people. With this proposed system, the hand movements showing sign language are captured with the help of Kinect device and analyzed with the algorithms used in Contour Analysis. Actual meanings of the words obtained from the analyzed images were found thematic role lattices that are prepared in the frame of Formal Concept Analysis theory. The words of which actual meanings were found are displayed with the sentences in which they were used. Therefore, thanks to this system it is ensured that a disabled person can communicate with a mass crowd. The developed system also aims to contribute to the semantic analysis of the Turkish Language.

Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması

“…Normal insanlar tarafından bu dilin bilinmemesi ise, işitme ve konuşma engelli kişilerle iletişimde karmaşıklığa neden olur. Buna bağlı olarak; esnek, düşük maliyetli ve senkronize çalışarak işaret dilini yazılı veya sesli ortamlara aktarabilecek bir çeviri sisteminin geliştirilmesi, işitme ve konuşma engelli kişilerin engeli olmayan kişilerle sağlıklı bir şekilde iletişime geçmelerini sağlayabilir (Adithya vd., 2013;Rajaganapathy vd., 2015;Nikam ve Ambekar, 2016;Fırat ve Uğurlu, 2018).…”