ÖZGünlük hayatta insanlar; fikirlerini, düşüncelerini ve yaşadıklarını çevrelerindeki insanlara iletmek için birbirleriyle etkileşirler. İşitme ve konuşma engelli insanlar ise çevreleriyle bu etkileşimi sağlayamazlar. Başkalarıyla iletişim kurmak için işaret dilini kullanırlar. İşaret dili ise, işitme ve konuşma engellilerin kendi aralarında el hareketleri ve yüz mimikleri ile iletişim kurmalarını sağlayan ülkeden ülkeye değişen evrensel olmayan bir dildir. Bu anlamda yapılan çalışmanın amacı, işitme ve konuşma bozukluğu olan kişilerle normal insanlar arasındaki iletişimi sağlayan Türkçe İşaret Dili tercüme sistemini geliştirmektir. Önerilen bu sistemle işaret dilini gösteren el hareketleri, Kinect aygıtı yardımıyla yakalanarak Kontur Analizinde kullanılan algoritmalarla çözümlenmiştir. Çözümlenen görüntülerden elde edilen kelimelerin gerçek anlamları, Biçimsel Kavram Analizi Kuramı çerçevesinde hazırlanan tematik rol latisleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtikleri cümlelerle birlikte bilgisayar ekranında görüntülenmiştir. Böylece bu sistemle, engelli bir kişinin kitlesel bir kalabalıkla iletişim kurabilmesi sağlanmıştır. Ayrıca geliştirilen bu sistemle Türkçe'nin anlamsal çözümlenmesine de katkı sağlanması hedeflenmiştir.Anahtar Kelimeler: Biçimsel kavram analizi, işaret dili tanımlama, kinect, kontur analizi, tematik rol latisleri TURKISH SIGN LANGUAGE TRANSLATION SYSTEM WITH A LATTICE-BASED SEMANTIC ANALYSIS ABSTRACTIn daily life people interact with each other to communicate their ideas, thoughts and experiences to the people around them. On the other hand, people with hearing and speech impairments are not capable of communicating with their environment in the given sense. Thus, they use sign language to communicate with others. Sign language is a non-universal language that changes depending on the country in which it's being used and enables people with hearing and speech impairments to communicate with other people through hand gestures and facial expressions. In this sense, the aim of the study is to develop Turkish Sign Language translation system that enables communication between people with speech and hearing impairments and healthy people. With this proposed system, the hand movements showing sign language are captured with the help of Kinect device and analyzed with the algorithms used in Contour Analysis. Actual meanings of the words obtained from the analyzed images were found thematic role lattices that are prepared in the frame of Formal Concept Analysis theory. The words of which actual meanings were found are displayed with the sentences in which they were used. Therefore, thanks to this system it is ensured that a disabled person can communicate with a mass crowd. The developed system also aims to contribute to the semantic analysis of the Turkish Language.
Öz Günlük hayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarak ya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilsel ve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarak gerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hem de bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarını sağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerinden anlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelik geliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaret dilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili Çeviri Sistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren el hareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing Telemetry Transport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilen bu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinir ağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analiz edilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, Biçimsel Kavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklik modelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiği cümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişi aynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
hi@scite.ai
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.