Command recognition by using skeletal tracking based on Kinect sensor

Abstract

Özetçe-Bu çalışmada, Microsoft Kinect sensörü tabanlı iskelet takip sistemi MATLAB ortamında kullanılarak insan beden hareketlerine duyarlı çalışan bir komut tanıma yöntemi geliştirilmiştir. Günümüzde, Kinect sensöründen yararlanılarak kullanılan görüntü işleme teknikleri hızla gelişmektedir. Bu çalışmada kullanılan İskelet Takip Sistemi algoritması da Kinect sensörünün ortamın derinlik haritasını çıkarma özelliğini kullanarak çalışmaktadır. İlk olarak, Kinect sensörünün görüş alanındaki insan bedeni saptanır ve daha sonra hareketlerin sisteme önceden tanımlanan komutlarla benzerliği karşılaştırılır. Gelen görüntü verisindeki kullanıcının iskelet çıkarımından alınan komutlar, belirlenen tolerans aralığını aşmıyorsa; hareket sistem tarafından tanınmakta ve çıktı olarak sunulmaktadır. Çalışmanın test aşamasında 9 ayrı katılımcıdan toplanan 8'er komut hareketi görüntüsü, veri seti olarak kullanılmıştır ve yüksek bir doğruluk oranıyla komutların doğru tanındığı gözlemlenmiştir. Anahtar Kelimeler -Kinect Xbox 360, İskelet takibi, Hareket tanıma, Komut tanımaAbstract-In this study, a command recognition method which works responsively to human body motion is developed by using a skeletal tracking system based on Microsoft Kinect sensor in MATLAB environment. Nowadays, image processing techniques that are used by benefiting from Kinect sensor are developing rapidly. The skeletal tracking system algorithm used in this study also works using the depth mapping ability of Kinect sensor. Firstly, the human body in sight of Kinect sensor is detected and afterwards the similarity of gestures and predefined commands in the system are compared. If the commands received from skeletal inference of user in incoming image data don't exceed the determined tolerance range, the gesture is identified by the system and presented as output. During the test stage of study; the 8 command gesture images taken from each of 9 participants are used as the data set and the correct identification of commands with high accuracy is observed.