Teaching human gestures to humanoid robots by using Kinect sensor

Abstract

Özetçe-Bu çalışmada, insan hareketlerinin tanınması ve insansı bir robot üzerinde gerçekleştirilmesine yönelik yeni bir algoritma geliştirilmiştir. İki kısımdan oluşan çalışmanın birinci kısmında, eş zamanlı bir taklit sistemi sunulmaktadır. Xbox 360 Kinect algılayıcıdan elde edilen üç boyutlu iskelet eklem pozisyonları, bir dönüşüm algoritması sayesinde robotun kol eklem açılarına dönüştürülmekte ve sonrasında bu açılar, NAO insansı robota aktarılmaktadır. Bu kısmın sonunda, insan üst vücut hareketleri, NAO robot tarafından eş zamanlı olarak başarılı bir şekilde taklit edilmiştir. Çalışmanın ikinci kısmında, insan hareketlerinin tanınması için bir algoritma oluşturulmuştur. İnsan hareketlerini sınıflandırmak için Aşırı Öğrenme Makinaları (AÖM) ve geriye yayılım algoritması ile eğitilen ileri beslemeli Yapay Sinir Ağları (YSA) kullanılmıştır. Karşılaştırmalı sonuçlara göre, AÖM ile daha iyi bir tanıma başarımı elde edilmiştir. Anahtar Kelimeler -İnsan hareketlerinin tanınması; NAO insansı robot; Xbox 360 Kinect.Abstract-In this study, a novel algorithm is developed to recognize human actions and reproduce human actions on a humanoid robot. The study consists of two parts. In the first part, the real time human imitation system is realized. The three dimensional skeleton joint positions obtained from Xbox 360 Kinect. These positions are transformed to joint angles of robot arms via a transformation algorithm and these angles are transferred to NAO robot. The human upper body movements are finally successfully imitated by NAO robot in real time. In the second part, the algorithm is generated for the recognition of human actions. Extreme Learning Machines (ELMs) and the Feed Forward Neural Networks (FNNs) with back propagation algorithm are used to classify actions. According to the comparative results, ELMs produce a better recognition performance.

Teleoperation of a Humanoid Robot with Motion Imitation and Legged Locomotion

“…Also, human impressions are similarly investigated and the motion is statistically verified. Yavsan et al [4] developed an algorithm to recognize human actions and reproduce them on a robot using a Kinect 360 sensor. The two algorithms used are Extreme Learning Machines (ELMs) and the Feed Forward Neural Networks (FNNs) and I according to comparative results, ELMs stood out in recognition performance.…”

“…The Actuation Node is responsible for controlling the robot using Pypot which is a high-level python library for interfacing with Dynamixel Motors. This node is also responsible for dynamically controlling the speed of each motor which is calculated as given in equation (4).…”

Gesture imitation and recognition using Kinect sensor and extreme learning machines

“…The vectors relating to each human body part generated on the Kinect are transformed into suitable ones for the NAO robot by the following equation: Fig. 4 [42,44,45]. Because the z-axis of the skeleton model is orthogonal to the defined triangle in Fig.…”

“…The arm joint angles of the robot can be calculated based on geometric calculations. The NAO robot's right arm joints angles are obtained as follows [42,44,45]:…”

“…Transformation to NAO platform from the Kinect coordinate system[44]. (a) The skeleton model with Kinect joint points in the Kinect coordinate system.…”