3D pointing gesture recognition for human-robot interaction

Abstract

Abstract:In this paper, a pointing gesture recognition method is proposed for human-robot interaction. The pointing direction of the human partner is obtained by extracting the joint coordinates and computing through vector calculations. 3D to 2D mapping is implemented to build a top-view 2D map with respect to the actual ground circumstance. Using this method, robot is able to interpret the human partner's 3D pointing gesture based on the coordinate information of his/her shoulder and hand. Besides this, speed control of robot can be achieved by adjusting the position of the human partner's hand relative to the head. The recognition performance and viability of the system are tested through quantitative experiments.

Recent Advances in 3D Data Acquisition and Processing by Time-of-Flight Camera

“…The application in interactive entertainment includes posture detection, expression recognition and human-computer interaction [28], [34], [63], [66]- [71].…”

Contribuciones a Técnicas de Interacción por Apuntamiento para Espacios Inteligentes

“…En general, el diseño de los sistemas de apuntamiento presenta problemas técnicos tales como encontrar el vector de apuntamiento más fiable o evitar las oclusiones. Entre los estudios que emplean Kinect están [11], [12], [13], [14], [4], [15], [16] y [17]. En trabajos previos, se ha probado las posibilidades que ofrece Kinect para el reconocimiento del apuntamiento en espacios inteligentes, con un despliegue de dos dispositivos, colocados adecuadamente en las esquinas del espacio [4].…”

“…También para control robótico, en [14] se presenta un método de apuntamiento basado en el reconocimiento del vector formado por el hombro y la mano. El control de la velocidad a la que se debe mover el robot se indica con un gesto realizado con la mano que no apunta.…”

“…Las pruebas del sistema planteado en [14] se estructuran en dos tipos de experimentos. El primer experimento pretende medir el ángulo de error entre la dirección asignada y el resultado en la situación real.…”

“…Las tecnologías de apuntamiento se aplican con diferentes usos: controlar objetos inteligentes [4]; también, dirigir robots [23], [18] y [14]; aumentar información sobre vídeos [16]; controlar dispositivos electrónicos como la televisión [22]; navegar dentro de espacios virtuales [56]; el control de objetos domóticos [12]; y el manejo del control del vuelo de drones como se muestra en [20] .…”