HandVR: a hand-gesture-based interface to a video retrieval system

Genç, Serkan; Baştan, Muhammet; Güdükbay, Uğur; Atalay, Volkan; Ulusoy, Özgür

doi:10.1007/s11760-014-0631-x

Cited by 7 publications

(5 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…These results indicate the high efficiency of the proposed method, even when compared with relevant works in virtual reality [39] and augmented reality [40].…”

Section: G Runtime Analysismentioning

confidence: 79%

Egocentric Hand Detection Via Dynamic Region Growing

Shao

Wang

et al. 2017

ACM Trans. Multimedia Comput. Commun. Appl.

View full text Add to dashboard Cite

Abstract-Egocentric videos, which mainly record the activities carried out by the users of the wearable cameras, have drawn much research attentions in recent years. Due to its lengthy content, a large number of ego-related applications have been developed to abstract the captured videos. As the users are accustomed to interacting with the target objects using their own hands while their hands usually appear within their visual fields during the interaction, an egocentric hand detection step is involved in tasks like gesture recognition, action recognition and social interaction understanding. In this work, we propose a dynamic region growing approach for hand region detection in egocentric videos, by jointly considering hand-related motion and egocentric cues. We first determine seed regions that most likely belong to the hand, by analyzing the motion patterns across successive frames. The hand regions can then be located by extending from the seed regions, according to the scores computed for the adjacent superpixels. These scores are derived from four egocentric cues: contrast, location, position consistency and appearance continuity. We discuss how to apply the proposed method in real-life scenarios, where multiple hands irregularly appear and disappear from the videos. Experimental results on public datasets show that the proposed method achieves superior performance compared with the state-of-the-art methods, especially in complicated scenarios.

show abstract

“…These results indicate the high efficiency of the proposed method, even when compared with relevant works in virtual reality [39] and augmented reality [40].…”

Section: G Runtime Analysismentioning

confidence: 79%

Egocentric Hand Detection Via Dynamic Region Growing

Shao

Wang

et al. 2017

ACM Trans. Multimedia Comput. Commun. Appl.

View full text Add to dashboard Cite

show abstract

“…However, gloves are quite expensive, and the weight of the gloves and associated measuring equipment hamper free movement of the hand. Therefore, user interface is complicated and less natural for glove-based techniques [12]. On the other hand, vision-based techniques use one or more cameras to capture the gesture images.…”

Section: Introductionmentioning

confidence: 99%

“…Vision-based system may not be robust enough for few applications like gesture-based remote control [13]. However, vision-based techniques provide a natural interaction between humans and computers without using any extra devices [12]. Various features have been reported in the literature [1][2][3][4]14] to represent static hand gesture including features like statistical moments [1], localized contour sequence (LCS) [2], block-based feature [3], Fourier discriminator (FD) [4] and discrete cosine transform (DCT)-based features [14].…”

Section: Introductionmentioning

confidence: 99%

On an algorithm for Vision-based hand gesture recognition

Ghosh

Ari

2015

SIViP

View full text Add to dashboard Cite

A vision-based static hand gesture recognition method which consists of preprocessing, feature extraction, feature selection and classification stages is presented in this work. The preprocessing stage involves image enhancement, segmentation, rotation and filtering. This work proposes an image rotation technique that makes segmented image rotation invariant and explores a combined feature set, using localized contour sequences and block-based features for better representation of static hand gesture. Genetic algorithm is used here to select optimized feature subset from the combined feature set. This work also proposes an improved version of radial basis function (RBF) neural network to classify hand gesture images using selected combined features. In the proposed RBF neural network, the centers are automatically selected using k-means algorithm and estimated weight matrix is recursively updated, utilizing least-mean-square algorithm for better recognition of hand gesture images. The comparative performances are tested on two indigenously developed databases of 24 American sign language hand alphabet.Keywords American sign language (ASL) hand alphabet · Combined feature · Genetic algorithm (GA) · Hand gesture recognition · Least-mean-square (LMS) algorithm · Radial basis function (RBF) neural network B Dipak Kumar Ghosh

show abstract

“…En el trabajo segmentaban los distintos colores del guante bajo el modelo de color HSI [56], y luego lograron reconocer más de 900 gestos distintos. Genç et al presenta en [55] un sistema simple que utiliza dos guantes con colores llamativos para segmentar las manos y luego utilizar gestos simples para hacer de interfaz en un sistema de demanda de video (figura 2.9-b). Por último, Wang y Popovic en [158] desarrollaron un guante simple pero un poco más sofisticado, con diferentes marcadores de color, orientado principalmente para ser una interfaz en el manejo de aplicaciones de realidad virtual (figura 2.9-c).…”

Section: Guantes De Datos Y Marcadores De Colorunclassified

“…(a) Guante con tres colores desarrollado por Lamberti en[91]. (b) Guantes de dos colores para segmentar gestos simples[55]. (c) Guante desarrollado por el MIT en[158] para tareas de realidad virtual.…”

unclassified

Reconocimiento de gestos dinámicos y su aplicación al lenguaje de señas

Ronchetti¹

View full text Add to dashboard Cite

El reconocimiento automático de gestos humanos es un problema multidisciplinar complejo y no resuelto aún de forma completa. Desde la aparición de tecnologías de captura de video digital existen intentos de reconocer gestos dinámicos con diferentes fines. La incorporación de nuevas tecnologías como sensores de profundidad o cámaras de alta resolución, así como la mayor capacidad de procesamiento de los dispositivos actuales, permiten el desarrollo de nuevas tecnologías capaces de detectar diferentes movimientos y actuar en tiempo real. A diferencia del reconocimiento de la voz hablada, que lleva más de 40 años de investigación, esta temática es relativamente nueva en el ambiente científico, y evoluciona de forma acelerada a medida que aparecen nuevos dispositivos así como nuevos algoritmos de visión por computador. La captura y reconocimiento de gestos dinámicos permite que sean utilizados en diversas áreas de aplicación como por ejemplo monitoreo de pacientes médicos, control en un entorno de videojuego, navegación y manipulación de entornos virtuales, traducción de léxicos de la lengua de señas, entre otras aplicaciones de interés. Particularmente la lengua de señas puede entenderse como un problema particular del reconocimiento de gestos dinámicos, el cual es sumamente apreciado en los últimos tiempos por distintas instituciones, ya que permite una ayuda directa a personas hipoacúsicas. Para poder utilizar un sistema de reconocimiento automático de lengua de señas para traducir los gestos de un intérprete, es necesario afrontar una serie de diversas tareas. En primer lugar existen diferentes enfoques dependiendo el dispositivo de sensado a utilizar. Si bien existen dispositivos invasivos como guantes de datos, en esta Tesis se analizan sólo dispositivos no invasivos de dos tipos: las cámaras RGB convencionales, y las cámaras de profundidad (con particular interés en los nuevos dispositivos RGB-d). Una vez capturado el gesto se requiere de diversas etapas de pre-procesamiento para identificar regiones de interés como las manos y rostro del sujeto/intérprete, para luego identificar las diferentes trayectorias del gesto realizado. Además, particularmente para la lengua de señas existe una variabilidad enorme en las diferentes posturas o configuraciones que la mano puede tener, lo cual hace a esta disciplina una problemática particularmente compleja. Para afrontar esto es necesario una correcta generación de descriptores tanto estáticos como dinámicos. Este es uno de los ejes principales investigados en esta Tesis. Además, debido a que cada región presenta gramáticas de lenguaje específicas, se requiere la disposición de una base de datos de la Lengua de Señas Argentina (LSA), inexistente hasta el momento. En base a los motivos mencionados anteriormente, esta Tesis tiene como objetivo general desarrollar un proceso completo de interpretación y traducción de la Lengua de Señas Argentina a través de videos obtenidos con una cámara RGB. En primer lugar se realizó un estudio del estado del arte en el reconocimiento de gestos. Se investigaron técnicas inteligentes para el procesamiento de imágenes y video así como los diferentes tipos de descriptores existentes en la actualidad. Como trabajo preliminar se desarrolló una estrategia capaz de procesar acciones humanas capturadas con un dispositivo MS Kinect. La estrategia desarrollada implementa una red neuronal SOM probabilística (ProbSOM) con un descriptor específicamente diseñado para retener información temporal. Este trabajo permitió superar los resultados existentes hasta el momento para dos bases de datos reconocidas. En el campo de la lengua de señas se realizaron dos aportes principales. En primer lugar se desarrolló una base de datos específica para el reconocimiento de señas argentinas. Esto incluyó una base de datos de imágenes con 16 configuraciones de las más utilizadas en el lenguaje, junto con una base de datos de videos de alta resolución con 64 señas distintas, con un total de 3200 videos. Estas bases de datos se grabaron con 10 intérpretes diferentes y varias repeticiones, permitiendo así su uso con técnicas clásicas de aprendizaje automático. Además, en estas bases de datos los intérpretes utilizaron guantes de color, en forma de marcador. Esto se realizó con el fin de facilitar la tarea de segmentar las manos de las imágenes/videos y así poder avanzar con el resto de las etapas de clasificación. De este modo, se da la posibilidad a nuevos investigadores de evaluar otros algoritmos de reconocimiento sin la necesidad de preocuparse por esta etapa de segmentación. En segundo lugar, se diseñaron e implementaron dos métodos de clasificación de señas, los cuales fueron evaluados satisfactoriamente en las bases de datos antes mencionadas. El primer método está dedicado a la clasificación de configuraciones de manos (gestos estáticos). Aquí se utilizó un agrupamiento probabilístico para clasificar correctamente las 16 configuraciones posibles de la base de datos, logrando un reconocedor simple y potente. El segundo modelo de clasificación permitió la clasificación de señas segmentadas en videos. Este último consta de un sistema probabilístico basado en la información capturada de las dos manos, donde para cada una se evalúan tres componentes principales: la posición, la configuración y el movimiento de las manos. Esta discriminación permitió tener un sistema modular, con diferentes sub-clasificadores capaces de intercambiarse y evaluarse de modo independiente. Para lograr obtener descriptores adecuados para estos subsistemas, es necesario realizar un procesamiento que involucra la correcta segmentación y seguimiento de las manos del intérprete, clasificación de las distintas configuraciones y una correcta representación de la información del movimiento. Para evaluar los modelos desarrollados se realizaron diversas pruebas sobre las bases de datos desarrolladas. En primer lugar se realizaron pruebas de validación cruzada utilizando un porcentaje de las pruebas como entrenamiento y el resto para testeo. Adicionalmente se realizó también una evaluación de cuán robusto es el sistema al incorporar nuevos intérpretes, desconocidos hasta el momento. De este modo, 9 de los 10 individuos de la base de datos fueron utilizados como datos de entrada del sistema, evaluando con el individuo restante. Todos estos experimentos mostraron excelentes resultados, con una tasa de error menor al 5%. Por otro lado, para evaluar la eficacia del modelo implementado, se cambiaron algunos de los sub-clasificadores por técnicas más conocidas en la literatura como Modelos de Markov o Redes Neuronales FeedForward, mostrando solidez en las estrategias propuestas en esta Tesis.

show abstract

HandVR: a hand-gesture-based interface to a video retrieval system

Cited by 7 publications

References 15 publications

Egocentric Hand Detection Via Dynamic Region Growing

Egocentric Hand Detection Via Dynamic Region Growing

On an algorithm for Vision-based hand gesture recognition

Reconocimiento de gestos dinámicos y su aplicación al lenguaje de señas

Contact Info

Product

Resources

About