Accurate Hierarchical Human Actions Recognition From Kinect Skeleton Data

Abstract

Human action recognition has become one of the most active research topics in natural human interaction and artificial intelligence, and has attracted much attention. Human movement ranges from simple to complex, from low-level to advanced, with an increasing degree of complexity and data noise. In other words, there is a complicated hierarchy in movement actions. Hierarchy theory can efficiently describe these complicated hierarchical relationships of human actions. Accordingly, a hierarchical framework for humanaction recognition is designed in this paper. Different features are selected according to the level of action, and specific classifiers are selected for different features. In particular, a two-level hierarchical recognition framework is constructed and tested on Kinect skeleton data. At the first level, we use support vector machine for a coarse-grained classification, while at the second level we use a combination of support vector machine and a hidden Markov model for a fine-grained classification. Tenfold cross-validations are used in our performance evaluation on public and self-built datasets, achieving average recognition rates of 95.69% and 97.64%, respectively. These outstanding results imply that the hierarchical step-wise precise classification can well reflect the inherent process of human action.

Noise-Against Skeleton Extraction Framework and Application on Hand Gesture Recognition

“…Skeletons are popular descriptors since they can preserve the original topology and connectivity of an object [1] in an image. They are widely applied in many fields, such as hand gesture recognition [2], human action recognition [3], image matching [4], hepatic vascular analysis and vessel segmentation [5], sketch-based modeling [6], human character animation [7] and quantitative structure imaging [8].…”

IntelliRehabDS (IRDS)—A Dataset of Physical Rehabilitation Movements

“…Building an automatic system for this task is not an easy endeavour, having to deal with a wide diversity of movements, human body capabilities and a certain degree of subjectivity. Kinect [1] (or other similar devices) camera-based sensor exercises are very common nowadays as they do not require any physical interaction with the subject [2][3][4].…”

Uma Abordagem Baseada No Aprendizado De Máquina Interativo E Interação Natural Para Apoio À Reabilitação Física

“…Uma revisão sistemática realizada por Da Gama e colegas [Da Gama et al 2015] apontou que estudos baseados em dados do esqueleto humano usam diversas técnicas/abordagens para avaliar movimentos físicos, no contexto de reabilitação. Os autores ainda sugeriram que, entre as técnicas de aprendizado de máquinas para classificação mais usadas estão a support vector machine [Vox and Wallhoff 2017, Su et al 2019, Leightley et al 2013], random forest [Leightley et al 2013] , Dynamic Time Warping [Hagelbäck et al 2019] e Neural Networks [Vakanski et al 2016, Saha et al 2013.…”

“…Os autores concluíram que o algoritmo apresentou uma acurácia de 81% no reconhecimento de movimentos. Similarmente [Su et al 2019] propuseram um método hierárquico de dois níveis para reconhecimento de exercícios de reabilitação. Para tanto usaram os algoritmos de SVM e HMM e testaram com um banco de dados de 600 sequências de vídeo de 20 exercícios.…”

“…Na avaliação dos movimentos executados pelos pacientes, os especialistas apontaram quatro fatores que impactaram no desempenho do modelo: a aprendizagem do funcionamento das esferas e a compensação do corpo ao executar o movimento pelos participantes, a falta de captura de dados no eixo Y e ruídos nos dados capturados pela biblioteca PoseNet. Como comentado nos Capítulos 7 e 8, uma limitação das bibliotecas que capturam dados do esqueleto em duas dimensões é o erro no reconhecimento de movimentos executados no eixo Z. Já a captura de dados do esqueleto com ruído é uma caraterística compartilhada dessas bibliotecas com o sensor Kinet ( [Su et al 2019, Richter et al 2017). Contudo, consideramos que os fatores de "aprendizado do funcionamento das esferas" e "compensação do movimento" podem ser evitados em trabalhos futuros.…”