Depth Sequential Information Entropy Maps and Multi-Label Subspace Learning for Human Action Recognition

Abstract

Human action recognition plays a key role in human-computer interaction in complex environments. However, similar actions will lead to poor feature sequence extraction and result in a reduction in recognition accuracy. This paper proposes a method (Action-Fusion: Multi-label subspace Learning (MLSL)) from depth maps called Depth Sequential Information Entropy Maps (DSIEM) and skeleton data for human action recognition in multiple modal features. The DSIEM describe the spatial information of human motion with information entropy, and describe the temporal information through stitching. DSIEM can reduce the redundancy of depth sequences and effectively capture spatial motion states. MLSL studies the relationship between different modalities and the inherent connection between different labels. The method is evaluated on three public datasets: Microsoft action 3D dataset (MSR Action3D), University of Texas at Dallas-multimodal human action dataset (UTD-MHAD), UTD MHAD-Kinect Version-2 (UTD-MHAD-Kinect V2). Experimental results show that the proposed MLSL model obtains new state-of-the-art results, including achieving the average rate of the MSR Action3D to 93.55%, the average rate of the UTD-MHAD to 88.37% and the average rate of the UTD-MHAD-Kinect V2 to 90.66%.

Human Action Recognition Based on Multi-scale Feature Maps from Depth Video Sequences

“…According to the type of input data, the human action recognition technologies consist of RGB video based methods [7][8][9], depth video based methods [16,18,56,60], depth skeleton based methods [6,36,45], and multi-modal data fusion based methods [54,55,57]. Due to the convenience of data acquisition and invariance to illumination and texture changes, many researchers focus on depth video based methods.…”

Нові Методи Та Рішення Щодо Побудови Моделі Поведінки Користувачів

“…LHS RHS підтримка довіра піднесення номер [1] {Охорона здоров'я} => {Фінанси} 0.007692308 0.09090909 0.5371901 1 [2] {Фінанси} => {Охорона здоров'я} 0.007692308 0.04545455 0.5371901 1 [3] {Спорт} => {Розваги} 0.015384615 0.14285714 1.1607143 2 [4] {Розваги} => {Спорт} 0.01538461 0.12500000 1.1607143 2 [5] {Спорт} => {Фінанси} 0.015384615 0.14285714 0.8441558 2 [6] {Фінанси} => {Спорт} 0.015384615 0.09090909 0.8441558 2 [7] {Забави} => {Фінанси} 0.007692308 0.06250000 0.3693182 1 [8] {Фінанси} => {Розваги} 0.007692308 0.04545455 0.3693182 1 [9] {Покупки} => {Водіння} 0.046153846 0.46153846 1.8181818 6 [10] {Водіння} => {Покупки} 0.046153846 0.18181818 1.8181818 6 [11] {Відпочинок} => {Фінанси} 0.015384615 0.11111111 0.6565657 2 [12] {Фінанси} => {Відпочинок} 0.015384615 0.09090909 0.6565657 2 Отже, правила 3, 4, 9, 10 важливі для аналізу. Далі знайдено підтримку наступних правил (рис.…”

“…Порівняємо наші результати з відомими методами. У роботах [5,12] використовують двоступеневу модель для розпізнавання образів людини. Перша частина мо-делі, заснована на розширенні ConvNets до 3D-випадку, автоматично вивчає просторово-часові особливості.…”

“…Виступи оцінюються за набором даних. Матриця невідповідностей для цього набору даних з використанням двоступеневого алгоритму, наведеного в роботі [12], показує середню точність 67,9 та 78,2 для запропонованого алгоритму.…”

CZU-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and 10 wearable inertial sensors

“…Chao et al [14] proposed depth spatial-temporal energy map (DSTEM) for representing the temporal information, energy information, and spatial structure information of actions. Yang et al [15] proposed a method by Multi-label subspace Learning (MLSL) to fuse depth sequential information entropy map (DSIEM) and skeleton data. Chao et al [16] proposed a motion collaborative Spatiotemporal vector (MCSTV), which comprehensively considers the integral and cooperative between the moving joints of the human body.…”