Human Activity Recognition Using Multi-modal Data Fusion

Salcedo, Andrés Felipe Calvo; Holguín, Germán Andrés; Medeiros, Henry

doi:10.1007/978-3-030-13469-3_109

Cited by 8 publications

(30 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Adicionalmente es posible perfeccionar el método anterior agregando el modelo de bolsa de características (BOF) con histogramas de símbolos primitivos, así se logra construir un conjunto de características que representan cada movimiento, logrando así obtener eficiencias del 92% [4]. Aun cuando se logran resultados confiables, esta modalidad de sensor requiere altas capacidades de procesamiento [18], y en gran parte de los casos es necesario más de un sensor para realizar una detección satisfactoria de la actividad [1,19,17,7].…”

Section: Energía De Rotación Promediounclassified

“…Algunos ejemplos son la rehabilitación de pacientes, cuidado de enfermos, seguridad, monitoreo y seguimiento de elementos móviles. Esta tarea ha sido constituida a través de sistemas expertos que utilizan sensores electrónicos para la caracterización e identificación de los movimientos [1,2,3,4,5].…”

Section: Introductionunclassified

“…Algunas de las variaciones de sensor más comunes en esta tarea son: Cámaras de profundidad, sensores de masa inercial (IMU) y electromiográficos (EMG). Aunque se han realizado diferentes estudios con información proveniente de estas modalidades de sensor, cada enfoque ha demostrado tener ventajas y desventajas ante diferentes escenarios [1,4,6,7].…”

Section: Introductionunclassified

“…En la investigación [1] se plantea una metodología basada en movimientos primitivos para la detección automática de actividades físicas, si bien en este se conservan elementos presentados en [6,8], este trabajo introduce el uso de la fusión de sensores (Kinect, IMU y EMG). Esta variante aumenta el desempeño en la clasificación de actividad aprovechando las virtudes de cada sensor, además de ofrecer alternativas de funcionamiento al sistema ante posibles fallas tales como auto oclusiones, desconexiones de los sensores y daños en los mismos [1]. Otro aporte importante de este trabajo es el cambio de un diccionario de posturas, por uno de micro-movimientos (movimientos primitivos), tal y como se plantea en el trabajo [6], permitiendo la asignación de etiquetas, no solo para el sensor Kinect, si no para las otras modalidades de sensores donde no existe la forma de asignar una etiqueta a las posturas para diferentes frecuencias de muestreo de los sensores.…”

Section: Introductionunclassified

See 4 more Smart Citations

Análisis de reducción de dimensiones para el reconocimiento de actividades físicas humanas usando fusión multimodal

Almanza

Salcedo

Baena

2021

Ingeniare. Rev. chil. ing.

View full text Add to dashboard Cite

El reconocimiento automático de actividades físicas humanas es una tarea importante en aplicaciones de visión por computador. Los enfoques robustos que utilizan unos o varios sensores generalmente vinculan características redundantes que consumen recursos computaciones y tiempo de cómputo durante el proceso de clasificación de subactividades. En este artículo se explora la reducción de dimensión para el reconocimiento de actividades y movimientos primitivos humanos fusionando datos provenientes de sensores de profundidad visual Kinect, sensores inerciales IMUs y electrodos de registro electromiográfico (EMGs). También se enseña un estudio comparativo donde se evalúa diferentes técnicas de reducción de características del estado arte, se analiza el comportamiento en base al desempeño en el reconocimiento de actividades física y el tiempo de cómputo de los métodos bajo estudio. Los resultados muestran que, metodologías del estado de arte pueden tener un menor costo temporal a la hora de su implementación sin afectar considerablemente el desempeño al reconocer la actividad.Palabra clave: Actividades físicas, movimientos primitivos, reducción de dimensiones, aprendizaje de máquina.

show abstract

Section: Energía De Rotación Promediounclassified

Section: Introductionunclassified

See 3 more Smart Citations

Análisis de reducción de dimensiones para el reconocimiento de actividades físicas humanas usando fusión multimodal

Almanza

Salcedo

Baena

2021

Ingeniare. Rev. chil. ing.

View full text Add to dashboard Cite

show abstract

Data Fusion for Human Activity Recognition Based on RF Sensing and IMU Sensor

Zahid

Taylor

et al. 2022

Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering

View full text Add to dashboard Cite

A perspective on human activity recognition from inertial motion data

Gomaa,

Khamis

2023

Neural Comput & Applic

View full text Add to dashboard Cite

Human activity recognition (HAR) using inertial motion data has gained a lot of momentum in recent years both in research and industrial applications. From the abstract perspective, this has been driven by the rapid dynamics for building intelligent, smart environments, and ubiquitous systems that cover all aspects of human life including healthcare, sports, manufacturing, commerce, etc., which necessitate and subsume activity recognition aiming at recognizing the actions, characteristics, and goals of one or more agent(s) from a temporal series of observations streamed from one or more sensors. From a more concrete and seemingly orthogonal perspective, such momentum has been driven by the ubiquity of inertial motion sensors on-board mobile and wearable devices including smartphones, smartwatches, etc. In this paper we give an introductory and a comprehensive survey to the subject from a given perspective. We focus on a subset of topics, that we think are major, that will have significant and influential impacts on the future research and industrial-scale deployment of HAR systems. These include: (1) a comprehensive and detailed description of the inertial motion benchmark datasets that are publicly available and/or accessible, (2) feature selection and extraction techniques and the corresponding learning methods used to build workable HAR systems; we survey classical handcrafted datasets as well as data-oriented automatic representation learning approach to the subject, (3) transfer learning as a way to overcome many hurdles in actual deployments of HAR systems on a large scale, (4) embedded implementations of HAR systems on mobile and/or wearable devices, and finally (5) we touch on adversarial attacks, a topic that is essentially related to the security and privacy of HAR systems. As the field is very huge and diverse, this article is by no means comprehensive; it is though meant to provide a logically and conceptually rather complete picture to advanced practitioners, as well as to present a readable guided introduction to newcomers. Our logical and conceptual perspectives mimic the typical data science pipeline for state-of-the-art AI-based systems.

show abstract

Human Activity Recognition Using Multi-modal Data Fusion

Cited by 8 publications

References 13 publications

Análisis de reducción de dimensiones para el reconocimiento de actividades físicas humanas usando fusión multimodal

Análisis de reducción de dimensiones para el reconocimiento de actividades físicas humanas usando fusión multimodal

Data Fusion for Human Activity Recognition Based on RF Sensing and IMU Sensor

A perspective on human activity recognition from inertial motion data

Contact Info

Product

Resources

About