e-Shoes: Smart shoes for unobtrusive human activity recognition

Pham, Cuong; Diep, Nguyen Ngoc; Phương, Từ Minh

doi:10.1109/kse.2017.8119470

Cited by 27 publications

(20 citation statements)

References 23 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Other works attempt non-invasive activity recognition by embedding and hiding the sensors inside the fabrics. Such devices can be worn by human such as shoe [19], [20] or textile [21]. However, classifying activities performed with both hands and foots such as drinking, brushing, running, walking seems to be a considerable challenge for smart-device-based activity recognition.…”

Section: A Unobtrusive Technologies For Harmentioning

confidence: 99%

SensCapsNet: Deep Neural Network for Non-Obtrusive Sensing Based Human Activity Recognition

Pham¹,

Nguyen-Thai²,

Huy

et al. 2020

IEEE Access

Self Cite

View full text Add to dashboard Cite

This research was funded by Vietnam Ministry of Science and Technology under grant number DTDLCN-16/18 ''Automated Respiration Symptoms monitoring and Abnormal Human Activity Detection Using the Internet of Things''. ABSTRACT Recently, the recent advancement of deep learning with the capacity to perform automatic highlevel feature extraction has achieved promising performance for sensor-based human activity recognition (HAR). Among different deep learning methods, Convolutional Neural Network (CNN) and Long Short Term Memory (LSTM) have been widely adopted. However, scalar outputs and pooling in CNN only allow to get the invariance but not the equivariance. The capsule networks (CapsNet) with the vector output and routing by agreement is able to capture the equivariance. In this paper, we propose a method for recognizing human activity from wearable sensors based on a capsule network named SensCapsNet. The architecture of SensCapsNet is designed to be suitable for spatial-temporal data coming from wearable sensors. Experimental results show that the proposed network outperforms CNN and LSTM methods. The performance of the proposed CapsNet architecture is assessed by altering dynamic routing between capsule layers. The proposed SensCapsNet yields improved accuracy values of 77.7% and 70.5% for 1 routing on two testing datasets in comparison with the baseline methods based on CNN and LSTM that yields the F1score of 67.7% and 69.2% for the first dataset and 65.3% and 67.6% for the second dataset respectively. Moreover, even several human activity datasets are available, privacy invasion and obtrusive concerns have not been carefully taken in to consideration in dataset building. Toward to build a non-obstructive sensing based human activity recognition method, in this paper, a dataset named 19NonSens is designed and collected from twelve subjects wearing e-Shoes and a smart watch to perform 19 activities under multiple contexts. This dataset will be made publicity available. Finally, thanks to the promising results obtained by the proposed method, we develop a life logging application which achieves a real-time computation and the accuracy rate greater than 80% for 5 common upper body activities. INDEX TERMS Human activity recognition, capsule net, wearable sensors.

show abstract

Section: A Unobtrusive Technologies For Harmentioning

confidence: 99%

SensCapsNet: Deep Neural Network for Non-Obtrusive Sensing Based Human Activity Recognition

Pham¹,

Nguyen-Thai²,

Huy

et al. 2020

IEEE Access

Self Cite

View full text Add to dashboard Cite

show abstract

“…Hai phương pháp tiếp cận phổ biến để giải quyết bài toán vận động bất thường là: sử dụng cảm biến được tích hợp vào môi trường [6] và cảm biến đeo trên người [4,5,22]. Trong cách tiếp cận thứ nhất thì các cảm biến hình ảnh như camera số được thiết đặt để quan sát các hoạt động hàng ngày của người [7] hoặc cảm biến định danh (RFID) được gắn vào trong các vật dụng trong nhà để phát hiện người sử dụng những vật dụng nào, từ đó suy diễn ra các hoạt động hàng ngày và vận động bất thường của người mất trí nhớ tạm thời [1,23].…”

Section: đặT Vấn đềunclassified

“…Kiến trúc của mạng con tích chập hợp nhất tương tự như mạng con tích chập riêng lẻ. Bộ lọc 2 được chúng tôi sử dụng với ( , 4) để học các tương tác giữa các cảm biến với đầu ra (4) .. , sau đó bộ lọc 1 với (1, 5) và (1, 6) được áp dụng ở mức độ nâng cao hơn trên (5) .. , (6) .. . Đối với mỗi lớp tích chập, CNN-LSTM học với 64 bộ lọc và sử dụng ReLU làm hàm kích hoạt.…”

Section: Sau đó Chúng Tôi Tiến Hành Làm Phẳng Ma Trận ( 3)unclassified

“…-Mạng CNN [11]: được hiệu chỉnh để thích hợp với dữ liệu cảm biến [5] của từng tập dữ liệu thử nghiệm như: số lớp tích chập là 3, có 2 lớp max pooling và theo sau là 2 lớp kết hợp đầy đủ (Fully Connected). Số đầu ra của lớp softmax được điều chỉnh bằng số nhãn vận động bất thường trên từng tập dữ liệu.…”

Section: Các Mô Hình Thử Nghiệm (Baselines)unclassified

See 1 more Smart Citation

Phát hiện hoạt động bất thường của người bằng mạng học sâu tích chập kết hợp mạng bộ nhớ dài ngắn

Tuấn¹,

Pham²,

Văn³

2020

Chuyên san CNTT-TT

Self Cite

View full text Add to dashboard Cite

Bài báo này đề xuất một mô hình học sâu nhân chập kết hợp với mạng bộ nhớ dài ngắn (CNN-LSTM) cho bài toán phát hiện các vận động bất thường của người sử dụng cảm biến đeo trên người. Nhờ tận dụng các đặc tính không-thời gian, kiến trúc đề xuất CNN-LSTM đã được thiết kế để tự động học và biểu diễn các đặc trưng hiệu quả trên dữ liệu cảm biến không thuần nhất (heterogeneous sensing data). Kết quả thử nghiệm trên 4 tập dữ liệu được công bố cho thấy mô hình đề xuất đã cho kết quả cải tiến tốt hơn từ 2% đến 7% F1-score so với các mô hình học máy dựa trên trích xuất đặc trưng thủ công SVM, mô hình học sâu nhân chập (CNN) và mô hình mạng bộ nhớ dài ngắn (LSTM).

show abstract

“…Activity recognition using technology is not a new topic for researchers [41], and amongst recent literature, more common methods used in this endeavour have ranged from mobile devices, such as smartphones and wearables, [42][43][44][45][46][47] as well as more unique methods such as the analysis of eye movement [48]. However, fixed implementations such as those that are surface based or use cameras [43,[49][50][51][52] 4 literature, especially when analysing whole body or limb movement to recognise activity.…”

Section: Background and Related Workmentioning

confidence: 99%

Activity recognition evaluation via machine learning

Rameka¹,

Connor²,

Kruse³

2019

ICST Transactions on Ambient Systems

View full text Add to dashboard Cite

With the proliferation of relatively cheap Internet of Things (IoT) devices, smart environments have been highlighted as an example of how the IoT can make our lives easier. Each of these 'things' produces data which can work in unison to react to its users. Machine learning makes use of this data to make inferences about our habits and activities, such as our buying preferences or likely commute destinations. However, this level of human inclusion within the IoT relies on indirect inferences from the usage of these devices or services. Activity recognition is already a widely researched area and could provide a more direct way of including humans within this system. This research explores the feasibility of using a cost effective, unobtrusive, single modality ground-based sensor matrix to track subtle pressure changes to predict user activity, in an effort to assess its ability to act as an intermediary interface between humans and digital systems such as the IoT.

show abstract

e-Shoes: Smart shoes for unobtrusive human activity recognition

Cited by 27 publications

References 23 publications

SensCapsNet: Deep Neural Network for Non-Obtrusive Sensing Based Human Activity Recognition

SensCapsNet: Deep Neural Network for Non-Obtrusive Sensing Based Human Activity Recognition

Phát hiện hoạt động bất thường của người bằng mạng học sâu tích chập kết hợp mạng bộ nhớ dài ngắn

Activity recognition evaluation via machine learning

Contact Info

Product

Resources

About