Hand/arm Gesture Segmentation by Motion Using IMU and EMG Sensing

Lopes, João; Simão, Miguel; Mendes, Nuno; Safeea, Mohammad; Afonso, José Augusto Bastos; Neto, Pedro

doi:10.1016/j.promfg.2017.07.158

Cited by 26 publications

(20 citation statements)

References 7 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Obecnie w pracach naukowych zauważyć można niesłabnące zainteresowanie sygnałami EMG. Prowadzone badania mają na celu wykrywanie gestów wykonanych dłonią [1][2][3], pomoc sportowcom [4,5], jak również wiele innych [6,7]. Sygnał może być pobierany zarówno z powierzchni skóry, jak i z wnętrza mięśnia [8], a rejestrowana liczba sygnałów może być różna -od 1 do 16 i więcej [1,9,10].…”

Section: Wprowadzenieunclassified

See 1 more Smart Citation

Recognition of Finger Movement Based on Electromyogram Analysis

Sikora

Paszkiel

2018

PAR

View full text Add to dashboard Cite

Section: Wprowadzenieunclassified

“…Między systemami opisanymi w literaturze [1][2][3]9] oraz systemem, którego dotyczy niniejsza praca dostrzec można pewną różnicę odnośnie głównych założeń. Omawiany układ stworzony został w celu rozpoznawania ruchu pojedynczych palcównie gestów wykonywanych dłonią.…”

Section: Wprowadzenieunclassified

Recognition of Finger Movement Based on Electromyogram Analysis

Sikora

Paszkiel

2018

PAR

View full text Add to dashboard Cite

“…In many sensor-fusion algorithms, inertial sensors are typically used to track hand motions, while other sensors (e.g., EMG sensors) detect additional hand information, such as finger snapping, hand gripping, or fingerspelling [12,13]. One prominent combination may be inertial and EMG sensors [12,13,14,15,16,17]. The hand position is determined by the inertial sensor and the EMG sensors provide supportive information to fully understand complicated finger or hand gestures.…”

Section: Introductionmentioning

confidence: 99%

Gyroscope-Based Continuous Human Hand Gesture Recognition for Multi-Modal Wearable Input Device for Human Machine Interaction

Han

Yoon

2019

Sensors

View full text Add to dashboard Cite

Human hand gestures are a widely accepted form of real-time input for devices providing a human-machine interface. However, hand gestures have limitations in terms of effectively conveying the complexity and diversity of human intentions. This study attempted to address these limitations by proposing a multi-modal input device, based on the observation that each application program requires different user intentions (and demanding functions) and the machine already acknowledges the running application. When the running application changes, the same gesture now offers a new function required in the new application, and thus, we can greatly reduce the number and complexity of required hand gestures. As a simple wearable sensor, we employ one miniature wireless three-axis gyroscope, the data of which are processed by correlation analysis with normalized covariance for continuous gesture recognition. Recognition accuracy is improved by considering both gesture patterns and signal strength and by incorporating a learning mode. In our system, six unit hand gestures successfully provide most functions offered by multiple input devices. The characteristics of our approach are automatically adjusted by acknowledging the application programs or learning user preferences. In three application programs, the approach shows good accuracy (90–96%), which is very promising in terms of designing a unified solution. Furthermore, the accuracy reaches 100% as the users become more familiar with the system.

show abstract

“…Bu çalışmada insan kolu hareketinin taklit edilmesi için kinematik dönüşüm yöntemleri dikkate alınmıştır. İnsan elinin ve parmaklarının pozisyonları ile robot kontrolü konusunda da literatürde çalışmalar yer almaktadır [25]- [27]. Bu çalışmalarda, daha az sensör kullanarak alt kol pozisyonun algılanması [25], parmak üzerine giyilebilir esnek bir sensör ve ivmeölçer ile deneysel bir robotun kontrol edilmesi [26] ve AÖB birimleri kullanılarak el ve kol duruşunun algılanması üzerine çalışılmıştır [27].…”

Section: Introductionunclassified

“…İnsan elinin ve parmaklarının pozisyonları ile robot kontrolü konusunda da literatürde çalışmalar yer almaktadır [25]- [27]. Bu çalışmalarda, daha az sensör kullanarak alt kol pozisyonun algılanması [25], parmak üzerine giyilebilir esnek bir sensör ve ivmeölçer ile deneysel bir robotun kontrol edilmesi [26] ve AÖB birimleri kullanılarak el ve kol duruşunun algılanması üzerine çalışılmıştır [27]. Son olarak BNO055 sensör kartlarından gelen açılarla hesaplanan X, Y, Z konum bilgileri ve MYO kol bandından gelen parmak hareketleri ile hesaplanan tutucu bilgileri Arduino Mega ya takılan Ethernet Shield (wiznet 5100 entegreli) ile TCP/IP protokolü kullanılarak robotun kontrolcüsüne aktarılır.…”

Section: Introductionunclassified

Providing the human-robot interaction with biomimetic approach

Gelen¹,

Özcan²

2019

Pamukkale J Eng Sci

View full text Add to dashboard Cite

Bu çalışmada, insan kol ve el hareketlerinin taklit edilmesiyle insanrobot etkileşimini sağlayan biyomimetik bir yaklaşım sunulmuştur. İnsan kol hareketleriyle robotun aynı doğrultuda hareket etmesi sağlanmış ve el hareketleri ile de robot tutucusunun kontrolü sağlanmıştır. Robot hareketi için; ilk olarak insan elinin, bel hizasında orijin noktası olarak belirlenen noktaya olan konumunu verecek kinematik model oluşturulmuştur. Modellemede, insan kolu, ön kol, pazı ve omuz olmak üzere üç ayrı uzuv olarak incelenmiştir. Omuza, pazıya ve ön kola yerleştirilen algılayıcılar ile dönüş açısı bilgileri elde edilmiş ve uzuv uzunlukları ile birlikte matematiksel modelde kullanılmıştır. Bu hesaplamalarda rotasyon kinematiği ve hareket kinematiği matrisleri kullanılmıştır. Tutucu kontrolü için ise bünyesinde EMG sensörleri bulunduran MYO kol bandı kullanılmıştır. Bu kol bandı üzerindeki EMG sensörleri ile kol kaslarından parmak hareketleri algılatılmıştır ve bu hareketler doğrultusunda pnömatik tutucu kontrol edilmiştir. Uygulamalarda 6-eksen robot kolu kullanılmıştır. Hesaplanan konum verileri ve tutucu bilgisi ethernet üzerinden TCP/IP protokolü ile robot denetleyicisine aktarılmaktadır. Robotun hesaplanan konuma gitmesini ve tutucu kontrolünü sağlayan kod oluşturularak robota aktarılmıştır. Yapılan testlerde, endüstriyel robotun insan kol ve el hareketleri ile başarılı biçimde kontrol edildiği gözlemlenmiştir. In this work, a biomimetic approach to provide human-robot interaction by mimicking the motion of human arm and fingers is presented. The movement of an industrial robot is performed by human arm movement in same direction and the control of gripper is also performed by hand movements. For the movement of robot, as a first step, a kinematic model is obtained to give the position of the human hand to the point determined as the origin point in the waist line. In the modelling, the human arm is considered as three limp that are forearm, biceps and shoulder. The rotational angles are obtained from sensors placed in the shoulder, biceps, and forearm, are used in the mathematical model with limb lengths. Rotation kinematics and kinematics matrices are used in these calculations. For the gripper control, a MYO armband with EMG sensors is used. With this EMG sensor on the armband, finger movements are detected from the arm muscles and the pneumatic gripper was controlled in the direction of these movements. A 6-axis robot arm is used in the applications. The calculated position data and the gripper information are transferred to the robot controller via the TCP/IP protocol over Ethernet. A code that provides reaching of robot to calculated position and control the gripper is created and transferred to robot. In the tests, it has been observed that the industrial robot has been successfully controlled by human arm and hand movements

show abstract

Hand/arm Gesture Segmentation by Motion Using IMU and EMG Sensing

Cited by 26 publications

References 7 publications

Recognition of Finger Movement Based on Electromyogram Analysis

Recognition of Finger Movement Based on Electromyogram Analysis

Gyroscope-Based Continuous Human Hand Gesture Recognition for Multi-Modal Wearable Input Device for Human Machine Interaction

Providing the human-robot interaction with biomimetic approach

Contact Info

Product

Resources

About