Unsupervised Gait Phase Estimation for Humanoid Robot Walking

Piperakis, Stylianos; Timotheatos, Stavros; Trahanias, Panos

doi:10.1109/icra.2019.8793598

Cited by 18 publications

(9 citation statements)

References 23 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Subsequently, the desired step locations are fed to the walking engine that computes in real-time the walking pattern (Piperakis et al, 2014 ) and tracks that pattern using onboard proprioceptive sensing such as the IMU, joint encoder, and pressure measurements (Piperakis and Trahanias, 2016 ; Piperakis et al, 2018 ) and/or external odometry measurements (Piperakis et al, 2019a , b ) along with the current contact status (Piperakis et al, 2019c ), to achieve fast and dynamically stable locomotion. The latter is vital to the success of the task since the humanoid carries a significant weight (mounted LIDAR and bowl with items) and still manages stable omnidirectional walk.…”

Section: Resultsmentioning

confidence: 99%

Time-Aware Multi-Agent Symbiosis

et al. 2020

Self Cite

View full text Add to dashboard Cite

Contemporary research in human-machine symbiosis has mainly concentrated on enhancing relevant sensory, perceptual, and motor capacities, assuming short-term and nearly momentary interaction sessions. Still, human-machine confluence encompasses an inherent temporal dimension that is typically overlooked. The present work shifts the focus on the temporal and long-lasting aspects of symbiotic human-robot interaction (sHRI). We explore the integration of three time-aware modules, each one focusing on a diverse part of the sHRI timeline. Specifically, the Episodic Memory considers past experiences, the Generative Time Models estimate the progress of ongoing activities, and the Daisy Planner devices plans for the timely accomplishment of goals. The integrated system is employed to coordinate the activities of a multi-agent team. Accordingly, the proposed system (i) predicts human preferences based on past experience, (ii) estimates performance profile and task completion time, by monitoring human activity, and (iii) dynamically adapts multi-agent activity plans to changes in expectation and Human-Robot Interaction (HRI) performance. The system is deployed and extensively assessed in real-world and simulated environments. The obtained results suggest that building upon the unfolding and the temporal properties of team tasks can significantly enhance the fluency of sHRI.

show abstract

Section: Resultsmentioning

confidence: 99%

Time-Aware Multi-Agent Symbiosis

et al. 2020

Self Cite

View full text Add to dashboard Cite

show abstract

“…with n v b ∼ N (0, R n k ) be the normal zero mean kinematic velocity noise with covariance R n k . The above measurements do not accumulate leg odometry drift during the gait and are commonly not contaminated with outliers when accurate contact states are estimated [30], [31]. Thus, we distinguish them with the superscript n for nominal measurements that will be not examined for outliers.…”

Section: B Measurement Modelmentioning

confidence: 99%

Outlier-Robust State Estimation for Humanoid Robots

Piperakis

Kanoulas

Tsagarakis

et al. 2019

2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

Self Cite

View full text Add to dashboard Cite

Contemporary humanoids are equipped with visual and LiDAR sensors that are effectively utilized for Visual Odometry (VO) and LiDAR Odometry (LO). Unfortunately, such measurements commonly suffer from outliers in a dynamic environment, since frequently it is assumed that only the robot is in motion and the world is static. To this end, robust state estimation schemes are mandatory in order for humanoids to symbiotically co-exist with humans in their daily dynamic environments. In this article, the robust Gaussian Error-State Kalman Filter for humanoid robot locomotion is presented. The introduced method automatically detects and rejects outliers without relying on any prior knowledge on measurement distributions or finely tuned thresholds. Subsequently, the proposed method is quantitatively and qualitatively assessed in realistic conditions with the full-size humanoid robot WALK-MAN v2.0 and the mini-size humanoid robot NAO to demonstrate its accuracy and robustness when outlier VO/LO measurements are present. Finally, in order to reinforce further research endeavours, our implementation is released as an open-source ROS/C++ package.

show abstract

“…To efficiently consider the robot's kinematics and contact effects we employ the State Estimation Robot Walking (SEROW) framework [47,49,76]. The latter fuses IMU, joint encoder, and Force/Torque (F/T) measurements to accurately estimate the following state vector x t : The kinematic information derived from SEROW are used to improve the performance of the localization and mapping processes in visual SLAM.…”

Section: Methods and Resultsmentioning

confidence: 99%

“…In all state-of-the-art approaches, the objective was to determine whether a specific foot is in contact or not. Recently, in [76] we raised a broader question: in which gait phase is the robot currently in? To this end, we proposed a holistic framework, based on unsupervised learning from proprioceptive sensing that accurately and efficiently addresses this problem.…”

Section: Contact Detectionmentioning

confidence: 99%

“…with n v b ⇠ N (0, R n k ) be the normal zero mean kinematic velocity noise with covariance R n k . The above measurements do not accumulate leg odometry drift during the gait and are commonly not contaminated with outliers when accurate contact states are estimated [75,76]. Thus, we distinguish them with the superscript n for nominal measurements that will be not examined for outliers.…”

Section: Measurement Modelmentioning

confidence: 99%

See 1 more Smart Citation

Robust nonlinear state estimation for humanoid robots

Piperakis¹,

Πιπεράκης²

View full text Add to dashboard Cite

Η εκτίμηση του Κέντρου Μάζας (CoM) διαδραματίζει κρίσιμο ρόλο στη ρομποτική βάδιση. Οι περισσότεροι σχεδιαστές κίνησης και ελεγκτές βάδισης πραγματικού χρόνου υποθέτουν ότι η θέση και η ταχύτητα του CoM είναι διαθέσιμες για ανατροφοδότηση ανά πάσα στιγμή. Σε αυτή τη διατριβή παρουσιάζουμε έναν από τους πρώτους τρισδιάστατους εκτιμητές κατάστασης CoM για το περπάτημα των ανθρωποειδών ρομπότ. Ο προτεινόμενος εκτιμητής συνδυάζει αποτελεσματικά τις μετρήσεις από αισθητήρες πίεσης στα πόδια, κωδικοποιητές στις αρθρώσεις και αδρανειακής μονάδας (IMU) στο σώμα με ένα Εκτεταμένο Φίλτρο Κάλμαν (EKF) για την ακριβή εκτίμηση τόσο της θέσης και της ταχύτητας του CoM αλλά και των εξωτερικών δυνάμεων που δρουν πάνω σε αυτό. Επιπλέον, λαμβάνει υπόψιν την ανωμαλότητα του εδάφους και την στροφορμή του σώματος με αποτέλεσμα να συνδυάζει το μετωπικό με το πλευρικό επίπεδο κίνησης, χωρίς να βασίζεται σε αισθητήρες δύναμης / ροπής (F/T) στα πόδια. Ωστόσο, είναι κοινή πρακτική να επιχειρείται η μετατροπή των μετρήσεων σε ένα αδρανειακό σύστημα αναφοράς ώστε η εκτίμηση του CoM να γίνεται σε σχέση με αυτό. Κατά συνέπεια, για την επίτευξη του παραπάνω είναι υποχρεωτικό να συνεκτιμηθούν η βάση και το πόδι στήριξης του ρομπότ. Για το σκοπό αυτό, επεκτείνουμε έναν καθιερωμένο στη βιβλιογραφία εκτιμητή αιωρούμενης μάζας με τη δυναμική του ποδιού στήριξης χρησιμοποιώντας μετρήσεις κινηματικής και αδρανειακής μονάδας με το Φίλτρο Κάλμαν Σφάλματος Κατάστασης (ESKF) για την κατάλληλη διαχείριση της υπερ-παραμετροποίησης των περιστροφών. Με αυτό το τρόπο, δημιουργείται ένα σύστημα σειριακής εκτίμησης κατάστασης που αποτελείται από έναν εκτιμητή βάσης και έναν εκτιμητή CoM το οποίο ονομάζουμε State Estimation RObot Walking (SEROW). Επιπλέον, για να διορθώσουμε την κινηματική απόκλιση που προκαλείται από την ολίσθηση των ποδιών κατά το περπάτημα, χρησιμοποιούμε μετρήσεις Οπτικής Οδομετρίας (VO) και/ή Οδομετρίας LIDAR (LO). ∆υστυχώς, τέτοιες μετρήσεις υποφέρουν από ακραίες τιμές σε ένα δυναμικό περιβάλλον, αφού κατά τον υπολογισμό τους χρησιμοποιείται η υπόθεση ότι μόνο το ρομπότ βρίσκεται σε κίνηση και ο κόσμος γύρω του είναι στατικός. Για αυτό το λόγο, εισάγουμε το Σθεναρό Γκαουσιανό Φίλτρο Κάλμαν Σφάλματος Κατάστασης (RGESKF) για την αυτόματη ανίχνευση και απόρριψη των ακραίων μετρήσεων. Το προτεινόμενο φίλτρο δεν βασίζεται σε πρότερη γνώση σχετικά με τις κατανομές των μετρήσεων και δεν χρησιμοποιεί ειδικά ρυθμισμένα κατώφλια. Ως εκ τούτου, το SEROW γίνεται ένα σθεναρό σύστημα εκτίμησης κατάστασης, κατάλληλο για δυναμικά ανθρώπινα περιβάλλοντα. Προκειμένου να ενισχυθούν περαιτέρω οι ερευνητικές προσπάθειες, το SEROW δίνεται ελεύθερα στη ρομποτική κοινότητα ως ένα πακέτο ROS/C++ ανοικτού κώδικα. Τα σύγχρονα συστήματα ελέγχου και εκτίμησης κατάστασης ανθρωποειδών ρομπότ υποθέτουν ότι η κατάσταση επαφής ποδιών-εδάφους είναι γνωστή εκ των προτέρων. Η ανίχνευση τέτοιων επαφών είναι ένα σημαντικό και σε μεγάλο βαθμό ανεξερεύνητο θέμα στη σύγχρονη ρομποτική έρευνα. Σε αυτή τη διατριβή, διατυπώνουμε μια ευρύτερη ερώτηση: σε ποια φάση βάδισης βρίσκεται το ρομπότ; Προς το σκοπό αυτό, προτείνουμε ένα ολιστικό πλαίσιο βασισμένο σε μη-επιβλεπόμενη μάθηση από δεδομένα ιδιοδεκτικής αίσθησης που αντιμετωπίζει με ακρίβεια και αποτελεσματικότητα αυτό το πρόβλημα. Συγκεκριμένα, ανιχνεύουμε με ακρίβεια μια από τις τρεις φάσεις βάδισης, την Αριστερή Υποστήριξη (LSS), την ∆ιπλή Υποστήριξη (DS) και τη ∆εξιά Υποστήριξη (RSS), χρησιμοποιώντας μετρήσεις από κωδικοποιητές, IMU και F/T. Αρχικά, πραγματοποιείται μείωση των διαστάσεων με Ανάλυση Κύριων Στοιχείων (PCA) ή με αυτόματους κωδικοποιητές ώστε να εξαχθούν χρήσιμα χαρακτηριστικά, μια συμπαγής αναπαράσταση και να μειωθεί ο θόρυβος στα δεδομένα. Στη συνέχεια, πραγματοποιείται μια ομαδοποίηση στον χώρο χαμηλών διαστάσεων με Γκαουσιανά Μοντέλα Μίγματος (GMMs). Ως αποτέλεσμα λαμβάνονται τρία πυκνά συμπλέγματα που αντιστοιχούν στις φάσεις της βάδισης. Αυτό σημαίνει ότι η δυναμική της φάσης του βαδίσματος είναι χαμηλής διάστασης το οποίο λειτουργεί ως άλλη μια ένδειξη στο ότι ολόκληρη η διαδικασία της βάδισης είναι χαμηλής διάστασης. Επιπλέον, δεδομένου ότι το προτεινόμενο πλαίσιο χρησιμοποιεί μετρήσεις από αισθητήρες που είναι συνήθως διαθέσιμοι στα σημερινά ανθρωποειδή ρομπότ, προσφέρουμε στη ρομποτική κοινότητα το Gait-Phase Estimation Module (GEM), μια ανοικτού κώδικα εφαρμογή σε ROS/Python. Το SEROW και το GEM έχουν αξιολογηθεί ποσοτικά και ποιοτικά αναφορικά με την ακρίβεια και την αποδοτικότητα τους τόσο σε προσομοίωση όσο και σε πραγματικές συνθήκες. Αρχικά, χρησιμοποιήθηκε ένα προσομοιωμένο ρομπότ στο MATLAB και το ανθρωποειδές ρομπότ Valkyrie της NASA στο ROS/Gazebo για να τεκμηριωθούν τα προτεινόμενα σχήματα στο βάδισμα πάνω σε ανομοιόμορφο/ανώμαλο έδαφος. Στη συνέχεια, τα προτεινόμενα σχήματα ενσωματώθηκαν στο α) μικρού μεγέθους ανθρωποειδές ρομπότ NAO v4.0 και β) στο πλήρους μεγέθους ανθρωποειδές WALK-MAN v2.0 για περεταίρω πειραματική επικύρωση. Με το NAO, το SEROW εφαρμόστηκε στο ρομπότ για να παράσχει την απαραίτητη ανατροφοδότηση στον σχεδιασμό της κίνησης και τη σταθεροποίηση του βηματισμού σε πραγματικό χρόνο. Με αυτό το τρόπο επιτεύχθηκε πολυκατευθυντική βάδιση ακόμη και σε εξωτερικά/ανομοιογενή εδάφη. Επιπλέον, το SEROW χρησιμοποιήθηκε στον σχεδιασμό βημάτων για την πλοήγηση και επίσης στο Visual SLAM με το ίδιο ρομπότ. Όσον αφορά το WALK-MAN v2.0, το SEROW εφαρμόστηκε με δεδομένα κινηματικής, αδρανειακής μονάδας και F/T για να παρέχει ανατροφοδότηση βάσης και CoM σε πραγματικό χρόνο. Στην εκτίμηση λήφθηκε υπόψη και το VO για την διόρθωση της κινηματικής απόκλισης κατά το περπάτημα. Με αυτό το τρόπο διευκολύνεται σημαντικά ο πιθανός σχεδιασμός βημάτων. Τέλος, το GEM χρησιμοποιήθηκε επίσης για την εκτίμηση της φάσης της βάδισης στο δυναμικό περπάτημα του WALK-MAN. Συνοψίζοντας, σε αυτή τη διατριβή προτείνεται ένας σθεναρός μη-γραμμικός εκτιμητής κατάστασης για το βάδισμα ανθρωποειδών ρομπότ. Παρόλα αυτά, το προτεινόμενο σύστημα μπορεί εύκολα να επεκταθεί και σε άλλους τύπους ρομπότ με πόδια, όπως τα τετράποδα, μιας και διαθέτουν τις ίδιες βασικές αρχές κίνησης.

show abstract

Unsupervised Gait Phase Estimation for Humanoid Robot Walking

Cited by 18 publications

References 23 publications

Time-Aware Multi-Agent Symbiosis

Time-Aware Multi-Agent Symbiosis

Outlier-Robust State Estimation for Humanoid Robots

Robust nonlinear state estimation for humanoid robots

Contact Info

Product

Resources

About