Intelligent invariance techniques for music gesture recognition based on skin modelling

Tsagaris, Apostolos; Manitsaris, Sotiris; Dimitropoulos, Kosmas; Manitsaris, Athanasios

doi:10.1109/cinti.2011.6108502

Cited by 4 publications

(4 citation statements)

References 12 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…As a final stage of the extraction of the hand contour Scale and rotation invariance techniques are integrated into the system. The skin coverage criterion has been used for RGB cameras in order the recognition to be reliable and render the system invariant to the distance [20]. For depth images we consider that the hand is always within the range of 25 and 50 cms.…”

Section: Distance Slicing Of Depth Image For Hand Detectionmentioning

confidence: 99%

Fingers gestures early-recognition with a unified framework for RGB or depth camera

Manitsaris

Tsagaris

Glushkova

et al. 2016

Proceedings of the 3rd International Symposium on Movement and Computing

Self Cite

View full text Add to dashboard Cite

International audienceThis paper presents a unified framework computer vision approach for finger gesture early recognition and interaction that can be applied on sequences of either RGB or depth images without any supervised skeleton extraction. Either RGB or time-of-flight cameras can be used to capture finger motions. The hand detection is based on a skin color model for color images or distance slicing for depth images. A unique hand model is used for the finger detection and identification. Static (fingerings) and dynamic (sequence and/or combination of fingerings) patterns can be early-recognized based on one-shot learning approach using a modified Hidden Markov Models approach. The recognition accuracy is evaluated in two different applications: musical and robotic interaction. In the first case standardized basic piano-like finger gestures (ascending/descending scales, ascending/descending arpeggio) are used to evaluate the performance of the system. In the second case, both standardized and user-defined gestures (driving, waypoints etc.) are recognized and used to interactively control an automated guided vehicle

show abstract

Section: Distance Slicing Of Depth Image For Hand Detectionmentioning

confidence: 99%

Fingers gestures early-recognition with a unified framework for RGB or depth camera

Manitsaris

Tsagaris

Glushkova

et al. 2016

Proceedings of the 3rd International Symposium on Movement and Computing

Self Cite

View full text Add to dashboard Cite

show abstract

“…Η τεχνική του scale invariance (εφαρµογή αµεταβλητότητας κλίµακας) χρησιµοποιεί την αποµόνωση (crop) της περιοχής ενδιαφέροντος, δηλαδή της περιοχής που περιέχει το δερµατικό µοντέλο του χεριού από την εικόνα ολόκληρη. Η τεχνικής του Rotation invariance (εφαρµογή αµεταβλητότητας περιστροφής) χρησιµοποιεί την περιστροφή της περιοχής ενδιαφέροντος σύµφωνα µε µια συγκεκριµένη γωνία που υπολογίζεται κάθε φορά από την θέση της χειροµορφής [165,166]. Κάποιες µέθοδοι αναγνώρισης µε τεχνικές αµεταβλητότητας αποτελούν σειρά από οπτικές τεχνικές, που βασίζονται σε την ανάλυση µέσω Fourier περιγραφέων, µοντέλα νευρωνικών δικτύων και γενετικοί αλγόριθµοι [167,168].…”

Section: εστίαση στην περιοχή ενδιαφέροντοςunclassified

“…Έχοντας εισάγει την έννοια της αµεταβλητότητας ως προς την κλίµακα (Scale invariance) και την περιστροφή (Rotation invariance), βελτιώθηκε αισθητά ο χρόνος επεξεργασίας της εικόνας. Και αυτό διότι χρησιµοποιούµε µόνο την περιοχή ενδιαφέροντος που έχει την κατάλληλη πληροφορία (χειροµορφή) και όχι ολόκληρη την εικόνα [165], [166]. Χρησιµοποιούµε την έννοια του ποσοστού κάλυψης της εικόνας από την χειροµορφή, ώστε να αναπτυχθούν σωστά οι τεχνικές αµεταβλητότητας ως προς την κλίµακα και την περιστροφή.…”

Section: εστίαση στην περιοχή ενδιαφέροντοςunclassified

“…Το µεσαίο δάχτυλο m i (x mi , y mi ) και το κέντρο βάρους του ceni (x ceni , y ceni ) καθορίζει τη γραµµή, η οποία καθορίζει την περιστροφή του χεριού.Η γωνία θ µε τον άξονα y υπολογίζεται ως εξής:Όπου θ Є (-10,10) το σύστηµα αναγνωρίζει τα δάκτυλα χωρίς την εφαρµογή περιστροφής.∆ιαφορετικά το hi περιστρέφεται σε γωνία -θ (αντίστροφη περιστροφή) και η χειροµορφή παίρνει την κανονική της θέση στην εικόνα h i r . στην «Αναγνώριση δακτυλικών χειρονοµιών σε πραγµατικό χρόνο για την αλληλεπίδραση Ανθρώπου -Ροµπότ: Εφαρµογή στον έλεγχο συστηµάτων µηχατρονικής» / 2014 -Τµήµα Εφαρµοσµένης Πληροφορικής -Πανεπιστήµιο Μακεδονίας Συνοψίζοντας τα παραπάνω, η εφαρµόσιµη τεχνική της περιστροφή βασίζεται στην παρακάτω σχέση: Με την προσθήκη της βελτιστοποίησης λόγω της αµεταβλητότητας από κλίµακα και περιστροφή η µεθοδολογία µπορεί να ελαττώσει το χρόνο επεξεργασίας µέχρι και 30%[165].…”

unclassified

See 1 more Smart Citation

Αναγνώριση Δακτυλικών Χειρονομιών Σε Πραγματικό Χρόνο Για Την Αλληλεπίδραση Ανθρώπου-Ρομπότ

Tsagkaris¹,

Τσαγκάρης²

View full text Add to dashboard Cite

Η συγκεκριμένη διδακτορική διατριβή παρουσιάζει μεθοδολογία αλληλεπίδρασης με συστήματα μηχατρονικής μέσω οπτικής αναγνώρισης δακτυλικών κινήσεων σε πραγματικό χρόνο. Παρουσιάζει ένα νέο είδος αλληλεπίδρασης Ανθρώπου - Ρομπότ μέσω Ηλεκτρονικού Υπολογιστή. Με τη βοήθεια τεχνολογιών αναγνώρισης ακροδακτύλων χεριού σε πραγματικό χρόνο και μέσω επεξεργασίας σημάτων κάμερας (web, kinect, pmd) επιτυγχάνεται αλληλεπίδραση με συστήματα ρομποτικής και εν γένει μηχατρονικής. H μεθοδολογία βασίζεται στον ορισμό των κατάλληλων εντολών ελέγχου (λεξικού κινήσεων) μέσω χειρονομιών και υποστηρίζει την ανίχνευσή τους σε πραγματικό χρόνο μέσω των τροχιών των ακροδακτύλων, πριν ακόμη ολοκληρωθούν, για την αλληλεπίδραση με το σύστημα μηχατρονικής ή ρομποτικής. Μέρος της μεθοδολογίας αποτελεί ο ταυτόχρονος έλεγχος πολλαπλών εντολών μέσω δακτυλικών χειρονομιών, είτε αντιστοιχίζοντας κάθε δάκτυλο με διαφορετική εντολή, που εκτελούνται όμως ταυτόχρονα, είτε χρησιμοποιώντας μια χειρονομία για την εκτέλεση πλήθους εντολών.Έτσι, στο γενικότερο πλαίσιο της Επικοινωνίας Ανθρώπου – Ρομπότ -Υπολογιστή, η έρευνα για την παρούσα διδακτορική διατριβή έχει σκοπό να παρουσιάσει α) κατάλληλη μεθοδολογία δημιουργίας λεξικού κινήσεων β) μεθοδολογία ανάκτησης εντολών με τεχνολογίες μηχανικής όρασης σε πραγματικό χρόνο και γ) κατάλληλο λογισμικό FingerOrasis για την αλληλεπίδραση με σύστημα μηχατρονικής σε πραγματικό χρόνο. Η μεθοδολογία που χρησιμοποιείται βασίζεται στην επέκταση στον τρισδιάστατο χώρο υπάρχουσας μεθόδου όρασης Η/Υ για την αναγνώριση κινήσεων δακτύλων στον χώρο της μουσικής. Λαμβάνονται υπόψη δύο προσεγγίσεις αναγνώρισης σε πραγματικό χρόνο από το σύστημα FingerOrasis: α) η στατική προσέγγιση ή ανάκτηση πατήματος δακτύλου, και β) η δυναμική προσέγγιση, ανάκτηση εντολής. Η στατική αναγνώριση εφαρμόζεται σε κάθε καρέ του βίντεο. Η δυναμική αναγνώριση εφαρμόζεται σε σύνολο ακολουθιών καρέ βίντεο, βασιζόμενη σε Κρυφά Μαρκοβιανά Μοντέλα και σε τεχνική δυναμικής περιτύλιξης χρόνου.

show abstract

Design of Gesture-Controlled Interface for Mechatronic Systems: A Computational Approach

Tsagaris

Economou

Manavis

et al. 2023

Management and Industrial Engineering

View full text Add to dashboard Cite

Intelligent invariance techniques for music gesture recognition based on skin modelling

Cited by 4 publications

References 12 publications

Fingers gestures early-recognition with a unified framework for RGB or depth camera

Fingers gestures early-recognition with a unified framework for RGB or depth camera

Αναγνώριση Δακτυλικών Χειρονομιών Σε Πραγματικό Χρόνο Για Την Αλληλεπίδραση Ανθρώπου-Ρομπότ

Design of Gesture-Controlled Interface for Mechatronic Systems: A Computational Approach

Contact Info

Product

Resources

About