Interactive 3-D computer graphics driven through verbal instructions: Previous and current activities at ART

Tijerino, Yuri A.; Mochizuki, Kenji; Kishino, Fumio

doi:10.1016/0097-8493(94)90156-2

Cited by 6 publications

(5 citation statements)

References 19 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…However, the detection of fingertip locations in either 3D or 2D space is not trivial. A simple and effective solution to the fingertip detection problem is to use marked gloves or color markers to designate the characteristic fingertips (see [19], [28], [57], [60], [93], for instance). Extraction of fingertip location is then fairly simplified and can be performed using color histogram-based techniques.…”

Section: Features and Detectionmentioning

confidence: 99%

Visual interpretation of hand gestures for human-computer interaction: a review

Pavlović

Sharma

Huang

1997

IEEE Trans. Pattern Anal. Machine Intell.

1,457

646

View full text Add to dashboard Cite

Abstract-The use of hand gestures provides an attractive alternative to cumbersome interface devices for human-computer interaction (HCI). In particular, visual interpretation of hand gestures can help in achieving the ease and naturalness desired for HCI. This has motivated a very active research area concerned with computer vision-based analysis and interpretation of hand gestures. We survey the literature on visual interpretation of hand gestures in the context of its role in HCI. This discussion is organized on the basis of the method used for modeling, analyzing, and recognizing gestures. Important differences in the gesture interpretation approaches arise depending on whether a 3D model of the human hand or an image appearance model of the human hand is used. 3D hand models offer a way of more elaborate modeling of hand gestures but lead to computational hurdles that have not been overcome given the real-time requirements of HCI. Appearance-based models lead to computationally efficient "purposive" approaches that work well under constrained situations but seem to lack the generality desirable for HCI. We also discuss implemented gestural systems as well as other potential applications of vision-based gesture recognition. Although the current progress is encouraging, further theoretical as well as computational advances are needed before gestures can be widely used for HCI. We discuss directions of future research in gesture recognition, including its integration with other natural modes of humancomputer interaction.

show abstract

Section: Features and Detectionmentioning

confidence: 99%

Visual interpretation of hand gestures for human-computer interaction: a review

Pavlović

Sharma

Huang

1997

IEEE Trans. Pattern Anal. Machine Intell.

1,457

646

View full text Add to dashboard Cite

show abstract

“…The aim of Declarative Modeling in image synthesis [1}3], also called Generative Computer Aided Design [4], Cooperative Computer Aided Design [5], Interactive 3-D Computer Graphics [6] or Scene Description [7], is to provide high-level tools to help a designer to design a scene. Declarative Modeling allows the designer to create his scene just giving a set of properties.…”

Section: Introductionmentioning

confidence: 99%

“…The scene generation process is more or less declarative. It can be: E a reverse function [4,8,9]; E a database exploration [6,10,11]; E an exploration tree in`GENWINa [12] and`Mega-Formesa [13]; E an inference engine using rules and facts in`Poly-Formesa [14]; E a constraint based system using: E ⅙ Snyder's interval analysis [15] in`VoluFormesa [16] and`SKETCHa [17], E ⅙ interval constraint programming [18] in`Virtual Cameramana [19], E ⅙ Allen's relations on temporal intervals [20] in an architecture project [21], E ⅙ constraint satisfaction techniques [22] iǹ…”

Section: Introductionmentioning

confidence: 99%

“…To propose such a model, a proper classi"cation of properties is needed to make an inventory of all possible properties. We can "nd some semantic taxonomies (ontology-based approach) on particular "elds of knowledge, like taxonomies of spatial relations [6,16,21,27], but not for all ones used in scene description. In [28], we suggest a syntactic classi"cation of these properties in Declarative Modeling considering semantics of properties as an application dependent problem.…”

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

Expressing constraint satisfaction problems in declarative modeling using natural language and fuzzy sets

Desmontils

2000

Computers & Graphics

View full text Add to dashboard Cite

show abstract

“…Ο προσανατολισμός του χεριού μπορεί να υπολογιστεί από την κατεύθυνση του βασικού άξονα (principal axe) της σιλουέτας [101].…”

Section: θέση και ̟ροσανατολισµός χεριούunclassified

Ανίχνευση Κινήσεων Και Εφαρμογές Τους Στην Επικοινωνία Ανθρώπου-Υπολογιστή

Στεργιοπούλου¹

View full text Add to dashboard Cite

Η καθημερινότητα πλέον είναι άμεσα συνυφασμένη με την υπολογιστική νοημοσύνη, καθώς οι κυριότερες πτυχές της ανθρώπινης δραστηριότητας όπως η εκπαίδευση, η ενημέρωση, η ψυχαγωγία, η επικοινωνία, η εργασία, η υγεία και η τέχνη πραγματοποιούνται με τη βοήθεια υπολογιστικών συστημάτων και εμπλουτίζονται με πληθώρα σχετικών εφαρμογών. Παρόλα αυτά ο τρόπος αλληλεπίδρασης με τον υπολογιστή στηρίζεται ακόμα στα παραδοσιακά μέσα, δηλαδή το πληκτρολόγιο, το ποντίκι και την οθόνη αφής, αφήνοντας ανεκμετάλλευτη την εγγενή ικανότητα του ανθρώπου να επικοινωνεί με τη γλώσσα του σώματος. Για το λόγο αυτό, η επιστημονική έρευνα στο πεδίο των συστημάτων αλληλεπίδρασης ανθρώπου υπολογιστή (human - computer interface systems) στράφηκε στην κατεύθυνση της αξιοποίησης των φυσικών επικοινωνιακών εργαλείων, όπως οι εκφράσεις του προσώπου, το βλέμμα, το ανοιγοκλείσιμο ματιών, οι κινήσεις του σώματος και οι χειρονομίες με σκοπό τη δημιουργία ενός πιο απλού αλλά ταυτόχρονα ισχυρού, εκφραστικού και πολύπλευρου τρόπου διασύνδεσης. Στο ίδιο πλαίσιο κινείται και η παρούσα διδακτορική διατριβή με την ανάπτυξη καινοτόμων τεχνικών επεξεργασίας εικόνας και video για την ανίχνευση, ανάλυση και αναγνώριση χειρονομιών και το συνδυασμό τους για τη δημιουργία τριών νέων συστημάτων αλληλεπίδρασης του ανθρώπου με τον υπολογιστή. Συγκεκριμένα, προτείνονται τεχνικές για την ανίχνευση κινούμενου χεριού σε πολύπλοκο φόντο, την ανάλυση χειρονομίας με την εύρεση της τοπολογίας του βάσει νευρωνικού δικτύου και την αναγνώριση στατικών χειρονομιών. H τεχνική ανίχνευσης σε πραγματικό χρόνο του κινούμενου χεριού σε σύνθετο φόντο αποτελείται από τέσσερα στάδια: την ανίχνευση της κίνησης, την ανίχνευση του χρώματος δέρματος, την περιγραφή της μορφολογίας και το συνδυασμό των πληροφοριών. Η κύρια καινοτομία της τεχνικής αφορά τον τρόπο συνδυασμού των πληροφοριών ο οποίος γίνεται σε περιοχές αφηρημένου σχήματος αποτελούμενες από εικονοστοιχεία που συσχετίζονται όχι μόνο τοπολογικά, αλλά και ποιοτικά δημιουργώντας συμπαγείς περιοχές γειτονικών εικονοστοιχείων με παραπλήσιο χρώμα μέσω υπερτμηματοποίησης της εικόνας. Επίσης, προτείνεται η χρήση δύο μοντέλων αναφοράς κατά την εφαρμογή του αλγορίθμου αφαίρεσης παρασκηνίου για την αντιμετώπιση του προβλήματος της επικάλυψης του χεριού με αντικείμενα στο παρασκήνιο με χρώμα παραπλήσιο του δέρματος. Επιπλέον, ο ταξινομητής Bayes χρησιμοποιεί ένα μοντέλο εκπαίδευσης που συνδυάζει προ-εκπαίδευση (offline) και σύγχρονη εκπαίδευση (online), ενώ μέχρι τώρα έχει χρησιμοποιηθεί σε προηγούμενες εργασίας μόνο ως offline ταξινομητής. Η τεχνική της ανάλυσης της χειρονομίας βασίζεται στην εύρεση της τοπολογίας του χεριού με τη χρήση του αυτό-οργανούμενου και αυτό-αναπτυσσόμενου νευρωνικού αερίου (Self-Organized and Self-Growing Neural Gas - SGONG). Το SGONG είναι ένας ταξινομητής διανυσμάτων χωρίς επίβλεψη και οι νευρώνες εξόδου του αναπαριστούν τα κέντρα των κλάσεων, η τοπολογία των οποίων προσεγγίζει την τοπολογία των δεδομένων εισόδου. Στην προτεινόμενη τεχνική το SGONG εφαρμόζεται στη δυαδική εικόνα του ανιχνευμένου χεριού. Ως διανύσματα εισόδου χρησιμοποιούνται οι συντεταγμένες των εικονοστοιχείων του χεριού και συνεπώς οι νευρώνες εξόδου περιγράφουν την τοπολογία του χεριού. Με τη βοήθεια των νευρώνων εξόδου και των συνδέσεών τους προσδιορίζονται μορφολογικές ιδιότητες του χεριού όπως η περιοχή της παλάμης, το κέντρο της παλάμης, η κλίση του, το πλήθος των σηκωμένων δαχτύλων και εξάγονται χαρακτηριστικά των δαχτύλων, όπως η απόστασή τους από το κέντρο της παλάμης και δύο διαφορετικά είδη γωνιών, ικανά για να συμβάλλουν στην επιτυχημένη αναγνώριση της χειρονομίας. Η αναγνώριση της χειρονομίας επιτυγχάνεται με την εύρεση του πιθανότερου συνδυασμού δαχτύλων αξιοποιώντας τα χαρακτηριστικά τους που υπολογίστηκαν κατά το στάδιο της ανάλυσης. Αποτελείται από τα τρία βήματα: την offline εκπαίδευση, την ταξινόμηση των δαχτύλων και την τελική επιλογή της χειρονομίας. Κατά τη διαδικασία της offline εκπαίδευσης υπολογίζονται οι κατανομές πιθανότητας των χαρακτηριστικών των δαχτύλων. Στη συνέχεια, σε κάθε σηκωμένο δάχτυλο ανατίθεται ένας συντελεστής ίσος με το άθροισμα των πιθανοτήτων των χαρακτηριστικών του να ανήκουν σε κάθε μία από τις πέντε κλάσεις (αντίχειρας, δείκτης, παράμεσος, μέσος, μικρό). Το δάχτυλο ταξινομείται στην κλάση όπου αντιστοιχεί ο μεγαλύτερος συντελεστής. Τέλος, ως χειρονομία αναγνωρίζεται ο συνδυασμός των δαχτύλων που συγκεντρώνει το μεγαλύτερο άθροισμα συντελεστών. Πρωτεύον αποτέλεσμα της παρούσας διατριβής είναι ο συνδυασμός των παραπάνω προτεινόμενων τεχνικών και η δημιουργία ενός καινοτόμου συστήματος οπτικής αναγνώρισης στατικών χειρονομιών που σχηματίζονται από το χρήστη καθώς κινεί το χέρι του σε σύνθετο περιβάλλον. Ως επέκταση αυτής της ερευνητικής προσπάθειας αναπτύχθηκε ένα σύστημα οπτικής αναγνώρισης σύνθετων χειρονομιών, το οποίο έχει την ικανότητα να αναγνωρίζει και δυναμικές χειρονομίες, και ένα σύστημα αναγνώρισης σύνθετων χειρονομιών βασισμένο στην όραση βάθους για την αντιμετώπιση της ανίχνευσης του χεριού με έναν λιγότερο υπολογιστικά κοστοβόρο τρόπο. Τα τρία συστήματα ικανοποιούν τις αρχές της φυσικής, απλής και ευέλικτης διασύνδεσης, γιατί στηρίζονται στη δεξιότητα του ανθρώπου να κινεί το χέρι του και να το χρησιμοποιεί σαν εργαλείο για την εκτέλεση διάφορων και ετερόκλητων μεταξύ τους λειτουργιών ή σαν εκφραστικό μέσο κατά την επικοινωνία του. Συγχρόνως πληρούν το κριτήριο του χαμηλού κόστους ώστε να είναι εφικτή η διάδοσή τους σε ένα ευρύ πεδίο χρηστών, επειδή προϋποθέτουν τα μεν δύο πρώτα μόνο τη χρήση μιας απλής κάμερας δικτύου και το δε τρίτο ένα σχετικά φθηνό αισθητήρα βάθους.

show abstract

Interactive 3-D computer graphics driven through verbal instructions: Previous and current activities at ART

Cited by 6 publications

References 19 publications

Visual interpretation of hand gestures for human-computer interaction: a review

Visual interpretation of hand gestures for human-computer interaction: a review

Expressing constraint satisfaction problems in declarative modeling using natural language and fuzzy sets

Ανίχνευση Κινήσεων Και Εφαρμογές Τους Στην Επικοινωνία Ανθρώπου-Υπολογιστή

Contact Info

Product

Resources

About