Robust far-field spoken command recognition for home automation combining adaptation and multichannel processing

Katsamanis, Athanasios; Rodomagoulakis, Isidoros; Potamianos, Gerasimos; Maragos, Petros; Tsiami, Antigoni

doi:10.1109/icassp.2014.6854664

Cited by 8 publications

(5 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Recently, new approaches for home appliances control have been proposed, many of them targeted at the idea of providing speech-controlled home automation. The DIRHA (Distant-speech Interaction for Robust Home Applications) [14] is a system based on the detection and recognition of spoken commands preceded by a small key-phrase, which consist of one up to three words. The current prototype works with a single grammar that recognizes one key-phrase among possible garbage segments.…”

Section: Related Workmentioning

confidence: 99%

im4Things: An Ontology-Based Natural Language Interface for Controlling Devices in the Internet of Things

Noguera-Arnaldos¹,

Paredes-Valverde

Salas-Zárate

et al. 2017

Intelligent Systems Reference Library

View full text Add to dashboard Cite

The Internet of Things (IoT) offers opportunities for new applications and services that enable users to access and control their working and home environment from local and remote locations, aiming to perform daily life activities in an easy way. However, the IoT also introduces new challenges, some of which arise from the large range of devices currently available and the heterogeneous interfaces provided for their control. The control and management of this variety of devices and interfaces represent a new challenge for non-expert users, instead of making their life easier. Based on this understanding, in this work we present a natural language interface for the IoT, which takes advantage of Semantic Web technologies to allow non-expert users to control their home environment through an instant messaging application in an easy and intuitive way. We conducted several experiments with a group of end users aiming to evaluate the effectiveness of our approach to control home appliances by means of natural language instructions. The evaluation results proved that without the need for technicalities, the user was able to control the home appliances in an efficient way.

show abstract

Section: Related Workmentioning

confidence: 99%

im4Things: An Ontology-Based Natural Language Interface for Controlling Devices in the Internet of Things

Noguera-Arnaldos¹,

Paredes-Valverde

Salas-Zárate

et al. 2017

Intelligent Systems Reference Library

View full text Add to dashboard Cite

show abstract

“…H enswmàtwsh miac diepaf †c fwn †c se Ëna s'sthma allhlep-drashc anjr∏pou-rompÏt e-nai apara-thth ∏ste na exasfaliste-h fusik † epikoinwn-a, allà tautÏqrona parousiàzei pollËc prokl †seic exait-ac tou jor'bou, thc ant †qhshc kai thc apÏstashc metax' twn omilht∏n kai twn aisjht †rwn [232]. Gia na mporËsoume na antimetwp-soume Ïla autà ta probl †mata qrhsimopoio'me polu-kanalik † anagn∏rish fwn †c apÏ apÏstash (Distant Speech Recognition -DSR) [233,234,235] me tic treic sustoiq-ec mikrof∏nwn apÏ tic kàmerec Kinect.…”

Section: Polu-kanalik † Anagn∏rish Fwn †C Apï Apïstashmentioning

confidence: 99%

Οπτικοακουστική Μοντελοποίηση Προσοχής Και Πολυ-Αισθητηριακή Κατανόηση Ακουστικής Σκηνής

Τσιάμη¹

View full text Add to dashboard Cite

Στη διατριβή αυτή μελετάται η δυνατότητα ανάπτυξης ενός μοντέλου οπτικοακουστικής προσοχής/εμφάνειας βασισμένου σε ευρήματα από συμπεριφορικά πειράματα, το οποίο προβλέπει τα σημεία εστίασης του ανθρώπινου ματιού σε μια δισδιάστατη οπτικοακουστική σκηνή. Η μελέτη αυτή πραγματοποιείται με δύο τρόπους: με τεχνικές επεξεργασίας σήματος και με βαθιά νευρωνικά δίκτυα. Όσον αφορά τις τεχνικές επεξεργασίας σήματος, διερευνώνται διάφορες τεχνικές σύμμειξης οπτικής και ακουστικής εμφάνειας με ήδη υπάρχοντα μοντέλα. Τα δημιουργούμενα οπτικοακουστικά μοντέλα επαληθεύονται τόσο με ευρήματα από συμπεριφορικά πειράματα, όσο και με δεδομένα οφθαλμοκινητικής παρακολούθησης αλλά και δεδομένα fMRI. Τα αποτελέσματα τόσο από τα συμπεριφορικά πειράματα όσο και από τα πειράματα με οφθαλμοκινητικά δεδομένα υποδεικνύουν ότι η οπτικοακουστική μοντελοποίηση βελτιώνει την επίδοση του συστήματος πρόβλεψης σημείων εστίασης του ματιού. Όσον αφορά τα βαθιά νευρωνικά δίκτυα, παρουσιάζεται ένα χωρο-χρονικό οπτικοακουστικό δίκτυο εμφάνειας, το οποίο περιέχει ένα οπτικό δίκτυο εμφάνειας, ένα δίκτυο ακουστικών αναπαραστάσεων, μία μονάδα εντοπισμού του ήχου στο βίντεο και μία μονάδα σύμμειξης της οπτικής και της ακουστικής εμφάνειας. Όλα αυτά ενσωματώνονται κάτω από ένα ενιαίο δίκτυο το οποίο εκπαιδεύεται end-to-end. Το δίκτυο αξιολογείται σε βάσεις οφθαλμοκινητικών δεδομένων. Τα αποτελέσματα των συγκρίσεων με άλλες μεθόδους υποδεικνύουν την αποτελεσματικότητα της μοντελοποίησης, ανοίγοντας το δρόμο για την εκτίμηση εμφάνειας «in-the-wild». Παράλληλα έχει πραγματοποιηθεί έρευνα στην κατανόηση ακουστικής σκηνής και συγκεκριμένα έχει αναπτυχθεί ένα σύστημα εντοπισμού ομιλητή, ένα σύστημα αναγνώρισης φωνής στα Ελληνικά και στα Αγγλικά και ένα σύστημα διαλόγου και κατανόησης λόγου. Τα συστήματα έχουν προσαρμοστεί και εφαρμοστεί είτε σε περιβάλλοντα έξυπνου σπιτιού ή/και σε περιβάλλοντα αλληλεπίδρασης ανθρώπων/παιδιών και ρομπότ με πολλαπλούς αισθητήρες. Επίσης, γίνεται αξιολόγησή τους σε κατάλληλες βάσεις δεδομένων. Τέλος, εκτός από την ανάπτυξη νέων αλγοριθμικών μεθόδων για τα παραπάνω προβλήματα, σημαντικό μέρος της διατριβής αποτελεί και η συλλογή νέων μεγάλων βάσεων δεδομένων: Συλλέχθηκε μία βάση με δεδομένα οφθαλμοκινητικής παρακολούθησης από 37 βίντεο και 20 συμμετέχοντες, καθώς και μία πολυκαναλική βάση με δεδομένα φωνής στα Ελληνικά από 20 ομιλητές.

show abstract

“…Συνοψίζουμε τα κίνητρα που μας ώθησαν στις ερευνητικές κατευθύνσεις της παρούσας έρευνας καθώς και τις κύριες συνεισφορές της [59,60,[111][112][113][114][115][116][117][118]135].…”

Section: κίνητρα και ερευνητικές συνεισφορέςunclassified

“…Μια παραλλαγή του αλγορίθμου είχε προταθεί αρχικά για τη σύμμειξη ετερογενών μηχανών αναγνώρισης [93] και εφαρμόστηκε για πρώτη φορά στο πρόβλημα της πολυκαναλικής αναγνώρισης ομιλίας από απόσταση στην εργασία μας [60] όπου παρουσιάστηκαν καλύτερα αποτελέσματα αναγνώρισης σε σύγκριση με τη μονοκαναλική αναγνώριση βάσει του πιο αξιόπιστου μικρόφωνου.…”

Section: αναγνώριση φωνητικών εντολώνunclassified

“…Για τον εντοπισμό φράσεων ενεργοποίησης ακολουθούμε κλασσικές τεχνικές εντοπισμού λέξεων-κλειδιών (keyword-filler)8 [60,145] τις οποίες προσαρμόζουμε στο πλαίσιο πολυκαναλικής επεξεργασίας. Αναπτύσσονται ακουστικά μοντέλα HMM για τις λέξεις των φράσεων και ένα ξεχωριστό HMM παρόμοιου αριθμού καταστάσεων, γνωστό και ως filler (background) μοντέλο, με το οποίο μοντελοποιείται γενική ομιλία, συμπληρωματική των φράσεων.…”

unclassified

See 1 more Smart Citation

Μέθοδοι Εύρωστης Αναγνώρισης Ομιλίας Με Πολλαπλούς Αισθητήρες Και Εφαρμογές Σε Ευφυή Περιβάλλοντα

Rodomagoulakis¹,

Ροδομαγουλάκης²

View full text Add to dashboard Cite

Η αυτόματη αναγνώριση ομιλίας διαδραματίζει σημαντικό ρόλο στην αλληλεπίδραση ανθρώπου-υπολογιστή διότι η ομιλία αποτελεί ένα φυσικό, γρήγορο, και ασφαλές μέσο επικοινωνίας, με ευρύ πεδίο εφαρμογών στα σύγχρονα πολυαισθητηριακά ευφυή περιβάλλοντα (πχ. αυτοματοποιημένοι χώροι, ρομποτικά συστήματα) τα οποία σχεδιάζονται για τη βελτίωση της καθημερινότητας και της εργασίας των χρηστών τους. Τα τελευταία χρόνια, οι τεχνικές βαθιάς εκμάθησης με νευρωνικά δίκτυα έχουν επιφέρει σημαντικές βελτιώσεις, μειώνοντας το ποσοστιαίο λάθος αναγνώρισης λέξεων (word error rate) κάτω από 10% στις περισσότερες εφαρμογές με μικρόφωνα κοντά στον ομιλητή. Συνεπώς, τα φωνητικά συστήματα χρησιμοποιούνται όλο περισσότερο στην καθημερινότητα. Ωστόσο οι προκλήσεις παραμένουν αρκετές, ειδικά σε περιβάλλοντα με μικρόφωνα μακριά από τον ομιλητή, όπου ο θόρυβος και οι αντηχήσεις υποβαθμίζουν αισθητά την απόδοση της αναγνώρισης. Στην παρούσα διατριβή εξετάζουμε και συνδυάζουμε μεθόδους εύρωστης αναγνώρισης ομιλίας με πολλαπλούς αισθητήρες. Συγκεκριμένα, η προτεινόμενη μεθοδολογία περιλαμβάνει 1) επιλογή αξιόπιστων μικροφώνων βάσει κριτηρίων ποιότητας των σημάτων, 2) συνδυασμό των αποφάσεων των μικροφώνων με αναδιάταξη των υποθέσεων αναγνώρισης, 3) εκπαίδευση τύπου multi-style με τεχνητή αύξηση των δεδομένων εκπαίδευσης προσομοιώνοντας ακουστικές σκηνές και σήματα ομιλίας μακρινού πεδίου (far-field) για εφαρμογές σε περιβάλλοντα με περιορισμένους πόρους, και 5) εξαγωγή μη-γραμμικών χαρακτηριστικών AM-FM.Προτείνεται μέθοδος πολυκαναλικής αποδιαμόρφωσης των σημάτων φωνής, για την εξαγωγή βελτιωμένων χαρακτηριστικών από τις στιγμιαίες διαμορφώσεις συχνότητας, οι οποίες μοντελοποιούν τις μικροδομές των συντονισμών της φωνής και αποτελούν χρήσιμη και συμπληρωματική πηγή πληροφορίας στα τυπικά χαρακτηριστικά ενέργειας (πχ. MFCC). Ενώ έχουν βρεθεί βελτιώσεις κυρίως σε συστήματα GMM-HMM μεγάλου λεξιλογίου, λίγες είναι οι εφαρμογές τους σε συστήματα DNN-HMM και στην αναγνώριση DSR γενικά. Εδώ, εργαζόμαστε για τη συνέργιά τους σε state-of-the-art σχήματα front-end στα οποία τα MFCCs ομαδοποιούνται σε μεγαλύτερα χρονικά πλαίσια (context) και μετασχηματίζονται έτσι ώστε να γίνουν πιο διακριτά και ανεξάρτητα του ομιλητή. Ερευνούμε 1) πολυκαναλικές μεθόδους αποδιαμόρφωσης, 2) νέους και πλουσιότερους περιγραφητές των συχνοτήτων διαμόρφωσης, και 3) μετασχηματισμούς και συνδυασμό χαρακτηριστικών μέσω ιεραρχικών βαθιών νευρωνικών δικτύων τύπου bottleneck. Παρουσιάζουμε αποτελέσματα στα σχήματα υβριδικής αναγνώρισης και αναγνώρισης tandem με μοντελοποίηση GMM και DNN αντίστοιχα, όπου τα βελτιωμένα χαρακτηριστικά διαμορφώσεων συνδυάζονται αποδοτικά με τα MFCC και οδηγούν σε βελτιωμένη απόδοση σε γνωστές πολυκαναλικές βάσεις αξιολόγησης της αναγνώρισης από απόσταση (Distant Speech Recognition).Βασιζόμαστε στις προτεινόμενες πολυκαναλικές μεθόδους για να σχεδιάζουμε ένα πρακτικό σύστημα συνεχούς αναγνώρισης φωνητικών εντολών μακρινού πεδίου, σε ευφυή οικιακά περιβάλλοντα με διάσπαρτες συστοιχίες μικροφώνων σε ένα ή περισσότερα δωμάτια. Ακολουθούμε μία τυπική σειρά (cascade) διεργασιών για τον εντοπισμό και την αναγνώριση εντολών, με τον εντοπισμό να γίνεται βάσει φράσεων ενεργοποίησης. Στην αρχή της αλυσίδας επεξεργασίας, τα τμήματα ομιλίας εντοπίζονται και διαχωρίζονται σε κάθε δωμάτιο, επιτρέποντας την αναγνώριση ανά δωμάτιο. Με την προτεινόμενη προσέγγιση, η οποία αναπτύσσεται για τα Ελληνικά, επιτυγχάνεται ικανοποιητική απόδοση σε πραγματικές και δύσκολες οικιακές ακουστικές σκηνές, φτάνοντας έως 76.6% στην ακρίβεια αναγνώρισης εντολών, επιφέροντας σχετική βελτίωση 46% συγκριτικά με ένα τυπικό σύστημα στο οποίο χρησιμοποιείται beamforming για αποθορυβοποίηση.Υλοποιούμε την online εκδοχή του προτεινόμενου συστήματος αναγνώρισης φωνητικών εντολών για τέσσερις γλώσσες (Ελληνικά, Γερμανικά, Ιταλικά, Αγγλικά) και το συνδυάζουμε με την αναγνώριση χειρονομιών στοχεύοντας στην πολυτροπική αλληλεπίδραση ανθρώπου-ρομπότ. Στο πλαίσιο σχεδιασμού ρομποτικών βοηθών, αναπτύσσουμε ένα φυσικό περιβάλλον αλληλεπίδρασης εκμεταλλευόμενοι τις πολλαπλές ροές πληροφορίας από το πολυαισθητηριακό περιβάλλον του ρομπότ. Οι συμπληρωματικές ροές συνδυάζονται σε επίπεδο αποφάσεων για να εξαχθεί μία πολυτροπική υπόθεση αναγνώρισης. Επιπλέον, μέσω της αλληλεπίδρασης με το ρομπότ, εξετάζουμε νέες πτυχές στο πεδίο της ρομποτικής για υποβοήθηση στην καθημερινότητα (assistive living), αναπτύσσοντας ένα σύνολο εργαλείων και δεδομένων για πολυτροπική αναγνώριση, τα οποία εφαρμόζουμε σε δύο πραγματικά παραδείγματα χρήσης (use cases) για ηλικιωμένους χρήστες: κατά την υποβοήθηση στην κίνηση από ένα ρομποτικό τροχήλατο όχημα και κατά την υποβοήθηση σε εργασίες πλύσης από έναν ρομποτικό βοηθό στο μπάνιο. Ακολουθώντας την προτεινόμενη σύμμειξη των δύο μέσων επιτυγχάνουμε υψηλά ποσοστά πολυτροπικής αναγνώρισης (έως 90%) σε απαιτητικά σενάρια αλληλεπίδρασης με ηλικιωμένους και χρήστες με κινητικά και ενδεχομένως νοητικά προβλήματα.

show abstract

Robust far-field spoken command recognition for home automation combining adaptation and multichannel processing

Cited by 8 publications

References 13 publications

im4Things: An Ontology-Based Natural Language Interface for Controlling Devices in the Internet of Things

im4Things: An Ontology-Based Natural Language Interface for Controlling Devices in the Internet of Things

Οπτικοακουστική Μοντελοποίηση Προσοχής Και Πολυ-Αισθητηριακή Κατανόηση Ακουστικής Σκηνής

Μέθοδοι Εύρωστης Αναγνώρισης Ομιλίας Με Πολλαπλούς Αισθητήρες Και Εφαρμογές Σε Ευφυή Περιβάλλοντα

Contact Info

Product

Resources

About