Far-Field Audio-Visual Scene Perception of Multi-Party Human-Robot Interaction for Children and Adults

Tsiami, Antigoni; Filntisis, Panagiotis P.; Efthymiou, Niki; Koutras, Petros; Potamianos, Gerasimos; Maragos, Petros

doi:10.1109/icassp.2018.8462425

Cited by 17 publications

(12 citation statements)

References 17 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…In [24], the authors brought the interaction force concept (attractive and repulsive), which is related to the tendency to keep a distance between individuals and avoid obstacles based on people velocity between frames and their direction in the scene. The work [25] also used different ways to maximize interaction and facilitate person localization in the scene, such as speaker location and gesture mapping.…”

Section: B Human-aware Interaction Systemsmentioning

confidence: 99%

Multimodal social scenario perception model for initial human-robot interaction

Alves

Costa

2019

Anais Estendidos Do XXXII Conference on Graphics, Patterns and Images (SIBRAPI Estendido 2019)

View full text Add to dashboard Cite

Human-robot interaction imposes many challenges and artificial intelligence researchers are demanded to improve scene perception, social navigation and engagement. Great attention is being dedicated to the development of computer vision and multimodal sensing approaches that are focused on the evolution of social robotic systems and the improvement of social model accuracy. Most recent works related to social robotics rely on the engagement process with a focus on maintaining a previously established conversation. This work brings up the study of initial human-robot interaction contexts, proposing a system that is able to analyze a social scenario through the detection and analysis of persons and surrounding features in a scene. RGB and depth frames, as well as audio data, were used in order to achieve better performance in indoor scene monitoring and human behavior analysis.

show abstract

Section: B Human-aware Interaction Systemsmentioning

confidence: 99%

Multimodal social scenario perception model for initial human-robot interaction

Alves

Costa

2019

Anais Estendidos Do XXXII Conference on Graphics, Patterns and Images (SIBRAPI Estendido 2019)

View full text Add to dashboard Cite

show abstract

“…Apart from that, for a robot to interact with others, react to them and socially communicate, it needs to be aware of its actions. Consequently, since robots with social skills are incrementally employed in a great variety of applications-such as healthcare [1,2], companionship [3], education [4], and entertainment [5]-there is a need to design more advanced perception systems for them.…”

Section: Introductionmentioning

confidence: 99%

Visual Robotic Perception System with Incremental Learning for Child–Robot Interaction Scenarios

et al. 2021

Self Cite

View full text Add to dashboard Cite

This paper proposes a novel lightweight visual perception system with Incremental Learning (IL), tailored to child–robot interaction scenarios. Specifically, this encompasses both an action and emotion recognition module, with the former wrapped around an IL system, allowing novel actions to be easily added. This IL system enables the tutor aspiring to use robotic agents in interaction scenarios to further customize the system according to children’s needs. We perform extensive evaluations of the developed modules, achieving state-of-the-art results on both the children’s action BabyRobot dataset and the children’s emotion EmoReact dataset. Finally, we demonstrate the robustness and effectiveness of the IL system for action recognition by conducting a thorough experimental analysis for various conditions and parameters.

show abstract

“…H rompotik † Ïrash se sust †mata upobo †jhshc e-nai Ëna shmantikÏ jËma sthn allhlep-drash anjr∏pou-rompÏt [69], en∏ prÏsfata Ëqoun anaptuqje-polu-aisjhthriakà sust †mata ta opo-a enswmat∏noun tÏso optik † anagn∏rish dràsewn, Ïso kai anagn∏rishc fwn †c gia thn epikoinwn-a me to rompÏt [70,71]. H anagn∏rish anjr∏pinwn dràsewn e-nai Ëna basikÏ ereunhtikÏ prÏblhma ed∏ kai arketà qrÏnia [72], gia thn ep-lush tou opo-ou Ëqoun qrhsimopoihje-ekten∏c anaparastàseic tou anjr∏pinou skeleto' apÏ eikÏnec [73,74,75,76].…”

Section: Rompotiko-proswpiko-bohjo-mentioning

confidence: 99%

Οπτικοακουστική Μοντελοποίηση Προσοχής Και Πολυ-Αισθητηριακή Κατανόηση Ακουστικής Σκηνής

Τσιάμη¹

View full text Add to dashboard Cite

Στη διατριβή αυτή μελετάται η δυνατότητα ανάπτυξης ενός μοντέλου οπτικοακουστικής προσοχής/εμφάνειας βασισμένου σε ευρήματα από συμπεριφορικά πειράματα, το οποίο προβλέπει τα σημεία εστίασης του ανθρώπινου ματιού σε μια δισδιάστατη οπτικοακουστική σκηνή. Η μελέτη αυτή πραγματοποιείται με δύο τρόπους: με τεχνικές επεξεργασίας σήματος και με βαθιά νευρωνικά δίκτυα. Όσον αφορά τις τεχνικές επεξεργασίας σήματος, διερευνώνται διάφορες τεχνικές σύμμειξης οπτικής και ακουστικής εμφάνειας με ήδη υπάρχοντα μοντέλα. Τα δημιουργούμενα οπτικοακουστικά μοντέλα επαληθεύονται τόσο με ευρήματα από συμπεριφορικά πειράματα, όσο και με δεδομένα οφθαλμοκινητικής παρακολούθησης αλλά και δεδομένα fMRI. Τα αποτελέσματα τόσο από τα συμπεριφορικά πειράματα όσο και από τα πειράματα με οφθαλμοκινητικά δεδομένα υποδεικνύουν ότι η οπτικοακουστική μοντελοποίηση βελτιώνει την επίδοση του συστήματος πρόβλεψης σημείων εστίασης του ματιού. Όσον αφορά τα βαθιά νευρωνικά δίκτυα, παρουσιάζεται ένα χωρο-χρονικό οπτικοακουστικό δίκτυο εμφάνειας, το οποίο περιέχει ένα οπτικό δίκτυο εμφάνειας, ένα δίκτυο ακουστικών αναπαραστάσεων, μία μονάδα εντοπισμού του ήχου στο βίντεο και μία μονάδα σύμμειξης της οπτικής και της ακουστικής εμφάνειας. Όλα αυτά ενσωματώνονται κάτω από ένα ενιαίο δίκτυο το οποίο εκπαιδεύεται end-to-end. Το δίκτυο αξιολογείται σε βάσεις οφθαλμοκινητικών δεδομένων. Τα αποτελέσματα των συγκρίσεων με άλλες μεθόδους υποδεικνύουν την αποτελεσματικότητα της μοντελοποίησης, ανοίγοντας το δρόμο για την εκτίμηση εμφάνειας «in-the-wild». Παράλληλα έχει πραγματοποιηθεί έρευνα στην κατανόηση ακουστικής σκηνής και συγκεκριμένα έχει αναπτυχθεί ένα σύστημα εντοπισμού ομιλητή, ένα σύστημα αναγνώρισης φωνής στα Ελληνικά και στα Αγγλικά και ένα σύστημα διαλόγου και κατανόησης λόγου. Τα συστήματα έχουν προσαρμοστεί και εφαρμοστεί είτε σε περιβάλλοντα έξυπνου σπιτιού ή/και σε περιβάλλοντα αλληλεπίδρασης ανθρώπων/παιδιών και ρομπότ με πολλαπλούς αισθητήρες. Επίσης, γίνεται αξιολόγησή τους σε κατάλληλες βάσεις δεδομένων. Τέλος, εκτός από την ανάπτυξη νέων αλγοριθμικών μεθόδων για τα παραπάνω προβλήματα, σημαντικό μέρος της διατριβής αποτελεί και η συλλογή νέων μεγάλων βάσεων δεδομένων: Συλλέχθηκε μία βάση με δεδομένα οφθαλμοκινητικής παρακολούθησης από 37 βίντεο και 20 συμμετέχοντες, καθώς και μία πολυκαναλική βάση με δεδομένα φωνής στα Ελληνικά από 20 ομιλητές.

show abstract

Far-Field Audio-Visual Scene Perception of Multi-Party Human-Robot Interaction for Children and Adults

Cited by 17 publications

References 17 publications

Multimodal social scenario perception model for initial human-robot interaction

Multimodal social scenario perception model for initial human-robot interaction

Visual Robotic Perception System with Incremental Learning for Child–Robot Interaction Scenarios

Οπτικοακουστική Μοντελοποίηση Προσοχής Και Πολυ-Αισθητηριακή Κατανόηση Ακουστικής Σκηνής

Contact Info

Product

Resources

About