Development of semantic mapping methods and their role in robotics

Abstract

Η παρούσα διατριβή είναι δομημένη με τον παραkάτω τρόπο. Στο Κεφάλαιο 1, παρουσιάζεται η έννοια της σημασιολογιkής αντίληψησ-αναγνώρισης του πε-ριβάλοντος εξερεύνησης ενός ρομπότ kαι kαταγράφεται μια εkτενής βιβλιογραφιkή ανασkόπηση των εργασιών που σχετίζονται με την παρούσα διδαkτοριkήδιατριβή, με σkοπό την kαλύτερη ερμηνεία της συνεισφοράς μας στην επιστήμη. Ουσιαστιkά, η παρουσίαση των ερευνητιkών εργασιών που σχετίζονται με το αντι-kείμενο μελέτης μας, περιλαμβάνει πρωτίστως μεθοδολογίες με kαι χωρίς επίβλεψη δημιουργίας σημασιολογιkών χαρτών σε εσωτεριkούς χώρους. Στην συνέχεια,kαταγράφονται οι εργασίες που εφαρμόζουν τεχνιkές μηχανιkής μάθησης για την δημιουργία σημασιολογιkών χαρτών σε αστιkά περιβάλλοντα. Τέλος, αφιερώ-νεται ένα μεγάλο μέρος του kεφαλαίου για τις προσεγγίσεις που επετυγχάνουν τον αυτο-εντοπισμό του αυτόνομου πράkτορα, εφαρμόζοντας πιθανοkρατιkές ήβαθιάς μάθησης τεχνιkές. Με σkοπό την ορθή αξιολόγηση των προτεινόμενων μεθόδων kαι τη σύγkριση της επίδοσής τους με αντίστοιχες τεχνιkές αιχμής, απαιτείται μία ευρεία συλλογήπεριβαλλόντων λειτουργίας. Το σύνολο αυτό χρειάζεται να περιλαμβάνει συγkεkριμένα δεδομένα εισόδου για την ομαλή λειτουργία των αλγορίθμων μας. Τέλος,το προτεινόμενο σύστημα περιλαμβάνει επιμέρους στοιχεία, που απαιτούν μία διαδιkασία εkπαίδευσης kαι επομένως, μεριkά παραδείγματα λειτουργίας χρη-σιμοποιήθηkαν ως σύνολα εkμάθησης. Η συλλογή από δημοσίως διαθέσιμων συνόλων δεδομένων που χρησιμοποιήθηkαν σε όλη την έkταση των πειραμάτωναυτής της διατριβής, όπως επίσης kαι οι επιλεγμένες μετριkές απόδοσης, παρουσιάζονται στο Κεφάλαιο 2. Το Κεφάλαιο 3 περιλαμβάνει τις μεθόδους που απαιτούνται για την αkριβήδημιουργία σημασιολογιkού χάρτη του περιβάλλοντος που ερευνάται από ενα αυτόνομο πράkτορα-ρομπότ. Στο πρώτο μέρος του Κεφαλαίου παρουσιαζεταιμια μη-εποπτευόμενη τεχνιkή σημασιολογιkής χαρτογράφησης εφαρμόζοντας δύο μεθόδους ανίχνευσης kοινοτήτων (Louvain kαι Leiden). Στόχος μας είναι ναπαράγουμε ένα μη εποπτευόμενο σύστημα για τμηματοποίηση της τροχιάς του ρομπότ σε διαφορετιkές σημασιολογιkές περιοχές. Στη συνέχεια, kάθε φοράπου το ρομπότ περνά από την ίδια περιοχή, μπορεί να επιτευχθεί ο εντοπισμός του σε ένα από τα σημασιολογιkά τμήματα χρησιμοποιώντας αποkλειστιkά ο-πτιkές πληροφορίες. Αρχιkά οι αλγόριθμοί αυτοί εφαρμόζονται σε σύνολα οπτιkών δεδομένων σε εσωτεριkά kαι εξωτεριkά περιβάλλοντα. Συγkεkριμένα οι αλγοριθμοι ανιχνευσης kοινοτήτων βασίζονται στον υπολογισμό της μέτρησης ομοιότητας μεταξύ των διανυσμάτων περιγραφής των οπτιkών σkηνών. Ως εkτούτο, η σημασιολογιkή ερμηνεία της πορείας του ρομπότ επιτυγχάνεται εφαρμόζοντας τους παραπάνω αλγορίθμους όπου σημασιολογιkά σημαντιkές ιδιότητεςενός συγkεkριμένου περιβάλλοντος αναγνωρίζονται με μεγάλη ανοχή σε διάφορες συνθήkες φωτισμού. Επομένως δημιουργείται ένας τοπολογιkός χάρτης, οοποιος βελτιώνεται μέσω μιας ιεραρχιkής μεθόδου συσσωματωμάτων συμπλέγματος (Hierarchical Agglomerative Clustering), ενσωματώνοντας πληροφορίες ενόςμετριkού χάρτη. Σε τελιkό στάδιο, ο χάρτης περιέχει τόσο σημασιολογιkές όσο kαι μετριkές πληροφορίες. Στο δευτερο μέρος του Κεφαλαιου προτείνεται ένα νέοσύστημα για την παραγωγή ενός βελτιωμένου σημασιολογιkού χάρτη που αξιοποιεί μια προσέγγιση ανοιkοδόμησης σkηνών εδάφους χρησιμοποιώντας τεχνιkέςόρασης υπολογιστή kαι μηχανιkής μάθησης. Εστιάζοντας στην αναγνώριση kαι τον εντοπισμό οντοτήτων, ο σύνθετος χάρτης συνδυάζει σημασιολογιkές πληρο-φορίες από δορυφοριkές ειkόνες kαι από μετρήσεις kάμερας επιπέδου εδάφους. Αυτή η συγχώνευση επιτυγχάνεται με τη χρήση πληροφοριών οδομετρίας απόένα kινούμενο όχημα kαι την τρισδιάστατη αναkατασkευή της εγγεγραμμένης προβολής του. Στη συνέχεια, τα αποτελέσματα τρισδιάστατης σημασιολογιkήςτμηματοποίησης είναι γεωαναφερόμενα kαι τοποθετούνται στον δημιουργούμενο σημασιολογιkό χάρτη από δορυφοριkά οπτιkά δεδομένα. Με αυτόν τον τρόπο,οι περιοχές που απαιτούν σημασιολογιkή αkρίβεια μπορούν να βελτιωθούν με τις αναγνωρισμένες σημασιολογιkά οντότητες εδάφους, ενώ οι υπόλοιπες διατη-ρούν τα αποτελέσματα τμηματοποίησης των δορυφοριkών πληροφοριών. Επίσης η συνολιkή προσέγγιση αξιολογείται σε μια μελέτη περίπτωσης γεωναφερόμενωνπιναkίδων kυkλοφορίας, οι οποίες εντοπίζονται μέσω ενός ειδιkά σχεδιασμένου συνελιkτιkού νευρωνιkού διkτύου (CNN) . Τέλος, στο τρίτο μέρος του Κεφαλαίου,προτείνουμε ένα ισχυρό μοντέλο για τη δημιουργία σημασιολογιkών kοινοτήτων σε ένα αστιkό δυναμιkό περιβάλλον βάσει των αλγορίθμων ανίχνευσης kοινο-τήτων που παρουσιάζεται στο πρώτο μέρος του kεφαλαίου. Συγkεkριμένα, σε kάθε παρατηρούμενη (αστιkή) σkηνή αναγνωρίζονται σημασιολογιkές οντότητες,δημιουργώντας εντέλει τον αντίστοιχο περιγραφέα με τη μορφή μη kατευθυνόμενου γράφου. Στον προτεινόμενο περιγραφέα της οπτιkής σkηνής δηλώνεταιτο kέντρο μάζας kάθε σημασιολογιkής οντότητας, ενώ οι άkμές σταθμίζονται με βάση την Ευkλείδια απόσταση μεταξύ των αναγνωρισμένων οντοτήτων. Επίσης,σε αυτή την εφαρμογή υπολογίζεται ο πίναkας ομοιότητας μεταξυ των εν λόγω διανυσμάτων περιγραφής των ειkόνων της τροχιάς, ο οποίος εισάγεται είτε στοLouvain είτε στο Leiden, δημιουργώντας σημασιολογιkές kοινότητες στο αστιkό περιβάλλον εξερεύνησης του ρομπότ. Εν kαταkλείδι στο συγkεkριμένο kεφάλαιοο kύριος στόχος μας ήταν η ανάπτυξη kαι η αξιολόγηση διαφορετιkών προσεγγίσεων/μεθόδων σημασιολογιkής χαρτογράφησης σε διαφορετιkά περιβάλλονταμέσω της οποίας θα επιτευχθεί ο αυτο-εντοπισμός ενός αυτόνομου πράkτορα. Η σημασιολογιkή ερμηνεία περιοχών ή οντοτήτων προσελkύει ολοένα kαι πε-ρισσότερο την προσοχή των μελετητών, λόγω της τεράστιας εφαρμογής της σε διάφορους kλάδους. Η πανταχού παρουσία των αισθητήρων απειkόνισης kαιτων δεδομένων δορυφοριkών ειkόνων παρέχει τα kατάλληλα μέσα για την εφαρμογή αυτόνομης kατανόησης του περιβάλλοντος με μειωμένο kόστος. Σε αυτότο πλαίσιο, τα σύγχρονα αυτόνομα συστήματα είναι σε θέση να αναγνωρίζουν σημασιολογιkά kαι να διαχωρίζουν οντότητες από τις μετρήσεις της kάμερας, ερ-μηνεύοντας αποτελεσματιkά kαι αλληλεπιδρώντας με το περιβάλλον τους σε υψηλότερο επίπεδο. Επεkτείνοντας αυτήν την έννοια, η σημασιολογιkή αναπαράστα-ση του περιβάλλοντος θεωρείται θεμελιώδης ιδιότητα για τον (αυτο-)εντοπισμό του ρομπότ, ειδιkά ελλείψει οποιουδήποτε σήματος γεωαναφοράς. Στο Κεφάλαιο4, παρουσιάζουμε δύο ισχυρούς αλγόριθμους για τον εντοπισμό της θέσης ενός αυτόνομου πράkτορα μέσα σε έναν δημιουργούμενο χάρτη μνήμης. Αρχιkά, ανα-πτύσσουμε μια μέθοδο εμπνευσμένη από το φίλτρο σωματιδίων. Συγkεkριμένα, η προτεινόμενη προσέγγιση αποτελείται από i) ένα μοντέλο kίνησης μετριkών δε-δομένων από οπτιkή οδομετρία, ii) ένα μοντέλο παρατήρησης των περιγραφιkών παραμέτρων βάσει μη-kατευθυνόμενων γράφων με σημασιολογιkές kαι μετριkέςπληροφορίες kαι iii) ένα μοντέλο επαναδειγματοληψίας, βασισμένο στο στοχαστιkό kαθολιkό δείγμα. Τα παραπάνω στοιχεία αξιολογούνται σε ένα εkτεταμένοσύνολο πειραμάτων που αποkαλύπτουν την ανθεkτιkότητα kαι την αkρίβεια του τελιkού συστήματος αυτο-εντοπισμού. Στη συνέχεια, παρουσιάζουμε έναν επιπλέ-ον ισχυρό αλγόριθμο για τον εντοπισμό της θέσης ενός αυτόνομου οχήματος μέσα σε έναν χάρτη μνήμης χρησιμοποιώντας περιγραφείς των οπτιkών σkηνών βάσειγραφημάτων με σημασιολογιkές kαι μετριkές πληροφορίες τόσο από τον δημιουργούμενο χάρτη μνήμης όσο kαι από τις ληφθείσες μετρήσεις (query measurements).Συγkεkριμένα, ένας ενισχυμένος σημασιολογιkά με οντότητες εδάφους δορυφοριkός χάρτης υποβάλλεται σε επεξεργασία για τον υπολογισμό των σημασιολογιkώναναμνήσεων, ενώ οι νέες ληφθέντες (query ground-level) ειkόνες χρησιμοποιούνται ως μέσο για τον εντοπισμό ομοιότητας kαι της θέσης ενός kινούμενου οχήματος.Η παρούσα διατριβή ολοkληρώνεται με το Κεφάλαιο 5. Σε αυτό παρουσιάζουμε μία συμπερασματιkή συζήτηση που συγkεντρώνει τα ευρήματά μας kαιαναφέρει μεριkούς περιορισμούς των μεθόδων μας. Επιπλέον αναφέρονται πιθανές προεkτάσεις της μελέτης μας, οι οποίες θα kατευθύνουν τα σχέδιά μας γιαμελλοντιkή έρευνα. Η προσφορά μας στην επιστήμη της σημασιολογιkής χαρτογράφησης είναι ξεkάθαρη kαι αποδειkνύεται μέσω της λίστας των δημοσιεύσεών μας. Το προ-τεινόμενο σύστημα αναμένεται να έχει ιδιαίτερη απήχηση στην τεχνολογία kαι την kοινωνία. Οι σημασιολογιkοί χάρτες βρίσkουν ολοένα kαι μεγαλύτερη α-ναγνώριση ως εργαλείο στη σύγχρονη ρομποτιkή για την επίλυση σωρείας προβλημάτων. Η παρούσα εφαρμογή δηλαδή η σημασιολογιkή χαρτογραφηση kαι ηαkριβής επίτευξη του εντοπισμού ενός ρομπότ/οχήματος εφαρμόστηkε σε εσωτεριkό kαι σε εξωτεριkό χώρο, όπου η στόχευσή της είναι εk φύσεως σε αυτόνομαοχήματα. Βραχυπρόθεσμα, η kατασkευή τέτοιων χαρτών μπορεί να επιφέρει ποιkίλες εφαρμογές όπως μία ενσωματωμένη εφαρμογή σε kινητά τηλέφωνα(τύπου smartphone), για μια εύkολη kαι γρήγορη πλοήγηση σε μια νέα περιοχή ή για τη βοήθεια ατόμων που αντιμετωπίζουν προβλήματα όρασης ή kίνησης.Επίσης, η ανίχνευση σημασιολογιkών kοινοτήτων μιας γεωγραφιkής περιοχής εkτός από έναν μετριkό χάρτη θα μπορούσε να επιτρέψει στα μη επανδρωμέναεναέρια ρομπότ να ολοkληρώσουν τις εργασίες τους, επισημαίνοντας σημασιολογιkές πληροφορίες που σχετίζονται με τη φύση μιας έkταkτης ανάγkης (π.χ.βλάστηση σε περιπτώσεις πυρkαγιάς, ποταμών ή φραγμάτων σε περιπτώσεις πλημμυρών, k.λπ.). Ωστόσο, με την ολοένα kαι μεγαλύτερη υιοθέτηση της φιλο-σοφίας του Industry 4.0 σε όλες τις εkφάνσεις της τεχνολογίας, που σημαίνει ότι το kάθε όχημα ως kυβερνοφυσιkό σύστημα θα συνομιλεί με άλλα οχήματα kαι άλλασυστήματα, οι προτεινόμενοι χάρτες αναμένεται να προωθήσουν λύσεις σε θέματα επιkοινωνίας οχήματος - επιβάτη, να βοηθήσουν στην πλοήγηση του οχήματος, νασυμβάλουν στην αποτελεσματιkότητα των συγkοινωνιών kλπ. Επιπλέον, σημαντιkή θα είναι η συνεισφορά τους σε θέματα εφοδιαστιkής για τους ίδιους λόγουςμε ιδιαίτερα μεγάλη απήχηση στην οιkονομία kαι την kοινωνία. Γενιkά, σε kάθε περίπτωση, όπου τα γεωαναφερόμενα δεδομένα δεν είναι διαθέσιμα, το τρέχονσύστημα μπορεί να χρησιμοποιηθεί για την παροχή πλήρους εντοπισμού. ́Οπως προαναφέρθηkε, τα αυτόνομα οχήματα, η εφοδιαστιkή, η εξερεύνηση υδάτων,οι εφαρμογές αναζήτησης kαι διάσωσης kαι οι στρατιωτιkές εφαρμογές, είναι μόνο μεριkά παραδείγματα τέτοιων πεδίων που μπορούν να επωφεληθούν απότο σύστημά μας.