Deep learning for digitizing, analysing and modelling choreographic 3D signal sequences of intangible cultural heritage

Abstract

Πολλές προσπάθειες έχουν μέχρι σήμερα γίνει προκειμένου να καταγραφεί και να διασωθεί η υλική πολιτιστική κληρονομία. Αντιθέτως η άυλη κληρονομιά λόγω της μη απτής φύσης της επιφέρει δυσκολίες τόσο στην επεξεργασία όσο και στην καταγραφή της. Παρόλη την τεράστια πρόοδο που έχει επιτευχθεί στην τεχνολογία της ψηφιοποίησης, κυρίως όσον άφορα στα απτά πολιτιστικά αγαθά στο επίπεδο της τρισδιάστατης απεικόνισης (3D-COFORM, EPOCH, CARARE, IMPACT, PRESTOSPACE, V-CITY), η ηλεκτρονική τεκμηρίωση των άυλων πολιτιστικών αγαθών δεν είναι πλήρως φανερή, ειδικότερα στις λαϊκές μορφές τέχνης. Αυτό οφείλεται κυρίως στο σύμπλεγμα διεπιστημονικότητας των φολκλόρ παραστάσεων που παρουσιάζουν μια σειρά από προκλήσεις που περιλαμβάνουν τη χορογραφία, την ψηφιοποίηση, την επεξεργασία, την χορογραφική ανάλυση/σημειογραφία, την μηχανική μάθηση και την υπολογιστική όραση. Είναι σημαντικό να αναφέρουμε ότι αυτή είναι η πρώτη φορά που υλοποιείται τέτοιο καινοτόμο πεδίο έρευνας, το οποίο έχει ως στόχο να λειτουργήσει ως ένας πρωτοποριακός μηχανισμός για την ενοποίηση του περιεχομένου της Άυλης Πολιτιστικής Κληρονομιάς (ΑΠΚ) με ήδη υπάρχον ψηφιοποιημένο περιεχόμενο από ψηφιακές βιβλιοθήκες (π.χ. Europeana), την σύνδεση της ΑΠΚ με το πεδίο της μηχανικής μάθησης οδηγώντας σε προηγμένες επιστημονικές δημοσιεύσεις.Στόχος της επιδιωκόμενης ερευνητικής μελέτης της διδακτορικής διατριβής είναι η ψηφιοποίηση της ΑΠΚ, δηλαδή των χορευτών και των χορευτικών τους κινήσεων, χορευτικών εκφράσεων, καθώς και η αρχειοθέτηση των σχετικών δεδομένων/μεταδεδομένων σε κατάλληλη ψηφιακή βιβλιοθήκη, προκειμένου να διατηρηθεί τμήμα της ΑΠΚ. Επιπλέον, τίθεται η ανάγκη να μειωθεί η πολυπλοκότητα της ψηφιοποίησης που διέπει την καταγραφή, την απεικόνιση, τη μοντελοποίηση και την εικονική αναπαράσταση. Οι παραστατικές τέχνες, όπως η χορογραφία, ο χορός και η θεατρική κινησιολογία, οι κινήσεις ανθρώπινων σωμάτων και χειρονομιών είναι βασικά στοιχεία που χρησιμοποιούνται για να περιγράψουν μια ιστορία με αισθητικό και συμβολικό τρόπο. Παρόλο που εμείς, ως άνθρωποι, μπορούμε εγγενώς να αντιληφθούμε και να αποκρυπτογραφήσουμε τέτοια σήματα ανθρώπινου σώματος με φυσικό τρόπο, αυτή η διαδικασία είναι δύσκολη για ένα σύστημα υπολογιστή. Μια σημαντική πτυχή στην ανάλυση ενός παραστατικού χορού είναι η αυτόματη εξαγωγή των χορογραφικών προτύπων/στοιχείων δεδομένου ότι αυτά τα στοιχεία παρέχουν μια αφηρημένη αναπαράσταση των σημασιολογικών πληροφοριών που κωδικοποιούνται στη ακολουθία του χορού. Επιπλέον ένα σημαντικό ζήτημα στην ανάλυση εκτέλεσης ενός χορού είναι η αυτόματη εξαγωγή χορογραφικών προτύπων της, δεδομένου ότι αυτά τα στοιχεία παρέχουν μια αφηρημένη αναπαράσταση της σημασιολογίας του χορού και κωδικοποιούν τη συνολική αφήγηση του συγκεκριμένου χορού. Ωστόσο, η εφαρμογή συμβατικών αλγορίθμων συνοπτικών βίντεο ακολουθιών δεν μπορεί να ανακτήσει κατάλληλα τα χορογραφικά τους μοτίβα αφού ένας χορός αποτελείται από ένα διατεταγμένο σύνολο διαδοχικών στοιχείων τα οποία επαναλαμβάνονται στο χρόνο. Τέλος, η τρισδιάστατη γεωμετρία του χορού είναι πολύ περίπλοκη για να περιγραφεί χρησιμοποιώντας μόνο τις πληροφορίες χρώματος RGB. Η υπό εξέταση διατριβή αναπτύσσεται αναπτύσσεται σε 10 κεφάλαια: Το Κεφάλαιο 1 εισάγει τις βασικές έννοιες της ΆΠΚ, αναλύει τους ερευνητικούς στόχους, την πρωτοτυπία και την καινοτομία της προτεινόμενης διατριβής. Το Κεφάλαιο 2 παρουσιάζει τις πρόσφατες τάσεις στη χορογραφική αναπαράσταση όσον αφορά τη μοντελοποίηση, τη βιντεοπερίληψη, την σημειογραφία και την αναγνώριση χορογραφικών μοτίβων. Επιπλέον, δημιουργήθηκαν δύο χορογραφικά σύνολα δεδομένων. Τα χορογραφικά σύνολα περιλαμβάνουν τριάντα παραδοσιακές ψηφιοποιημένες ακολουθίες χορού που καταγράφηκαν σε συνεργασία με το Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης στο πλαίσιο του έργου TERPSICHORE. Αυτά τα σύνολα δεδομένων εμπεριέχουν περισσότερες από 83663 εικόνες RGB και 7362 εγγραφές νεφών σημείων (μορφή .c3d) συμβατές με διάφορες βάσεις δεδομένων (π.χ. Europeana, βάση δεδομένων CMU, AMASS).Το Κεφάλαιο 3 περιγράφει τη διαδικασία ψηφιοποίησης χορογραφικών δεδομένων, την περιγραφή του συνόλου δεδομένων, την επεξεργασία χορογραφικών μοτίβων και την κινησιολογική μοντελοποίηση. Επιπλέον, περιγράφονται τα συστήματα καταγραφής κίνησης. Συγκεκριμένα, σε αυτό το Κεφάλαιο περιγράφονται τα χαρακτηριστικά βήματα των υπό εξέταση ελληνικών χορών που έχουν καταγραφεί προκειμένου να εξαχθούν τα χορογραφικά μοτίβα και οι αντιπροσωπευτικές στάσεις/κινήσεις.Το Κεφάλαιο 4 πρότεινε ένα νέο σχήμα σύνοψης χορού (βιντεοπερίληψης) αναφορικά με τα δεδομένα που καταγράφηκαν χρησιμοποιώντας το σύστημα καταγραφής κίνησης VICON. Η προτεινόμενη μέθοδος εξαγωγής αντιπροσωπευτικών στιγμιοτύπων εφαρμόζει ένα ιεραρχικό σχήμα κατάτμησης που εκμεταλλεύεται τις χωροχρονικές παραλλαγές των κινησιολογικών μεταβολών των χορευτών. Αρχικά, οι ολιστικοί περιγραφείς εξάγονται για να εντοπίσουν τα βασικά βήματα ενός χορού (μια χονδροειδής αναπαράσταση). Στη συνέχεια, κάθε τμήμα αποσυντίθεται περαιτέρω σε λεπτομερή τμήματα για τη βελτίωση της αντιπροσωπευτικότητας του χορού (λεπτή αναπαράσταση). Το σχήμα ιεραρχικής κατάτμησης χορού τροποποιεί τον αλγόριθμο SMRS κατάλληλα προκειμένου να επιτραπεί η χωροχρονική μοντελοποίηση σύνθετων χορευτικών ακολουθιών. Η προσέγγισή αξιολογήθηκε σε τριάντα φολκλορικές χορευτικές ακολουθίες που καταγράφηκαν στο Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης στο πλαίσιο του έργου TERPSICHORE που αντιπροσωπεύει πέντε διαφορετικές χορογραφίες και σε σύνολα δεδομένων από το Πανεπιστήμιο Carnegie Mellon, ελεύθερα διαθέσιμα, που απεικονίζουν παραστάσεις στη θεατρική κινησιολογία. Το Κεφάλαιο 5 εισάγει δύο τεχνικές: μια μέθοδο «ανεξάρτητη από το χρόνο» που βασίζεται σε αλγόριθμο ομαδοποίησης k-means++ για την εξαγωγή αντιπροσωπευτικών στιγμιοτύπων του χορού και μια τεχνική που βασίζεται στη ερμηνεία των φυσικών χαρακτηριστικών της κινησιολογίας δημιουργώντας χρονικές περιλήψεις σε διαφορετικά επίπεδα λεπτομέρειας. Οι προτεινόμενες μέθοδοι αξιολογήθηκαν σε δύο σύνολα δεδομένων κίνησης χορού.Το Κεφάλαιο 6 εισάγει ένα μη επιβλεπόμενο πλαίσιο βαθιάς στοίβας αυτόματου κωδικοποιητή (SAE) ακολουθούμενο από έναν αλγόριθμο ιεραρχικής κατάτμησης για να συνοψίσει τις χορογραφικές ακολουθίες. Στόχος του SAE είναι ο περιορισμός των περιττών θορύβων στα μη επεξεργασμένα δεδομένα και συνεπώς η βελτίωση της απόδοσης της χορογραφικής περίληψης. Αυτό γίνεται εμφανές όταν δύο χορευτές καταγράφονται ταυτόχρονα. Αλγόριθμοι βίντεο-περίληψης εφαρμόζονται για την εξαγωγή των αντιπροσωπευτικών χορογραφικών στάσεων χρησιμοποιώντας τον Kennard-Stone, το συμβατικό SMRS και το ιεραρχικό του σχήμα που ονομάζεται H-SMRS. Τα πειραματικά αποτελέσματα αξιολογήθηκαν σε πραγματικές χορευτικές ακολουθίες ελληνικών παραδοσιακών χορών, ενώ τα αποτελέσματα συγκρίθηκαν με χορογραφικά δεδομένα που επέλεξαν ειδικοί χορού. Τα αποτελέσματα δείχνουν ότι το H-SMRS που εφαρμόζεται μετά τη μείωσης του θορύβου υπό την εφαρμογή του SAE εξάγει βασικά καρέ που αποκλίνουν σε χρόνο μικρότερο από 0,3 δευτερόλεπτα από αυτά που επιλέγονται από τους ειδικούς και με τυπική απόκλιση 0,18 δευτ. Έτσι, το προτεινόμενο σχήμα μπορεί να εξάγει αντιπροσωπευτικά στιγμιότυπα αποτελεσματικά.Το Κεφάλαιο 7 παρουσιάζει ένα νέο πλαίσιο βασισμένο στη μοντελοποίηση της κινησιολογίας με βάση τα φυσικά χαρακτηριστικά (ταχύτητα, επιτάχυνση) για την εξαγωγή αντιπροσωπευτικών στιγμιοτύπων χρησιμοποιώντας νέφη σημείων. Προτείνονται δύο προσεγγίσεις: (i) μια μέθοδος βασισμένη σε αυτόματη ομαδοποίηση για την επιλογή των βασικών πρωτευόντων μιας χορογραφίας και (ii) μια προσέγγιση βασισμένη στα κινηματικά χαρακτηριστικά των χορογραφιών. Το πλαίσιο περίληψης χορού έχει επικυρωθεί επιτυχώς σε σύνολα χορογραφικών δεδομένων με τη συμμετοχή επαγγελματιών χορού και εμπειρογνωμόνων.Το Κεφάλαιο 8 περιγράφει ένα δίκτυο Μακράς και Βραχείας μνήμης (LSTM) με ικανότητα ανάλυσης χορογραφικών στάσεων λαμβάνοντας υπόψιν νέφη σημείων προερχόμενα από την ψηφιοποίηση των χορευτών. Αυτή η διαδικασία ταυτοποίησης θέσης είναι ικανή να παρέχει μια λεπτομερή αξιολόγηση του χορογραφικού μοτίβου. Επιπλέον, προτείνεται μια αρχιτεκτονική χορογραφικής περίληψης που βασίζεται στην εφαρμογή της ιεραρχικής κατάτμησης προκειμένου να εξάγει τα χορογραφικών μοτίβα. Τέλος αναπτύχθηκε μια πλατφόρμα σοβαρού παιχνιδιού υποστηρίζοντας την οπτικοποίηση της χορογραφίας χρησιμοποιώντας Laban σημειογραφία, προκειμένου προσδιορίσει την απόδοση της προτεινόμενης προσέγγισης με επίσημη τεκμηρίωση.Το Κεφάλαιο 9 περιγράφει ένα αυτοπαλίνδρομο κινητού μέσου όρου (ARMA) φίλτρο που εφαρμόζεται σε ένα συμβατικό Συνελικτικό Νευρωνικό Δίκτυο (CNN). Αυτό σημαίνει ότι η έξοδος ταξινόμησης επιστρέφει στο επίπεδο εισόδου, βελτιώνοντας τη συνολική ακρίβεια ταξινόμησης. Επιπλέον, εισάγεται ένας προσαρμοστικός αλγόριθμος, εκμεταλλευόμενος την επέκταση της σειράς Taylor πρώτης τάξης. Με αυτόν τον τρόπο, οι παράμετροι του δικτύου (π.χ. βάρη) τροποποιούνται δυναμικά βελτιώνοντας τη συνολική ακρίβεια ταξινόμησης. Τα πειραματικά αποτελέσματα σε πραγματικές χορευτικές ακολουθίες δείχνουν την απόδοση της προτεινόμενης προσέγγισης σε σχέση με τους συμβατικούς μηχανισμούς βαθιάς μάθησης.Το Κεφάλαιο 10 ολοκληρώνει τη διατριβή παραθέτοντας τη συνολική συμβολή της και τα μελλοντικά βήματα.