Skeleton Extraction of Dance Sequences from 3D Points Using Convolutional Neural Networks Based on a New Developed C3D Visualization Interface

Kavouras, Ioannis; Protopapadakis, Eftychios; Doulamis, Anastasios

doi:10.1007/978-3-030-11935-5_26

Cited by 3 publications

(2 citation statements)

References 23 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…On the one hand, the estimation of the correlation between COVID-19 measures and pollutant factors can be evaluated using various case-specific techniques [22]. On the other hand, the estimation of pollutant factors' levels few days ahead, entails to traditional regression problem [21].…”

Section: Proposed Methodologymentioning

confidence: 99%

Assessing the Lockdown Effects on Air Quality During COVID-19 Era

Kavouras

Protopapadakis

Kaselimi

et al. 2021

Frontiers in Artificial Intelligence and Applications

Self Cite

View full text Add to dashboard Cite

In this work we investigate the short-term variations in air quality emissions, attributed to the prevention measures, applied in different cities, to mitigate the COVID-19 spread. In particular, we emphasize on the concentration effects regarding specific pollutant gases, such as carbon monoxide (CO), ozone (O3), nitrogen dioxide (NO2) and sulphur dioxide (SO2). The assessment of the impact of lockdown on air quality focused on four European Cities (Athens, Gladsaxe, Lodz and Rome). Available data on pollutant factors were obtained using global satellite observations. The level of the employed prevention measures is employed using the Oxford COVID-19 Government Response Tracker. The second part of the analysis employed a variety of machine learning tools, utilized for estimating the concentration of each pollutant, two days ahead. The results showed that a weak to moderate correlation exists between the corresponding measures and the pollutant factors and that it is possible to create models which can predict the behaviour of the pollutant gases under daily human activities.

show abstract

Section: Proposed Methodologymentioning

confidence: 99%

Assessing the Lockdown Effects on Air Quality During COVID-19 Era

Kavouras

Protopapadakis

Kaselimi

et al. 2021

Frontiers in Artificial Intelligence and Applications

Self Cite

View full text Add to dashboard Cite

show abstract

“…A combined approach, involving 3D spatial datasets, noise removal prepossessing and deep learning regression is presented in [70] aiming at the estimation of rough skeleton data. The application scenario involved data sequences from Greek traditional dances.…”

Section: Pose Recognition and Dance Movement Classificationmentioning

confidence: 99%

Deep learning for digitizing, analysing and modelling choreographic 3D signal sequences of intangible cultural heritage

Ράλλης¹

View full text Add to dashboard Cite

Πολλές προσπάθειες έχουν μέχρι σήμερα γίνει προκειμένου να καταγραφεί και να διασωθεί η υλική πολιτιστική κληρονομία. Αντιθέτως η άυλη κληρονομιά λόγω της μη απτής φύσης της επιφέρει δυσκολίες τόσο στην επεξεργασία όσο και στην καταγραφή της. Παρόλη την τεράστια πρόοδο που έχει επιτευχθεί στην τεχνολογία της ψηφιοποίησης, κυρίως όσον άφορα στα απτά πολιτιστικά αγαθά στο επίπεδο της τρισδιάστατης απεικόνισης (3D-COFORM, EPOCH, CARARE, IMPACT, PRESTOSPACE, V-CITY), η ηλεκτρονική τεκμηρίωση των άυλων πολιτιστικών αγαθών δεν είναι πλήρως φανερή, ειδικότερα στις λαϊκές μορφές τέχνης. Αυτό οφείλεται κυρίως στο σύμπλεγμα διεπιστημονικότητας των φολκλόρ παραστάσεων που παρουσιάζουν μια σειρά από προκλήσεις που περιλαμβάνουν τη χορογραφία, την ψηφιοποίηση, την επεξεργασία, την χορογραφική ανάλυση/σημειογραφία, την μηχανική μάθηση και την υπολογιστική όραση. Είναι σημαντικό να αναφέρουμε ότι αυτή είναι η πρώτη φορά που υλοποιείται τέτοιο καινοτόμο πεδίο έρευνας, το οποίο έχει ως στόχο να λειτουργήσει ως ένας πρωτοποριακός μηχανισμός για την ενοποίηση του περιεχομένου της Άυλης Πολιτιστικής Κληρονομιάς (ΑΠΚ) με ήδη υπάρχον ψηφιοποιημένο περιεχόμενο από ψηφιακές βιβλιοθήκες (π.χ. Europeana), την σύνδεση της ΑΠΚ με το πεδίο της μηχανικής μάθησης οδηγώντας σε προηγμένες επιστημονικές δημοσιεύσεις.Στόχος της επιδιωκόμενης ερευνητικής μελέτης της διδακτορικής διατριβής είναι η ψηφιοποίηση της ΑΠΚ, δηλαδή των χορευτών και των χορευτικών τους κινήσεων, χορευτικών εκφράσεων, καθώς και η αρχειοθέτηση των σχετικών δεδομένων/μεταδεδομένων σε κατάλληλη ψηφιακή βιβλιοθήκη, προκειμένου να διατηρηθεί τμήμα της ΑΠΚ. Επιπλέον, τίθεται η ανάγκη να μειωθεί η πολυπλοκότητα της ψηφιοποίησης που διέπει την καταγραφή, την απεικόνιση, τη μοντελοποίηση και την εικονική αναπαράσταση. Οι παραστατικές τέχνες, όπως η χορογραφία, ο χορός και η θεατρική κινησιολογία, οι κινήσεις ανθρώπινων σωμάτων και χειρονομιών είναι βασικά στοιχεία που χρησιμοποιούνται για να περιγράψουν μια ιστορία με αισθητικό και συμβολικό τρόπο. Παρόλο που εμείς, ως άνθρωποι, μπορούμε εγγενώς να αντιληφθούμε και να αποκρυπτογραφήσουμε τέτοια σήματα ανθρώπινου σώματος με φυσικό τρόπο, αυτή η διαδικασία είναι δύσκολη για ένα σύστημα υπολογιστή. Μια σημαντική πτυχή στην ανάλυση ενός παραστατικού χορού είναι η αυτόματη εξαγωγή των χορογραφικών προτύπων/στοιχείων δεδομένου ότι αυτά τα στοιχεία παρέχουν μια αφηρημένη αναπαράσταση των σημασιολογικών πληροφοριών που κωδικοποιούνται στη ακολουθία του χορού. Επιπλέον ένα σημαντικό ζήτημα στην ανάλυση εκτέλεσης ενός χορού είναι η αυτόματη εξαγωγή χορογραφικών προτύπων της, δεδομένου ότι αυτά τα στοιχεία παρέχουν μια αφηρημένη αναπαράσταση της σημασιολογίας του χορού και κωδικοποιούν τη συνολική αφήγηση του συγκεκριμένου χορού. Ωστόσο, η εφαρμογή συμβατικών αλγορίθμων συνοπτικών βίντεο ακολουθιών δεν μπορεί να ανακτήσει κατάλληλα τα χορογραφικά τους μοτίβα αφού ένας χορός αποτελείται από ένα διατεταγμένο σύνολο διαδοχικών στοιχείων τα οποία επαναλαμβάνονται στο χρόνο. Τέλος, η τρισδιάστατη γεωμετρία του χορού είναι πολύ περίπλοκη για να περιγραφεί χρησιμοποιώντας μόνο τις πληροφορίες χρώματος RGB. Η υπό εξέταση διατριβή αναπτύσσεται αναπτύσσεται σε 10 κεφάλαια: Το Κεφάλαιο 1 εισάγει τις βασικές έννοιες της ΆΠΚ, αναλύει τους ερευνητικούς στόχους, την πρωτοτυπία και την καινοτομία της προτεινόμενης διατριβής. Το Κεφάλαιο 2 παρουσιάζει τις πρόσφατες τάσεις στη χορογραφική αναπαράσταση όσον αφορά τη μοντελοποίηση, τη βιντεοπερίληψη, την σημειογραφία και την αναγνώριση χορογραφικών μοτίβων. Επιπλέον, δημιουργήθηκαν δύο χορογραφικά σύνολα δεδομένων. Τα χορογραφικά σύνολα περιλαμβάνουν τριάντα παραδοσιακές ψηφιοποιημένες ακολουθίες χορού που καταγράφηκαν σε συνεργασία με το Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης στο πλαίσιο του έργου TERPSICHORE. Αυτά τα σύνολα δεδομένων εμπεριέχουν περισσότερες από 83663 εικόνες RGB και 7362 εγγραφές νεφών σημείων (μορφή .c3d) συμβατές με διάφορες βάσεις δεδομένων (π.χ. Europeana, βάση δεδομένων CMU, AMASS).Το Κεφάλαιο 3 περιγράφει τη διαδικασία ψηφιοποίησης χορογραφικών δεδομένων, την περιγραφή του συνόλου δεδομένων, την επεξεργασία χορογραφικών μοτίβων και την κινησιολογική μοντελοποίηση. Επιπλέον, περιγράφονται τα συστήματα καταγραφής κίνησης. Συγκεκριμένα, σε αυτό το Κεφάλαιο περιγράφονται τα χαρακτηριστικά βήματα των υπό εξέταση ελληνικών χορών που έχουν καταγραφεί προκειμένου να εξαχθούν τα χορογραφικά μοτίβα και οι αντιπροσωπευτικές στάσεις/κινήσεις.Το Κεφάλαιο 4 πρότεινε ένα νέο σχήμα σύνοψης χορού (βιντεοπερίληψης) αναφορικά με τα δεδομένα που καταγράφηκαν χρησιμοποιώντας το σύστημα καταγραφής κίνησης VICON. Η προτεινόμενη μέθοδος εξαγωγής αντιπροσωπευτικών στιγμιοτύπων εφαρμόζει ένα ιεραρχικό σχήμα κατάτμησης που εκμεταλλεύεται τις χωροχρονικές παραλλαγές των κινησιολογικών μεταβολών των χορευτών. Αρχικά, οι ολιστικοί περιγραφείς εξάγονται για να εντοπίσουν τα βασικά βήματα ενός χορού (μια χονδροειδής αναπαράσταση). Στη συνέχεια, κάθε τμήμα αποσυντίθεται περαιτέρω σε λεπτομερή τμήματα για τη βελτίωση της αντιπροσωπευτικότητας του χορού (λεπτή αναπαράσταση). Το σχήμα ιεραρχικής κατάτμησης χορού τροποποιεί τον αλγόριθμο SMRS κατάλληλα προκειμένου να επιτραπεί η χωροχρονική μοντελοποίηση σύνθετων χορευτικών ακολουθιών. Η προσέγγισή αξιολογήθηκε σε τριάντα φολκλορικές χορευτικές ακολουθίες που καταγράφηκαν στο Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης στο πλαίσιο του έργου TERPSICHORE που αντιπροσωπεύει πέντε διαφορετικές χορογραφίες και σε σύνολα δεδομένων από το Πανεπιστήμιο Carnegie Mellon, ελεύθερα διαθέσιμα, που απεικονίζουν παραστάσεις στη θεατρική κινησιολογία. Το Κεφάλαιο 5 εισάγει δύο τεχνικές: μια μέθοδο «ανεξάρτητη από το χρόνο» που βασίζεται σε αλγόριθμο ομαδοποίησης k-means++ για την εξαγωγή αντιπροσωπευτικών στιγμιοτύπων του χορού και μια τεχνική που βασίζεται στη ερμηνεία των φυσικών χαρακτηριστικών της κινησιολογίας δημιουργώντας χρονικές περιλήψεις σε διαφορετικά επίπεδα λεπτομέρειας. Οι προτεινόμενες μέθοδοι αξιολογήθηκαν σε δύο σύνολα δεδομένων κίνησης χορού.Το Κεφάλαιο 6 εισάγει ένα μη επιβλεπόμενο πλαίσιο βαθιάς στοίβας αυτόματου κωδικοποιητή (SAE) ακολουθούμενο από έναν αλγόριθμο ιεραρχικής κατάτμησης για να συνοψίσει τις χορογραφικές ακολουθίες. Στόχος του SAE είναι ο περιορισμός των περιττών θορύβων στα μη επεξεργασμένα δεδομένα και συνεπώς η βελτίωση της απόδοσης της χορογραφικής περίληψης. Αυτό γίνεται εμφανές όταν δύο χορευτές καταγράφονται ταυτόχρονα. Αλγόριθμοι βίντεο-περίληψης εφαρμόζονται για την εξαγωγή των αντιπροσωπευτικών χορογραφικών στάσεων χρησιμοποιώντας τον Kennard-Stone, το συμβατικό SMRS και το ιεραρχικό του σχήμα που ονομάζεται H-SMRS. Τα πειραματικά αποτελέσματα αξιολογήθηκαν σε πραγματικές χορευτικές ακολουθίες ελληνικών παραδοσιακών χορών, ενώ τα αποτελέσματα συγκρίθηκαν με χορογραφικά δεδομένα που επέλεξαν ειδικοί χορού. Τα αποτελέσματα δείχνουν ότι το H-SMRS που εφαρμόζεται μετά τη μείωσης του θορύβου υπό την εφαρμογή του SAE εξάγει βασικά καρέ που αποκλίνουν σε χρόνο μικρότερο από 0,3 δευτερόλεπτα από αυτά που επιλέγονται από τους ειδικούς και με τυπική απόκλιση 0,18 δευτ. Έτσι, το προτεινόμενο σχήμα μπορεί να εξάγει αντιπροσωπευτικά στιγμιότυπα αποτελεσματικά.Το Κεφάλαιο 7 παρουσιάζει ένα νέο πλαίσιο βασισμένο στη μοντελοποίηση της κινησιολογίας με βάση τα φυσικά χαρακτηριστικά (ταχύτητα, επιτάχυνση) για την εξαγωγή αντιπροσωπευτικών στιγμιοτύπων χρησιμοποιώντας νέφη σημείων. Προτείνονται δύο προσεγγίσεις: (i) μια μέθοδος βασισμένη σε αυτόματη ομαδοποίηση για την επιλογή των βασικών πρωτευόντων μιας χορογραφίας και (ii) μια προσέγγιση βασισμένη στα κινηματικά χαρακτηριστικά των χορογραφιών. Το πλαίσιο περίληψης χορού έχει επικυρωθεί επιτυχώς σε σύνολα χορογραφικών δεδομένων με τη συμμετοχή επαγγελματιών χορού και εμπειρογνωμόνων.Το Κεφάλαιο 8 περιγράφει ένα δίκτυο Μακράς και Βραχείας μνήμης (LSTM) με ικανότητα ανάλυσης χορογραφικών στάσεων λαμβάνοντας υπόψιν νέφη σημείων προερχόμενα από την ψηφιοποίηση των χορευτών. Αυτή η διαδικασία ταυτοποίησης θέσης είναι ικανή να παρέχει μια λεπτομερή αξιολόγηση του χορογραφικού μοτίβου. Επιπλέον, προτείνεται μια αρχιτεκτονική χορογραφικής περίληψης που βασίζεται στην εφαρμογή της ιεραρχικής κατάτμησης προκειμένου να εξάγει τα χορογραφικών μοτίβα. Τέλος αναπτύχθηκε μια πλατφόρμα σοβαρού παιχνιδιού υποστηρίζοντας την οπτικοποίηση της χορογραφίας χρησιμοποιώντας Laban σημειογραφία, προκειμένου προσδιορίσει την απόδοση της προτεινόμενης προσέγγισης με επίσημη τεκμηρίωση.Το Κεφάλαιο 9 περιγράφει ένα αυτοπαλίνδρομο κινητού μέσου όρου (ARMA) φίλτρο που εφαρμόζεται σε ένα συμβατικό Συνελικτικό Νευρωνικό Δίκτυο (CNN). Αυτό σημαίνει ότι η έξοδος ταξινόμησης επιστρέφει στο επίπεδο εισόδου, βελτιώνοντας τη συνολική ακρίβεια ταξινόμησης. Επιπλέον, εισάγεται ένας προσαρμοστικός αλγόριθμος, εκμεταλλευόμενος την επέκταση της σειράς Taylor πρώτης τάξης. Με αυτόν τον τρόπο, οι παράμετροι του δικτύου (π.χ. βάρη) τροποποιούνται δυναμικά βελτιώνοντας τη συνολική ακρίβεια ταξινόμησης. Τα πειραματικά αποτελέσματα σε πραγματικές χορευτικές ακολουθίες δείχνουν την απόδοση της προτεινόμενης προσέγγισης σε σχέση με τους συμβατικούς μηχανισμούς βαθιάς μάθησης.Το Κεφάλαιο 10 ολοκληρώνει τη διατριβή παραθέτοντας τη συνολική συμβολή της και τα μελλοντικά βήματα.

show abstract