Βελτίωση Ποιότητας Συνθετικής Ομιλίας Μέσω Προσωδιακών Χαρακτηριστικών

Abstract

Η διατριβή αυτή εξετάζει το πρόβλημα της βελτίωσης ποιότητας συνθετικής ομιλίας από απλά και ήδη εμπλουτισμένα κείμενα, όπως αυτά που παράγονται από μια Γεννήτρια Φυσικής Γλώσσας κατά τη Μετατροπή Κειμένου σε Ομιλία. Παρουσιάζεται η έρευνα για το μείζον πρόβλημα της έλλειψης γνώσης για την ανάδειξη, αναγνώριση και καταχώρηση προσωδιακών χαρακτηριστικών από εμπλουτισμένα κείμενα, την αναπαράσταση των γλωσσολογικών αυτών μετα-πληροφοριών με τη μορφή επισημειώσεων σε κείμενα και το φορμαλισμό των πληροφοριών για προσωδιακά χαρακτηριστικά ως προς την χρησιμότητα αυτών ως προς τη σύνθεση ομιλίας, καθώς και τη σχεδίαση μίας γενικής μεθοδολογίας και υλοποίηση ανοικτών και επεκτάσιμων εργαλείων και πόρων για την αυτόματη επισημείωση εγγράφων κειμένων απλών (plain text) και μερικώς ή πλήρως επισημειωμένων, είτε αυτά προϋπάρχουν είτε παράγονται από Γεννήτρια Φυσικής Γλώσσας.Ως αποτέλεσμα της έρευνας αυτής παρουσιάστηκαν ο καθορισμός και η κατάταξη των γλωσσολογικών εκείνων στοιχείων, πέρα των γραμματικών, που σχετίζονται με την προσωδιακή συμπεριφορά της ομιλίας, καθώς και η περαιτέρω μελέτη της συμβολής τους στην παραγωγή συνθετικής ομιλίας. Αναπτύχθηκε μεθοδολογία για την αυτόματη εξαγωγή αυτού του είδους της πληροφορίας από εμπλουτισμένα (με γλωσσολογική και νοηματική πληροφορία) κείμενα αλλά και από απλά κείμενα. Επιπλέον εκπονήθηκε ένα ενοποιημένο μοντέλο σημειολογικής αναπαράστασης της προσωδιακής δομής που επιτρέπει τη βέλτιστη αξιοποίησή της κατά τη μετατροπή κειμένων σε φυσικότερης ποιότητας συνθετική ομιλία, ανεξάρτητα από συγκεκριμένη γλώσσα ή σύστημα μετατροπής κειμένου σε ομιλία. Ο δεύτερος άξονας της διατριβής αφορά την αναπαράσταση σύνθετων οπτικών δομών στο ακουστικό επίπεδο με έμφαση στη «Σχεδίαση για Όλους». Σύνθετες οπτικές δομές όπως οι πίνακες δεδομένων υπάρχουν στα περισσότερα έγγραφα. Τα έγγραφα αυτά είναι φτιαγμένα από το συγγραφέα με σκοπό τη βέλτιστη οπτική απεικόνιση του περιεχομένου στον αναγνώστη. Περιέχουν σύνθετες οπτικές δομές που με τη σειρά τους συνδέουν σε λογικό επίπεδο τα δεδομένα που περιέχονται σε αυτές. Ένας απλός πίνακας περιέχει συσχετισμούς σε δύο διαστάσεις, ενώ ένας σύνθετος πίνακας συσχετισμούς σε τρεις διαστάσεις στο λογικό επίπεδο. Αυτή οι λογική αναπαράσταση μπορεί να αποσυντεθεί μέσω της οπτικής αναπαράστασης από βλέποντες αναγνώστες και να γίνει κατανοητή. Αντίθετα η ακουστική αναπαράσταση από έναν αναγνώστη οθόνης και συνθέτη οδηγεί σε απώλεια της λογικής συσχέτισης των δεδομένων και σε μεγάλο βαθμό της κατανόησης. Μια σειρά ψυχοακουστικών πειραμάτων είχε σαν σκοπό την ανάλυση απλών και σύνθετων πινάκων δεδομένων ως προς την υποκείμενη λογική δομή. Η ανάλυση που ακολούθησε έδειξε ότι υπάρχει συστηματική σημασιολογική αναπαράσταση των δεδομένων των πινάκων με βάση τις ιεραρχικά οργανωμένες έννοιες. Έπειτα, μοντελοποιώντας την ανθρώπινη φυσική απόδοση παρήχθει το βέλτιστο μοντέλο προσωδιακών παραμέτρων για τη Μετατροπή Πινάκων-σε-Ήχο. Τέλος η αξιολόγηση έδειξε ότι η χρήση του μοντέλου αυτού έχει ακρίβεια 99% για απλούς πίνακες και 95 έως 99% για σύνθετους πίνακες, μια βελτίωση 14-20% στην κατανόηση, ακουστική προσπάθεια, συνολική εντύπωση και αποδοχή εκ μέρους των χρηστών.