A nonlinear viseme model for triphone-based speech synthesis

Abstract

This paper presents a new learning-based approach to speech synthesis that achieves mouth movements with rich and expressive articulation for novel audio input. From a database of 3D triphone motions, our algorithm picks the optimal sequences based on a triphone similarity measure, and concatenates them to create new utterances that include coarticulation effects. By using a Locally Linear Embedding (LLE) representation of feature points on 3D scans, we propose a model that defines a measure of similarity among visemes, and a system of viseme categories, which are used to define triphone substitution rules and a cost function. Moreover, we compute deformation vectors for several facial expressions, allowing expression variation to be smoothly added to the speech animation.In an entirely data-driven approach, our automated procedure for defining viseme categories closely reproduces the groups of related visemes that are defined in the phonetics literature. The structure of our selection method is intrinsic to the nature of speech and generates a substitution table that can be reused as-is in different speech animation systems.

Σύγχρονες Τεχνικές Ανάλυσης Και Σύνθεσης Φωνής Και Ομιλίας Με Τη Χρήση Οπτικών Και Ακουστικών Πληροφοριών

“…Θ δεφτερθ κατθγορία περιλαμβάνει ςτατιςτικζσ μεκόδουσ που επιχειροφν τθ μοντελοποίθςθ τθσ ςυςχζτιςθσ του ακουςτικοφ ςιματοσ με παραμζτρουσ που κακορίηουν το οπτικό ερζκιςμα. Οι πιο πρόςωατεσ από αυτζσ χρθςιμοποιοφν τεχνικζσ κρυμμζνων μοντζλων Markov [292], τοπικισ γραμμικισ ενςωμάτωςθσ (Local Linear Embedding) [237] και Isomap [249]. Επίςθσ, μια ιδιαίτερθ περίπτωςθ αποτελοφν οι ερευνθτικζσ μζκοδοι οι οποίεσ αποωαίνονται για τθ ςχζςθ μεταξφ των δφο ερεκιςμάτων με τθ χριςθ αναηιτθςθσ ςε παραδείγματα ωυςικισ ομιλίασ βάςει καταγραωϊν [243,293,294], περιγραωϊν χαρακτθριςτικϊν ςθμείων [256,295] ι μοντελοποίθςθσ τθσ κίνθςθσ μυϊν [296].…”