SottoVoce

LipLearner: Customizable Silent Speech Interactions on Mobile Devices

“…Similar to VUIs, SSIs allow users to converse with computers in natural language, which provides expressive commands without requiring them to remember complicated actions or gestures. Existing SSIs are characterized by what kind of sensing methods and biosignals are used, such as tracking the movement of speech articulators using electromagnetic articulography (EMA) [13,17,53], vocal tract imaging using ultrasound imaging [22,35], capturing subtle sounds produced by non-audible murmur (NAM) [59][60][61] and ingressive speech [15], placing capacitive sensors inside the mouth [33,40], and capturing facial electrical activity using electromyography (sEMG) [31,65]. In the field of Brain-Computer Interfaces (BCI), researchers seek to decode human speech directly from the electrical activity of the brain, where the approaches can be categorized into invasive systems implanted in the cerebral cortex using electrocorticography (ECoG) [1,49] and non-invasive systems attached to the scalp using Electroencephalogram (EEG) [18,20,47].…”

“…SSI provides seamless and confidential interactions in various situations, especially in those where voice interaction is inappropriate or unavailable. Recent research on SSI has proposed to use various sensing methods such as Electromyography (EMG) [31,43], ultrasound imaging [35], capacitive sensing [40] and video camera (lipreading) [34,45,58] to track the movement of speech articulators and decode silent speech.…”

Tanulmányok a nyelvészet alkalmazásainak területéről

“…Az ún. némabeszéd-interfész (Silent Speech Interface, SSI) az artikuláció-akusztikum konverziós módszerek egy olyan távlati alkalmazása, amelynek használatával némán beszélve, ,,tátogva" adhatunk ki hangot a gép segítségével (Denby et al 2010;Csapó-Grósz-Tóth-Markó 2017;Kimura et al 2019) A némabeszéd-interfész segítheti olyan emberek kommunikációját, akik egy betegség (például tumor eltávolítása érdekében végzett hangszalagműtét) vagy baleset következtében elvesztették a hangalkotási képességüket, ugyanakkor még tudnak artikulálni. Ehhez az szükséges, hogy a beszédsérült felhasználó néma artikulációját felvegyük valamilyen eszközzel (például hordozható nyelvultrahanggal), majd gépi tanulás segítségével (például okostelefonon) ebből beszédet tudjunk szintetizálni.…”

Decoding Silent Speech Based on High-Density Surface Electromyogram Using Spatiotemporal Neural Network

“…Silent speech recognition (SSR) technology provides a solution to the aforementioned challenges because it does not rely on acoustic signals but other medium. Several signal modalities have been applied to realize SSR by capturing the movement of articulatory muscles or extracting neural information, such as the electromagnetic arthrography [5], the ultrasound or optical images of tongue or lips [6]- [8], the electromyogram (EMG) [9]- [12], and the electroencephalogram [13], [14].…”