Automatically Detecting Errors and Disfluencies in Read Speech to Predict Cognitive Impairment in People with Parkinson’s Disease

Toward A Multimodal Approach for Disfluency Detection and Categorization

“…Romana et al investigated ASR for verbatim transcription [41]. This work demonstrated that disfluencies may be a predictor of MoCA score (a screening tool for cognitive impairment, [33]) in patient's with Parkinson's Disease.…”

“…Detecting, categorizing, and localizing disfluencies has several clinical and non-clinical applications. For example, previous work has found that disfluencies can provide insight into the language planning process and cognitive load [11], [27], [49], suggesting that automatic disfluency detection and categorization may help us understand how disfluencies relate to cognition [41]. As another application, clinicians measure disfluency types and durations in planning treatment for individuals who stutter [39], [56], [57], and disfluency categorization and localization could make this treatment planning more scalable [38].…”

“…As an example, if a user articulated "and uh we were I was fortunate...," an intended speech transcript would drop disfluencies and only include "and I was fortunate..." Intended speech transcription is useful for applications when disfluencies impede understanding of the speaker's intent, but it does not allow for disfluency detection, categorization, or localization because the disfluencies are not tran-scribed. Other applications, for example clinical measurements of disfluencies, require verbatim speech transcription [41], [43]. Using the same example text, a verbatim speech transcript would contain everything that was articulated, including disfluencies: "and uh we were I was fortunate..." Verbatim speech transcripts allow for an analysis of disfluencies, and could be combined with disfluency detection methods to derive intended speech transcripts.…”

Definição de heurística para identificação automática da fluência em leitura de crianças em fase de alfabetização

“…Utilizando técnicas parecidas com os trabalhos anteriores, mas com um públicoalvo distinto, Romana et al [Romana et al 2021] objetivou identificar deficiências cognitivas em pessoas com Parkinson através da avaliac ¸ão automática da leitura, utilizando uma base com 37 pessoas. Os autores usaram um sistema ASR com especializac ¸ão do modelo (finetune) para aproximar da base testada.…”

“…O método utilizado neste trabalho também não depende de alterac ¸ões na gramática, o que facilita o processo de reaproveitamento do modelo, trazendo vantagens em relac ¸ão à sua presente em [Bailly et al 2022]. Assim como em [Romana et al 2021], o presente trabalho faz uso de um processo de fine-tuning, porém utilizando tecnologias mais atuais, como o Wav2vec2, o qual traz informac ¸ões quanto às probabilidades de cada fone, permitindo uma gama maior de ac ¸ões a partir dessas informac ¸ões. Diferente de outros trabalhos, aqui é utilizada uma base com mais de mil leituras de crianc ¸as capturada de uma avaliac ¸ão real de fluência em leitura, o que traz confiabilidade para os resultados do estudo.…”