Transferability Evaluation of Speech Emotion Recognition Between Different Languages

Iosifov, Ievgen; Iosifova, Olena; Romanovskyi, O.; Sokolov, Volodymyr; Sukaylo, I.

doi:10.1007/978-3-031-04812-8_35

Cited by 5 publications

(2 citation statements)

References 31 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Pada pembuatan model deep learning, dibutuhkan suatu dataset yang dapat mewakili bahasa tertentu dikarenakan setiap bahasa memiliki karakteristik dan ciri khas masing-masing [4]. Deep learning memiliki banyak metode seperti Deep Speech, Hidden Markov Model dan Connectionist Temporal Classification Model sering digunakan oleh peneliti lain untuk digunakan sebagai Automatic Speech Recognition (ASR) [5].…”

Section: Pendahuluanunclassified

Pengolahan Korpus Dataset Audio Bacaan Al-Qur’an Menggunakan Metode Wav2Vec 2.0

Aminudin,

Nuryasin,

Amien

et al. 2024

JEPIN

View full text Add to dashboard Cite

Pengembangan sistem otomasi pengenalan ucapan (Automatic Speech Recognition/ASR) di dalam membaca Al-Qur'an dibutuhkan korpus data audio bacaan Al-Qur'an dan beranotasi dengan transkripsi tekstual agar dapat diproses oleh algoritma machine learning. Pemrosesan Korpus dataset ini dibangun mengingat belum adanya dataset beserta pemrosesanya menggunakan metode tertentu untuk keperluan riset di dalam pengembangan ASR. Paper ini menyajikan kumpulan corpus dataset dan pengolahannya menggunakan metode Wav2Vec 2.0 dengan total 24 ribuan dataset hasil dari rekaman dari 170 santri dengan jenjang umur 4 sampai dengan 16 tahun. Pemrosesan korpus dataset dibuat mengikuti standar metode Wav2Vec 2.0 agar dapat digunakan sebagai data latih pada pemrosesan machine learning. Wav2Vec merupakan model yang dapat mempelajari representasi vektor dari masukan sinyal suara dengan proses pembelajaran self-supervised learning. Wav2Vec juga mampu menangani perbedaan aksen dan karakteristik pembaca Al-Qur'an yang bervariasi dan lebih akurat karena menggunakan deep learning. Dari hasil pengujian menggunakan parameter Precision didapatkan hasil accuracy sebesar 65.52%, precision dengan nilai 0.83 Recall dengan nilai 0.66 dan F1-Score dengan nilai 0.73 serta Word Error Rate (WER) dengan nilai 0.5. Diharapkan dengan adanya pemrosesan korpus dataset ini dapat membantu pengembangan dan riset terkait automasi sistem bacaan Al-Qur'an dengan teknik deep learning dan meningkatkan minat generasi milenial untuk belajar Al-Qur'an dengan memanfaatkan teknologi terkini.

show abstract

Section: Pendahuluanunclassified

Pengolahan Korpus Dataset Audio Bacaan Al-Qur’an Menggunakan Metode Wav2Vec 2.0

Aminudin,

Nuryasin,

Amien

et al. 2024

JEPIN

View full text Add to dashboard Cite

show abstract

“…Існує три способи вирішення проблеми класифікації емоцій: бінарна класифікація емоцій визначає, чи присутня емоція чи ні [1], багатокласова класифікація емоцій класифікує екземпляр до одного з попередньо визначених наборів даних [2], класифікація емоцій з кількома міткамикласифікує випадок як «нейтральний або без емоцій» або одну і більше з набору попередньо визначених міток, які найкраще представляють психічний стан автора [3]. Розробка моделей класифікації емоцій має вирішальне значення, враховуючи їх широкий вплив і повсюдність.…”

unclassified

Метод Аналізу Емоційного Забарвлення Текстів За Допомогою Графових Згорткових Нейронних Мереж

Yaroshenko

2023

cit

View full text Add to dashboard Cite

У роботі досліджено графові згорткові нейронні мережі, як перспективний напрямок аналізу емоційного забарвлення текстів. Детально описано конструкції емоцій, їх природу та сутність. Зазначено основні способи класифікації емоцій такі як бінарна класифікація емоцій, класифікація емоцій з кількома мітками та багатокласова класифікація емоцій. Окреслено принцип формування нейронних мереж графів та наголошено, що моделі побудовані на графових нейронних мережах зазвичай не враховують семантичне значення тексту, що стосується значення, визначеного відношеннями між словами в реченні, що є важливим для класифікації емоцій тексту, що аналізується. Відокремлено поняття семантичного та синтаксичного аналізу тексту, описано підходи до реалізації. Наголошено, що семантичне представлення відображає зміст тексту в досить структурованій формі з виділенням різних представлень: представлення абстрактного значення, універсальна концептуальна когнітивна анотація, дволексичні семантичні залежності та універсальна декомпозиційна семантика. Зазначається, що модель синтаксичного аналізатора являє собою семантичний аналізатор на основі графів, який вирішує проблему синтаксичного аналізу конституентів. Охарактеризовано рівні моделі та наведено принцип роботи. Математично представлено ациклічний орієнтовний граф системи аналізу емоційного забарвлення тексту, описано матрицю ознак та матрицю суміжності. Наведено модель нейронної мережі, яка працює з графоструктурованими даними, яка складається з трьох основних шарів. Запропоновано підхід до навчання такої нейронної мережі. Наголошено, що модель використовує конкатенацію вбудованих слів і синтаксичних вбудованих елементів у якості вхідних даних. Як результат отримано згорткову нейронну мережу для аналізу емоційного забарвлення текстів та проаналізовано її характеристики порівняно з іншими типами нейронних мереж. Зроблено висновок, що хоча й точність розробленого методу є досить високою, інші архітектури нейронних мереж краще підходять для задачі сентимент аналізу.

show abstract