Analysis of effect of single-channel speech-music separation using NMF to automatic speech recognition

Abstract

Bu çalışmadaözellikle televizyonda konuşma tanıma uygulamalarında tanıma başarımınıönemli oranda düşüren arka plan müziginin konuşmadan ayrıştırılması için çalışmalar yapılmıştır. Ayrıştırma tek-kanalda yapılacak oldugundan, konuşma ve müzik sinyallerinin egitim verileri kullanılarak modellenmesi gerekmektedir. Konuşma ve müzik sinyalleri Negatif Olmayan Matris Ayrıştırma (NOMA) yöntemiyle modellenmiştir. Bu çalışmada birönceki çalışmamızda Kullback-Leibler (KL) ıraksayı kullanılarak yapılan analizler Itakura-Saito (IS) ıraksayı kullanılarak da yapılmıştır. Iraksayların konuşma-müzik ayrıştırma performansına etkisi karşılaştırılmıştır. Aynı zamanda birönceki çalışmada denenmeyen; konuşma için herhangi bir egitim kümesi olmadıgı durum test edilmiştir. Bunun yanında müzik sinyali için müzige ait çerçevelerin müzige ait şablon vektörleri olarak kullanılmasï onerilmiş ve en yüksek başarım bu şekilde elde edilmiştir. ABSTRACTIn this study, single-channel speech source separation is carried out to separate the speech from the background music, which degrades the speech recognition performance especially in broadcast news transcription systems. Since the separation is done using single observation of the source signals, the sources have to be previously modeled using training data. Non-negative Matrix Factorization (NMF) methods are used to model the sources. In order to model the source signals, different training data sets, which contain different music and speech data, are created and the effect of the training data sets are analyzed in this study. The performances of the methods are measured not only using separation performance measure but also with speech recognition performance measures.