Incorporating Noise Robustness in Speech Command Recognition by Noise Augmentation of Training Data

Abstract

The advent of new devices, technology, machine learning techniques, and the availability of free large speech corpora results in rapid and accurate speech recognition. In the last two decades, extensive research has been initiated by researchers and different organizations to experiment with new techniques and their applications in speech processing systems. There are several speech command based applications in the area of robotics, IoT, ubiquitous computing, and different human-computer interfaces. Various researchers have worked on enhancing the efficiency of speech command based systems and used the speech command dataset. However, none of them catered to noise in the same. Noise is one of the major challenges in any speech recognition system, as real-time noise is a very versatile and unavoidable factor that affects the performance of speech recognition systems, particularly those that have not learned the noise efficiently. We thoroughly analyse the latest trends in speech recognition and evaluate the speech command dataset on different machine learning based and deep learning based techniques. A novel technique is proposed for noise robustness by augmenting noise in training data. Our proposed technique is tested on clean and noisy data along with locally generated data and achieves much better results than existing state-of-the-art techniques, thus setting a new benchmark.

Estratégias de Combinação de Espectrogramas de Magnitude e de Fase Aplicadas em Sistemas Robustos de Detecção de Palavras-Chave

“…Sistemas de KWS têm como objetivo a identificação automática de palavras-chave, operando de maneira online em streaming de áudio ou de forma offline em arquivos de áudio [3], [4]. Preferencialmente, ambos os modos de operação devem proporcionar alta acurácia de reconhecimento, apresentando desempenhos robustos em aplicações práticas sujeitas a cenários acústicos com baixa SNR (para detalhes, veja [7]). Tipicamente, sistemas de KWS do estado-da-arte podem ser divididos em dois blocos principais: front-end e back-end [6].…”

“…Em resumo, uma ResNet pode ser vista como um conjunto de CNNs empilhadas sequencialmente, em que cada conjunto é constituído por duas camadas convolucionais em série possuindo uma conexão de atalho que liga diretamente a entrada com a saída desses conjuntos. Tais conjuntos são comumente denominados blocos residuais [6], [7]. Particularmente, neste trabalho de pesquisa, cada bloco residual consiste de duas camadas convolucionais com 45 filtros de convolução, de dimensão 3×3 (3×3 conv, 45), seguidas por uma função de ativação de unidade linear retificada (rectified linear unit -ReLU) e uma camada de normalização em lote (batch normalization -BN).…”

“…Os sistemas atuais de reconhecimento automático de fala (automatic speech recognition -ASR) têm exibido desempenho satisfatório em cenários acústicos com níveis de ruído controlados, contudo, em ambientes com baixa razão sinalruído (signal-to-noise ratio -SNR), a operação desses sistemas se torna severamente prejudicada [6]. Nesse contexto, apesar de a robustez ao ruído ainda ser um problema crítico em aplicações do mundo real, a maioria dos trabalhos de pesquisa do estado-da-arte em KWS não tem levado em consideração (de forma eficaz) os efeitos do ruído [7], [8].…”

Enhanced Feature Extraction Based on Absolute Sort Delta Mean Algorithm and MFCC for Noise Robustness Speech Recognition

“…The End-to-End noisy speech recognition using Fourier and Hilbert spectrum features [4] has been improved the noise robustness by adding components to the recognition system. The incorporating noise robustness in speech command recognition by noise augmentation of training data is presented [5]. This work thoroughly analyses the latest trends in speech recognition and evaluates the speech command dataset on different machine learning-based and deep learning-based techniques.…”

Field-Applicable Pig Anomaly Detection System Using Vocalization for Embedded Board Implementations

“…The filter or kernel of the neural network is pruned using the filter clustering method proposed in this study that improves the processing speed while maintaining the abnormality detection performance. In addition, we used a convolutional neural network (CNN) based deep learning structure in this study because it guarantees an effective abnormality detection performance even in various noisy environments [23][24][25]. The remainder of this paper is organized as follows.…”