An image-inspired audio sharpness index

Abstract

Abstract-We propose a new non-intrusive (reference-free) objective measure of speech intelligibility that is inspired from previous works on image sharpness. We define the audio Sharpness Index (aSI) as the sensitivity of the spectrogram sparsity to the convolution of the signal with a white noise, and we calculate a closed-form formula of the aSI. Experiments with various speakers, noise and reverberation conditions show a high correlation between the aSI and the well-established Speech Transmission Index (STI), which is intrusive (full-reference). Additionally, the aSI can be used as an intelligibility or clarity criterion to drive sound enhancement algorithms. Experimental results on stereo mixtures of two sounds show that blind source separation based on aSI maximization performs well for speech and for music.

Avaliação da Variação Total de Espectrogramas para a Extração Cega de Fontes

“…O Audio Sharpness Index, proposto em [7], busca quantificar a esparsidade do sinal de áudio a partir de medidas dos sinais envolvidos.…”

“…A hipótese explorada em [7] é de que sinais esparsos, quando convoluídos com um ruído gaussiano, resultam em sinais com esparsidade menor (aumentam a norma � 1 ), enquanto que sinais não-esparsos filtrados com o mesmo tipo de ruído não apresentam grande variação em sua esparsidade. Portanto, seja s � o resultado da convolução de um sinal s com um ruído Gaussiano branco w de média zero e variância conhecida, i.e., s � = s * w, e S � , S as respectivas representações no domínio tempo-frequencial, espera-se que…”

“…Uma possível abordagem, apontada em [7], relaciona a nitidez de uma imagem à inteligibilidade de sinais de voz. Assim como a qualidade de uma imagem está diretamente relacionada a sua nitidez, a qualidade de sinais de áudio tem relação direta com a inteligibilidade do sinal, e em ambos os casos, a qualidade está diretamente relacionada à distribuição dos pixels e coeficientes da representação tempo-frequencial, respectivamente.…”

“…A proposta em [7], denominada audio Sharpness Index (aSI), analisa justamente este comportamento, i. e., a alteração da "nitidez" de um sinal de áudio. Sinais de áudio limpos são conhecidos por terem um espectrograma esparso, composto por segmentos bem definidos -harmônicos no tempo e impulsivos na frequência.…”

“…Com o estudo da variação deste resultado sobre diversos tipos de sinais de áudio, é possível descobrir em quais momentos o sinal filtrado se torna mais, ou menos, suscetível ao ruído aplicado. Dessa forma, comparado a outros métodos de separação de sinais, a proposta de separação baseada no aSI traz vantagens em relação a técnicas que se aproveitam da ICA: não partem do pressuposto de independência clássica e da não-Gaussianidade das fontes [7].…”