Audio based violent scene classification using ensemble learning

An acoustic scene classification approach involving domestic violence using machine learning

“…Existem várias métricas possíveis para apresentar os resultados da classificação [Sarman et al 2018]. Segundo [Goodfellow et al 2016], para a tarefa de classificação, geralmente é calculada a acurácia do modelo, ou seja, a proporção de exemplos que são corretamente classificados.…”

“…Os MFCCs são os parâmetros acústicos de baixo nível mais populares em tarefas de processamento de áudio e fala [Mu et al 2016]. O MFCC é uma representação do espectro de potência de curto prazo de um som, com base em uma transformação de cosseno linear de um espectro de potência de log em uma escala Mel de frequência não linear [Sarman et al 2018]. Quando o MFCC é comparado a outros métodos de extração de parâmetros amplamente utilizados, ele tem um desempenho melhor do que outros parâmetros de domínio de frequência como Linear Prediction Cepstral Coefficients (LPCC) e Relative spectral-perceptual linear prediction (Rasta-PLP) [Sarman et al 2018].…”

“…Outro parâmetro utilizado foi Energia, que é a intensidade sonora percebida pelo ouvido humano, indica a amplitude do sinal em um determinado intervalo, e podem ser utilizados para determinar estados emocionais de locutores, onde altos valores de energia estão normalmente correlacionados com emoções de alta excitação [Ooi et al 2014]. E por último, utilizamos também o ZCR, que é um parâmetro do domínio do tempo que representa a taxa de alterações de sinal ao longo do tempo e é amplamente utilizado em aplicações de processamento de voz e aplicações de classificação [Sarman et al 2018].…”

“…Tendo em vista que nosso objetivo, conforme descrito na seção 1, é desenvolver o modelo com aplicação para a língua portuguesa, e não foi obtido êxito na pesquisa por bancos de dados de áudios adequados para esse tipo de cena e linguagem específicas, optou-se por montarmos nossa própria base de dados utilizando trechos de vídeos da ficção extraídos manualmente de filmes e vídeos que utilizavam a língua portuguesa como idioma, visando cumprir esse objetivo da linguagem. Vários trabalhos na área de análise de cenas através do áudio já utilizaram base de dados extraídos da ficção como [Clavel et al 2008], [Sarman et al 2018] e [Mu et al 2016]. Segundo [Clavel et al 2008], a ficção fornece gravações de manifestações emocionais e oferece um amplo escopo de retratos de emoções verossímeis e, além disso, as emoções são expressas por atores habilidosos nas interações interpessoais que, somando-se ao contexto do roteiro de cada filme, favorece a identificação de atores com personagens reais e tende a provocar emoções genuínas tornando-se assim um material relevante para esse tipo de aplicação.…”

Classification of Ontological Violence Content Detection through Audio Features and Supervised Learning

“…S. Saman et al, [16] used auditory models to classify the violent scene based on ensemble learning. This approach extracted the Zero Crossing Rate (ZCR) of the audio signals as a feature and applied Random Forest algorithm for classification purpose.…”