Machine learning for music genre: multifaceted review and experimentation with audioset

Abstract

Music genre classification is one of the sub-disciplines of music information retrieval (MIR) with growing popularity among researchers, mainly due to the already open challenges. Although research has been prolific in terms of number of published works, the topic still suffers from a problem in its foundations: there is no clear and formal definition of what genre is. Music categorizations are vague and unclear, suffering from human subjectivity and lack of agreement. In its first part, this paper offers a survey trying to cover the many different aspects of the matter. Its main goal is give the reader an overview of the history and the current state-of-the-art, exploring techniques and datasets used to the date, as well as identifying current challenges, such as this ambiguity of genre definitions or the introduction of human-centric approaches. The paper pays special attention to new trends in machine learning applied to the music annotation problem. Finally, we also include a music genre classification experiment that compares different machine learning models using Audioset.

Reconhecendo gêneros musicais brasileiros com técnicas de aprendizagem de máquina supervisionada

“…As avaliações anuais do Music Information Retrieval Evaluation eXchange (MIREX), realizadas desde 2005, são um indicador interessante do desenvolvimento do campo de MGR. Um simples estudo da evolução dos resultados obtidos para a Tarefa de Treinamento/Teste de Classificação de Gênero MIREX revela pouco progresso nos escores de precisão, que nosúltimos anos parecem permanecer paralisados no intervalo de 70 a 80% [Ramírez and Flores 2019]. Uma das possíveis causas deste acontecimentoé justamente a falta de variedade de gêneros contidos nas bases populares para estes tipos de desafio.…”

“…No campo de Aprendizagem de Máquina (do inglês, Machine Learning -ML), os algoritmos podem ser classificados em certos tipos de acordo com sua abordagem, sendo os principais e mais utilizados os algoritmos supervisionados e os não supervisionados. Algoritmos de Aprendizagem de Máquina podem ser aplicados com sucesso a problemas de MIR [Ramírez and Flores 2019]. Neste trabalho, foram utilizados exclusivamente algoritmos supervisionados, que caraterizam-se por possuírem dados de treinamento previamente rotulados, sendo os rótulos neste caso os gêneros musicais.…”

“…Porém, definir o gênero de uma música envolve reconhecer não apenas características rítmicas, como o seu timbre, mas também, deve-se levar em conta que gêneros são rótulos inventados pelo ser humano, cuja visãoé subjetiva. Não há uma definição clara e formal do queé gênero [Ramírez and Flores 2019], deste modo, desenvolver uma tecnologia capaz de determinar o gênero de determinada música torna-se uma tarefa desafiadora.…”

“…Conjuntos de dados e fontes de dados usados na pesquisa do MGC (Music Genre Recognition) não compartilham uma estrutura, apresentando diferentes classes e um número variável delas [Ramírez and Flores 2019]. Porém, ao observar os gêneros contidos nas bases de dados disponíveis atualmente percebe-se que a grande maioria concentrase nos gêneros mundialmente mais populares, resumindo a gama de estilos musicais existentes geralmente em: Classical, Electronic, Jazz/Blues, Metal/Punk, Rock/Pop and World, como na base de dados ISMIR2004, uma das mais populares em pesquisas de MGR, de acordo com [Sturm 2012].…”

Web-Based Music Genre Classification for Timeline Song Visualization and Analysis

“…In an effort to provide a tool that gives more insights about how each genre is perceived, we have trained several classification models [6] and embedded them in a web application that allows the user to visualize how each model ''senses'' music in terms of music genre, at particular moments of a song. Note that experimentation details for each model are beyond the scope of this article and can be found in [6]. These models have been built using common machine learning techniques, namely, Support Vector Machines (SVM), Naive Bayes classifiers, Feed forward deep neural networks and Recurrent neural networks.…”