Reconhecimento de gêneros musicais utilizando espectrogramas com combinação de classificadores

Abstract

Resumo: Com a rápida expansão da Internet um imenso volume de dados tem se tornado disponível on-line. Entretanto, essa informação não segue um padrão de apresentação e não está disponível de maneira estruturada. Devido a isso, tarefas como busca, recuperação, indexação e sumarização automática dessas informações se tornaram problemas importantes, cujas soluções coadunam no sentido de facilitar o acesso a estes conteúdos. Há algum tempo, a maior parte das informações sobre dados multimídia é organizada e classificada com base em informações textuais. A música digital é um dos mais importantes tipos de dados distribuídos na Internet. Existem muitos estudos a respeito da análise de conteúdo de áudio usando diferentes características e métodos. Um componente fundamental para um sistema de recuperação de informações de áudio baseado em conteúdo é um modulo de classificação automática de gêneros musicais. Os gêneros musicais são rótulos categóricos criados por especialistas humanos e por amadores para determinar ou designar estilos de música. Em alguns trabalhos verificou-se que o gênero musical é um importante atributo para os usuários na organização e recuperação de arquivos de música. Este trabalho propõe o uso de características inovadoras para a representação do conteúdo das músicas, obtidas a partir de imagens de espectrograma geradas a partir do sinal do áudio, para aplicação em tarefas de reconhecimento de gêneros musicais. As imagens de espectrograma apresentam a textura como principal atributo visual. Assim, as características propostas foram obtidas utilizando-se alguns descritores de textura propostos na literatura de processamento de imagens, em particular os descritores Local Binary Pattern e Local Phase Quantization, pois ambos se destacaram por apresentar um bom desempenho. Também foram investigados os impactos proporcionados pelo uso de uma estratégia de preservação de informações locais, através do zoneamento das imagens. O zoneamento propiciou a criação de múltiplos classificadores, um para cada zona, e os melhores resultados foram obtidos com a fusão das saídas destes classificadores. A maioria dos experimentos foi realizada sobre a base LMD com o uso de \artist lter". O método também foi experimentado sobre a base ISMIR 2004. Os melhores resultados obtidos são comparáveis aos melhores resultados já apresentados na literatura utilizando outras abordagens. Considerando os experimentos com a base LMD e com o uso de \artist _lter", os resultados obtidos são superiores ao melhor resultado descrito na literatura até então. Finalmente, seleção dinâmica de classificadores e seleção de características foram avaliadas e mostraram resultados promissores.

Abstract: With the rapid expansion of the internet, a huge amount of data from different sources has become available online. In most cases, this information is not organized according to some predefined pattern. Thus, tasks related to automatic search, retrieval, indexing and summarization has become important questions, whose solutions could support the access to this content. For some time, textual annotation is used to organize and classify multimedia data. Digital music is among the most common types of data distributed through the internet. There are a number of studies concerning to audio content analysis using different features and methods. Automatic music genre recognition is a crucial task for a content based music information retrieval system. Musical genres are categorical labels created by humans to characterize pieces of music. A musical genre is characterized by the common characteristics shared by its members. These characteristics typically are related to the instrumentation, rhythmic structure, and harmonic content of the music. In some studies it was found that genre is an important attribute which helps users in organizing and retrieving music _les. In this work we propose an alternative approach for music genre classification which converts the audio signal into a spectrogram (short-time Fourier representation) and then extract features from this visual representation. Texture is the main visual content in a spectrogram image. Thus, the features to be explored here were taken among some well known texture descriptors presented in the image processing literature, in particular Local Binary Pattern and Local Phase Quantization. Both have shown good performance in works related to different application domains recently presented in the literature. In addition, the effects of local information preserving, by zoning the images, were investigated. The rationale behind the zoning and combining scheme is that music signals may include similar instruments and similar rhythmic patterns which leads to similar areas in the spectrogram images. By zoning the images we can extract local information and try to highlight the specificities of each music genre. A positive side effect obtained with zoning strategy is that one can create a specific classifier to deal with the features extracted from each specific zone. Thus, we can naturally obtain several classifiers. Not by chance, the best obtained results happened by combining these classifiers outputs. Most of the experiments was developed ont the LMD dataset using the artist _lter restriction. Some experiments with the ISMIR 2004 dataset were performed as well. With this dataset, the best obtained results are comparable to the best obtained results described in the literature. Regarding to the LMD dataset, the best obtained result is the best ever obtained using artist _lter. Finally, dynamic ensemble of classifiers selection (using KNORA) and feature selection (using genetic algorithm) were tested and presented promising results.