Reconhecimento de gestos de maestro utilizando redes neurais artificiais parcialmente recorrentes

Abstract

Resumo: Os gestos de um maestro têm o objetivo de guiar outros músicos de uma orquestra na execução de uma música. Tempo, dinâmica e expressão são algumas das responsabilidades do maestro na música. Para que os gestos possam ser identificados pelos outros músicos eles seguem uma gramática definida. Nesta pesquisa foram realizados testes utilizando métodos computacionais para fazer o reconhecimento de tempo, dinâmica e gestos de expressão de ambas as mãos. Tempo e dinâmica foram extraídos usando análise da velocidade vertical da mão. O sistema de reconhecimento de gestos de maestro foi implementado utilizando redes neurais parcialmente recorrentes do tipo Elman e T-CombNET após um estágio de processamento de imagem. Os resultados são comparados com os obtidos utilizando classificador baseado em HMM (Hidden Markov Models).

Abstract: The conducting gestures have the goal to lead the musicians in a music execution. Tempo, dynamic and expression are some of the conducting responsibilities in the music. To be recognized by the musician, the gestures follow well defined grammatical rules.In this research, tests were done using computational methods to recognize the conducting gestures, as tempo, dynamic and expressive gestures from both hands. Taking advantage of image processing, tempo and dynamic were extracted using analysis of the vertical velocity from the right hand. The conducting gesture recognition system was implemented using Elman and T-CombNET neural network structure after an image processing stage and a comparison have been done with a system based on HMM (Hidden Markov Models).