Método para detecção de movimentos auxiliares de clarinetistas baseado em visão computacional

Abstract

Resumo: Este trabalho propõe um método para detecção de movimentos auxiliares espontâneos de clarinetistas durante a execução de uma peça musical a partir da análise dos vídeos obtidos durante essas apresentações, utilizando técnicas e algoritmos de visão computacional. Durante a execução de uma música, pode-se observar toda uma gesticulação produzida pelo instrumentista. Além dos movimentos que geram a música, há outros diversos gestos que não são diretamente responsáveis pela produção do som, mas que são encontrados durante o processo. Estes movimentos são chamados gestos auxiliares. Neste trabalho propõe-se uma metodologia baseada apenas na análise de vídeo através de algoritmos de visão computacional, que é capaz de indicar a ocorrência de movimentos auxiliares específicos. O estudo levou à união de técnicas como subtração de fundo, rastreamento de pontos, projeções de perfil e limiarização, que somadas a filtros espaciais e cálculos matemáticos possibilitaram a avaliação de movimentos sobre uma base de dados de nove vídeos com apresentações de clarinetistas em estúdio. O método proposto atingiu cerca de 70% de taxa de acerto na detecção de movimentos de dobra de joelhos, 75% na identificação de movimentos pendulares de clarinete e mais de 80% na avaliação de movimentos das costas.

Abstract: This work aims at developing an automatic method for the detection of clarinetists' ancillary gestures by analyzing videos from musical performances using computer vision techniques and algorithms. Apart from gestures used for the generation of sound in acoustic musical instruments, performers produce several other gestures that are not directly responsible for the production of sound, but that are often found in performances. These gestures have been called ancillary gestures. This research proposes a methodology that is able to indicate the occurrence of these specific gestures, based only on computer vision algorithms. The study led to the combination of techniques such as background subtraction, tracking points, projection profiles and thresholding, which when used with spatial filters and mathematical calculations allowed the evaluation of movements in a database comprised of nine videos. The proposed method reached 70% accuracy in detecting movements of bending knees, 75% in the clarinet bell and more than 80% in the evaluation of back curling gestures.