Reconhecimento das configurações de mão da LIBRAS a partir de malhas 3D

Abstract

Resumo: O reconhecimento automático de sinais e um processo importante para uma boa utilização dos meios de comunicacão digitais por deficientes auditivos e, alem disso, favorece a comunicacao entre surdos e ouvintes que nao compreendem a língua de sinais. A abordagem de reconhecimento de sinais utilizada neste trabalho baseia-se nos parâmetros globais da LIBRAS - língua brasileira de sinais: configuracão de mão, locacao ou ponto de articulaçao, movimento, orientacao da palma da mao e expressão facial. A uniao de parâmetros globais forma sinais assim como fonemas formam palavras na língua falada. Este trabalho apresenta uma forma de reconhecer um dos parâmetros globais da LIBRAS, a configuracão de mao, a partir de malhas tridimensionais. A língua brasileira de sinais conta com 61 configuracoes de mao[16], este trabalho fez uso de uma base de dados contendo 610 vídeos de 5 usuarios distintos em duas tomadas, totalizando 10 capturas para cada configuracao de mao. De cada vídeo foram extraídos manualmente dois quadros retratando as visoes frontal e lateral da mao que, após segmentados e pré-processados, foram utilizados como entrada para o processamento de reconstrucao 3D. A geracao da malha 3D a partir das visães frontal e lateral da mão foi feita com o uso da tecnica de reconstruçao por silhueta[7]. O reconhecimento das configuracoes de mao a partir das malhas 3D foi feito com o uso do classificador SVM - Support Vector Machine. As características utilizadas para distinguir as malhas foram obtidas com o metodo Spherical Harmonics[25], um descritor de malhas 3D invariante à rotacao, translacao e escala. Os resultados atingiram uma taxa de acerto media de 98.52% com Ranking 5 demonstrando a eficiencia do metodo.