Reconhecimento de símbolos de configuração de mão do SignWriting

Abstract

Resumo: Apesar de a surdez ser um fator limitante para a comunicação de um indivíduo, as comunidades surdas têm conseguido manter intra-relações através da utilização das línguas de sinais, no Brasil representadas pela LIBRAS. Apesar de permitirem a troca de informações de forma pessoal, as línguas de sinais apresentam restrições com relação à documentação por meio escrito ou impresso, devido a diferenças estruturais com relação a idiomas baseados em fonética. O SignWriting é uma notação que surgiu com o objetivo de preencher esta lacuna e tem tido aceitação em diversas comunidades surdas, permitindo a representação "textual" de informações produzidas de forma espacial. Atualmente, há elevada carência de estudos e aplicações de informática que visem otimizar a utilização dessa notação por parte de seus conhecedores. Este trabalho objetiva elaborar um método que realize a identificação de símbolos de configuração de mão descritos pelo SignWriting, através de técnicas de reconhecimento de padrões. O método proposto visa identificar símbolos dados como entrada dentre um conjunto de 103 símbolos de configuração de mão válidos, previamente selecionados de acordo com a relevância de suas características estruturais, utilizando diferentes técnicas e estratégias para a classificação, como Máquinas de Vetores de Suporte (SVM), aprendizagem profunda, combinação de classificadores e verificação de resultados de classificação. Experimentos realizados mostraram que a combinação de classificadores via regra do produto obteve os melhores resultados dentre todas as estratégias testadas, atingindo taxas de reconhecimento de 94,65% em top 1 e 98,74% em top 2, e 94,75% em top 1 após realizar a etapa de verificação.

Abstract: Although deafness be a limiting factor for communication of an individual, the deaf communities have managed to maintain intra-relationships through the use of sign languages, which, in Brazil, are represented by LIBRAS. However, although they allow the exchange of information personally, sign languages have restrictions regarding the documentation by written or printed ways due to structural differences from phonetic based languages. SignWriting is a notation that was meant to fill this gap, which has been accepted in many deaf communities, allowing the \textual" representation information produced in the spatial form. Currently, there is high lack of studies and computer applications aiming the optimization of the use of such notation. This work aims to develop a method that performs the identification of hand configuration symbols described by SignWriting through pattern recognition techniques. The proposed method aims to identify input symbols as being one among 103 valid hand configuration symbols, which were previously selected according to the relevance of their structural characteristics, by using various techniques and strategies for classification, as Support Vector Machines (SVM), deep learning, combination of classifiers and verification of classification results. Experiments have shown that the combination of classifiers using the product rule achieved the best results among all tested strategies, achieving recognition rates of 94.65% on top 1 and 98.74% on top 2, and 94.75% on top 1 after performing the verification step.