Avatar 3D para síntese automática de sinais da língua de sinais brasileira

Abstract

Resumo: A Libras, Língua de Sinais Brasileira, utilizada por pessoas com deficiência auditiva, tem impulsionado estudos nos mais diversos campos. Na área de tecnologia de informação não e diferente. Para pessoas com esta deficiência, sistemas com representação virtual podem ter seu uso em vários aspectos do cotidiano, servindo de ferramenta para acesso a informações. Os softwares que utilizam um ambiente virtual voltado para línguas de sinais existentes, contudo, são baseados em sinais indivisíveis e não em parâmetros de um modelo computacional, ou mesmo soletração. Assim, os sistemas ficam limitados a uma lista de palavras, ou sinais, prontos. Alem disso, muitos destes softwares são comerciais, e possuem suas bases limitadas, não oferecendo a possibilidade e incremento de elementos na base de conhecimento. Este trabalho apresenta uma nova abordagem na construção de um sistema que utiliza um Avatar 3D para representação da Libras, utilizando entrada baseada em um modelo formal e gerando sinais automaticamente através de um motor gráfico, baseado em parâmetros gerais como as posições e articulações utilizadas e não em sinais completos, possuindo ainda a vantagem de permitir a inclusão de novos sinais e parâmetros. São apresentados conceitos e métodos para criação de um Avatar 3D, o estudo de modelos computacionais para Línguas de Sinais e por fim foi desenvolvido um sistema de síntese que obtêm, a partir de uma entrada externa de dados, um vetor de parâmetros de configuração referentes a elementos de sinais da Libras que são representados pelo Avatar 3D automaticamente. Com isto, este trabalho contribui para o desenvolvimento de um sistema para síntese de sinais em um ambiente virtual sem as limitações apresentadas nos sistemas atuais, contribuindo assim para o desenvolvimento de novas tecnologias para a comunidade surda abordando os conceitos corretos. Os experimentos descritos no trabalho validam o modelo proposto, o qual se apresenta como alternativa promissora na área de síntese de sinais para uso computacional de linguagens como a Libras.

Abstract: The Libras, Brazilian Signal Language, used by deaf people, has driven studies in various fields. In the field of technology of Information is not diferente. For people with this disability, systems with virtual representation may have its use in various aspects daily, serving to tool for accessing information. The software using a virtual environment, oriented for languages existing signals, however, are based on indivisible signals and not in parameters of a computational model. Thus, the systems are dependent on a list of words or signs, ready, and depend on the interaction of a user to select a complete sentence which should represent for the avatar in the virtual environment. Moreover many of these software are commercial, and have limited bases, not offering the possibility of increase the knowledge base. This work presents a new approach to building a system that uses a 3D Avatar for Libras representation using input based on a formal model and automatically generating signals through a graphics engine, general parameters based on the positions and joints used and not on complete signals having the additional advantage of allowing the inclusion of new signals and parameters. Presents concepts and methods for creating a 3D Avatar, the study of computational models for Sign Languages and finally presents a synthesis system that obtains, from an external input data, an array of configuration parameters related to elements which are signs of Libras represented by the 3DAvatar automatically. With this, the work contributes to the development of a system for synthesizing signals in a virtual environment without the limitations presented in current systems, contributing to the development of new technologies for the deaf community covering the correct concepts. The experiments described in the study validate the proposed model, which is presented as a promising alternative in the area of synthesis of signals for computational use of languages like a Libras.