Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada

Abstract

Resumo: A comunicação verbal é essencial para a socialização, construção e compartilhamento de conhecimento em uma sociedade. Pessoas que apresentam comprometimento de fala podem apresentar dificuldades de interação e aprendizagem, convivência familiar, entre outras situações que podem levar a problemas emocionais, sociais e cognitivos. Muitas vezes, essas pessoas também apresentam comprometimento motor associado, o que dificulta ainda mais sua capacidade de interagir com outras pessoas e com o ambiente em que estão inseridas. A Comunicação Aumentativa e Alternativa (CAA) é uma área de pesquisa que envolve o uso de modos não orais como complemento ou substituto da linguagem falada, aumentando a interação comunicativa de indivíduos sem oralidade. A CAA suportada por sistemas de Visão Computacional (VC) pode se beneficiar do reconhecimento dos movimentos funcionais restantes do usuário como uma abordagem alternativa de design de interação. Nesta tese, é apresentada uma nova metodologia, chamada MyPGI (Methodology to yield Personalized Gestural Interaction), construída para guiar o projeto de sistemas de CAA para pessoas com dificuldades motora e de fala, usando técnicas de VC e Aprendizado de Máquina para possibilitar interação gestual personalizada e não-invasiva. Muitos dos trabalhos existentes na literatura concentram-se em situações e características específicas, oferecendo pouca ou nenhuma flexibilidade para as pessoas com deficiência e seus diferentes contextos de uso, exigindo, portanto, que as pessoas se adaptem ao sistema em vez de adaptar o sistema às diferentes necessidades dos usuários. A metodologia MyPGI foi empregada no desenvolvimento de um sistema de CAA, chamado PGCA (Personal Gesture Communication Assistant), usando uma abordagem de baixo custo, em experimentos conduzidos com voluntários, incluindo alunos com dificuldades motora e de fala. Os resultados obtidos com os experimentos e também com entrevistas e avaliação de usabilidade conduzidas com profissionais da área de educação especial indicam a viabilidade da metodologia proposta e do sistema desenvolvido, além de agregar conhecimento sobre os desafios e necessidades específicas do público-alvo. A principal contribuição científica desta tese é, portanto, a definição da metodologia MyPGI, com o objetivo de promover maior autonomia para usuários de sistemas computacionais que possuem dificuldade motora e de fala e para seus cuidadores. A contribuição tecnológica desta tese se refere à produção de um sistema de CAA como uma forma de aplicação da metodologia proposta. Palavras-chave: Visão Computacional, Interação Humano-Computador, Comunicação Aumentativa e Alternativa, Tecnologia Assistiva, Aprendizado de Máquina

Abstract: Verbal communication is essential for socialization, building and sharing knowledge in society. People with speech impairment may experience difficulties in interaction and learning, family life, among other situations that can lead to emotional, social, and cognitive problems. Often, these people also have associated motor impairment, which further hinders their ability to interact with other people and the environment in which they are inserted. Augmentative and Alternative Communication (AAC) is a research area that involves the use of non-oral modes as a complement or substitute for spoken language, increasing the communicative interaction of individuals without orality. The AAC supported by Computer Vision (CV) systems can benefit from the recognition of the user's remaining functional movements as an alternative design approach to interaction. In this thesis, a new methodology, named MyPGI (Methodology to yield Personalized Gestural Interaction), is presented, built to guide the design of AAC systems for people with motor and speech difficulties, using CV techniques and Machine Learning to enable personalized and non-invasive gestural interaction. Many of the works in the literature focus on specific situations and characteristics, offering little or no flexibility for people with disabilities and their different contexts of use, thus requiring people to adapt to the system instead of adjusting the system to different user needs. The MyPGI methodology was used in the development of an AAC system, named PGCA (Personal Gesture Communication Assistant), employing a low-cost approach, in experiments conducted with volunteers, including students with motor and speech difficulties. The results obtained with the experiments and also with interviews and usability evaluation conducted with professionals from the Special Education area indicate the feasibility of the proposed methodology and the system developed, in addition to adding knowledge about the specific challenges and needs of the target audience. The main scientific contribution of this thesis is, therefore, the definition of the MyPGI methodology, to promote greater autonomy for users of computer systems that have motor and speech difficulties and for their caregivers. The technological contribution of this thesis refers to the production of an AAC system as a way of applying the proposed methodology. Keywords: Computer Vision, Human-Computer Interaction, Augmentative and Alternative Communication, Assistive Technology, Machine learning