Ferramenta computacional para treinamento no reconhecimento e produção de expressões faciais por autistas

Abstract

Resumo: Estudos mostram que a incidência do Transtorno do Espectro Autista (TEA) vem crescendo na população mundial, e medidas estão sendo tomadas para ampliar a atenção ao tratamento deste transtorno. Indivíduos com TEA apresentam limitações em diversas atividades, prejudicando a sua autonomia e sociabilidade. Um exemplo é a dificuldade em reconhecer e expressar emoções através da face, o que costuma tornar menos adaptativas e funcionais suas relações sociais. Este trabalho apresenta o desenvolvimento uma ferramenta computacional para treinamento das habilidades de reconhecimento e produção de expressões faciais por autistas. Inicialmente, efetuou-se uma revisão de literatura sobre a temática, com o objetivo de obter uma visão sistemática dos trabalhos publicados. Os vinte e um trabalhos encontrados foram avaliados sob seis critérios, resultando em quatro melhorias apontadas para novas ferramentas. Estas melhorias foram consideradas no design da ferramenta desenvolvida, que conta com duas atividades: reconhecimento de expressões faciais e produção de expressões faciais. No reconhecimento, um conteúdo multimídia principal (imagem, vídeo ou áudio) é apresentado, sendo que os usuários devem reconhecer qual a expressão facial associada ao conteúdo apresentado. Na produção, é apresentada uma imagem de uma expressão facial, sendo que o usuário deve imitar esta expressão facial em sua própria face. Enquanto o usuário efetua as atividades, serão coletados e analisados quatro tipos de dados: erros e acertos dos pacientes, tempo para finalizar as atividades, vídeo do usuário e rastreamento ocular do mesmo. Para verificar usabilidade da ferramenta desenvolvida, foi efetuado um experimento com dez crianças autistas de dois centros, CENEP-HC e AMA de Jaraguá do Sul. Neste experimento, as crianças deveriam executar trinta atividades, sendo vinte e quatro de reconhecimento e seis de produção de expressões faciais. Os dados de usabilidade comprovam que os usuários conseguiram efetuar com sucesso as atividades propostas pela ferramenta. Os vídeos obtidos nas atividades de produção foram arquivados em uma base de dados multimodal (2D, 3D e IR) de expressões faciais. Nos dados coletados, observa-se uma tendência na assertividade e rapidez dos usuários no reconhecimento de expressões positivas (felicidade) em comparação com expressões negativas (raiva e nojo). Baseado nestes resultados, são discutidos desafios e estudos futuros utilizando a ferramenta desenvolvida. Palavras-chave: autismo, expressões faciais, computação visual.

Abstract: Studies show that the incidence of Autism Spectrum Disorder (ASD) is growing in the world population, and measures are being taken to increase the attention to the treatment of this disorder. Individuals with ASD have limitations in several activities, undermining their autonomy and sociability. One example is the difficulty in recognizing and producing emotions through the face, which often makes their social relationships less adaptive and functional. This paper presents the development of a computational tool for training the recognition and production of facial expressions by individuals with autism. Initially, we performed a literature review of the topic, in order to obtain a systematic overview of the published works. The twenty-one articles found were evaluated based on six criteria, resulting in four improvements for new works in the area. These improvements were considered in the design of the developed tool. Two activities were included in the tool: recognition of facial expressions and production of facial expressions. In recognition, the main multimedia content (image, video or audio) is displayed, and users need to recognize the facial expression associated with the content. In production, an image of a facial expression is shown, and the user must produce that expression on her face. While the user performs the activities, the tool collects and analyzes four types of data: wrong and correct answers, time to complete the activities, video of the user and gaze tracking. To check the usability of the tool developed, an experiment was performed with ten autistic children from two centers, CENEP-HC and AMA Jaragua do Sul. In the experiment, children should execute thirty activities: twenty-four to recognize facial expressions and six to produce facial expressions. The collected usability data shows that users were able to successfully perform the activities proposed by the tool. The videos obtained while users produce facial expressions were organized in a multimodal (2D, 3D, and IR) database of facial expressions. The data collected shows a tendency similar to previous studies about the difference in assertiveness and speed when recognizing positive expressions (e.g. happiness) compared to negative expressions (e.g. anger and disgust). Based on these results, future studies using the developed tool are discussed. Keywords: autism, facial expressions, visual computing.