Uma abordagem de teste de mutação para avaliar a acessibilidade de aplicações Android

Abstract

Resumo: Dispositivos móveis e suas aplicações estão presentes em grande parte das atividades cotidianas e desempenham um papel importante para pessoas com alguma deficiência. No entanto, tornar as aplicações mais acessíveis ainda é um desafio. Para tanto, os desenvolvedores podem recorrer a padrões e diretrizes que sintetizam as melhores práticas em relação ao desenvolvimento de produtos acessíveis. Dentre estes padrões, destaca-se o W3C's Web Content Accessibility Guideline (WCAG). O WCGA é um dos padrões mais populares e engloba várias diretrizes, cada uma relacionada a diferentes critérios de sucesso, agrupados em quatro princípios de acessibilidade. Em suma, WCAG abrange recomendações para tornar produtos digitais mais acessíveis para indivíduos com cegueira, baixa visão, surdez, perda auditiva, limitação de movimento, deficiência na fala, fotossensibilidade, dificuldades de aprendizagem, e limitações cognitivas. Ferramentas automáticas de teste de acessibilidade também podem ajudar na tarefa de tornar as aplicações mais acessíveis, mas apresentam algumas limitações. Elas produzem relatórios sobre falhas de acessibilidade que geralmente cobrem apenas um subconjunto da aplicação, porque são dependentes do conjunto de teste disponível. Com o objetivo de auxiliar no aprimoramento e/ou avaliação dos conjuntos de testes, bem como contribuir para aumentar o desempenho das ferramentas de teste de acessibilidade, este trabalho apresenta AccessibilityMDroid, uma abordagem de teste de mutação. A abordagem inclui: (i) um conjunto de operadores de mutação que descrevem defeitos derivados da negação dos princípios e critérios de sucesso do padrão WCAG; (ii) um processo para analisar os mutantes; e (iii) implementação de uma ferramenta para apoiar o processo proposto. Os resultados da avaliação com sete aplicações de código-aberto mostram que a abordagem é aplicável na prática. No processo de geração, 257 mutantes foram criados. A partir do processo proposto, os conjuntos de teste que acompanham os repositórios das aplicações melhoraram em média 932,8% o número de falhas de acessibilidade reveladas. Palavras-chave: Aplicações Móveis. Teste de Mutação. Android. Acessibilidade.

Abstract: Mobile devices and their applications are present in many everyday activities and play an important role for people with a disability. However, making applications more accessible is still a challenge. To this end, developers can resort to standards and guidelines that summarize best practices regarding the development of accessible products. Among these standards, W3C's Web Content Accessibility Guideline (WCAG) stands out. WCGA is one of the most popular standards, and encompasses several guidelines related to different success criteria, grouped into four principles. In short, WCAG covers recommendations to make digital products more accessible to individuals with blindness, low vision, deafness, hearing loss, movement limitation, speech impairment, photosensitivity, learning difficulties, and cognitive limitations. Automatic accessibility testing tools can also help with the task of making applications more accessible, but they have some limitations. They produce reports on accessibility failures that generally cover only a subset of the application because they are dependent on the available test suite. To assist in the improvement and/or evaluation of test suites and contribute to increasing the performance of the accessibility test tools, this work presents AccessibilityMDroid, a mutation testing approach. The approach includes: (i) a set of mutation operators that describe faults derived from the negation of WCAG principles and success criteria; (ii) a process for analyzing mutants; and (iii) a tool to support the proposed process. The results of the evaluation with seven open source applications show that the approach is applicable in practice. In the process of generation, 257 mutants were created. From the proposed process, the test suites that accompany the application improved on average 932.8 % the number of accessibility flaws revealed. Keywords: Mobile Apps. Mutation Testing. Android. Accessibility