Análise de mutantes e critérios restritos no contexto de teste de software : resultados de uma avalição empírica

Abstract

Resumo: A utilização dos produtos de software em praticamente todas as áreas da atividade humana tem gerado uma crescente demanda por qualidade e produtividade. Nesse sentido, a atividade de teste se tomou fundamental. Vários critérios de teste, baseados em diferentes princípios, têm sido propostos nos últimos anos com o objetivo de auxiliar na geração de conjuntos de dados de teste assim como na avaliação da adequação desses conjuntos. Entre esses, destacam-se os critérios estruturais, o critério baseado em erros, Análise de Mutantes e os Critérios Restritos que utilizam restrições para derivar os testes. Estudos teóricos e empíricos comparando esses critérios têm sido realizados com o objetivo de se obter uma estratégia de aplicação de baixo custo e alta eficácia. Eles são geralmente realizados considerando os fatores: custo, em termos do número de casos de teste necessários; eficácia, em termos de número de erros revelados e strength (dificuldade de satisfação). Os Critérios Estruturais e os Critérios Restritos são incomparáveis com o Critério Análise de Mutantes do ponto de vista teórico e apenas estudos empíricos podem mostrar a relação entre esses critérios. Este trabalho apresenta os resultados de uma avaliação empírica para comparação do critério Análise de Mutantes e o Critério Restrito, Todos-Potenciais-Usos Restritos, considerando os fatores acima mencionados. Esses resultados apontam uma relação empírica que é utilizada para propor uma estratégia de aplicação de diferentes critérios de teste. Para a aplicação do Critério Análise de Mutantes - um estudo sobre mutantes equivalentes, um problema da atividade de teste, foi realizado. Além dos resultados teóricos desse estudo, também são apresentados resultados empíricos sobre mutantes equivalentes. Esses resultados podem auxiliar na implementação de mecanismos para reduzir o efeito desse problema durante o teste.

Abstract: The use of software products in most areas of human activities has generated a growing interest in software quality assurance. In this sense, the testing activity is fundamental. Several testing criteria, based on different principles, have been proposed during recent years aiming at test data set generation as well at the adequacy analysis of these sets. Structural criteria, Mutation Analysis - an error based criterion, and Constraint Based Criteria are examples of testing criteria. Theoretical and empirical studies comparing these criteria have been accomplished with the goal of obtaining an economical and efficient strategy. They are generally conducted considering the factors: cost - number of test cases, efficacy - number of revealed errors and strength. The Mutation Analysis and Constraint Based criteria are theoretically incomparable; only empirical studies can point out the relationship between these criteria. This work presents the results from an empirical evaluation aimed at comparing the Mutation Analysis and All-Constrained-Potential-Uses criteria considering the above mentioned factors. The obtained results show an empirical relationship between the criteria, which is used as a basis of strategy proposed for application of the different testing criteria. During Mutation Analysis criterion application, a study about equivalent mutants, a problem for the testing activity, was performed. Theoretical and empirical results with respect to equivalent mutants, obtained from this study and from the empirical evaluation, are also presented. These results can used to support the implementation of mechanisms to reduce the effect of this testing problem.