Test data generation for testing mapreduce systems

Abstract

Resumo: 1.1 Motivação. MapReduce [13] tornou-se o padrão de industrial para processamento paralelo de grandes conjuntos de dados. Grandes companhias e institutos de pesquisa utilizam esse framework para processarem seus dados. Como para qualquer outro software, teste pode ser utilizado para avaliar a qualidade de aplicações MapReduce, chamadas jobs. Porém, jobs MapReduce trabalham com grandes quantidades de dados, e gerar dados de teste relevantes que possam revelar problemas na qualidade desses jobs é uma grande dificuldade. Algumas ferramentas de teste para jobs MapReduce estão disponíveis [1, 2, 18]. Entretanto, nenhuma delas gera dados de teste. 1.2 Contribuíção. O trabalho apresentado aqui contribui para o estabelecimento de técnicas sistemáticas de teste para jobs MapReduce, atráves das seguintes propostas: modelos de falha que focam em problemas de design em separar uma tarefa entre funções Map e Reduce; uma técnica automática de busca para gerar dados de teste que objetivam essas falhas; uma série de experimentos que ilustram a dificuldade de detectar essas falhas e a capacidade da nossa solução em gerar dados de teste relevantes.

Abstract: MapReduce is a framework for parallel processing large data sets, which is largely adopted for complex web applications and data processing. The framework proposes a simple interface, based on two high-order functions, allowing the rapid development of large-scale distributed software. Among the many aspects of MapReduce software development, producing reliable, correct and efficient software is an obvious target. We present an automatic test data generation and qualification approach for MapReduce applications, also called jobs. This approach uses an evolutionary algorithm to generate the test data and proposes domain-specific mutation operators to evaluate the quality of the data through mutation analysis. We validated this framework through implementation and experimentation on different MapReduce jobs.