Hadooptest : um controlador de testes para sistemas baseados em mapreduce

Abstract

Resumo: O MapReduce (MR) e uma das soluções mais populares na área de processamento de dados em grande escala. Os sistemas baseados em MapReduce frequentemente são implantados sobre agrupamentos de computadores, onde falhas acontecem constantemente, devido a defeitos de software, problemas de hardware e interrupções. Testar sistemas baseados em MapReduce é difícil, uma vez que é necessário um grande esforço do controlador de testes para executar casos de teste distribuídos em ambientes com a presença de falhas. Neste trabalho, apresentamos uma nova solução de testes para resolver isso, que foi chamada de HadoopTest. Esta solução baseia-se em uma abordagem de controle escalável, onde um coordenador gerência diversos testadores distribuídos, que controlam os componentes do MR. Os testadores podem simular falhas sobre os componentes do MR e monitorar suas execuções. O HadoopTest foi utilizado para testar duas aplicações distribuídas juntamente com o Hadoop (i.e., a implementação MapReduce de código aberto mantida pela fundação Apache). Nossos experimentos apresentaram resultados promissores, sendo que o HadoopTest conseguiu coordenar casos de teste distribuídos, injetar falhas nos componentes do MR e encontrar alguns defeitos de software que foram propositalmente inseridos.

Abstract: MapReduce (MR) is one of the most popular solution on large-scale data processing area. The MR-based systems are often deployed over clusters of computers, where failures happen constantly due to bugs, hardware problems, and outages. Testing MR-based systems is hard, since it is needed a great eort of test controller to execute distributed test cases upon failures. In this work, we present a novel testing solution to tackle this issue called HadoopTest. This solution is based on a scalable control approach, where a coordinator manages many distributed testers which control the MR components. Testers are allowed to simulate failures on MR components and monitor their behavior. HadoopTest was used to test two applications bundled into Hadoop (i.e., a open source MapReduce implementation mantained by Apache Foundation). On our experiments HadoopTest was able to coordinate distributed test cases, inject faults on MR components and nd some bugs which were purposely inserted.