Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos

Abstract

Resumo: Os sistemas MapReduce facilitam a utilização de um grande número de máquinas para processar uma grande quantidade de dados, e têm sido utilizados por diversas aplicações, que incluem desde ferramentas de pesquisa até sistemas comerciais e financeiros. Uma das principais características dos sistemas MapReduce é abstrair problemas relacionados ao ambiente distribuído, tais como a distribuição do processamento e a tolerância a falhas. Com isso, torna-se imprescindível garantir a dependabilidade dos sistemas MapReduce, ou seja, garantir que esses sistemas funcionem corretamente mesmo na presença de falhas. Por outro lado, a falta de determinismo de um ambiente distribuído e a falta de confiabilidade do ambiente físico, podem gerar erros nos sistemas MapReduce que sejam difíceis de serem encontrados, entendidos e corrigidos. Esta tese apresenta a primeira abordagem conhecida para o teste de dependabilidade para sistemas MapReduce. Este trabalho apresenta uma definição para o teste de dependabilidade, uma modelagem do mecanismo de tolerância a falhas do MapReduce, um processo para gerar casos de falha representativos a partir de um modelo, e uma plataforma de teste para automatizar a execução de casos de falha em um ambiente distribuído. Este trabalho ainda apresenta uma nova abordagem para modelar componentes distribuídos usando redes de Petri. Essa nova abordagem permite representar a dinâmica dos componentes e a independência de suas ações e estados. Resultados experimentais são apresentados e mostram que os casos de falha gerados a partir do modelo são representativos para o teste do sistema Hadoop, principal implementação de código aberto do MapReduce. Através dos experimentos, diversos erros são encontrados no Hadoop, e os resultados também comprovam que a plataforma de teste automatiza a execução dos casos de falha representativos. Além disso, a plataforma apresenta as propriedades requeridas para uma plataforma de teste, que são a controlabilidade, medição temporal, não-intrusividade, repetibilidade, e a eficácia na identificação de sistemas com erros.

Abstract: MapReduce systems allow the use of a large number of machines to process a big amount of data, and have been used for several applications, ranging from search engines to financial and commercial systems. A key feature of MapReduce systems is abstract distributed environment issues, such as fault tolerance and processing distribution. Thus, it is essential to ensure the dependability of MapReduce systems, i.e., ensure that these systems can execute correctly and without interruption, even in the presence of failures. On the other hand, the lack of determinism in a distributed environment and the lack of reliability of physical environments may cause errors in MapReduce systems that are dificult to find, to define and to correct. This thesis presents the first known approach to the dependability test of MapReduce systems. This work presents a dependability testing definition, a MapReduce fault tolerance mechanism model, a process to generate representative fault cases from the model, and a testing framework to automate the execution of the fault cases in a distributed environment. This work also presents a new approach to model distributed components using Petri nets. The new approach allows representing the dynamic of the components and the independence of their actions and states. Experimental results are presented and show that the generated fault cases are representative to test the Hadoop system, that is the main MapReduce open source implementation. Several errors are identified and the experiments also confirmed that the testing framework automates the execution of representative fault cases. Furthermore, the presented framework includes the required properties for a testing platform, that are: controllability, time measurement, nonintrusiveness, repeatability, and the effectiveness in the identification of system errors.