Avaliação de sistema baseado em MapReduce para carregamento de modelos

Abstract

Resumo: O sucesso do desenvolvimento de software baseado em modelos levou ao estudo e aplicação destas técnicas em situações bastante diversas, como migração de sistemas legados, que antes não eram previstas. Isto exigiu a adaptação das técnicas existentes, especialmente em relação as abordagens de armazenamento, porque os frameworks existentes não foram projetados para suportar modelos com tamanho superior a alguns megabytes, isto _e, grandes modelos. Existem alguns trabalhos que já identificaram esse problema, e propõem técnicas mais eficientes para o armazenamento de dados, como grafos, orientado a documentos. Atualmente, o uso de frameworks de processamento de dados distribuídos é uma alternativa comum para análise de dados em grande escala. Porém, estas técnicas são ainda pouco exploradas no contexto de desenvolvimento baseado em modelos. Uma abordagem bastante comum para manipulação de dados, é o MapReduce, que usa técnica baseada em programação funcional para distribuição do processamento. Este trabalho propõem uma solução para implementação e avaliação do MapReduce para o carregamento distribuído de modelos, com o objetivo de melhorar o desempenho. Para distribuir um modelo, é necessário conhecer as dependências dos seus elementos, como classes, atributos e referências, assim pode-se efetuar uma distribuição com maior independência, não comprometendo o processamento. Diferentes modelos podem exigir diferentes divisões, a maneira escolhida para distribuir os elementos é crucial para o desempenho e essas divisões podem alterar consideravelmente o tempo do processo e a quantidade me memória exigida para o mesmo. Este trabalho apresenta uma implementação que integra técnicas de MDE e MapReduce para carregar modelos de maneira distribuída. Escolhemos 4 métodos existentes para carregar e distribuir os elementos de modelos de maneira diferente, escolhemos o método Média das Referências, Média dos Tipos, Tamanho do Modelo e Uma Classe por Divisão.

Abstract: The success of software development based on models led to the study and the application of these techniques in very different situations, as migration from legacy systems that were not previously envisaged, this necessary the adaptation of existing techniques, especially in relation to storage approaches, because the existing frameworks were not designed to support models larger than some megabytes, that is, large models. There are some works that have identified this problem, and they propose techniques for efficient storage, as graphs-oriented documents. Currently, the use of frameworks for distributed data processing is a common alternative for the analysis of large-scale data. However, these techniques are still little explored in the context of model based development. A fairly common approach to data manipulation, is the MapReduce, which uses techniques based on functional programming to Distribution processing. This paper proposes a solution for applying MapReduce to the distributed loading of models, with the aim of improve the performance. To distribute a model, it is necessary to know the dependencies of its elements, such as classes, attributes and references, so one can make a distribution with greater independence, not compromising the processing. Different models may require different splits, the way chosen to distribute the elements is crucial for performance and these splits can change significantly the processing time and the amount of required memory for the same. This paper presents an implementation and evaluation that integrates techniques MDE and MapReduce to load models in a distributed manner. We chose four existing methods to load and distribute the model elements of different ways, chose the method Average of References, Average of Types, Size of the Model and a Class per Division.