Automatização da evolução de esquemas em ferramentas de transporte de dados para data warehouse

Abstract

Resumo: A diversidade de bases de dados encontradas nas empresas vem criando um dos desafios mais importantes na área de Bancos de Dados. Este desafio é o de tomar interoperáveis as diversas bases de dados existentes nestas empresas. Uma forma de conseguir a interoperabilidade dos dados é através da criação de um esquema integrado a partir dos sistemas aplicativos operacionais, tais como Recursos Humanos, Contabilidade, Contas a Pagar, entre outros. O conjunto de todos estes sistemas permite criar um ambiente integrado e consolidado de informações da empresa. Este tipo de ambiente têm como característica a contínua evolução dos diversos modelos de dados dos sistemas que participam da consolidação como fornecedores de informações. Este trabalho estuda o processo de administração do transporte contínuo de dados para um ambiente consolidado e o controle automático da evolução dos esquemas que participam da integração, visando a criação de um ambiente de data warehouse. Buscou-se uma solução através do desenvolvimento de um modelo de dados, o qual chamamos de "integrador". Com base neste modelo foi construída uma ferramenta para administrar e automatizar todo o movimento de informações sobre mudanças nos modelos, informações estas que caracterizam a evolução dos modelos. Para dar maior independência na solução e padronizar a comunicação entre modelos, foi utilizado XML na formatação dos arquivos e nas mensagens entre esquemas. Para testar a ferramenta e o modelo "integrador" proposto, desenvolveu-se um projeto piloto de data warehouse simulando um ambiente do setor bancário.

Abstract: The database's diversity in corporations generates one of the most important challenges in the area of databases. This challenge is to reach the interoperability among the several existent databases in these companies. A form of getting the communication of the data is through the creation of an integrated schema starting from the systems operational applications, such as Human Resources, Accounting, Accounting Payable, among others. The set of all these systems allow to create an environment integrated and consolidated of the company information. This type of environment has as characteristic the continuous evolution of the diverse system data models that participate in the consolidation as supplying of information. This work studies the process management of the continuous carrier of data for a consolidated environment and the automatic control of the evolution of the projects that participate in the integration, aiming at the creation a data warehouse environment. A solution was searched through the development of a data model that we call "integrator". Based in this model, a tool was built to accomodate the legacies databases schema evolution. To give greater independence in the solution and to standardize the communication among models, XML was used in the formatting of the archives and the messages among schémas. To test the tool and the model "integrator", we developed a prototype of data warehouse simulating an environment in a Business Bank.