Modelagens de um Data Lake : de dados brutos a área de negócio

Abstract

Resumo : A necessidade de maior velocidade na captação de informações bem como a integridade das informações geradas nas organizações são fatores que crescem de maneira latente dentro das empresas. Os obstáculos vêm desde como e quando captar os dados, passando pela melhor forma de armazená-los, e como conseguir modelar essas informações para passar mensagens claras e assertivas que auxiliem as áreas de Negócio em seu processo decisório. Neste trabalho serão exploradas de maneira detalhada cada uma dessas etapas, partindo de um Data Lake estruturado com dados brutos da área de negócio, que se utilizou de um processo de ELT (Extract, Load and Transform) para a população inicial dos dados. O resultado desse artigo deve servir de suporte para o entendimento das etapas e desafios existentes ao se integrar grandes volumes de dados que são trazidos de maneira bruta de sistemas robustos OLTP (On Line Transaction Processing) e armazenados um data lake, comumente utilizados nas empresas de médio ou grande porte.

Abstract : The need for higher speeds and integrity in data generation on business orgaizations is something that grows exponencially within the companies. The obstacles to do so comes in different forms such as how and when to capture data, the best way to store it and how to model it so it can reflect and comunicate a correct clear message in order to help different business areas in the process of decision making. In this article it will be explored in a detailed matter each and every step of modeling data from a structured Data Lake with raw data from the business areas utilizing an ELT (Extract, Load, Transform) process to begin the process of modeling data. The results of this article should be of support for the understandig of each step of the way and the challenges within the process to connect large volumes of data that are captured in a raw state from robust OLTP ((On Line Transaction Processing ) systems that are commonly used by medium/large size companies and stored into a Data Lake.