Construção de um sistema de dados com a modern data stack para democratização do acesso a informações

Abstract

Resumo: A crescente demanda por autonomia analítica nas empresas tem impulsionado a adoção de arquiteturas modernas orientadas a dados. Nesse contexto, a Modern Data Stack (MDS) surge como um modelo modular e escalável baseado em tecnologias cloud, permitindo substituir o processo tradicional de ETL por ELT e aproximando o trabalho de transformação dos times de negócio. Este estudo apresenta um estudo de caso aplicado em uma empresa do setor de varejo alimentício com mais de 200 unidades franqueadas, no qual foi implementado um sistema de Self-Service Business Intelligence utilizando ferramentas como Erathos, BigQuery, dbt, dbt Cloud, GitHub e Looker. A arquitetura adotou princípios de modelagem dimensional (Kimball), governança de dados e práticas de Analytics Engineering. Como resultado, observou-se um aumento significativo da autonomia das áreas de negócio na criação de dashboards, redução de 70% nos custos de processamento analítico e maior padronização e governança dos dados. Os resultados demonstram que a MDS, quando combinada a boas práticas de engenharia de software, viabiliza BI descentralizado sem perda de qualidade e com ganho de velocidade analítica

Abstract: The increasing demand for analytical autonomy within organizations has driven the adoption of modern data-oriented architectures. In this scenario, the Modern Data Stack (MDS) emerges as a modular, scalable and cloud-based architecture, enabling the shift from traditional ETL to ELT and bringing data transformation closer to business teams. This study presents an applied case study in a food retail franchise company with more than 200 units, where a Self-Service Business Intelligence environment was implemented using tools such as Erathos, BigQuery, dbt, dbt Cloud, GitHub and Looker. The architecture followed dimensional modeling principles (Kimball), data governance practices and Analytics Engineering concepts. The implementation resulted in a significant increase in business user autonomy for dashboard creation, a 70% reduction in analytical processing costs, and improved data standardization and governance. The findings demonstrate that MDS, when combined with software engineering best practices, enables decentralized BI without compromising data quality while accelerating analytical delivery