Memorial de projetos : a integração de modelos de linguagem em arquiteturas de dados modernas - aplicações em documentos textuais

Abstract

Resumo: A produção crescente de dados não estruturados, especialmente documentos como contratos, relatórios e faturas, exige soluções capazes de transformar texto em informação estruturada. Nesse cenário, o Processamento de Linguagem Natural (NLP) e os Grandes Modelos de Linguagem (LLMs) têm ganhado destaque por automatizar tarefas como extração de campos, classificação e sumarização de documentos. Este parecer técnico analisa a integração de LLMs em arquiteturas modernas de dados, como data lakes e lakehouses, e o papel de frameworks e serviços de nuvem na operacionalização de pipelines de Machine Learning. São apresentados exemplos práticos de aplicação, como inserção de documentos contábeis em sistemas digitais, triagem de relatórios e uso de técnicas de Retrieval-Augmented Generation (RAG) em FAQs corporativos. Também são discutidos desafios técnicos, incluindo viés algorítmico, custos computacionais e governança da informação. Conclui-se que a união entre infraestrutura de dados e LLMs representa avanço significativo para a transformação digital, oferecendo ganhos de eficiência e competitividade

Abstract: The growing production of unstructured data, especially documents such as contracts, reports, and invoices, demands solutions that can transform text into structured information. In this context, Natural Language Processing (NLP) and Large Language Models (LLMs) have become essential tools for automating tasks like field extraction, classification, and summarization. This technical report examines the integration of LLMs into modern data architectures, such as data lakes and lakehouses, and the role of frameworks and cloud services in enabling Machine Learning pipelines. Practical applications are presented, including accounting document input into digital systems, report triage, and the use of Retrieval-Augmented Generation (RAG) in corporate FAQs. Key challenges are also discussed, such as algorithmic bias, computational costs, and information governance. The study concludes that combining data infrastructure with LLMs is a significant step in digital transformation, generating efficiency and competitiveness