Memorial de projetos : proposta de aplicação de chatbot utilizando IA generativa, prompts dinâmicos e rag

Abstract

Resumo: A utilização de IA generativa em aplicações de chatbot tem um grande um potencial de trazer uma experiência de usuário muito mais elevada do ponto de vista de fluidez da conversa ao comparar com chatbots mais tradicionais que normalmente se atêm a um tipo de script rígido com respostas padronizadas. Ao utilizar um modelo de LLM, como por exemplo o GPT-4o-mini da OpenAI, é possível simular um tipo de conversação mais próximo da humana o que abre as possibilidades de aplicação desses bots em diversas áreas como suporte técnico e vendas de produtos. A combinação de uma LLM com um chatbot apresenta diversos desafios como ter um modelo treinado e com o devido conhecimento do negócio para que consiga, de fato, atingir o objetivo proposta que, de forma genérica, pode se resumir em atender à pessoa usuária que está o utilizando. Existem vários processos que podem ser aplicados para se ter um modelo devidamente apto para atendimento ao público, sendo que os principais são: treinamento (fine tuning), prompt engineering e Retrieval Augmented Generation. Esse trabalho apresenta uma proposta de implementação de uma solução que combina alguns modelos (aqui chamados IAs auxiliares) com uma IA principal, aplicando dynamic prompting e RAG para geração de respostas mais precisas e contextualizadas para cada caso específico de uma pessoa usuária do chatbot

Abstract: The use of generative AI in chatbot applications has great potential to provide a much better user experience in terms of conversation fluidity when compared to more traditional chatbots that typically stick to a rigid script with standardized responses. By using an LLM model, such as OpenAI's GPT-4o-mini, it is possible to simulate a type of conversation that is closer to human, which opens up the possibilities of applying these bots in various areas such as technical support and product sales. The combination of an LLM with a chatbot presents several challenges, such as having a trained model with the necessary knowledge of the business so that it can, in fact, achieve the proposed objective, which, in general terms, can be summarized as serving the user who is using it. There are several processes that can be applied to have a model that is properly suited to customer service, the main ones being: training (fine tuning), prompt engineering and Retrieval-Augmented Generation. This work presents a proposal for implementing a solution that combines some models (here called auxiliary AIs) with a main AI, applying dynamic prompting and RAG to generate more precise and contextualized responses for each specific case of a person using the chatbot