Desafios na Avaliação de LLMs : uma abordagem com o framework RAGAS

Abstract

Resumo: Este trabalho investigou a eficácia do Retrieval-Augmented Generation (RAG) emaprimorar Large Language Models (LLMs) através do framework Retrieval Augmented Generation Assessment (RAGAS). O objetivo foi avaliar a personalização de LLMs, integrando informações de fontes externas para melhorar a relevância, fidelidade e precisão das respostas geradas. Foram comparados os modelos Falcon 7B, Llama 3 e GPT-3.5 usando um conjunto de artigos presentes no repositório Awesome LLM. Os resultados demonstraramque o modelo Llama 3 superou os outros, sugerindo que o RAG nesse contexto conseguiu aprimorar a performance dos LLMs.

Abstrac: This work investigated the effectiveness of Retrieval-Augmented Generation (RAG) in improving Large LanguageModels (LLMs) through the Retrieval Augmented Generation Assessment (RAGAS) framework. The aim was to evaluate the personalization of LLMs by integrating information from external sources to improve the relevance, fidelity and accuracy of the answers generated. The Falcon 7B, Llama 3 and GPT-3.5models were compared using a dataset available in the Awesome LLM repository. The results showed that the Llama 3 model outperformed the others, suggesting that the integration of RAG can significantly improve the performance of LLMs.