• Entrar
    Ver item 
    •   Página inicial
    • BIBLIOTECA DIGITAL: Trabalhos de Especialização
    • Ciências Exatas e da Terra
    • Data Science & Big Data
    • Ver item
    •   Página inicial
    • BIBLIOTECA DIGITAL: Trabalhos de Especialização
    • Ciências Exatas e da Terra
    • Data Science & Big Data
    • Ver item
    JavaScript is disabled for your browser. Some features of this site may not work without it.

    Desafios na Avaliação de LLMs : uma abordagem com o framework RAGAS

    Thumbnail
    Visualizar/Abrir
    R - E - VICTORIA SILVA OLIVEIRA.pdf (270.5Kb)
    Data
    2024
    Autor
    Oliveira, Victoria Silva
    Metadata
    Mostrar registro completo
    Resumo
    Resumo: Este trabalho investigou a eficácia do Retrieval-Augmented Generation (RAG) emaprimorar Large Language Models (LLMs) através do framework Retrieval Augmented Generation Assessment (RAGAS). O objetivo foi avaliar a personalização de LLMs, integrando informações de fontes externas para melhorar a relevância, fidelidade e precisão das respostas geradas. Foram comparados os modelos Falcon 7B, Llama 3 e GPT-3.5 usando um conjunto de artigos presentes no repositório Awesome LLM. Os resultados demonstraramque o modelo Llama 3 superou os outros, sugerindo que o RAG nesse contexto conseguiu aprimorar a performance dos LLMs.
     
    Abstrac: This work investigated the effectiveness of Retrieval-Augmented Generation (RAG) in improving Large LanguageModels (LLMs) through the Retrieval Augmented Generation Assessment (RAGAS) framework. The aim was to evaluate the personalization of LLMs by integrating information from external sources to improve the relevance, fidelity and accuracy of the answers generated. The Falcon 7B, Llama 3 and GPT-3.5models were compared using a dataset available in the Awesome LLM repository. The results showed that the Llama 3 model outperformed the others, suggesting that the integration of RAG can significantly improve the performance of LLMs.
     
    URI
    https://hdl.handle.net/1884/90367
    Collections
    • Data Science & Big Data [138]

    DSpace software copyright © 2002-2022  LYRASIS
    Entre em contato | Deixe sua opinião
    Theme by 
    Atmire NV
     

     

    Navegar

    Todo o repositórioComunidades e ColeçõesPor data do documentoAutoresTítulosAssuntosTipoEsta coleçãoPor data do documentoAutoresTítulosAssuntosTipo

    Minha conta

    EntrarCadastro

    Estatística

    Ver as estatísticas de uso

    DSpace software copyright © 2002-2022  LYRASIS
    Entre em contato | Deixe sua opinião
    Theme by 
    Atmire NV