Desafios na Avaliação de LLMs : uma abordagem com o framework RAGAS

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorOliveira, Luiz Eduardo Soares de, 1971--
Autor(es): dc.contributorUniversidade Federal do Paraná. Setor de Ciências Exatas. Curso de Especialização em Data Science & Big Data-
Autor(es): dc.creatorOliveira, Victoria Silva-
Data de aceite: dc.date.accessioned2025-09-01T13:29:39Z-
Data de disponibilização: dc.date.available2025-09-01T13:29:39Z-
Data de envio: dc.date.issued2024-10-21-
Data de envio: dc.date.issued2024-10-21-
Data de envio: dc.date.issued2023-
Fonte completa do material: dc.identifierhttps://hdl.handle.net/1884/90367-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/1884/90367-
Descrição: dc.descriptionOrientador: Prof. Luiz Eduardo Soares de Oliveira-
Descrição: dc.descriptionMonografia (especialização) - Universidade Federal do Paraná, Setor de Ciências Exatas, Curso de Especialização em Data Science e Big Data-
Descrição: dc.descriptionInclui referências-
Descrição: dc.descriptionResumo: Este trabalho investigou a eficácia do Retrieval-Augmented Generation (RAG) emaprimorar Large Language Models (LLMs) através do framework Retrieval Augmented Generation Assessment (RAGAS). O objetivo foi avaliar a personalização de LLMs, integrando informações de fontes externas para melhorar a relevância, fidelidade e precisão das respostas geradas. Foram comparados os modelos Falcon 7B, Llama 3 e GPT-3.5 usando um conjunto de artigos presentes no repositório Awesome LLM. Os resultados demonstraramque o modelo Llama 3 superou os outros, sugerindo que o RAG nesse contexto conseguiu aprimorar a performance dos LLMs.-
Descrição: dc.descriptionAbstrac: This work investigated the effectiveness of Retrieval-Augmented Generation (RAG) in improving Large LanguageModels (LLMs) through the Retrieval Augmented Generation Assessment (RAGAS) framework. The aim was to evaluate the personalization of LLMs by integrating information from external sources to improve the relevance, fidelity and accuracy of the answers generated. The Falcon 7B, Llama 3 and GPT-3.5models were compared using a dataset available in the Awesome LLM repository. The results showed that the Llama 3 model outperformed the others, suggesting that the integration of RAG can significantly improve the performance of LLMs.-
Formato: dc.format1 recurso online : PDF.-
Formato: dc.formatapplication/pdf-
Formato: dc.formatapplication/pdf-
Palavras-chave: dc.subjectInteligência artificial-
Palavras-chave: dc.subjectProcessamento de textos (Computação)-
Palavras-chave: dc.subjectAprendizado do computador-
Título: dc.titleDesafios na Avaliação de LLMs : uma abordagem com o framework RAGAS-
Aparece nas coleções:Repositório Institucional - Rede Paraná Acervo

Não existem arquivos associados a este item.