Desenvolvimento de um chatbot inteligente baseado em arquiteturas de LLM para a estimativa de precipitação por satélite
Year: 2026
Type: report
Abstract: Em dois meses, esse trabalho se propôs a avaliar um sistema que disponibiliza um grande modelo de linguagem (LLM) para conversar com o usuário, ou seja um chatbot, com arquitetura avançada de retrieval-augmented-generation (RAG) com a possibilidade de uso de 4 diferentes técnicas. Cada uma dessas técnicas poderia ser usada em conjunto ou isoladamente, dependendo da escolha do usuário. Esse sistema foi planejado para ser alimentado com documentos sobre estimativa de chuva por satélite e atuar dentro desse domínio. Buscando uma compreensão aprofundada do projeto, dividiu-se a avaliação na etapa de busca e na etapa de geração. Para a avaliação da busca usou-se a métrica mean reciprocal rank (MRR), recall@4 e rank médio. Para a avaliação da geração usou-se o framework BERT-score para obter a métrica faithfulness que quantifi ca a semelhança semântica entre a resposta do modelo e a resposta certa. Os resultados obtidos mostram que o sistema consegue, na maioria das vezes, buscar as informações relevantes para responder as questões do usuário e produzir respostas corretas. No entanto, o uso de LLMs pequenos afeta muito a eficiência das técnicas avançadas, resultando em buscas de qualidade semelhante ou inferior ao uso tradicional de RAG. ABSTRACT: Over the course of two months, this work set out to evaluate a system that provides a large language model (LLM) to converse with the user, that is, a chatbot, featuring an advanced retrieval-augmented generation (RAG) architecture with the option to use four different techniques. Each of these techniques could be used either in combination or individually, depending on the users choice. This system was designed to be fed with documents on satellite rainfall estimation and to operate within that domain. To achieve a deep understanding of the project, the evaluation was divided into the retrieval stage and the generation stage. For the retrieval evaluation, mean reciprocal rank (MRR), recall@4, and average rank were used. For the generation evaluation, the BERTscore framework was used to obtain the faithfulness metric, which quantifi es the semantic similarity between the models answer and the correct answer. The results obtained show that the system succeeds, most of the time, in retrieving relevant information to answer user questions and producing correct responses. However, the use of small LLMs sig- nifi cantly impacts the effectiveness of advanced techniques, resulting in search quality that is similar to or lower than that of traditional RAG usage.
Language: Portuguese
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7204738783