Ferramenta de descoberta e exploração de dados ambientais com respostas a Prompts utilizando modelos de linguagens avançados
Year: 2025
Type: report
Abstract: O Instituto Nacional de Pesquisas Espaciais (INPE) produz e integra grandes volumes de dados ambientais, cuja exploração depende de ferramentas capazes de responder, em linguagem natural, a perguntas técnicas sobre os conjuntos de dados. Neste trabalho, correspondente à segunda fase de uma Iniciação Científica, desenvolveu-se um assistente especializado em metadados do repositório Atmospheric Radiation Measurement (ARM), destinado à integração com a plataforma DataMap. A partir de 663 arquivos de metadados no formato JSON-LD do observatório Southern Great Plains, construiu-se um pipeline modular que coleta e organiza os dados, computa estatísticas e índices do corpus, monta um glossário técnico do domínio (com definições curadas e automáticas) e gera um conjunto de cerca de 30 mil pares pergunta-resposta em português, incluindo exemplos negativos que ensinam o modelo a recusar perguntas cuja informação não está disponível. Sobre esse corpus, realizou-se o ajuste fino (fine-tuning) do modelo meta-llama/Llama-2-7b-chat-hf com adaptadores LoRA (rank 16) e quantização em 4 bits (QLoRA). O modelo foi avaliado de forma sistemática sobre um benchmark anotado, com métricas automá- ticas estratificadas por categoria, atingindo BLEU de 43,2, ROUGE-L de 0,56, F1 de tokens de 0,55 e acurácia de recusa de 0,83. Os resultados evidenciaram forte desempenho em definições conceituais, recusa a perguntas fora de escopo e reco- mendação de conjuntos de dados, e delimitaram como principal limite a recordação exata de fatos únicos por identificador, comportamento característico do fine-tuning que fundamenta, de forma justificada, a adoção futura de Geração Aumentada por Recuperação (RAG). O sistema foi disponibilizado por meio de uma API RESTful com transmissão de respostas em tempo real e de uma interface web de conversação alinhada à identidade visual do DataMap, confirmando a viabilidade da solução como mediadora semântica entre pesquisadores e dados ambientais. ABSTRACT: The National Institute for Space Research (INPE) produces and integrates large volumes of environmental data whose exploration depends on tools able to answer, in natural language, technical questions about the datasets. In this work, corresponding to the second phase of an undergraduate research project, we developed an assistant specialized in metadata from the Atmospheric Radiation Measurement (ARM) repository, intended for integration with the DataMap platform. From 663 JSON-LD metadata files of the Southern Great Plains observatory, we built a modular pipeline that collects and organizes the data, computes corpus statis- tics and indexes, assembles a domain-specific technical glossary (with curated and automatic definitions), and generates a set of about 30 thousand question-answer pairs in Portuguese, including negative examples that teach the model to refuse questions whose information is not available. On this corpus, we fine-tuned the meta-llama/Llama-2-7b-chat-hf model with LoRA adapters (rank 16) and 4-bit quantization (QLoRA). The model was systematically evaluated on an annotated benchmark, with automatic metrics stratied by category, reaching a BLEU of 43.2, ROUGE-L of 0.56, token-level F1 of 0.55, and refusal accuracy of 0.83. The results showed strong performance on conceptual definitions, refusal of out-of-scope questions, and dataset recommendation, and identified as the main limitation the exact recall of unique facts per identifier, a behavior characteristic of fine-tuning that provides a well-founded justification for the future adoption of Retrieval-Augmented Generation (RAG). The system was made available through a RESTful API with real-time response streaming and a web conversational interface aligned with the DataMap visual identity, confirming the solutions feasibility as a semantic mediator between researchers and environmental data.
Authors: Souza, Eduardo Ribeiro do Amparo Rodrigues de, Calheiros, Alan James Peixoto, Corrêa, Pedro Luiz Pizzigatti
Language: Portuguese
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7009784282