Year: 2024
Type: dissertation
Abstract: El Trabajo Fin de Máster presentado se centra en el desarrollo de un sistema de búsqueda semántica utilizando la metodología de Generación Aumentada por Recuperación (Retrieval-Augmented Generation, RAG) para los documentos del Boletín Oficial de la Universidad de La Laguna (BOULL). El objetivo principal es mejorar la precisión y relevancia de la información recuperada, facilitando así el acceso a la información por parte de los usuarios. Para lograr este objetivo, se ha implementado un pipeline de procesamiento de datos que incluye la segmentación de documentos en chunks de contexto, la generación de representaciones vectoriales mediante modelos de lenguaje pre entrenados y el almacenamiento de estas representaciones en una base de datos vectorial, ChromaDB. El sistema de recuperación de información utiliza técnicas avanzadas de cálculo de distancias para identificar los fragmentos de texto más relevantes, los cuales son posteriormente utilizados como contexto por un modelo de IA Generativa para generar respuestas precisas y coherentes a las consultas de los usuarios. La evaluación del sistema se ha llevado a cabo mediante un conjunto de preguntas diseñadas para probar tanto la calidad de la recuperación de información como la capacidad del modelo generativo para proporcionar respuestas útiles. Los resultados obtenidos demuestran que el enfoque propuesto mejora significativamente la precisión y relevancia de la información recuperada, destacando la efectividad de la metodología RAG en este contexto. Este trabajo no solo aporta una solución técnica al problema de recuperación de información en documentos oficiales, sino que también proporciona una base sólida para futuras investigaciones y desarrollos en el campo del procesamiento del lenguaje natural aplicado a la gestión de información en administraciones públicas. ABSTRACT The presented Master’s Thesis focuses on the development of a semantic search system utilizing the Retrieval-Augmented Generation (RAG) methodology for the documents of the Official Bulletin of the University of La Laguna (BOULL). The primary objective is to improve the precision and relevance of the retrieved information, thereby facilitating access to information for users. To achieve this goal, a data processing pipeline has been implemented, including the segmentation of documents into contextual chunks, the generation of vector representations using pre-trained language models, and the storage of these representations in a vector database, ChromaDB. The information retrieval system employs advanced distance calculation techniques to identify the most relevant text fragments, which are then used as context by a Generative AI model to produce accurate and coherent responses to user queries. The system evaluation was conducted using a set of questions designed to test both the quality of information retrieval and the generative model’s ability to provide useful responses. The results demonstrate that the proposed approach significantly improves the precision and relevance of the retrieved information, highlighting the effectiveness of the RAG methodology in this context. This work not only offers a technical solution to the problem of information retrieval in official documents but also provides a solid foundation for future research and developments in the field of natural language processing applied to information management in public administrations.
Author: Hernández Suárez, Adrián
Language: Spanish
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7052599136