Generación automática de preguntas y respuestas realistas para la evaluación de modelos RAG
Year: 2025
Type: dissertation
Abstract: El trabajo se enfoca en desarrollar un sistema que automatice la generación de conjuntos de preguntas y respuestas realistas para evaluar modelos de RetrievalAugmented Generation (RAG). Los modelos RAG mejoran la precisión de los LLMs incorporando segmentos de texto relevantes antes de la generación de respuestas. Sin embargo, evaluar estos modelos requiere datasets de calidad que actualmente son creados manualmente, lo que implica un alto costo de tiempo y esfuerzo. Partiendo de la hipótesis inicial de que, al emplear preguntas reexpresadas con un lenguaje más natural y cercano al habla cotidiana, alejado de la formulación sintética y técnica propia de los documentos de referencia, se degradaría el rendimiento de los sistemas RAG, puesto que estos dependen en buena medida de coincidencias léxicas y sintácticas muy específicas para recuperar la información. Dicha hipótesis surge de la observación de que una reformulación “humana” introduce variaciones en la selección de vocabulario y en la estructura de la oración que pueden dificultar la identificación de pasajes exactos en el corpus, afectando por tanto la eficacia de la recuperación y la generación de respuestas literales. A partir de esa hipótesis, el objetivo de este trabajo es diseñar un método de generación automática de preguntas y respuestas en español, basado en LLMs más asequibles y accesibles para la comunidad científica, que logre una formulación más natural sin sacrificar la calidad ni la relevancia de los datos generados. Se pretende, en definitiva, validar si es posible balancear la cercanía al habla humana con las exigencias de precisión de un sistema RAG, de manera que el conjunto resultante permita evaluar modelos de forma más eficiente y realista. ABSTRACT The work focuses on developing a system that automates the generation of realistic question and answer sets to evaluate Retrieval-Augmented Generation (RAG) models. RAG models improve the accuracy of LLMs by incorporating relevant text segments prior to answer generation. However, evaluating these models requires quality datasets that are currently created manually, which entails a high cost of time and effort. Starting from the initial hypothesis that, by using questions re-expressed in a more natural language closer to everyday speech, away from the synthetic and technical formulation of reference documents, the performance of RAG systems would be degraded, since they depend to a large extent on very specific lexical and syntactic matches to retrieve the information. This hypothesis arises from the observation that a “human” reformulation introduces variations in vocabulary selection and sentence structure that may make it difficult to identify exact passages in the corpus, thus affecting retrieval efficiency and the generation of literal responses. Based on this hypothesis, the aim of this work is to design a method of automatic generation of questions and answers in Spanish, based on LLMs more affordable and accessible to the scientific community, which achieves a more natural formulation without sacrificing the quality and relevance of the data generated. The aim is to validate whether it is possible to balance the closeness to human speech with the accuracy requirements of a RAG system, so that the resulting set allows to evaluate models in a more efficient and realistic way.
Source: Hispana
Author: García García, Alberto
Language: Spanish
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W6991328474