Year: 2026
Type: dissertation
Abstract: Actualmente, el correo electrónico es uno de los medios de comunicación más utilizados, pero cuando queremos hacer una búsqueda en el mismo nos encontramos con un problema recurrente, y es que por culpa de la metodología utilizada para esas búsquedas en muchas de las ocasiones no conseguimos encontrar lo que buscamos. Este problema se debe a que al hacer búsqueda por palabras clave en cuanto se parafrasea o se utilizan símiles se pierde la información, ya que no se tiene en cuenta el contexto. EmRAGE favorece que esa búsqueda sea más sencilla, precisa, y que de vuelva la respuesta en lenguaje natural para así facilitar la comprensión y optimizar las búsquedas. Se ha desarrollado un sistema de búsqueda funcional, basado en embeddings y técnicas de recuperación RAG (Retrieval-Augmented Generation), ejecutable en UNIX y con un cuidado especial por la protección de la privacidad. El sistema mediante la búsqueda semántica y la generación de respuestas en lenguaje natural ofrece una búsqueda más sencilla, más intuitiva y que devuelva mejores resultados, permitiendo al usuario que mediante consultas en lenguaje natural pueda extraer la información que busca en sus correos electrónicos sin necesidad de conectarse a servicios externos. El sistema incluye desde la extracción en local de los correos, el preprocesamiento de los correos, chunking, vectorización mediante embeddings, almacenamiento y búsqueda en bases de datos vectoriales, filtrado de contactos con NER (Named Entity Recognition) y por último la generación de respuestas mediante un LLM. EmRAGE mediante la CLI (Interfaz de Línea de Comandos) permite tanto indexar como consultar, evaluar e incluso abrir el correo deseado en la propia aplicación de Thunderbird. El sistema puede extraer, indexar y devolver la información de cualquier cliente de correo electrónico que guarde los emails en local, pero para poder visualizarlos en el propio cliente debe ser mediante el programa de Thunderbird. A su vez, incluye un módulo para poder comparar modelos de embeddings mediante un benchmarking. Para comprobar que las técnicas, modelos y procedimientos utilizados son los correctos se han desarrollado varias pruebas de evaluación automática sobre un banco de pruebas construido a partir del dataset Enron, combinándolo con diversos correos sintéticos, creados a mano y creados por otro LLM de mayor tamaño, para así poder medir de forma objetiva con métricas las características del sistema. Por un lado, utilizamos las medidas de precisión con distintos tamaños para evaluar los modelos de embeddings y el tamaño óptimo de los chunks para conseguir el equilibrio entre rendimiento y capacidad de recuperación. Por otro lado, para la evaluación de la calidad de la respuesta generada hemos diseñado un procedimiento automático con un LLM juez que evalúa al LLM ligero y cataloga la respuesta como correcta o incorrecta siguiendo distintas directrices y comparándolo con una respuesta de ejemplo que sacamos del gold standard. Estas mediciones han permitido tanto evaluar con métricas la fase de recuperación como cualitativamente la fase de generación. ABSTRACT Currently, email is one of the most used means of communication, but when we want to perform a search within it, we encounter a recurring problem: due to the methodology used for these searches, on many occasions we fail to find what we are looking for. This problem is due to the fact that when searching by keywords, information is lost when paraphrasing or using similes, since context is not taken into account. EmRAGE tries to make that search simpler, more precise, and to return the response in natural language to facilitate understanding and optimize searches. A functional search system has been developed, based on embeddings and RAG (Retrieval-Augmented Generation) techniques, executable on UNIX and with special care for privacy protection. Through semantic search and natural language response generation, the system offers a simpler, more intuitive search that returns better results, allowing the user to extract the information they seek from their emails through natural language queries without the need to connect to external services. The system includes everything from local email extraction, email preprocessing, chunking, vectorization through embeddings, storage and search in vector databases, contact filtering with NER (Named Entity Recognition), and finally, response generation through an LLM. EmRAGE, through the CLI (Command Line Interface), allows for indexing as well as querying, evaluating, and even opening the desired email in the Thunderbird application itself. The system can extract, index, and return information from any email client that stores emails locally, but to be able to view them within the client itself, it must be through the Thunderbird program. Additionally, it includes a module to compare embedding models through benchmarking. To verify that the techniques, models, and procedures used are correct, several automatic evaluation tests have been developed on a dataset built from the Enron data set, combining it with various synthetic emails—created by hand and created by another larger LLM—to objectively measure the system’s characteristics with metrics. On one hand, we use precision measures at different sizes to evaluate the embedding models and the optimal chunk size to achieve a balance between performance and retrieval capability. On the other hand, for the evaluation of the generated response quality, we have designed an automatic procedure with an LLM judge that evaluates the lightweight LLM and catalogs the response as correct or incorrect following different guidelines and comparing it with an example response taken from the gold standard. These measurements have allowed for both the metric evaluation of the retrieval phase and the qualitative evaluation of the generation phase
Language: Spanish
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7135524606