Year: 2025
Type: dissertation
Abstract: Este Trabajo de Fin de Máster investiga la diferencia de rendimiento entre los métodos clásicos de Búsqueda de Respuestas (QA) basados en la recuperación de información (RI) y los enfoques modernos de embeddings y generación para la QA en español, utilizando la colección de la tarea CLEF 2005 QA como punto de referencia histórico. El trabajo persigue tres objetivos: (1) comparar los métodos de recuperación basados en estadísticas de términos (TF, TF-IDF, BM25) con la recuperación de word embeddings (recuperación semántica); (2) contrastar los procesos extractivos basados únicamente en encoders con las arquitecturas de Generación Aumentada por Recuperación (RAG) impulsadas por Modelos de Lenguaje a Gran Escala (LLM) basados únicamente en decoders; y (3) analizar el comportamiento por tipo de pregunta (definición, factual, con restricción temporal) mediante un diseño experimental combinatorio. La configuración experimental comprende 36 ejecuciones que mezclan tres configuraciones con índices FAISS, clasificadores clásicos y varios modelos basados en transformers (como bert-base-spanish, variantes de RoBERTa, Llama-3.1, Qwen2.5 y gemma-2 ). La evaluación utiliza métricas para la RI y las métricas de respuesta automática (coincidencia exacta, F1, BLEU, BERTScore), complementadas con un análisis manual de errores. Las conclusiones principales muestran que los sistemas RAG con recuperación semántica suelen superar a los procesos basados únicamente en encoders para preguntas factuales y temporales, mientras que los sistemas basados únicamente en encoders siguen siendo más eficaces en preguntas de definición en las que la extracción literal y la trazabilidad son importantes; además, ciertas combinaciones de RAG alcanzan un alto rendimiento en la detección de preguntas NIL (sin respuesta). Este trabajo también hace hincapié en que la comparación numérica directa con CLEF 2005 debe realizarse con cautela, ya que la precisión basada en humanos de CLEF no es directamente comparable con la estricta métrica EM utilizada aquí; las métricas semánticas (F1, BERTScore) ayudan a salvar esa diferencia.
Source: UNED repository
Author: Dueñas Romero, Sara
Language: Spanish
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7154199014