Year: 2024
Type: dissertation
Abstract: Introducción: El manejo de grandes volúmenes de datos es un desafío clave en la investigación biomédica. Los grafos de conocimiento permiten integrar información heterogénea y descubrir relaciones entre entidades biomédicas. Sin embargo, su explotación requiere conocimientos avanzados en lenguajes como SPARQL, lo que dificulta su acceso. Para abordar esta limitación, los LLMs surgen como una solución prometedora, al transformar preguntas en lenguaje natural en consultas SPARQL. Su integración con grafos de conocimiento puede simplificar la extracción de información, reducir barreras técnicas y facilitar el descubrimiento de nuevas asociaciones biomédicas. Esta investigación busca desarrollar una metodología que optimice su uso en biomedicina Objetivos: El presente trabajo tiene como objetivo general desarrollar y comparar los enfoques de ingeniería de prompts y fine tuning en el LLM Llama para la conversión de preguntas en lenguaje natural a consultas SPARQL, para facilitar el acceso al repositorio RDF BioGateway. Como objetivos específicos se incluyen analizar los grafos presenten en BioGateway, analizar las capacidades y limitaciones del LLM LlaMa base, diseñar y evaluar estrategias de ingeniería de prompt, implementar un proceso de fine tuning, comparar la sintaxis y la semántica de las consultas SPARQL generadas con la ingeniería de prompts y con fine tuning. Metodología y desarrollo: El estudio utilizó el modelo LLaMA 3.1 8B para evaluar dos técnicas de optimización en la conversión de preguntas en lenguaje natural a consultas SPARQL. Se desarrolló en cuatro fases: primero, se analizó la estructura de BioGateway para comprender su organización. Luego, se evaluó el desempeño del modelo base sin entrenamiento, verificando la sintaxis y ejecución de las consultas generadas. Posteriormente, se aplicó la ingeniería de prompts, diseñando cuatro versiones con distintas maneras de proporcionar la estructura de la base de datos y ejemplos de consultas. A continuación, se realizó el fine tuning, entrenando el modelo con 50 preguntas y sus respectivas consultas SPARQL. Finalmente, se compararon ambas técnicas para determinar cuál ofrece mejores resultados en la conversión de preguntas en lenguaje natural a consultas estructuradas. Resultados: Las pruebas realizadas evidenciaron una mejora significativa en ambas técnicas en comparación con el modelo base. La mejor versión de ingeniería de prompts destacó la importancia de un prompt claro, con instrucciones precisas y un esquema de la base de datos en texto plano. Por otro lado, el fine tuning demostró ser más eficaz en la generación de consultas a partir de preguntas complejas, gracias a la solidez del dataset utilizado en el entrenamiento. Conclusiones: Se cumplieron los objetivos propuestos, confirmando la importancia de comprender previamente la estructura de la base de datos, lo que a su vez permitió definir las estrategias de entrenamiento del LLM. Los resultados evidenciaron que ambas técnicas mejoran el desempeño del LLM. En el caso de la ingeniería de prompts, se destacó la necesidad de diseñar prompts robustos con instrucciones claras, mientras que para el fine tuning, se identificó la importancia de contar con datasets de entrenamiento suficientemente amplios para que el modelo aprenda la tarea específica. En cuanto al rendimiento, el fine tuning se muestra como una alternativa eficaz para responder preguntas complejas.
Author: Granda Ferro, Javier
Language: Spanish
Subfield: Health Informatics
Field: Medicine
Domain: Health Sciences
Open Access status: green
OpenAlex ID: W7135467669