Year: 2024
Type: dissertation
Abstract: Este estudio explora la extracción de datos fenotípicos y tipos semánticos TUI de textos sobre enfermedades utilizando ChatGPT con diversas técnicas de ingeniería de prompts. Se procesaron cien textos de enfermedades de Wikipedia con múltiples prompts para extraer tanto manifestaciones fenotípicas como entidades TUI. Los resultados se estructuraron y compararon con el benchmark de MetaMap DISNET, calculando las métricas de precisión, recall y F1 mediante técnicas de NLP y BioBERT para la coincidencia automática de términos. El estudio evalúa diferentes estrategias de prompts para mejorar el procesamiento de textos biomédicos. Los prompts más simples, enfocados en la extracción de “Manifestaciones Fenotípicas”, obtuvieron el mejor rendimiento, con una puntuación F1 de 0.60, aunque aún por debajo del benchmark de MetaMap DISNET. En contraste, los prompts más complejos que utilizaban diccionarios de entidades o pasos de explicación llevaron a una menor precisión y recall. La inclusión de la palabra clave "manifestaciones" mejoró el recall, mientras que técnicas como los ejemplos de una sola vez (one-shot) y el encadenamiento de prompts tuvieron poco impacto. El análisis por categoría de enfermedad no mostró diferencias significativas, lo que sugiere la necesidad de conjuntos de datos más grandes. En general, los prompts sencillos, aquellos que sintetizan la información, demostraron ser más efectivos para extraer tanto datos fenotípicos como entidades TUI, mientras que los métodos más complejos dificultaron el rendimiento. ABSTRACT This study explores the extraction of phenotypical data and TUI semantic types from disease texts using ChatGPT with various prompt engineering techniques. One hundred Wikipedia disease texts were processed with multiple prompts to extract both phenotypical manifestations and TUI entities. The results were structured and compared against the DISNET MetaMap benchmark, with precision, recall, and F1 scores calculated using NLP and BioBERT techniques for automatic term matching. The study evaluates different prompt strategies to improve biomedical text processing. Simpler prompts focused on extracting "Phenotypical Manifestations" performed best, achieving an F1 score of 0.60, though still below the DISNET MetaMap benchmark. In contrast, complex prompts using entity dictionaries or explanation steps led to lower precision and recall. Including the keyword "manifestations" improved recall, while techniques like one-shot examples and prompt chaining had little effect. Disease category analysis showed no significant differences, indicating the need for larger datasets. Overall, straightforward prompts, those which synthetize the information, proved more effective in extracting both phenotypical data and TUI entities, while complex methods hindered performance.
Author: Palacios Jaén, Marcel Luis
Language: English
Subfield: Health Informatics
Field: Medicine
Domain: Health Sciences
Open Access status: green
OpenAlex ID: W7026542648