Work

Generating Synthetic Clinical Data in European Portuguese Using an Open-Source Large Language Model

Year: 2025
Type: dissertation
Abstract: Tirar partido de avanços recentes nas tecnologias clínicas de Inteligência Artificial (IA) depende muito da disponibilidade de datasets de dados clínicos de alta qualidade.No entanto, dados clínicos reais são difíceis de obter devido a questões de privacidade e restrições legais.Como tal, línguas como o português europeu ficaram para trás em termos de investigação.Dados sintéticos têm sido investigados recentemente como um meio de substituir dados reais no desenvolvimento de modelos de IA e na investigação em geral.Esta dissertação investiga a viabilidade de gerar um dataset de notas clínicas sintéticas em português europeu usando um modelo de linguagem de grande escala de código aberto, com o objetivo de mitigar as limitações desta língua e contribuir para uma investigação clínica de IA mais inclusiva.Foi desenvolvida uma abordagem completa para a geração, anotação e avaliação de um dataset de notas clínicas sintéticas em português europeu, ao qual demos o nome de LusoClin.A geração incluiu a seleção e o pré-processamento de dados clínicos reais para auxiliar na geração de dados, fine-tuning do modelo Llama 3.2 (com 3 mil milhões de parâmetros e instruction-tuning) utilizando Quantized Low-Rank Adaptation, e engenharia de prompts para gerar as notas clínicas.As notas sintéticas resultantes foram automaticamente anotadas usando um modelo BERT e avaliadas em quatro características: utilidade, fidelidade, diversidade e privacidade.A avaliação foi realizada utilizando métodos humanos e automáticos.Os resultados indicam que, embora o LusoClin tenha um valor razoável, a qualidade das notas clínicas sintéticas tem muito espaço para melhorias.Os resultados dos métodos de avaliação automáticos foram promissores, mas os avaliadores humanos foram frequentemente capazes de distinguir as notas sintéticas das reais, e inconsistências estruturais e semânticas, bem como erros médicos, foram recorrentes.Não obstante, o LusoClin tem potencial para ser útil no desenvolvimento de modelos clínicos de IA em português europeu e em qualquer outra investigação que requeira dados textuais clínicos não estruturados.Além disso, a abordagem que desenvolvemos e descrevemos para esta tarefa e a nossa investigação exaustiva sobre a capacidade do modelo utilizado para gerar conteúdo clínico em português europeu podem ser valiosas para futuras investigações de natureza semelhante.O LusoClin e outros resultados relevantes desta dissertação estão disponíveis publicamente num repositório do INESC TEC [37].Trabalhos futuros devem ter como objetivos experimentar diferentes modelos de linguagem de grande escala de código aberto, fortalecer metodologias de avaliação e explorar diferentes técnicas de fine-tuning e engenharia de prompts para melhorar a qualidade da produção sintética clínica.
Author: Daniel Filipe Souto Félix
Language: English
Field: Medicine
Open Access status: green
OpenAlex ID: W7113568411
Cites: 144
Cited by:
Related to: 10