Year: 2025
Type: dissertation
Abstract: Esta dissertação aborda o desafio de conjuntos de dados das imagens de Tomografia de Coerência Óptica B-scan (OCT-B) limitados e desbalanceados, que restringem a capacidade de generalização de modelos de aprendizagem profunda em oftalmologia.Para superar este problema, exploramos a integração de imagens OCT-B sintéticas geradas com modelos de difusão para potenciar o RETFound, um foundation model para a previsão de doenças da retina.O Stable Diffusion foi ajustado (fine-tuned) para gerar imagens sintéticas de OCT-B condicionadas por prompts textuais, utilizando rótulos de doenças e atributos de qualidade da imagem, enquanto o ControlNet permitiu o condicionamento espacial e a incorporação de biomarcadores morfológicos, como drusas e fluido retiniano nos prompts textuais.A qualidade dos dados sintéticos foi avaliada com Improved Precision (IP), Improved Recall (IR), Autenticidade e Fréchet Inception Distance (FID), complementados por análises de distribuição baseadas em UMAP.O RETFound foi depois ajustado em três regimes: apenas real, real + sintético e apenas sintético.Os resultados mostram que o Stable Diffusion obteve forte capacidade de recuperação (IR = 0.5262) e elevada autenticidade (0.9594), mas precisão limitada (IP = 0.2808).O ControlNet aumentou a diversidade, mas reduziu ainda mais a precisão, com a geração texto-para-imagem a alcançar IR (0.7742) e IP (0.0192), e a geração imagem-para-imagem IR (0.6298) e IP (0.0985).A análise de UMAP e FID entre doenças (ViT-L-32) revelou dificuldade em distinguir Normal, AMD Dry e AMD Wet, devido à sobreposição de características morfológicas em estágios transitórios da doença e a exames OCT-B de indivíduos doentes que, quando não centrados na mácula, se assemelham a uma morfologia saudável.Importa salientar que o modelo apenas com dados reais (baseline) alcançou acurácia (0.6821), F1-score (0.6980) e ROC AUC (0.8217).A inclusão de amostras sintéticas imagem-para-imagem melhorou o desempenho do RETFound, atingindo a maior acurácia (0.7417), F1-score (0.7524) e ROC AUC (0.8994).Mesmo o treino apenas com dados sintéticos imagem-para-imagem obteve um elevado ROC AUC (0.9219).Em contraste, a utilização de dados texto-para-imagem produziu apenas ganhos modestos (acurácia 0.6904, F1-score 0.7019, ROC AUC 0.8519), sublinhando o maior valor da síntese condicionada por imagem.Estes resultados demonstram o potencial dos modelos de difusão para enriquecer conjuntos de dados OCT-B e permitir o desenvolvimento de sistemas de IA mais robustos e generalizáveis para a deteção de doenças da retina.
Author: Bruno Soares de Castro
Language: English
Topic: Retinal Imaging and Analysis
Subfield: Radiology, Nuclear Medicine and Imaging
Field: Medicine
Domain: Health Sciences
Open Access status: green
Funder: Universidade do Porto
OpenAlex ID: W7112271610