Towards Enhancing Domain Generalization in Image Retrieval Systems for Evaluating Aesthetic Outcomes of Breast Surgery
Year: 2025
Type: dissertation
Abstract: ResumoO cancro da mama é o tipo de cancro mais comum entre as mulheres, com cerca de 2.3 milhões de novos casos diagnosticados todos os anos.O tratamento frequentemente requer uma intervenção cirúrgica, que pode alterar significativamente a estética dos seios da paciente.A qualidade de vida da paciente está fortemente ligada aos resultados estéticos da cirurgia, pelo que é crucial que as pacientes tenham uma noção realista dos resultados que podem esperar desta.Atualmente, os médicos baseiam-se na seleção manual de casos anteriores para ilustrar os potenciais resultados a novas pacientes, um processo demorado e propenso a erros devido à dificuldade de encontrar correspondências próximas.Este trabalho focou-se na melhoria da previsão dos resultados estéticos da cirurgia do cancro da mama utilizando uma abordagem de Content-Based Image Retrieval (CBIR).Para o isso, vários modelos CBIR de última geração foram avaliados, com os Vision Transformers (ViTs) a superarem consistentemente as Convolutional Neural Networks (CNNs) e as suas versões B-cos.Em particular, o Global Context Vision Transformer (GC ViT) e o Dual Attention ViT (DaViT) surgiram como os modelos com melhor desempenho, captando eficazmente as dependências de longo alcance e as caraterísticas locais da imagem.Para aumentar o desempenho, a aprendizagem em conjunto foi testada e afinada utilizando diferentes métodos de concatenação e estratégias de formação.Os melhores conjuntos utilizaram uma camada de projeção única ou um Multi-Layer Perceptron (MLP) de 2 camadas para combinar as caraterísticas dos modelos individuais, utilizando modelos individuais totalmente treináveis.O melhor conjunto obteve uma melhoria evidente em relação ao melhor modelo individual, comprovando a eficácia da aprendizagem em conjunto.Para o catálogo Excelente/Bom, o desempenho melhorou de 75.11% de Contrastive Accuracy (CAcc) teste e 78.44% de Adjusted Discounted Cumulative Gain (ADCG) teste para 77.67% de CAcc teste e 80.31% de ADCG teste.Para o conjunto Razoável/Fraco, os resultados aumentaram de 76.65% CAcc test e 80.18% ADCG teste para 80.14% CAcc teste e 80.63% ADCG teste.No entanto, apesar da melhoria dos resultados, o desempenho da CBIR manteve-se consistentemente abaixo dos 82% tanto no CAcc como no ADCG, sugerindo potenciais limitações nas capacidades de aprendizagem do modelo.Testes de explicabilidade revelaram que os modelos de CBIR se concentravam não só nos seios, como também em regiões irrelevantes.Para colmatar este problema e garantir o foco nas regiões relevantes da imagem, foi aplicado um passo de segmentação da mama antes da extração de caraterísticas.Embora a segmentação tenha tido um bom desempenho geral, foi aplicado um passo de pós-processamento dedicado a atenuar os erros mais comuns.Mesmo utilizando os dados de segmentação pós-processados, o desempenho da busca de imagens continuou a ser claramente inferior ao obtido com as imagens originais, o que sugere que as pistas contextuais são essenciais para o desempenho da busca.Para dar aos modelos uma compreensão mais contextual, foram aplicadas uma caixa delimitadora e uma caixa delimitadora i ii expandida à volta das máscaras dos seios.Esta abordagem conduziu a um aumento claro do desempenho, ultrapassando na maioria dos casos os resultados de busca de imagem obtidos com as imagens originais.Por exemplo, para o GC ViT com a caixa delimitadora expandida obteve 75.89%CAcc teste e 81.17% ADCG teste no conjunto Excelente/Bom, em comparação com 75.11%CAcc teste e 78.44% ADCG teste obtidos utilizando as imagens originais.No conjunto Razoável/Fraco, a caixa delimitadora expandida alcançou 77.30% CAcc teste e 79.80% ADCG teste, enquanto as imagens originais produziram 76.65% CAcc teste e 80.18% ADCG teste.A estratégia final combinou os 3 melhores modelos (GC ViT, DaViT e BEiT) com um MLP de 2 camadas em imagens de caixa delimitadora expandida, atingindo o melhor desempenho geral com 77.67% CAcc teste e 82.55% ADCG teste (Excelente/Bom) e 84.98% CAcc teste (Razoável/Fraco, apesar de uma ligeira queda no ADCG para 78.64%).Estes resultados representam uma melhoria substancial face aos modelos individuais e aos conjuntos treinados com imagens originais, demonstrando a importância do pré-processamento e da otimização de conjuntos de modelos.Estes resultados confirmam a importância de manter um equilíbrio entre a exclusão de regiões irrelevantes da imagem e a preservação de contexto suficiente para suportar uma busca de imagens precisa, para além de combinar os pontos fortes de diferentes modelos individuais.O sistema proposto não só faz avançar os métodos de CBIR para a estética médica, como também fornece uma estrutura robusta para melhorar o desempenho da recuperação através de um pré-processamento direcionado e da otimização de conjuntos.
Author: Pedro Miguel Sousa Ferreira
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7112226722