Work

Deep learning for semantic segmentation in multimodal medical images : application on brain tumor segmentation from multimodal magnetic resonance imaging

Year: 2022
Type: dissertation
Abstract: Apprentissage profond pour la segmentation sémantique d'images médicales multimodales : applications à la segmentation des tumeurs cérébrales à partir d'images IRM multimodales Dans cette thèse, nous développons quatre méthodes de segmentation des tumeurs cérébrales à partir d'images IRM multimodales, basées sur l'apprentissage profond. Les deux premières méthodes se concentrent sur la segmentation tumorale avec des modalités complètes. Tandis que les deux dernières méthodes réalisent la segmentation lorsque certaines modalités sont manquantes. Nous présentons d'abord le premier réseau de neurones profond pour la segmentation d'images multimodales de tumeurs cérébrales. Celui-ci est basé à la fois sur un mécanisme d'attention afin de fusionner les images multimodales et sur une contrainte liée au contexte afin de limiter la région de la segmentation. Compte tenu qu'il existe une corrélation entre les modalités, nous proposons une seconde méthode exploitant cette corrélation multimodale dans l'espace des caractéristiques latentes, à l'aide d'un modèle non linéaire et de la divergence de KL, dans le but de fusionner les images de manière efficace. Cette méthode innovante utilise un bloc de fusion à « triple attention », qui comprend un module d'attention basé sur les modalités, un autre basé sur l'espace spatial, et un troisième basé sur la corrélation multimodale. Il est fréquent que certaines modalités soient manquantes en pratique clinique. Nous proposons donc deux méthodes permettant la segmentation de tumeurs cérébrales avec des modalités manquantes. Nous exploitons à nouveau la corrélation entre les modalités afin de conserver les informations des images manquantes. Dans notre première méthode, le réseau est entraîné avec la totalité des modalités à l'aide de la corrélation multimodale. Il est ensuite testé dans les cas où certaines modalités sont manquantes, et celles-ci sont remplacés par les modalités les plus proches. Afin de retrouver plus précisément les informations manquantes, nous proposons une seconde méthode permettant de générer les caractéristiques de la modalité manquante, grâce à une corrélation multimodale. De plus, nous appliquons une divergence KL, pour garantir la similarité entre les caractéristiques générées et celles de la modalité originale. Nous avons démontré l'efficacité et la bonne performance des méthodes proposées en utilisant une base d'images multimodales publique.
Author: Tongxue Zhou
Language: French
Open Access status: green
OpenAlex ID: W7150750481
Cites: 145
Cited by:
Related to: 7