Attention à l'écart de domaine : améliorer la généralisation des modèles d'apprentissage profond à des domaines visuels diversifiés
Year: 2024
Type: dissertation
Abstract: Au cours des deux dernières décennies, la disponibilité des données et l'amélioration de la puissance de calcul ont permis au Deep Learning de se développer dans de nombreux domaines tels que la conduite autonome, la télédétection, l'imagerie médicale, etc. Par ailleurs, il présente également un potentiel pour faire progresser la pathologie digitale. Cependant, son utilisation clinique reste difficile en raison de la variabilité des protocoles utilisés pour l'acquisition des données de pathologie. Cette variabilité entraîne un "décalage de domaine" qui se produit lorsque les distributions de données d'entraînement et de test diffèrent, ce qui peut s'accompagner d'une baisse de performance des modèles sur les données de test. Ce phénomène ne se limite pas à la pathologie digitale. Cette thèse vise donc à améliorer la généralisation des modèles de Deep Learning face au décalage de domaine, en abordant des problèmes de complexité croissante et en proposant de nouvelles solutions appliquées à la fois à des données de pathologie digitale et/ou de vision par ordinateur plus classiques. Le chapitre 2 aborde le problème d'adaptation de domaine non supervisée multi-sources en introduisant une méthode appelée CMSDA. Cette méthode s'appuie sur des avancées récentes en apprentissage contrastif et semi-supervisé, pour mieux aligner les distributions conditionnelles conditionnées à la classe pour les domaines sources et adapter progressivement le modèle au domaine cible. Ce travail montre que l'apprentissage contrastif supervisé peut aligner efficacement les distributions sources et conduit à des gains de performance significatifs pour des domaines cibles avec un décalage de domaine important. Le chapitre 3 explore la généralisation de domaine multi-sources, un scénario plus complexe où les données du domaine cible sont inaccessibles pendant l'entraînement. Une technique d'augmentation de données, applicable au moment de l'inférence et basée sur un modèle de traduction d'image en image avec des stratégies d'ensembling utilisant des discriminateurs de domaine, est proposée. Par ailleurs, nous démontrons que ce modèle, entraîné sur des données différentes de la tâche finale (par exemple, provenant de différents organes, cancers, etc.), peut être utilisé pour augmenter des données et entraîner des modèles invariants aux protocoles. Le chapitre 4 aborde le problème de généralisation de domaine non supervisée, visant à développer des modèles auto-supervisés invariants au domaine qui, une fois affinés, généralisent à des domaines cibles jusqu'alors non rencontrés. Inspirés par les méthodes précédentes basées sur l'apprentissage contrastif, nous émettons l'hypothèse que la suppression de la variabilité de style au sein d'un lot d'exemples peut permettre d'obtenir des représentations auto-supervisées invariantes au domaine sans nécessiter l'utilisation de labels de domaine. Pour valider cette hypothèse, nous proposons une méthode dénommée BSS, pour standardiser les styles d'image au sein d'un lot. BSS s'intègre facilement aux méthodes d'apprentissage auto-supervisé existantes et offre des avantages significatifs par rapport aux approches de généralisation de domaine non supervisée précédentes. BSS favorise l'invariance par domaine sans l'utilisation de labels de domaine ni d'architecture spécifique, conduisant à une meilleure simplicité et flexibilité. Enfin, le chapitre 5 se focalise sur le problème d'apprentissage par instances multiples (MIL), particulièrement adapté à la résolution de tâches globales au niveau des lames de pathologie digitale. Compte tenu des défis liés au chargement des tuiles en mémoire, à leur augmentation et aux calculs de leurs représentations lors de l'entraînement de modèles de MIL, un nouveau modèle génératif est proposé pour permettre l'augmentation des représentations de tuiles. Cette méthode s'avère rapide et offre surtout un meilleur contrôle pour l'augmentation des représentations comparée aux méthodes précédentes.
Source: theses.fr (ABES)
Author: Scalbert, Marin
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7134100209
Cites:
Cited by:
Related to: