Get started
Work

Apprentissage auto-supervisé au-delà de représentations invariantes d'images

Year: 2025
Type: dissertation
Abstract: Afin de construire des systèmes d'intelligence artificielle puissants, les chercheurs se sont inspirés de systèmes intelligents existants, à savoir les humains et les animaux. Cela peut être fait architecturalement ou en essayant de reproduire certaines capacités. Par exemple, les humains peuvent s'adapter à de nouvelles tâches rapidement ou apprendre sans supervision. Cependant, les systèmes d'apprentissage profond échouent souvent de manière spectaculaire dans des tâches qui sont faciles pour les humains, comme illustré par le paradoxe de Moravec. Au cours des dernières années, le domaine de l'apprentissage auto-supervisé a fait des progrès dans l'apprentissage de systèmes d'IA capables d'apprendre à partir d'observations seules et de s'adapter à de nouvelles tâches, deux propriétés très souhaitables. Cela est réalisé en apprenant un espace de représentation abstrait le plus sémantique possible. Cependant, la plupart des progrès ont été faits avec des architectures siamoises pour apprendre des représentations d'images invariantes à un ensemble de transformations. Cette thèse vise à étudier trois aspects de l'apprentissage auto-supervisé. Dans une première partie, nous étudions ce qui est réellement appris par les méthodes auto-supervisées. Cela conduit à une unification des méthodes couramment utilisées dans le Chapitre 3, ainsi qu'au développement d'une méthode qui peut être utilisée pour évaluer les représentations apprises sans recourir à des données étiquetées dans le Chapitre 4. Dans une deuxième partie, nous nous concentrons sur l'extension des méthodes auto-supervisées au-delà de l'invariance aux augmentations. Dans le Chapitre 5, nous développons une méthode pour apprendre des représentations qui sont partiellement invariantes et partiellement équivariantes, inspirées de l'hypothèse des deux flux en sciences cognitives. Nous passons ensuite à l'échelle l'apprentissage de représentations équivariantes dans le Chapitre 6 en se basant sur des similarités avec les modèles du monde et comment les éléments de groupe sont similaires à des actions. Dans une troisième partie, nous nous concentrons sur les applications de l'apprentissage auto-supervisé au-delà des images. Nous exploitons les architectures prédictives siamoises pour apprendre des représentations d'équations aux dérivées partielles en apprenant des représentations invariantes aux symétries de point de Lie dans le Chapitre 7. Dans le Chapitre 8, nous étudions une architecture prédictive siamoise entrainée sur des vidéos et démontrons comment de tels modèles entrainées à prédire des stimuli manquants peuvent exhiber une compréhension de propriétés physiques intuitives telles que la permanence des objets. Dans l'ensemble, les contributions présentées dans cette thèse aident à consolider notre compréhension de l'apprentissage auto-supervisé et fournissent des moyens d'étendre les méthodes actuelles. Bien que la plupart des travaux présentés soient liés à l'apprentissage de représentations à partir de données sans étiquettes, les extensions proposées suggèrent que des principes similaires peuvent être exploités pour apprendre des systèmes qui peuvent comprendre et agir dans le monde physique. Cela pointe vers un ample travail futur pour pleinement mettre en valeur le potentiel de l'apprentissage auto-supervisé, alors qu'il transitionne de l'apprentissage de représentations vers l'apprentissage de modèles du monde
Language: English
Open Access status: green
OpenAlex ID: W7132884786
Cites:
Cited by:
Related to: