Exploration and change detection in model-based reinforcement learning : Adapting to uncertain and volatile environments
Year: 2026
Type: dissertation
Abstract: Exploration et détection de changement en apprentissage par renforcement avec modèle interne : adaptation à des environnements incertains et volatils Les êtres humains et les animaux s'adaptent fréquemment à des situations nouvelles, exigeantes et variables. Cette flexibilité comportementale est souvent modélisée par un processus en deux étapes. Premièrement, les animaux et les humains évaluent différents plans d'actions en fonction de ce qu'ils apprennent, connaissent et perçoivent. Enfin, ils utilisent ces évaluations pour choisir leur stratégie comportementale. L'apprentissage par renforcement utilise ce processus en deux étapes pour décrire comment un agent, i.e., un humain, un animal, ou un décideur artificiel, interagit avec son environnement. Dans cette thèse, nous utilisons l'apprentissage par renforcement pour étudier deux mécanismes qui participent à la flexibilité comportementale: l'exploration et la détection de changement. Modéliser l'exploration et la détection de changement est à l'intersection des domaines de la prise de décision et de l'apprentissage automatique. D'une part, l'exploration décrit comment les agents apprennent et prennent des décisions au-delà de récompenses explicites comme l'eau ou la nourriture. L'exploration peut être dirigée vers le gain d'information et aider les agents à acquérir des modèles précis de l'environnement avec lequel ils interagissent. D'autre part, les agents peuvent détecter des changements environnementaux quand leurs prédictions ne correspondent pas à ce qu'ils observent. La détection d'un changement dans l'environnement mène souvent à une mise à jour du modèle interne de l'agent et à une modification de son comportement. Cette thèse présente plusieurs modèles pour l'exploration et la détection de changement et décrit comment les deux peuvent se combiner. Dans l'introduction, nous présentons le cadre théorique de l'apprentissage par renforcement, son lien avec la prise de décision et l'apprentissage machine, puis passons en revue les domaines de l'exploration et de la détection de changement. Ensuite, nous décrivons et simulons plusieurs modèles pour l'exploration dirigée vers le gain d'information, introduisons un nouvel agent pour la détection de changements locaux, et décrivons comment connecter les deux domaines. Nous appliquons ensuite l'apprentissage par renforcement avec modèle interne à une tâche d'interaction humain-robot simulée avec des changements locaux. Cette tâche s'intéresse notamment à la notion d'affordances, définies comme des possibilités d'actions. Après avoir présenté trois contributions supplémentaires (la reproduction de résultats existants, un commentaire d'article, et une expérience robotique pour la vulgarisation), nous résumons nos contributions, leurs implications et leurs limites.
Source: theses.fr (ABES)
Author: Augustin Chartouny
Institution: Sorbonne Université
Language: French
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7164897434