Get started
Work

Évaluation critique des méthodes d'apprentissage par renforcement pour la navigation bio-inspirée

Year: 2024
Type: dissertation
Abstract: Le plancton est essentiel aux écosystèmes aquatiques, car il est à la base de la chaîne alimentaire et joue un rôle crucial dans la production d’oxygène et le piégeage du carbone. Ces organismes sont capable de détecter divers signaux environnementaux et d’adapter leur réponse motrice, ce qui leur permet de naviguer dans des écoulements complexes afin de se reproduire et se nourrir. S’inspirant de ces organismes, cette thèse se concentre sur les problèmes de navigation caractérisés par une observabilité locale. Elle vise à évaluer dans quelle mesure l’apprentissage par renforcement profond permet de trouver des solutions quasi-optimales pour cette classe de problèmes. Pour ce faire, nous considérons le problème modèle de la navigation directionnelle, directement inspiré de la migration verticale du plancton. Outre sa pertinence biologique, ce problème a été choisi parce qu’une solution de référence analytique est connue, permettant ainsi d’évaluer quantitative-ment les stratégies apprises. Nous implémentons trois algorithmes d’apprentissage classiques : Q-Learning, Advantage Actor Critic et Proximal Policy Optimization (PPO). Nous démontrons la supériorité de PPO, qui permet d’obtenir des solutions quasi-optimales tout en faisant preuve de robustesse dans l’apprentissage et d’adaptabilité à plusieurs environnements. L’importance de techniques supplémentaires dans l’implémentation, telles que l’usage du generalized advantage estimation et la vectorisation des environnements, est soulignée. Ces résultats nous permettent de formuler des recommandations claires sur l’utilisation des méthodes d’apprentissage par renforcement pour les recherches futures sur des problèmes de navigation bio-inspirée.
Language: English
Open Access status: green
OpenAlex ID: W7028554236
Cites:
Cited by:
Related to: