Improvements and Evaluation of the Monte Carlo Tree Search Algorithm
Year: 2009
Type: dissertation
Abstract: Ma these se situe dans le contexte de la planification a horizon fini en environnement discret avec un nombre d'etats trop important pour qu'ils soient tous explores. L'objectif est de maximiser une fonction de recompense qui associe une valeur aux etats finaux. Cette these est en particulier centree sur l'amelioration et l'etude d'un nouvel algorithme: l'exploration d'arbre basee sur une formule de bandit avec evaluation Monte Carlo. Apres avoir presente les algorithmes de reference du domaine (Minimax et Alphabeta dans le cas deux joueurs; Nested Monte Carlo et Programmation Dynamique dans le cas un joueur), je decris le principe de l'algorithme. Puis je propose une methode de parallelisation efficace pour le cas ou la memoire est separee. Cette methode se combine avec des methodes classiques de parallelisation a memoire partagee. Je propose ensuite une methode pour construire une base d'ouverture et montre son efficacite dans le cadre concret du jeu de Go. J'introduis egalement plusieurs manieres d'utiliser des connaissances expertes, aussi bien dans la partie concernant les bandits que dans la partie Monte Carlo. Finalement, je montre que cet algorithme qui donne de tres bons resultats dans le cadre des applications a deux joueurs est egalement efficace dans un cadre a un joueur. En effet, je propose une adaptation de l'algorithme pour le cas des graphes et en utilisant une formule de bandit differente afin de resoudre le probleme concret de la generation automatique de librairies de transformations lineaires. J'obtiens des resultats nettement superieurs a ceux obtenus avec une methode classique de programmation dynamique.
Author: Arpad Rimmel
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W191647388
