Estimation Monte Carlo sans modèle de politiques de décision
Year: 2011
Type: article
Abstract: Cet article propose un estimateur de l'espérance du retour de politiques de décision déterministes en boucle fermée à partir d'un échantillon de transitions d'un système dynamique.Cet estimateur, appelé en anglais "Model-free Monte Carlo (MFMC) estimator", calcule une moyenne des retours d'un ensemble de "trajectoires artificielles" construites à partir de de la politique à évaluer ainsi que de transitions du système disponibles dans un échantillon fixé dont l'acquisition s'est faite indépendamment de la politique à évaluer.Sous certaines hypothèses de continuité Lipschitzienne de la dynamique du système, de la fonction de récompense et de la politique de décision à évaluer, on montre que le biais et la variance de l'estimateur proposé sont bornés par des termes qui dépendent des constantes de Lipschitz, du nombre de trajectoires artificielles, de la parcimonie de l'échantillon de transitions ainsi que de la variance "naturelle" du retour de la politique.ABSTRACT.We propose an algorithm for estimating the finite-horizon expected return of a closed loop control policy from an a priori given (off-policy) sample of one-step transitions.This algorithm, named Model-free Monte Carlo (MFMC) estimator, averages cumulated rewards along a set of "broken trajectories" made of one-step transitions selected from the sample on the basis of the control policy.Under some Lipschitz continuity assumptions on the system dynamics, reward function and control policy, we provide bounds on the bias and variance of the estimator that depend only on the Lipschitz constants, on the number of broken trajectories used in the estimator, and on the sparsity of the sample of one-step transitions.
Institution: University of Liège
Language: French
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W2105622564