SYS866B - Sujets spéciaux II en G.P.A. : Optimisation stochastique et apprentissage par renforcement

À la fin de ce cours, les étudiantes et les étudiants seront en mesure de :

• comprendre comment l'incertitude des données affecte la prise de décision et pourquoi il est important de s'en prémunir;
• comprendre le concept de la valeur d'une solution stochastique et la valeur attendue de l'information parfaite;
• analyser et comprendre l'évolution du processus d'information et de décision;
• concevoir des modèles mathématiques représentant la prise de décision en situation d'incertitude, à la fois dans un cadre statique et dynamique;
• maîtriser les algorithmes de solution les plus répandus et être capable de sélectionner l'algorithme le plus approprié dans un contexte donné;
• écrire des programmes informatiques pour mettre en œuvre des algorithmes de solution et être capable de planifier des expériences informatiques pour évaluer la qualité des solutions ou des politiques de décision obtenues.

Les principaux thèmes abordés sont : la probabilité, les variables aléatoires, les processus stochastiques, les distributions de probabilité et l'échantillonnage. Processus de décision Markovien et programmation dynamique stochastique. Algorithmes d’itération de valeur et d’itération de politique (Value Iteration et Policy Iteration). Programmation dynamique approchée et apprentissage par renforcement (Reinforcement Learning). Processus de décision Markovien multi-agent et apprentissage par renforcement multi-agent. Programmation stochastique à deux étapes, programmation à contraintes aléatoires et programmation stochastique à plusieurs étapes. Optimisation robuste, ensembles d'incertitude et modèles distributionnellement robustes. Méthode de Benders (L-shaped), méthode d’approximation de la moyenne par échantillonnage (Sample Average Approximation), algorithme de couverture progressive (Progressive Hedging). Parmi les applications, on trouvera le transport et la logistique, la gestion des ressources naturelles, l'optimisation des portefeuilles, etc.