Que cherchez-vous?
51 Résultats pour : « Portes ouvertes »

L'ÉTS vous donne rendez-vous à sa journée portes ouvertes qui aura lieu sur son campus à l'automne et à l'hiver : Samedi 18 novembre 2023 Samedi 17 février 2024 Le dépôt de votre demande d'admission à un programme de baccalauréat ou au cheminement universitaire en technologie sera gratuit si vous étudiez ou détenez un diplôme collégial d'un établissement québécois.

Événements à venir
13 novembre 2024 à 12:00
16 novembre 2024 à 09:30
Génie des technologies de l’information Recherche et innovation Les systèmes intelligents et autonomes Les systèmes logiciels, le multimédia et la cybersécurité

Apprendre les jeux Atari à l’aide de transformeurs

Apprendre les jeux Atari à l’aide de transformeurs

Apprendre à un ordinateur à jouer à des jeux vidéo comme Atari exige de comprendre des environnements complexes et de prendre des décisions rapides. Les méthodes traditionnelles s’appuient souvent sur des représentations continues, qui fonctionnent dans certains cas, mais sont difficiles à utiliser pour les tâches nécessitant des décisions discrètes. Ces dernières années, les transformeurs, un type de réseau neuronal, ont pu relever ces défis de façon très efficaces, notamment dans des domaines comme le traitement du langage et de l’image. Nous avons entraîné des transformeurs à l’aide de la méthode d’apprentissage par renforcement pour jouer plus efficacement aux jeux Atari et, ce faisant, nous avons ouvert la voie à des applications réelles.

Pourquoi utiliser des transformeurs?

Les transformeurs excellent dans la capture de modèles à long terme et de corrélations entre les données. À l’origine, ils devaient servir au traitement du langage : aider les ordinateurs à comprendre les phrases, particulièrement la signification de chaque mot dans son contexte. Ils ont également servi dans le traitement d’images et autres types de données. Dans les jeux comme Atari, les transformeurs aident à comprendre l’évolution de l’environnement du jeu et à prendre des décisions plus intelligentes fondées à la fois sur les actions immédiates et sur leurs conséquences à long terme.

Représentation discrète abstraite de l'apprentissage par transformeurs

Notre modèle, DART (Discrete abstract representation for transformer-based learning), à la figure 1, combine un transformeur-décodeur pour comprendre l’environnement du jeu et un transformeur-encodeur pour prendre des décisions. Ainsi, l’agent IA peut mieux comprendre la dynamique du jeu et planifier l’amélioration de ses performances.

Comparaison des résultats humains normalisés moyens, médians et interquartiles

Performance de DART

Nous avons testé DART sur le modèle Atari 100k. La figure 2 montre que DART a surpassé les modèles précédents sans transformeurs, obtenant ainsi de meilleurs résultats dans 9 jeux sur 26. Il s’est montré particulièrement performant dans les jeux où les objets sont en mouvement rapide, comme Breakout et Seaquest, et où la compréhension des actions à long terme est essentielle.

Pourquoi apprendre à jouer aux jeux Atari?

Bien que les jeux vidéo puissent sembler être un défi plutôt ludique et inutile, apprendre à les maîtriser est un atout précieux dans le monde réel. Les jeux Atari, avec leur grande diversité d’environnements et de tâches, aident les modèles à mieux planifier, à élaborer des stratégies et à décider rapidement en environnements changeants. Ce type d’apprentissage s’apparente à certains scénarios réels dans les secteurs de la robotique, de la conduite autonome et des soins de santé. Par exemple :

  • En robotique, une bonne capacité de prédiction et de réaction peut améliorer la façon dont les robots se déplacent ou manipulent les objets.
  • En conduite autonome, l’IA doit comprendre son environnement et anticiper les prochaines étapes pour prendre des décisions sécuritaires.
  • En soins de santé, l’IA peut aider à planifier les traitements, en apprenant les tendances dans les données des patients et en prédisant les résultats.

En apprenant aux agents IA à gérer le rythme rapide et l’imprévisibilité des jeux vidéo, nous construisons des systèmes capables de s’adapter et d’exceller dans des environnements réels.

L’avenir de l’IA et les transformeurs

Les transformeurs révolutionnent déjà des domaines comme le traitement du langage naturel et la vision par ordinateur. Nos travaux montrent qu’ils peuvent également améliorer la capacité de l’IA à gérer des environnements dynamiques et complexes, comme les jeux vidéo. DART est actuellement conçu pour des tâches à actions discrètes, comme celles d’Atari. Nous prévoyons étendre cette approche à des tâches du monde réel impliquant des actions continues, comme diriger des robots ou conduire des véhicules autonomes. Les systèmes IA deviendraient ainsi encore plus performants et polyvalents dans les applications du monde réel.

Conclusion

Les transformeurs aident les systèmes IA à apprendre et à décider plus efficacement en ciblant des tendances à long terme. Notre modèle DART utilise des transformeurs pour mieux performer dans les jeux Atari. Cette démarche peut aider les systèmes IA à relever les défis du monde réel dans des domaines comme la robotique, la conduite autonome et les soins de santé.

Complément d’information

Pour plus d’informations sur cette recherche, veuillez lire l’article suivant :

Agarwal, P., Andrews, S.; Kahou, S.E. (2024). Learning to Play Atari in a World of Tokens. Proceedings of the 41st International Conference on Machine Learning.

Remerciements

Nous sommes reconnaissants à nos collaborateurs et aux personnes qui nous ont soutenus et qui ont rendu cette recherche possible.