Génération de placements stables par modèles d'intelligence artificielle générative

Lorsqu'un robot dépose un objet parmi d'autres, la position choisie détermine si l'ensemble tient ou s'effondre. Trouver cette position, c'est ce qu'on appelle la planification du placement. Traditionnellement, on procède par essais et erreurs : on tire une position au hasard, on vérifie si elle est stable et on recommence jusqu'à en trouver une qui convient. Puisque seule une infime proportion des positions possibles sont stables, ce processus est lent. Ce projet renverse l'approche : c'est un modèle qui génère directement la position. Les modèles de diffusion et le flow matching produisent naturellement plusieurs solutions valides à partir de la description d'une scène, ce qui convient parfaitement au problème, puisqu'une scène admet généralement de nombreux placements acceptables. La génération est guidée par la physique : à chaque étape, une mesure différentiable de la stabilité oriente le processus pour que les placements proposés tiennent réellement.

Les applications vont du rangement d'objets du quotidien par un robot domestique à la composition de palettes mixtes, en passant par la disposition d'outils et de pièces sur un poste de travail et la génération automatique de scènes d'entraînement réalistes pour d'autres systèmes d'apprentissage.

Les travaux se déroulent sur des postes de calcul GPU et sont validés sur un bras Franka Research 3 muni d'une caméra de profondeur, avec un ensemble d'objets imprimés en 3D et de pièces usinées dont la géométrie et la masse sont connues avec précision.

Pour poser votre candidature

Pour poser votre candidature, faites parvenir au professeur Philippe Nadeau une demande complète au programme de Bourses d'études supérieures du Canada (BESC) au doctorat du CRSNG, rédigée en anglais.

La BESC est la principale source de financement des études doctorales au Canada, et la concurrence y est féroce. Préparer une demande complète dès le départ peut sembler exigeant, mais l'effort en vaut la peine : vous aurez en main une solide première version de votre demande bien avant la date limite, ce qui augmente vos chances d'être financé d'ici votre arrivée dans le groupe. Si vous envisagez plutôt une maîtrise avec mémoire, la démarche est la même; votre dossier servira alors à solliciter les sources de financement appropriées.