Quand la 3D révèle l’invisible

Une radiographie, une vidéo ou une photo ne montrent qu’une partie de la réalité. Derrière chaque image en deux dimensions se cache un monde tridimensionnel riche en informations. C’est précisément ce que cherche à révéler Carlos Vázquez, professeur à l’ÉTS, dont les travaux reposent sur une idée simple, mais d’une grande portée : reconstruire et comprendre les structures 3D à partir d’images 2D afin d’aider à la prise de décision.

Qu’il s’agisse de mieux diagnostiquer des problèmes musculosquelettiques ou d’offrir des expériences immersives, ses recherches exploitent les mêmes fondements scientifiques : la vision par ordinateur, l’analyse d’images et la modélisation tridimensionnelle.

Mieux comprendre le corps humain grâce à la 3D

Dans le domaine médical, les images sont omniprésentes. Pourtant, les outils d’imagerie utilisés quotidiennement comportent certaines limites.

Prenons l’exemple de la scoliose, une déformation de la colonne vertébrale. La colonne vertébrale ne se déforme pas uniquement latéralement : elle subit également des rotations et des modifications dans les trois plans de l’espace. Or, les radiographies conventionnelles fournissent essentiellement des vues en deux dimensions, ce qui complique l’évaluation précise de la maladie.

Les travaux de Carlos Vázquez permettent de reconstruire des modèles 3D à partir des images obtenues avec le système EOS, une technologie de radiographie à très faible dose qui capture simultanément deux clichés orthogonaux. À partir de ces deux images, des algorithmes reconstruisent la géométrie tridimensionnelle des os et des articulations.

Cette approche offre plusieurs avantages. D’une part, elle réduit considérablement l’exposition des patients aux rayonnements par rapport aux tomodensitomètres. D’autre part, elle permet d’observer le corps en position debout, sous charge, ce qui représente beaucoup mieux les conditions réelles que les examens réalisés en position couchée.

Les mêmes principes de reconstruction 3D peuvent être appliqués à d'autres problèmes musculosquelettiques, notamment à certaines pathologies de la cheville où la distance entre différents os doit être établie avec précision afin d’établir un diagnostic. Une information difficile, voire impossible, à obtenir à partir d’images 2D seulement. La reconstruction 3D apporte alors une perspective beaucoup plus fidèle à la réalité anatomique.

Observer le mouvement sans perturber le patient

L’un des grands défis de l’évaluation musculosquelettique consiste à comprendre non seulement la forme du corps, mais aussi son fonctionnement en mouvement.

Traditionnellement, l’analyse biomécanique repose sur des systèmes spécialisés nécessitant l’installation de marqueurs sur le corps des patients. Ces dispositifs offrent une grande précision, mais ils sont coûteux, complexes à utiliser et peuvent influencer la démarche naturelle des personnes observées.

En collaboration avec l’entreprise Emovi, Carlos Vázquez développe des techniques d’analyse du mouvement qui reposent uniquement sur la vidéo. Grâce à des algorithmes de vision par ordinateur, il devient possible d’estimer la position des articulations et de suivre les mouvements sans marqueurs ni harnais.

L’objectif est de rendre ces évaluations plus simples, plus accessibles et plus représentatives du comportement naturel des patients.

Cette expertise a également trouvé des applications dans le sport de haut niveau. En collaboration avec l’Institut national du sport du Québec, l’équipe du professeur Vázquez a utilisé des techniques similaires pour analyser les mouvements de plongeurs, notamment les angles articulaires et les vitesses de déplacement durant leurs performances.

Redonner un visage grâce à la réalité augmentée

Certaines applications de la modélisation 3D dépassent le cadre du diagnostic.

Carlos Vázquez participe notamment à un projet destiné aux personnes ayant perdu une partie de leur visage à la suite d’un cancer de la tête ou du cou. Ces patients reçoivent généralement une épithèse, soit une prothèse faciale en silicone conçue pour remplacer la partie manquante.

Traditionnellement, la fabrication de ces prothèses exige un processus long et complexe. L’équipe travaille à numériser l’ensemble de la démarche, depuis la conception du modèle jusqu’à sa fabrication par impression 3D.

La contribution de Carlos Vázquez consiste à intégrer ces modèles dans un environnement de réalité augmentée. Les patients peuvent ainsi visualiser leur future prothèse directement sur leur visage à l’aide d’un « miroir magique » virtuel. 

Quand les mêmes outils servent le divertissement immersif

À première vue, le monde du multimédia semble bien éloigné de celui de la médecine. Pourtant, les deux domaines reposent sur des principes étonnamment similaires.

Avant de se consacrer aux applications biomédicales, Carlos Vázquez travaillait déjà sur l’imagerie stéréoscopique et la reconstruction tridimensionnelle pour les médias numériques. Les outils mathématiques et algorithmiques utilisés pour reconstruire une colonne vertébrale ou une scène immersive partagent plusieurs fondements communs.

Au sein du Laboratoire multimédia de l’ÉTS, il s’intéresse à l’ensemble de la chaîne de traitement vidéo : acquisition, compression, transmission et affichage.

L’une de ses principales initiatives est menée en collaboration avec Summit Tech et Stéphane Coulombe, aussi professeur à l’ÉTS. Le projet vise à améliorer les expériences vidéo immersives en direct.

Imaginez assister à un concert filmé à l’aide de caméras 360 degrés stéréoscopiques. En portant un casque immersif, le spectateur peut se déplacer virtuellement dans la scène, observer l’environnement sous différents angles et vivre une expérience beaucoup plus proche de la présence physique.

Pour rendre cette immersion possible, il faut résoudre une série de défis techniques : capturer des contenus tridimensionnels complexes, les compresser efficacement, les transmettre avec une faible latence sur les réseaux 5G et générer en temps réel les points de vue correspondant aux mouvements de l’utilisateur.

Prédire où l’on regarde

Dans les environnements immersifs, l’une des difficultés consiste à transmettre d’immenses quantités d’informations visuelles. Il devient alors avantageux de prédire où l’utilisateur portera son attention.

En analysant notamment les mouvements de la tête dans le casque immersif, les algorithmes peuvent anticiper la direction du regard et concentrer les ressources de calcul sur les zones réellement observées. Cette stratégie permet d’améliorer la qualité perçue tout en réduisant la quantité de données à transmettre.

Les chercheurs travaillent également sur l’estimation de la profondeur, la compression de contenus provenant de multiples caméras 360 degrés et l’accélération des calculs grâce aux processeurs graphiques (GPU), indispensables pour atteindre les performances requises en temps réel.

Une même vision, deux univers

Qu’il s’agisse d’aider un médecin à mieux comprendre une déformation de la colonne vertébrale ou de permettre à un spectateur d’assister à un concert immersif à distance, les travaux de Carlos Vázquez poursuivent un même objectif : extraire davantage d’information à partir des images.

Ses recherches illustrent comment les avancées en vision par ordinateur peuvent traverser les frontières entre les disciplines. Derrière les radiographies médicales, les vidéos de mouvement ou les expériences immersives se cache toujours la même question fondamentale : comment reconstruire et comprendre le monde en trois dimensions à partir d’images qui, elles, n’en montrent que deux.

Carlos Vázquez est membre d’itechsanté, l'institut de recherche et d'innovation en technologies pour la santé de l'ÉTS. Pour en savoir plus sur l'institut, sa mission, ses thématiques, ses projets phares et plus encore, visitez itechsanté