Vers une vidéo plus immersive

Une vidéo peut aujourd’hui nous faire découvrir un lieu comme si nous y étions. Sur place, une caméra à 360 degrés capte une scène dans toutes les directions, que ce soit dans une salle de concert, un musée ou un autre espace. À distance, une personne équipée d’un casque de réalité virtuelle peut alors explorer cette vue en tournant la tête, comme si elle se trouvait à l’endroit même où la caméra a été placée. Mais pourrait-elle aussi s’y déplacer?

C’est l’une des questions auxquelles s’intéresse Stéphane Coulombe, professeur à l’ÉTS et membre de l’International Laboratory on Learning Systems. Ses travaux sur la compression, la transmission et l’évaluation de la qualité des vidéos évoluent avec les technologies immersives. Après avoir travaillé sur la vidéo traditionnelle, puis sur la vidéo à 360 degrés, son équipe cherche maintenant à franchir une nouvelle étape : offrir à l’utilisateur une vue à six degrés de liberté, qui lui permette de se déplacer dans la reconstruction 3D d’une scène réelle.

De trois à six degrés de liberté

Dans le cadre de la Chaire de recherche Summit Tech, Stéphane Coulombe et son équipe, en collaboration notamment avec Carlos Vázquez, cherchent à ajouter trois degrés de liberté supplémentaires. L’utilisateur pourrait ainsi non seulement regarder autour de lui, mais aussi se déplacer dans l’environnement reconstruit, comme s’il y était réellement.

Cette évolution peut sembler subtile, mais elle représente un défi technologique considérable. Pour donner l’impression de se déplacer, le système doit être capable de générer une nouvelle vue chaque fois que l’utilisateur change de position. Or, cette vue n’a pas nécessairement été filmée directement.

La solution consiste à utiliser plusieurs caméras disposées dans l’espace. Le système recueille leurs images et calcule, par interpolation, ce que l’utilisateur devrait voir depuis une position située entre les caméras. Il faut donc synchroniser les caméras, connaître précisément leur position et reconstruire la géométrie de l’environnement à la bonne échelle physique.

À cela s’ajoute une contrainte essentielle : le mouvement doit sembler naturel. Si l’utilisateur se déplace de quelques mètres dans la scène virtuelle, le système doit produire une transition cohérente, à une vitesse qui correspond à celle d’un déplacement humain.

Un défi de calcul et de transmission

Passer de trois à six degrés de liberté exige naturellement beaucoup plus de données. Plusieurs caméras doivent capturer simultanément la scène, parfois à une fréquence de 30 à 60 images par seconde. Le système doit ensuite traiter ces informations et générer les vues intermédiaires presque instantanément. Le défi consiste à trouver le meilleur équilibre entre qualité d’image, débit de transmission et puissance de calcul.

C’est un compromis qui se retrouve dans plusieurs aspects des travaux de Stéphane Coulombe. Toutefois, pour les applications immersives, transmettre toutes les informations disponibles n’est pas toujours nécessaire, par exemple, lorsqu’une partie de l’image se trouve dans une zone où l’utilisateur ne regarde pas.

Les travaux de l’équipe de recherche explorent donc aussi la possibilité de prédire où se portera l’attention de l’usager. En analysant les mouvements de la tête dans le casque de réalité virtuelle, les algorithmes peuvent anticiper la direction du regard et consacrer davantage de ressources aux régions susceptibles d’être observées. Il devient alors possible de réduire la quantité de données transmise tout en maintenant une qualité élevée là où elle compte réellement.

Deux yeux, deux fois plus de données?

La vision immersive pose un autre problème : pour donner une impression de profondeur, il faut normalement produire une image différente pour chaque œil. Une vidéo 360 degrés stéréoscopique contient donc deux fois plus d’information à transmettre.

L’équipe de Stéphane Coulombe a développé une méthode permettant de combiner les deux vues en une seule représentation, en conservant le plus d’information utile possible.

Le principe repose sur la géométrie particulière d’une image 360 degrés, normalement représentée en format équirectangulaire : comme une mappemonde, une vue sphérique dépliée en rectangle. Autour de l’équateur, l’image est relativement fidèle, mais les régions proches des pôles sont fortement étirées. Elles contiennent donc une certaine redondance : davantage de pixels sont utilisés pour représenter une même quantité d’information.

En réduisant cette redondance, il est possible de diminuer la quantité de données à transmettre sans perte importante de qualité. Une optimisation particulièrement intéressante lorsque chaque octet compte.

Reconstruire le monde à partir d’images

Une autre piste de recherche consiste à reconstruire des environnements tridimensionnels à partir de photographies. Pour y parvenir, l’équipe s’intéresse notamment aux éclaboussures gaussiennes.

Le principe peut être visualisé comme une scène remplie d’une multitude de petites ellipsoïdes orientées. Chacune possède une taille, une couleur et un degré de transparence particuliers. Ensemble, ces éléments peuvent représenter la géométrie et l’apparence d’un environnement en trois dimensions.

L’intérêt de cette approche est sa simplicité pour le rendu : une fois la scène reconstruite, elle peut être affichée très efficacement. Le principal obstacle se trouve en amont. On utilise des méthodes d’optimisation, souvent à base d’intelligence artificielle, pour adapter les éclaboussures gaussiennes à chaque scène.

Quand la transmission fait défaut, l’IA intervient

La qualité d’une expérience immersive dépend aussi de la fiabilité de la transmission. Lorsqu’une vidéo est diffusée en temps réel, attendre plusieurs secondes pour récupérer un paquet de données perdu n’est pas une option. L’image concernée serait déjà dépassée.

Il peut alors être préférable de laisser tomber une image perdue ou corrompue et de passer à la suivante. Mais si les pertes ou les erreurs se multiplient, la vidéo risque de se figer ou de présenter des artefacts.

Stéphane Coulombe s’intéresse donc également à la correction des erreurs de transmission. Lorsqu’un paquet arrive endommagé, certaines informations annexées au paquet, notamment le code de contrôle CRC, peuvent aider à déterminer ce qui a été altéré. Des méthodes d’intelligence artificielle peuvent ensuite produire différentes versions possibles de l’image et déterminer laquelle est probablement la plus fidèle.

Cette utilisation de l’IA prend une place croissante dans les travaux de recherche de Stéphane Coulombe. Elle permet notamment d’évaluer la qualité des vidéos, de prédire les mouvements de l’utilisateur et de prendre des décisions de compression ou de reconstruction en fonction du contenu.

Une technologie au service de nouvelles expériences

Les applications potentielles de ces technologies dépassent largement le divertissement. Une expérience à six degrés de liberté pourrait servir au tourisme virtuel, aux concerts et aux événements sportifs, mais aussi à l’éducation, à la formation industrielle, aux inspections, aux jumeaux numériques, à la visualisation médicale ou encore aux vidéoconférences immersives.

Pour Stéphane Coulombe, l’enjeu est précisément de repousser les limites sans perdre de vue les contraintes des réseaux et des appareils. Son objectif demeure le même, quelle que soit la technologie : offrir la meilleure qualité vidéo possible avec les ressources disponibles.

L’avenir de la vidéo immersive ne dépendra donc pas seulement de caméras plus performantes ou de casques plus sophistiqués. Il reposera sur une combinaison d’innovations : synchronisation des caméras, compression, reconstruction 3D, intelligence artificielle, prédiction du regard et de la position, transmission et traitement en périphérie du réseau. C’est en réunissant ces différentes technologies qu’il deviendra possible de transformer progressivement la vidéo en un espace virtuel dans lequel l’utilisateur pourra non seulement regarder autour de lui, mais aussi se déplacer.