À la recherche de chemins de lumière : les images de synthèse

Les images de synthèse ont vécu une véritable révolution depuis les vingt dernières années. Auparavant obtenues par méthodes empiriques, elles proviennent maintenant d’outils rigoureux, qui s’appuient sur diverses branches de la science, notamment l’informatique, les mathématiques, la physique et la perception visuelle humaine.

Utilisées à la base dans les jeux vidéo et les films, les images de synthèse ont vu leurs applications s’étendre à bien d’autres domaines. En effet, on y a maintenant recours tant pour générer des catalogues de meubles que pour former des professionnels à des tâches complexes par le biais de simulateurs (p. ex. simulateur de chirurgie). Couplées à des algorithmes d’intelligence artificielle, les images de synthèse sont aussi essentielles pour entraîner des robots en usine et les voitures autonomes.

Plusieurs aspects doivent être pris en compte pour créer une image photoréaliste, soit une image dont on ne peut dire si elle est réelle ou non. Au cœur de ces aspects se trouvent les interactions lumière-matière, qui constituent l’essentiel de notre recherche. Notre objectif est de mettre au point des algorithmes efficaces, robustes et automatiques, qui reproduisent le plus fidèlement possible le comportement de la lumière pour des environnements 3D quelconques.

Des interactions complexes

Les sources de lumière sont des rayonnements électromagnétiques définis par des spectres de différentes longueurs d’onde. Lorsqu’un rayon lumineux frappe un objet, il peut être partiellement réfléchi, réfracté, diffusé ou absorbé. Pour atteindre le photoréalisme, il faudra donc élaborer des modèles d’éclairage permettant de rendre ces effets le plus fidèlement possible.

En pratique, on travaille sur une version numérique d’un monde virtuel, où chaque objet est modélisé de façon à obtenir une forme et un emplacement. Une couleur et une texture sont aussi associées à ces objets pour modéliser leur variation spatiale de leur apparence. Enfin, des sources de lumière sont placées dans le décor et l’endroit de la prise de vue est déterminé par une caméra virtuelle.

Des algorithmes de rendu calculeront la manière dont la lumière se propage dans cet environnement, que ce soit de façon directe ou par rebonds sur les différents objets. Les différentes trajectoires de lumière forment ce que l’on appelle des chemins de lumière.

Illustration de certains chemins de lumière d’une scène

Les algorithmes stochastiques génèrent des chemins de façon aléatoire pour estimer le transport dans l’environnement 3D. Si l’algorithme utilisé arrive à simuler un très grand nombre de ces chemins de lumière, l’image obtenue sera presque parfaite. Toutefois, chacun de ces chemins nécessite beaucoup de puissance de calcul; il faudra donc se limiter en se concentrant sur les chemins dont la contribution est significative pour la prise de vue choisie. C’est ce que la méthode de Monte-Carlo permet justement de faire.

Approche de Monte-Carlo

Il existe une multitude de façons de construire un chemin de lumière donné. Par exemple, nous pouvons le générer depuis la caméra virtuelle, de la source de lumière ou encore de façon bidirectionnelle. La façon de construire les chemins de lumière aura une incidence directe sur l’efficacité à laquelle s’effectuera l’estimation du transport de lumière. L’image suivante montre les images obtenues avec différentes techniques d’échantillonnage.

Incidence des techniques d’échantillonnage sur le rendu d’une scène

Dans cet exemple, les tracés depuis la caméra produisent une image contenant beaucoup de bruit, car il est difficile de générer des chemins allant vers la source de lumière principale. Ceux qui partent de la source n’arrivent pas à rendre l’objet sur le bureau (forme noire), car le matériau de cet objet ne réfléchit la lumière que dans un nombre fini de directions. En combinant les deux approches et en permettant la connexion des chemins de façon arbitraire, la méthode du tracé bidirectionnel permet de générer le meilleur rendu ici, et ce, pour le même temps de calcul.

Approche de Metropolis-Hasting

Certaines scènes sont plus complexes à générer parce qu’elle nécessite de multiples rebonds de lumière, ou contiennent des contraintes géométriques ou optiques restreignant le passage des chemins de lumière. Ces scènes, comportant un nombre plus limité de chemins contributifs, s’accommodent mal d’échantillonnage simple. Pour faire un parallèle, la recherche de chemins dans ces scènes s’apparente à chercher une aiguille dans une botte de foin.

L’approche de Metropolis-Hasting permet de contourner ce problème en explorant localement l’espace des chemins contributifs. Pour ce faire, elle applique une légère perturbation au chemin contributif trouvé précédemment afin d’en découvrir un autre. La séquence de chemins ainsi dénichés, formant une chaîne de Markov, sera ensuite traitée dans un estimateur Monte-Carlo.

Amélioration du rendu par l’approche Metropolis-Hasting

Différents types de rendu de l’image

En plus du rendu direct, qui consiste à créer une image à partir d’une description de la scène, des objets qui s’y trouvent et de l’éclairage désiré, on peut aussi vouloir effectuer le processus inverse : trouver à partir d’une image les paramètres qui ont permis de la produire.

Ce processus est appelé le rendu inverse et a beaucoup d’application dans l’apprentissage automatique ou la vision par ordinateur. Par exemple, la capture des paramètres d’apparence et de géométrie d’objets réels pour les incorporer dans un univers virtuel. Ces applications se basent sur des processus d’optimisation itératifs à partir de l’estimation du gradient des paramètres de la scène. Ces estimations de gradient servent à modifier une image de base jusqu’à ce que l’image voulue soit atteinte.

Il y a un long historique d’utilisation de gradients en synthèse d’image. Par exemple, les méthodes de rendu basé gradient estiment directement les gradients du plan image pour effectuer un meilleur échantillonnage des endroits de l’image où il survient un changement important, par exemple, au contour d’un objet. Grâce à cette technique, ces changements, peu nombreux dans une image par rapport aux zones homogènes, bénéficieront de plus de chemins de lumière corrélés sans augmentation trop importante des calculs requis.

La connexion entre ces différents processus d’estimation de gradients est un sujet de recherche très actif dans le domaine de la synthèse d’image.

Des images de synthèse encore plus réalistes

L’objectif principal de la synthèse d’images est de reproduire fidèlement et efficacement l’interaction entre la lumière et les objets composant une scène 3D. Fidèlement, pour bien simuler les lois de la physique tout en tenant compte de la perception de l’appareil visuel humain; efficacement, pour effectuer un calcul de luminance de pixels précis, dont le coût est raisonnable. Ces deux exigences sont maintenant atteignables grâce aux algorithmes découlant des méthodes de Monte-Carlo et de Metropolis-Hasting. Nous travaillons maintenant à développer les prochaines générations d’algorithmes d’image synthèse pour repousser les limites de rendu encore plus loin.