Skullptor : Reconstruction éclair haute fidélité d’une tête en 3D

La capture d’un visage humain : un défi

La création d’une tête humaine numérique réaliste pour les jeux vidéo est onéreuse, non seulement financièrement, mais aussi en temps et en infrastructure. La référence dans l’industrie repose sur la photogrammétrie : on entoure un acteur de dizaines, voire de centaines, de caméras synchronisées afin de trianguler chaque pore, chaque ride et chaque contour du visage et d’obtenir un maillage 3D à haute densité. Les résultats sont impressionnants, mais cette configuration nécessite un dispositif de capture en studio spécialisé, un temps de traitement considérable et des artistes qualifiés pour corriger les artefacts, en particulier autour des cheveux et des structures faciales fines.

L’IA offre une solution. Les modèles d’IA fondamentaux peuvent maintenant reconstruire, en quelques secondes, un visage en 3D à partir d’une seule image. Malheureusement, cette efficacité se fait au détriment des détails propres à chaque personne. La géométrie subtile qui rend un visage unique et identifiable est lissée, comme la profondeur exacte d’une ride d’expression ou le pli distinct d’une paupière, par exemple. Le résultat est plausible, mais imprécis.

Avec Skullptor, nous nous sommes demandé : et si nous n’avions pas à faire de compromis ?

Une approche hybride : l’idée maîtresse

Skullptor repose sur un principe simple mais puissant : les modèles fondamentaux basés sur des données et l’optimisation directe ne sont pas des approches concurrentes. Elles sont complémentaires.

Les modèles fondamentaux sont rapides et intègrent une compréhension approfondie des visages humains grâce à des ensembles de données d’entraînement à grande échelle. Les méthodes fondées sur l’optimisation sont précises et capturent la géométrie propre à chaque personne en minimisant directement l’erreur géométrique. La faiblesse de l’une est la force de l’autre.

Nous avons donc mis au point un processus en deux étapes séquentielles.

Dans un premier temps, un réseau neuronal multivue traite un ensemble restreint d’images (de trois à dix) et prédit des cartes de normales de surface pour chaque point de vue. Les normales de surface représentent l’orientation de chaque point à la surface de la peau, codant essentiellement une carte géométrique à haute densité du visage. À noter que cette étape s’effectue par propagation avant (feedforward), qui ne prend qu’environ 1,5 seconde.

Dans un deuxième temps, ces normales prédites servent d’entrée pour une optimisation inverse du rendu. À partir d’une sphère, un maillage est déformé itérativement afin que les normales rendues correspondent à celles prédites, un remaillage adaptatif étant appliqué à chaque étape pour restituer les détails fins de la surface. L’optimisation complète s’effectue en moins de 30 secondes.

Le résultat est un maillage 3D complet et détaillé de la tête, avec rides, plis cutanés et géométries de surface propres à chaque personne, reconstruit en quelques secondes à l’aide d’une poignée de caméras.

Assurer la cohérence géométrique des prédictions de l’IA

Utiliser un modèle fondamental pour la prédiction des normales présente toutefois un inconvénient. Ces modèles ont été conçus pour traiter une seule image à la fois. Si on leur présente le même visage sous trois angles différents, chaque prédiction est effectuée indépendamment des autres. Un pli cutané vu de face et le même pli vu de profil produiront des normales incompatibles dans l’espace 3D. Reconstruire la géométrie à partir de ces normales contradictoires aplanit ces caractéristiques, ce qui aura pour effet de les lisser.

Pour résoudre ce problème, nous avons développé un modèle à l’aide de DAViD, un modèle monoculaire fondamental destiné à l’estimation des normales faciales, en l’enrichissant d’un mécanisme d’attention croisée sensible au point de vue. Entre chaque bloc de transformeur, nous avons inséré une couche d’attention croisée qui permet à chaque point de vue de prendre en compte les autres simultanément. Les jetons de caractéristiques de chaque image représentent la requête. Les clés et les valeurs sont construites à partir des caractéristiques concaténées de l’ensemble des images. La pose de la caméra est codée en plongement positionnel et intégrée à ce procédé, ce qui permet au modèle de savoir de quel point de vue provient chaque jeton.

Ainsi, le modèle prédit des normales géométriquement cohérentes à tous les points de vue.  C’est cette cohérence qui garantit une optimisation en aval stable et de haute qualité.

De cartes normales à maillage 3D

Une fois les cartes normales cohérentes obtenues, la phase d’optimisation peut commencer. Nous initialisons un maillage à partir d’une sphère et optimisons itérativement les positions des sommets afin de minimiser les écarts entre les normales rendues et les normales prédites.

Deux choix de conception permettent à cette approche de fonctionner dans la pratique.

D’abord, nous pondérons la perte de normales en fonction de l’angle d’orientation de la caméra. Les normales prédites pour les régions de surface directement face à la caméra sont plus fiables que celles situées à des angles rasants. L’optimisation en tient compte en veillant à ce que les régions frontales contribuent davantage à la perte de reconstruction.

Ensuite, nous utilisons l’optimiseur de remaillage continu (Continuous Remeshing) tout au long de la reconstruction. À chaque itération, les clivages, creux et inversions des arêtes sont appliqués afin d’adapter dynamiquement la résolution du maillage à la complexité géométrique locale. De plus, cet optimiseur s’adapte à l’échelle de la géométrie locale de chaque sommet. Ainsi, le maillage n’est pas dégradé par des chevauchements ni par des faces bosselées et les détails fins, comme les rides, apparaissent clairement.

L’optimisation complète s’effectue en 300 étapes, et ce, en moins de 30 secondes sur un seul GPU grand public.

Pourquoi l’approche hybride est importante

La raison principale du succès de ce projet réside dans le choix des normales de surface plutôt que des cartes de profondeur ou d’une géométrie 3D explicite.

D’abord, les normales de surface conviennent parfaitement aux modèles fondamentaux d’IA. Contrairement à la géométrie 3D complexe, les normales peuvent être facilement générées à partir de données synthétiques afin de produire des données d’apprentissage de haute qualité. Comme leur prédiction nécessite une régression dense, pixel par pixel, les transformeurs de prédiction denses (DPT) standards s'adaptent naturellement à ce problème.

Ensuite, les normales offrent une représentation géométrique supérieure pour l’optimisation multivue. Alors que les cartes de profondeur indiquent uniquement la distance d’un point, les normales codent l’orientation en surface. Autrement dit, elles capturent les détails à haute fréquence, comme le bord fin d’une ride ou le contour net d’une paupière, bien mieux que la seule profondeur. Surtout, les normales sont invariantes à l’échelle. Elles décrivent la forme locale plutôt que les distances absolues, ce qui permet de contourner les problèmes d’adaptation d’échelle et d’éviter de perturber les processus de reconstruction à vues multiples.

À l'aide des normales géométriquement cohérentes comme cible d’optimisation, Skullptor comble le fossé entre la vitesse de l’IA et la précision classique. On peut ainsi intervenir là où la photogrammétrie traditionnelle échoue complètement, par exemple, en utilisant seulement trois caméras, tout en préservant les détails nets et caractéristiques qui confèrent à un personnage humain numérique un aspect réaliste.

Résultats

Nous avons évalué Skullptor sur deux ensembles de données publics : NPHM, avec balayages à lumière structurée de haute qualité, et Multiface, avec captures vidéo multivues en studio spécialisé.

Sur ces deux ensembles de données, Skullptor atteint une qualité géométrique comparable à celle de la photogrammétrie, tout en ne nécessitant qu’une fraction des vues d’entrée et en effectuant la reconstruction en quelques secondes plutôt qu’en minutes. Il surpasse largement les méthodes récentes de reconstruction par éclaboussures gaussiennes (2DGS et SuGaR) sur tous les indicateurs, y compris la précision de la profondeur, l’erreur angulaire normale et la préservation des détails de surface à haute fréquence.

Nous tenons à souligner l’ablation des vues éparses : alors que le nombre de vues d’entrée passe de 23 à 3, Skullptor se dégrade tout en douceur et la qualité reste élevée même avec trois caméras. La photogrammétrie classique, en revanche, se dégrade fortement en dessous de 16 vues et produit des résultats pratiquement inutilisables avec trois caméras.

Les comparaisons qualitatives vont dans le même sens : Skullptor restitue les rides, les plis cutanés et les variations de surface propres à chaque individu, détails que les méthodes d’éclaboussures gaussiennes ne parviennent pas à saisir.
 

Conclusion

Skullptor démontre que la combinaison d’un prédicteur de normales à partir de données et d’une optimisation rapide du rendu inverse permet de combler le fossé entre la vitesse des modèles d’IA fondamentaux et la qualité de la photogrammétrie à vues denses. Moins de dix caméras suffisent pour produire, en moins de 30 secondes, une géométrie 3D haute fidélité complète de la tête, comprenant des détails aussi fins que les rides.

La méthode actuelle est conçue pour des conditions de capture contrôlées, des caméras synchronisées et un éclairage plutôt constant. Des reflets spéculaires importants, le flou de mouvement ou les occlusions peuvent affecter le résultat final. Les prochaines étapes consisteront à étendre la démarche vers la capture complète de l’apparence, à prédire conjointement les normales et l’albédo, et à intégrer l’estimation de l’éclairage pour permettre le rééclairage.

Nous publions le code afin de soutenir les recherches futures. D’autres résultats, y compris des reconstructions de séquences 4D, sont accessibles sur la page du projet.

Information supplémentaire

Pour plus de détails sur cette recherche, veuillez consulter l’article suivant :

Artru, N., Hussain, R., Got, E., Messier, A., Lindell, D. B., & Dib, A. (2026). Skullptor: High Fidelity 3D Head Reconstruction in Seconds with Multi-View Normal Prediction. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)