Multispectral Image Reconstruction from Color Images
Imaging Tech Solutions. Pas de restriction d’usage connue.
Les images multispectrales (IMS) sont riches en informations spectrales, qui permettent de déceler des caractéristiques d’objets invisibles à l’œil nu. Toutefois, le processus d’acquisition des IMS est long, compliqué et coûteux. En revanche, les images RVB (rouge, vert, bleu) sont beaucoup plus faciles à obtenir à partir d’appareils photo grand public, mais ne contiennent aucune information spectrale. Par conséquent, nous avons tiré parti des technologies d’apprentissage profond pour entraîner un modèle à l’aide de banques de données multispectrales. Comme le modèle a appris les informations spectrales pendant l’entraînement, nous avons pu l’utiliser pour reconstruire les images IMS à partir d’images RVB, réduisant ainsi le coût et le temps d’acquisition des IMS de façon considérable. Mots clés: Image multispectrale (IMS), image RVB, reconstruction spectrale, apprentissage profond, autoencodeurs variationnels (VAE), réseau adverse génératif (GAN).
Un problème nettement sous-déterminé
Les rayons lumineux sont formés de diverses longueurs d’onde, chacune possédant différentes propriétés de propagation, de réflexion et de réfraction. Lorsqu’on utilise des bandes individuelles pour enregistrer ces propriétés, on obtient des images multispectrales (IMS), contenant une affluence d’informations spectrales. Aussi, les données spectrales propres aux IMS permettent de déceler certaines caractéristiques que les RVB ne peuvent pas.
Les images multispectrales servent à un grand nombre d’applications comme la gestion des cultures et l’analyse non invasive. En production agricole, les IMS peuvent aider à juger si la culture est saine, si le sol doit être fertilisé ou si la terre a trop d’eau. En analyse non invasive, les IMS peuvent aider à identifier la composition chimique des pigments de tableaux célèbres et permettre d’en déterminer l’âge par exemple, ou encore si l’œuvre est originale, ou si elle a été altérée.
Les IMS ont un vaste champ d’application. Cependant, on doit traiter des dizaines, voire des centaines de bandes IMS une par une, ce qui consomme beaucoup de temps et d’espace de stockage, et donne lieu à des appareils multispectraux volumineux, compliqués et coûteux. Au contraire, les images RVB à trois canaux sont obtenues plus rapidement et à moindre coût grâce aux appareils photo grand public, mais comme elles contiennent peu d’informations spectrales, on ne peut les utiliser directement dans les applications IMS.
À la lumière de ces observations, nous estimons que la reconstruction des IMS à partir des RVB est une solution à retenir. Or, comme le montre la figure 1, l’espace IMS contient beaucoup plus d’information que l’espace RVB. Il n’existe pas de correspondance directe entre l’image RVB et l’IMS. Un pixel RVB peut correspondre à un trop grand nombre de pixels IMS possibles. La reconstruction d’IMS à partir d’images RVB est un problème nettement sous-déterminé.
Figure 1: Différences probables d’espace entre RVB et IMS
L’approche de reconstruction
Pour résoudre le problème, nous avons conçu un nouveau réseau neuronal, le VAE-GAN, qui fusionne ingénieusement l’autoencodeur variationnel (VAE) et les réseaux adverses génératifs (GAN). La figure 2 montre son architecture détaillée.
Figure 2: Architecture détaillée du VAE-GAN [1]
À la figure 2, on peut voir que le VAE-GAN se compose de quatre parties principales : l’encodeur, le re-paramétreur, le décodeur et le discriminateur. L’encodeur prend des images RVB en entrée et en extrait les caractéristiques principales. Ensuite, les caractéristiques de base sont combinées avec des nombres aléatoires échantillonnés à partir d’une distribution normale pour entraîner les différents vecteurs latents. Les vecteurs latents sont entrés dans le décodeur et reformulés en images de type IMS. Ces trois parties forment le générateur. On entraîne le générateur en distinguant les IMS « vraies » des « fausses » par l’entremise du discriminateur.
L’ensemble du processus d’entraînement s’apparente au phénomène de la croissance d’un être humain. L’image RVB d’entrée est comparable à des parents qui donnent naissance à de nombreux enfants. Le processus de codage est similaire à la naissance des bébés. Les bébés héritent certaines caractéristiques communes de leurs parents, mais ont aussi des caractéristiques uniques. L’enfant qui grandit ressemble au processus de décodage. Les caractéristiques communes vont progressivement s’affaiblir, et les caractéristiques individuelles, augmenter. Cependant, on peut toujours déterminer si ces êtres sont de la même famille grâce aux caractéristiques communes restantes.
De la même manière, on peut compresser et extraire une image RVB en d’innombrables types de vecteurs latents. Ces différents vecteurs latents servent ensuite de sources et d’entrées dans le réseau GAN pour entraîner le générateur souhaité. Le problème sous-déterminé peut donc être résolu rapidement et efficacement.
Comparaison entre les images reconstruites et les images originales
CAVE et ICVL sont les deux principales bases de données qui ont servi à évaluer les performances de reconstruction multispectrale. La base de données CAVE comprend 32 scènes d’intérieur et la base ICVL, 201 scènes d’extérieur. Nous avons séparé chaque base de données en deux parties, l’une pour l’entraînement et l’autre pour les tests, et nous avons effectué des évaluations qualitatives et quantitatives simultanément.
Nous avons utilisé cinq figures pour démontrer la performance qualitative de la reconstruction. La figure 3 donne un aperçu des performances de reconstruction de notre modèle TaijiGNN. Nous avons regroupé huit bandes d’images spectrales en une seule image et présenté individuellement l’image RVB en vérité-terrain, l’IMS en vérité-terrain, l’IMS reconstruite et la carte d’erreur. La carte d’erreur montre le degré de dissimilitude entre l’image en vérité-terrain et l’image reconstruite. Sur la carte d’erreur, le bleu représente une erreur positive, le vert une erreur nulle, et le rouge une erreur négative.
Figure 3: Exemple de reconstruction IMS
La figure 4 montre la performance de la reconstruction IMS avec les données de la base CAVE.
Figure 4: Reconstruction IMS avec les données de la base CAVE
La figure 5 montre les performances de la reconstruction RVB avec les données de la base CAVE.
Figure 5: Reconstruction RVB avec les données de la base CAVE
La figure 6 montre les performances de la reconstruction IMS avec les données de la base ICVL.
Figure 6: Reconstruction IMS avec les données de la base ICVL
La figure 7 montre les performances de la reconstruction RVB avec les données de la base ICVL.
Figure 7: Reconstruction RVB avec les données de la base ICVL
Ces résultats qualitatifs montrent que notre modèle performe bien dans les deux sens, qu’il s’agisse de reconstruire des IMS à partir de RVB ou de récupérer des RVB à partir d’IMS.
Nous avons également effectué plusieurs évaluations quantitatives comme l’indice de similarité structurelle (Structural Similarity Index Measure, SSIM), le rapport signal-bruit de crête (Peak Signal to Noise Ratio, PSNR) et la racine de l’erreur quadratique moyenne (REQM). Nous avons aussi obtenu de résultats prometteurs avec la banque de données d’essai, en n’ayant recours qu’à environ un tiers des données pour entraîner le modèle.
Conclusion
Le présent article a servi à présenter quelques concepts et applications prometteuses des images multispectrales et à expliquer les difficultés d’acquisition des IMS, ainsi que les défis de la reconstruction d’IMS à partir des RVB. Nous avons ensuite développé notre approche fondée sur le VAE et les GAN et montré les résultats de reconstruction de certaines images multispectrales et d’images RVB.
Informations complémentaires
Pour plus d’information sur cette recherche, consulter l’article de conférence suivant : Xu Liu, Abdelouahed Gherbi, Zhenzhou Wei, Wubin Li, Mohamed Cheriet. 2021. « Multispectral Image Reconstruction From Color Images Using Enhanced Variational Autoencoder and Generative Adversarial Network ». Journal of Sensors.
