ViSnow : Un pneu d'hiver pour les systèmes de transport intelligents

Les systèmes de transport intelligents (STI) ont fait des progrès considérables dans des domaines, tels que la conduite autonome, la surveillance du trafic et la planification des trajets. Mais tout comme votre voiture a besoin de pneus d'hiver, ces systèmes nécessitent également des ajustements pour fonctionner efficacement sous conditions enneigées. De nombreuses applications STI reposent sur des caméras et sont conçues à l'aide de grandes bases de données d'images et de vidéos. Cependant, leurs performances diminuent en cas de conditions météorologiques extrêmes, car ces conditions sont souvent absentes ou sous-représentées. Un ensemble de données visuelles sur les conditions hivernales et la neige sert de « pneus d'hiver » à ces systèmes, ce qui rend les applications, telles que l'entretien des routes en hiver et l'estimation de la circulation, plus robustes.

Dans cet article, nous présentons ViSnow [1], un ensemble de données d'images de rues urbaines enneigées destinées à des applications de vision par ordinateur dans les STI. ViSnow se compose de près de 300 000 images captées par des caméras de surveillance de la circulation à Montréal, au Québec, une ville qui reçoit en moyenne 210 cm de neige par an, ce qui en fait un environnement idéal pour la recherche sur la neige en milieu urbain. Les images ont été collectées lors des hivers 2022 et 2023, avant, pendant et après les chutes de neige. Elles étaient accessibles au public en ligne via la ville de Montréal, qui fournissait des images actualisées toutes les 5 à 10 minutes. Nous avons enrichi chaque image d'un fichier texte contenant des informations sur l'heure et les conditions météorologiques.

L'ensemble de données comprend des images prises sous différentes conditions météorologiques (ciel dégagé, pluvieux, neigeux, nuageux), à différents moments de la journée (jour, nuit, crépuscule, aube) et à différents endroits (centre-ville, zones résidentielles, zones industrielles). Il reflète également différents scénarios de circulation (embouteillage, circulation fluide, absence de circulation) et de conditions de vision difficiles, telles qu'une mauvaise visibilité ou des caméras obstruées par de la neige ou de la pluie. Des exemples de ces images sont illustrés à la figure ci-dessous.

Le contenu diversifié de ViSnow peut améliorer les performances de diverses applications et en permettre de nouvelles, par exemple : l'optimisation de la planification du déneigement, les systèmes de planification de voyage qui recommandent les meilleurs itinéraires et modes de transport, l'analyse de la circulation hivernale pour détecter les embouteillages et les routes vulnérables, et des prévisions plus précises des heures d'arrivée et des retards dans les transports publics.

Pour développer des applications utilisant ViSnow, les images doivent être bien annotées. Par exemple, dans le cadre de l'entretien des routes en hiver, les images peuvent aider à classer l'état de la surface des routes. Cela nécessite d'annoter les images en fonction de la couverture de neige afin de les utiliser pour l'entraînement du classifieur. Dans notre article [2], nous présentons une méthode automatisée pour cette tâche, qui utilise des techniques de traitement d'images et de regroupement de données pour détecter différentes catégories basées sur des caractéristiques latentes. Les classes visées sont les suivantes : surface dégagée, surface légèrement couverte, surface moyennement ou profondément couverte et surface déneigée.

Pour se limiter à l'état des routes, les images ont d'abord été regroupées par jour ou par nuit et par caméra. Elles ont ensuite été converties en images binaires (noir et blanc) pour accentuer la présence de neige. Ensuite, elles ont été traitées par un réseau neuronal autoencodeur, qui apprend les caractéristiques cachées des images. Ces caractéristiques existent dans un nouvel espace où les caractéristiques clés de chaque catégorie sont facilement identifiables. Nous avons utilisé l'algorithme de Louvain, une méthode de détection des communautés, pour regrouper les images et les annoter dans les catégories souhaitées. L'ensemble de données annotées qui en résulte se compose d'environ 40 000 images réparties comme suit : 17 422 images de surfaces dégagées, 3 726 images de surfaces légèrement couvertes, 14 725 images de surfaces moyennement à fortement couvertes et 3 512 images de surfaces déneigées. Cette répartition est due aux différentes représentations de chaque catégorie pendant les chutes de neige.

Par la suite, nous utilisons la version annotée de ViSnow pour entraîner des réseaux neuronaux convolutionnels (CNN) à classer les images dans l'une des quatre catégories. Nous avons notamment entraîné les modèles EfficientNet et ResNet50 avec différents réglages d'entraînement. Nous avons obtenu les meilleurs résultats lorsque nous avons entraîné le modèle EfficientNet sur des ensembles d'images de jour et de nuit séparées, avec une fonction d'entraînement qui tient compte de la répartition déséquilibrée des catégories. Le modèle atteint une précision de 97 % dans la classification des nouvelles images provenant des caméras.

ViSnow, sous forme annotée et non annotée, vise à encourager et à promouvoir la recherche et les technologies liées aux systèmes de transport sous conditions d'enneigement. Le jeu de données nous a permis de proposer et de mettre en œuvre des cas d'utilisation utiles pour le public, notamment la planification du déneigement. Nous encourageons d'autres travaux utilisant ViSnow, que nous avons mis à disposition en ligne [3].

Références:

[1] Karaa, Mohamed, Hakim Ghazzai et Lokman Sboui. 2024. « ViSnow: Snow-Covered Urban Roads Dataset for Computer Vision Applications ». IEEE Open Journal of Systems Engineering, vol. 2, p. 62‑70.

[2] Karaa, Mohamed, Hakim Ghazzai et Lokman Sboui. 2024. « A Dataset Annotation System for Snowy Weather Road Surface Classification ». IEEE Open Journal of Systems Engineering, vol. 2, p. 71‑82.

[3] Karaa, Mohamed Karaa, Hakim Ghazzai Ghazzai et Lokman Sboui Sboui. ViSnow: Snow-covered Urban Roads Dataset for Computer Vision Applications. IEEE Dataport. https://doi.org/10.21227/9DYZ-...