Construction d'une base de données avec des caméras infrarouges

Le projet vise à construire, documenter et publier une nouvelle base de données d’images infrarouges destinée au développement et à l’évaluation de méthodes d’intelligence artificielle pour l’analyse de scènes intérieures. Les images sont déjà disponibles, mais plusieurs aspects scientifiques restent à définir, notamment la stratégie d’annotation, les protocoles d’entraînement et d’évaluation, ainsi que les différentes tâches pouvant être étudiées à partir de cette base de données.

La première étape consistera à concevoir une stratégie d’annotation efficace permettant de maximiser la qualité des annotations tout en minimisant le coût humain. Les étudiants devront analyser les différents types d’annotations pertinents (boîtes englobantes, masques, points, segmentation, comptage, etc.) et proposer des méthodes permettant d’accélérer le processus, par exemple à l’aide d’outils semi-automatiques, de modèles préentraînés, d’annotation active ou de procédures de validation ciblées. Une attention particulière sera portée à la cohérence des annotations ainsi qu’à la définition de lignes directrices garantissant leur reproductibilité.

Bien que la tâche principale soit la détection de personnes, la base de données devra être conçue pour supporter plusieurs problèmes de vision artificielle, notamment le comptage de personnes, l’estimation de la présence ou de l’occupation d’une pièce, ainsi que la détection d’anomalies ou d’événements inhabituels. Les étudiants devront également identifier d’autres tâches susceptibles d’être étudiées à partir de ces données afin de maximiser l’impact scientifique de la base de données.

Une partie importante du projet portera sur la définition de protocoles d’entraînement et d’évaluation permettant une comparaison rigoureuse des méthodes. En plus des métriques classiques (par exemple le mAP pour la détection, les erreurs de comptage pour l’estimation du nombre de personnes ou la précision et le rappel pour l’estimation de la présence), le projet proposera des protocoles d’évaluation de la robustesse, notamment des protocoles leave-one-domain-out, dans lesquels les modèles sont entraînés sur plusieurs domaines et évalués sur un domaine inédit. Les performances seront analysées non seulement en moyenne, mais également selon des critères de robustesse tels que la pire performance (worst-case performance) entre les différents domaines, afin d’évaluer la capacité des modèles à généraliser à de nouveaux environnements.

Les étudiants devront également analyser les différentes sources de variation présentes dans la base de données afin d’identifier les principaux facteurs de domain shift. Cette analyse portera notamment sur le type de caméra infrarouge, les caractéristiques optiques (objectif ou lentille), la densité de personnes dans les scènes, les points de vue, les environnements d’acquisition, les conditions thermiques ou lumineuses, ainsi que tout autre facteur susceptible d’influencer les performances des modèles. L’objectif sera de définir des domaines pertinents permettant de construire des protocoles expérimentaux réalistes et de mieux comprendre les limites de généralisation des approches développées.

L’objectif final est de publier une base de données de référence, soigneusement annotée, documentée et accompagnée de protocoles d’évaluation standardisés ainsi que de résultats de référence (benchmarks) sur les principales tâches étudiées. Cette ressource devra permettre une comparaison équitable des méthodes existantes, favoriser le développement de modèles robustes et généralisables pour l’analyse d’images infrarouges, et constituer une référence pour la recherche sur les bâtiments intelligents et les systèmes de vision embarqués.