La personnalisation des émotions subtiles pour la santé numérique

Pourquoi personnaliser la reconnaissance des émotions subtiles?

Les interventions numériques visant à modifier les comportements recourent de plus en plus à des coachs virtuels et à des plateformes en ligne afin d’offrir un soutien accessible et continu. Imaginez un coach de santé virtuel qui demande à quelqu’un s’il est prêt à faire plus d’exercice ou à suivre un plan de traitement. Bien que la personne réponde « oui », elle fait une pause, détourne le regard et serre les lèvres. Un professionnel de la santé pourrait reconnaître ces signes subtils d’incertitude. Un système numérique classique, en revanche, pourrait ne considérer que la réponse verbale ou ne reconnaître que des émotions générales comme la joie, la tristesse ou la colère. Les états émotionnels subtils, comme la douleur, le stress, l’ambivalence et l’hésitation, sont plus difficiles à identifier, car leurs signes sont souvent plus faibles, plus brefs et apparaissent progressivement.

La reconnaissance de ces émotions subtiles est encore amplifiée par les différences individuelles. Un sourcil levé ou une lèvre pincée peut indiquer un malaise chez une personne, mais être neutre chez une autre. Par conséquent, un modèle entraîné sur un grand nombre de personnes peut apprendre des schémas émotionnels génériques qui ne reflètent pas fidèlement ceux d’un individu inconnu du modèle. 

Pour relever ce défi, des chercheurs de l’ÉTS ont créé CLIP-AUTT, une méthode de personnalisation en phase test pour la reconnaissance fine des émotions. Cette méthode sélectionne le segment temporel le plus informatif d’une vidéo non étiquetée et ajuste un petit ensemble de descriptions d’actions faciales afin de refléter les schémas expressifs d’un nouvel individu. Cette approche allégée permet une adaptation spécifique à chaque personne sans nécessiter d’étiquettes d’émotions ni de réentraînement complet du modèle.

De consignes fixes à la reconnaissance personnalisée des émotions

Les modèles de vision-langage (VLM), tels que CLIP, associent le contenu visuel aux descriptions textuelles. Dans la reconnaissance des émotions, ils comparent des images ou des vidéos du visage à des descriptions telles que « expression de [douleur] » ou « [stress] ». À la figure 1(a), les méthodes classiques de reconnaissance des émotions dans les vidéos CLIP s’appuient sur des descriptions prédéfinies ou des consignes générées par de grands modèles linguistiques. Le modèle est ensuite entraîné ou ajusté afin d’associer les vidéos aux descriptions. Cependant, les consignes sont fixes lorsque le modèle voit une nouvelle personne. Par conséquent, les mêmes descriptions d’émotions sont utilisées pour tout le monde, même si les expressions subtiles peuvent varier considérablement d’une personne à l’autre. Les consignes génériques ou générées automatiquement peuvent également être trop vagues pour saisir les mouvements faciaux subtils associés à la douleur, au stress, à l’ambivalence ou à l’hésitation.

Pour pallier ces limitations, nous proposons le modèle CLIP-AU, illustré à la figure 1(b). Au lieu de descriptions génériques des émotions, il utilise des instructions décrivant des mouvements faciaux localisés, appelés unités d'action (AUs). Il compare ces descriptions aux mouvements faciaux, image par image dans la vidéo, et apprend comment évoluent les combinaisons d’AU. Cette approche permet une représentation plus détaillée et interprétable des expressions subtiles, sans nécessiter d'étiquettes pour les AU, d'instructions générées par un modèle linguistique ni d'ajustement du modèle CLIP complet.

CLIP-AUTT, à la figure 1(c), étend cette approche en intégrant la personnalisation en phase test. Lorsqu’une vidéo d’une personne inconnue du modèle est reçue, la méthode identifie la fenêtre temporelle présentant les indices expressifs les plus clairs et adapte uniquement les consignes des AU à cette personne. Le modèle visuel global restant inchangé, la simplicité de l’adaptation est assurée. Cette approche améliore non seulement les performances de reconnaissance, mais reste efficace sur le plan informatique, en conservant une vitesse de traitement élevée à un faible coût de calcul. À la figure 1(d), CLIP-AUTT adapte sa compréhension à la manière dont la personne exprime l’émotion.

Comment CLIP-AUTT personnalise un individu inconnu du modèle

Les expressions faciales subtiles ne sont pas toujours visibles tout au long d'une vidéo. Elles sont souvent progressives, atteignant un bref pic avant de s'estomper. CLIP-AUTT divise chaque vidéo en courtes fenêtres temporelles qui se chevauchent, au lieu de considérer chaque image comme également informative. Un module temporel analyse les mouvements faciaux dans chaque fenêtre et les compare aux descriptions des AU apprises par CLIP-AUTT.

La méthode évalue ensuite la pertinence de chaque fenêtre pour former une combinaison cohérente d'AU. Une fenêtre présentant un niveau d'incertitude élevé peut contenir un visage neutre, une transition entre deux expressions ou de subtils mouvements faciaux. CLIP-AUTT sélectionne la fenêtre présentant le niveau d'incertitude le plus faible, considérée comme le segment le plus informatif pour la personnalisation. Cette approche évite que le modèle ne s'adapte à des parties ambiguës ou non informatives de la vidéo.

À partir de la fenêtre sélectionnée, CLIP-AUTT ajuste uniquement les représentations textuelles des AUs. L’encodeur visuel, le module temporel et le classificateur d’émotions restent inchangés. Cette approche rend la personnalisation efficace sur le plan informatique et réduit le risque d’altérer les connaissances générales acquises au cours de l’apprentissage. L’adaptation ne nécessite ni étiquettes d’émotions pour la nouvelle vidéo ni l’accès aux données d’apprentissage originales. Une fois la prédiction terminée, les consignes adaptées sont réinitialisées avant le traitement de la vidéo suivante.

La personnalisation améliore la reconnaissance fine des émotions

Nous avons évalué CLIP-AUTT sur trois ensembles de données vidéo représentant différentes émotions à reconnaissance fine : BioVid pour la douleur, StressID pour le stress et BAH pour l’ambivalence et l’hésitation. L’évaluation a porté sur des vidéos de personnes non utilisées pendant l’entraînement et a comparé CLIP-AUTT à des méthodes existantes basées sur CLIP et à des méthodes d’adaptation en phase test.

CLIP-AUTT a atteint une précision pondérée de 81,5 % sur BioVid, de 80,8 % sur StressID et de 69,8 % sur BAH. La méthode de comparaison la plus performante a obtenu 76,1 %, 75,9 % et 67,9 % respectivement. CLIP-AUTT a donc amélioré la reconnaissance de 5,4 points de pourcentage pour la douleur, de 4,9 points pour le stress et de 1,9 point pour l’ambivalence et l’hésitation.

On a pu observer cette amélioration au niveau du score F1. Ce score mesure la fiabilité avec laquelle le modèle distingue les différents niveaux ou classes d’émotions. Sur StressID, par exemple, CLIP-AUTT a fait passer le score F1 de 59,4 % à 77,9 %. Ces résultats montrent que la sélection d’un segment temporel informatif et l’adaptation des consignes relatives aux d’AU permettent d’obtenir de meilleures prédictions que l’application d’une même représentation fixe à chaque individu.

Conclusion

La méthode CLIP-AUTT de l’ÉTS propose une approche allégée, efficace et pratique pour personnaliser la reconnaissance fine des émotions dans les vidéos. En combinant les indicateurs d'AUs avec la sélection de fenêtres temporelles informatives, CLIP-AUTT s’adapte aux schémas individuels d’expression sans étiquettes ni réentraînement complet du modèle. Cette méthode permet aux interventions en santé numérique de mieux comprendre et de mieux répondre aux signaux émotionnels subtils de chaque personne.

Complément d’information

De plus amples renseignements sur les travaux de recherche présentés dans cet article sont disponibles dans la publication suivante : Zeeshan, Muhammad Osama, et al. “CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition.” European Conference on Computer Vision (ECCV), 2026.

Références

Zeeshan, M. O., Sharafi, M., Savary, B., Koerich, A. L., Pedersoli, M., & Granger, E. (2026). Clip-autt: Test-time personalization with action unit prompting for fine-grained video emotion recognition. European Conference on Computer Vision (ECCV 2026)

González-González, M., Belharbi, S., Zeeshan, M., Sharafi, M. H., Pedersoli, M., ... & Granger, E. (2026, April). BAH dataset for ambivalence/hesitancy recognition in videos for digital behavioural change. In International Conference on Learning Representations (Vol. 2026, pp. 41540-41586).

González-González, M., Belharbi, S., Zeeshan, M. O., Sharafi, M., Aslam, M. H., Sia, L., ... & Granger, E. (2026). Multimodal Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions. Affective Computing and Intelligent INteraction 2026.

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021, July). Learning transferable visual models from natural language supervision. In International conference on machine learning (pp. 8748-8763). PmLR.

Martinez, B., Valstar, M. F., Jiang, B., & Pantic,M. (2017). Automatic analysis of facial actions: A survey. IEEE transactions on affective computing, 10(3), 325-347.