Perte de contour en segmentation très déséquilibrée
Achetée sur Istockphoto.com. Droits d’auteur.
Segmentation sémantique d’images et tâches déséquilibrées
La segmentation sémantique d’images, qui consiste à dessiner automatiquement le contour d’un objet dans une image, est l’un des sujets de recherche les plus actifs dans le secteur de l’imagerie médicale. Le résultat de cette segmentation peut ensuite servir à de nombreuses applications en aval : diagnostics, planification chirurgicale ou suivi de nombreuses maladies.
L’une des difficultés rencontrées dans les applications médicales, comme la segmentation des tumeurs cérébrales, est le déséquilibre entre la partie saine de l’image (l’arrière-plan) et les lésions : ces dernières étant plus petites de plusieurs ordres de grandeur, cela revient à chercher une aiguille dans une botte de foin.
Figure 1 : Illustration du déséquilibre : la grande majorité des pixels appartiennent à l’arrière-plan, alors qu’il faut segmenter les petites lésions cérébrales.
Actuellement, la segmentation sémantique est principalement automatisée à l’aide de réseaux neuronaux artificiels, constructions mathématiques qui imitent un modèle de cerveau. Ces réseaux sont « entraînés » à l’aide d’une série d’exemples contenant à la fois l’image d’entrée et les contours des objets à prédire (vérité terrain). Lorsque les tâches sont déséquilibrées, les méthodes d’entraînement habituelles sont peu fiables, et les réseaux ont tendance à associer tous les pixels à l’arrière-plan, sans détecter les lésions existantes. Plusieurs travaux ont tenté d’améliorer l’entraînement en contexte de tâches déséquilibrées, en modifiant le « poids » de chaque type de pixel pour rendre les lésions plus « importantes », mais les résultats demeurent insatisfaisants.
Notre contribution : minimiser la distance entre les contours
Notre contribution, inspirée des travaux classiques en vision par ordinateur, consiste à traiter l’entraînement non pas comme une série de prédictions de pixels, mais plutôt comme la prédiction d’un contour correspondant au contour de la vérité terrain. Nous essayons donc de minimiser la distance entre les deux contours jusqu’à ce qu’ils se chevauchent parfaitement.
La minimisation de cette distance (q) n’est pas affectée par le déséquilibre décrit plus haut ; la méthode tient seulement compte de ce qui se passe à la frontière. La façon dont cette distance est minimisée lors de l’entraînement nécessite de reformuler le calcul de distance comme une somme de multiplications indépendantes de pixels (voir les détails dans l’article en référence). Il en résulte que notre façon de calculer cette distance est très efficace. Cette nouvelle perte de contour peut ensuite être combinée aux pertes existantes, afin de réduire et de rectifier leurs lacunes.
Résultats
Figure 4 : Comparaison visuelle des résultats, sur deux tâches différentes.
Combiner notre perte de contour à d’autres pertes nous a permis à la fois d’améliorer les résultats absolus, en repérant de petites lésions comme le montrent les exemples, et de rendre l’entraînement plus stable. Il s’agit d’une propriété très utile, car les praticiens doivent savoir quand arrêter l’entraînement de leurs réseaux et quand le poursuivre — difficile à faire en situation d’instabilité.
Adoption par la communauté
En raison de son efficacité, de ses bons résultats et de sa facilité d’utilisation, la méthode de la perte a été adoptée par de nombreux praticiens de la communauté, comme le montrent le nombre de citations, la quantité d’étoiles sur GitHub et la communauté active qui gravite autour.
Complément d’information
Pour des détails plus techniques, voir l’article complet décrivant les différents paramètres de plusieurs ensembles de données :
Kervadec H. ; Bouchtiba, J. ; Desrosiers, C. ; Granger, E. ; Dolz, J.; Ben Ayed, I. 2021. Boundary Loss for Highly Unbalanced Segmentation. Présentation orale à la conférence Medical Imaging with Deep Learning (MIDL) 2019, Amsterdam. Deuxième place pour le prix du meilleur article. Invité à participer à un numéro spécial sur l’apprentissage profond dans Medical Image Analysis (MEDIA), vol 67.
Le code est accessible en ligne et la réutilisation et les modifications sont permises : https://github.com/LIVIAETS/boundary-loss
