Qu’est-ce que la segmentation sémantique ?

La segmentation sémantique est une tâche de vision par ordinateur qui attribue une classe à chaque pixel d’une image.

Long, Shelhamer et Darrell décrivent cette tâche comme l’attribution à chaque pixel de la classe de l’objet ou de la zone qui le contient. Leurs réseaux entièrement convolutifs acceptent une image de taille quelconque et renvoient une carte d’étiquettes de même taille. Cette carte d’étiquettes est aussi appelée carte de segmentation.

Tâches apparentées

Kirillov et ses coauteurs répartissent la reconnaissance visuelle en deux groupes. Les choses amorphes (stuff) désignent des zones de texture ou de matière semblables, comme l’herbe, le ciel et la route. Les choses dénombrables (things) désignent des objets comptables, comme les personnes, les animaux et les outils. La segmentation sémantique attribue une étiquette de classe à chaque pixel, elle traite donc les classes d’objets comme des choses amorphes.

Trois tâches apparentées diffèrent par leur résultat :

• Détection d’objets. Elle trouve chaque objet et lui attribue une boîte englobante et une classe. Elle n’étiquette pas les pixels situés hors des boîtes.
• Segmentation d’instances. Elle détecte chaque objet et le contourne par un masque. Deux fissures reçoivent deux masques, alors que la segmentation sémantique donne la même étiquette aux deux.
• Segmentation panoptique. Elle combine les deux tâches. Chaque pixel reçoit une classe, et chaque pixel d’une chose reçoit un numéro d’instance.

Modèles

La plupart des modèles utilisent un réseau de couches convolutives qui produit un score par classe pour chaque pixel. Les principales familles sont :

• Réseau entièrement convolutif (FCN). Long et ses coauteurs ont adapté des réseaux de classification pour accepter une entrée de taille quelconque et produire une sortie de même taille. Ils l’ont entraîné de pixel à pixel. Il a atteint 62,2 % d’IU moyen sur PASCAL VOC 2012, et l’inférence a pris un tiers de seconde pour une image typique.
• U-Net. Une voie de contraction capte le contexte. Une voie d’expansion symétrique restitue la position de chaque étiquette. Ses auteurs l’ont entraîné sur très peu d’images, avec un usage intensif de l’augmentation de données. Ils l’ont conçu pour les images biomédicales.
• DeepLabv3+. Il ajoute un module de décodage pour affiner les résultats de segmentation. Les auteurs annoncent 89,0 % sur PASCAL VOC 2012 et 82,1 % sur Cityscapes, tous deux sur le jeu de test et sans post-traitement.
• SegFormer. Il utilise des transformeurs. Son modèle B4 atteint 50,3 % de mIoU sur le jeu de données ADE20K, et son modèle B5 atteint 84,0 % de mIoU sur l’ensemble de validation de Cityscapes.
• Mask2Former. Une seule architecture traite la segmentation sémantique, d’instances et panoptique. Il atteint 57,7 mIoU sur ADE20K pour la tâche sémantique.

Ne comparez pas les chiffres d’un jeu de données à l’autre. Chaque score se rapporte à un jeu de données et à une partition. Aucun article de cette liste ne désigne un meilleur modèle pour toutes les images. Comparez les modèles sur un jeu de données semblable à vos propres images.

Données d’entraînement et fonction de perte

Un modèle apprend à partir d’images dont chaque pixel porte une étiquette faite à la main. Le jeu de données Cityscapes compte 5 000 images de rues avec des annotations au pixel de haute qualité, et 20 000 images de plus avec des annotations grossières.

Les auteurs d’UAVid décrivent Cityscapes et CamVid comme des vues latérales depuis une caméra montée sur une voiture. UAVid est un jeu de données de drone. Il compte 30 séquences vidéo d’images 4K prises d’une vue oblique. Ses auteurs ont étiqueté 300 images avec 8 classes. Il montre des scènes urbaines, et non des aérodromes.

Le document FCN entraîne le modèle avec une fonction de perte logistique multinomiale par pixel. Une perte fondée sur le coefficient de Dice est un autre choix. Les auteurs de V-Net l’ont introduite parce que les voxels de premier plan et d’arrière-plan étaient fortement déséquilibrés dans leurs examens médicaux.

Évaluation d’un modèle

Comparez la carte du modèle à une carte étiquetée à la main pour obtenir un score. Long et ses coauteurs rapportent quatre mesures. Soit n(i,j) le nombre de pixels de la classe i que le modèle affecte à la classe j. Soit t(i) le nombre total de pixels de la classe i. Soit ncl le nombre de classes.

Les articles sur les modèles récents écrivent l’IU moyen sous la forme mIoU. La page sur l’intersection sur union explique le score de recouvrement. L’IU moyen donne à chaque classe le même poids, quelle que soit sa taille. L’exactitude par pixel donne à chaque pixel le même poids.

Usage dans l’inspection d’aérodrome

L’indice de l’état de la chaussée (PCI) d’une chaussée d’aérodrome est déterminé selon l’ASTM D5340 (FAA AC 150/5380-6C, section 2.4). La circulaire de la FAA ne mentionne pas la segmentation d’images. Cette page n’affirme rien sur la capacité d’un modèle de segmentation à détecter les dégradations de chaussée.

Le manuel PAVER de la FAA pour les aérodromes en asphalte indique comment mesurer chaque dégradation. La fissuration en peau de crocodile, le ressuage, la fissuration en blocs, les dépressions et l’orniérage se mesurent en mètres carrés de surface. Les fissures longitudinales et transversales se mesurent en mètres linéaires. Une boîte englobante ne donne pas une surface. Un masque délimite une région, il correspond donc à l’unité d’une dégradation surfacique. La page sur la segmentation des fissures traite le cas où la classe est fissure ou non-fissure.

TarmacView planifie le vol de relevé et capte aujourd’hui les photos de chaussée. La détection des fissures et la notation ASTM D5340 sont en cours de développement et proposées en accès anticipé.