Qu'est-ce que la segmentation d'instances ?

La segmentation d’instances est une tâche de vision par ordinateur qui attribue à chaque objet d’une image sa propre étiquette de classe et son propre masque de pixels.

Un modèle renvoie un masque par objet. Deux objets de la même classe reçoivent deux masques distincts. Mask R-CNN, YOLACT et Mask2Former sont des modèles courants pour cette tâche.

En quoi elle diffère des autres tâches

• La détection d’objets renvoie une boîte englobante et une classe pour chaque objet. Elle ne renvoie aucun masque.
• La segmentation sémantique renvoie une classe pour chaque pixel. Elle ne distingue pas les objets d’une même classe.
• La segmentation d’instances combine les deux. Les auteurs de Mask R-CNN la décrivent à la fois comme une tâche sémantique et une forme de détection.

Modèles courants

• Mask R-CNN (2017) ajoute une branche de masque à la branche de boîtes de Faster R-CNN. La version ResNet-101-FPN atteint 35,7 AP de masque sur COCO test-dev, à 5 images par seconde.
• YOLACT (2019) est un modèle entièrement convolutif. Il atteint 29,8 mAP sur COCO, à 33,5 images par seconde sur un seul GPU Titan Xp.
• Mask2Former (2021) est un modèle transformeur unique pour la segmentation panoptique, d’instances et sémantique. Il atteint 50,1 AP sur la segmentation d’instances COCO.

Ces chiffres proviennent d’articles et de matériels différents. Ils ne constituent donc pas un classement équitable. Ils décrivent aussi des photographies COCO d’objets courants. Ils ne disent rien sur les fissures ni sur les feux d’un aéroport.

Comment les articles comparent les modèles

Les articles rapportent la précision moyenne (AP), l’AP50 et l’AP75. Le code d’évaluation COCO utilise 10 seuils d’intersection sur union (IoU), de 0,50 à 0,95 par pas de 0,05. Pour les masques, il calcule l’IoU entre le masque prédit et le masque de référence.

Utilisation pour l’inspection des chaussées d’aérodrome

Un masque peut donner la taille d’un défaut lorsque l’échelle de l’image est connue. L’indice de l’état de la chaussée (PCI) suit la norme ASTM D5340. Les manuels PAVER consignent les dégradations de l’asphalte en pieds carrés ou en pieds linéaires, et celles du béton en nombre de dalles. Par exemple, une dalle qui présente des fissures de retrait compte pour une seule dalle, quel que soit le nombre de fissures. Un nombre de masques ne suffit donc pas, à lui seul, comme donnée d’entrée du PCI. Les masques doivent être convertis dans les unités que le manuel utilise pour chaque type de dégradation.