Was ist Instanzsegmentierung?

Instanzsegmentierung ist eine Aufgabe des maschinellen Sehens, die jedem Objekt in einem Bild eine eigene Klassenbezeichnung und eine eigene Pixelmaske gibt.

Ein Modell liefert eine Maske pro Objekt. Zwei Objekte derselben Klasse erhalten zwei getrennte Masken. Mask R-CNN, YOLACT und Mask2Former sind gängige Modelle für diese Aufgabe.

Unterschied zu anderen Aufgaben

• Objekterkennung liefert für jedes Objekt ein Begrenzungsrechteck und eine Klasse. Sie liefert keine Maske.
• Semantische Segmentierung liefert für jedes Pixel eine Klasse. Sie trennt keine Objekte derselben Klasse.
• Instanzsegmentierung verbindet beide Aufgaben. Die Autoren von Mask R-CNN beschreiben sie als semantische Aufgabe und zugleich als eine Form der Erkennung.

Gängige Modelle

• Mask R-CNN (2017) ergänzt den Box-Zweig von Faster R-CNN um einen Maskenzweig. Die Version ResNet-101-FPN erreicht 35,7 Mask-AP auf COCO test-dev bei 5 Bildern pro Sekunde.
• YOLACT (2019) ist ein vollständig konvolutionelles Modell. Es erreicht 29,8 mAP auf COCO bei 33,5 Bildern pro Sekunde auf einer einzelnen Titan-Xp-GPU.
• Mask2Former (2021) ist ein einziges Transformer-Modell für panoptische, Instanz- und semantische Segmentierung. Es erreicht 50,1 AP auf der Instanzsegmentierung von COCO.

Diese Werte stammen aus verschiedenen Fachartikeln und von verschiedener Hardware. Sie sind deshalb kein fairer Vergleich. Sie beschreiben außerdem COCO-Fotos von alltäglichen Objekten. Über Risse oder Befeuerung auf einem Flugfeld sagen sie nichts aus.

Wie Fachartikel Modelle vergleichen

Fachartikel berichten die durchschnittliche Präzision (AP), AP50 und AP75. Der COCO-Auswertungscode verwendet 10 Schwellenwerte für die Intersection over Union (IoU) von 0,50 bis 0,95 in Schritten von 0,05. Bei Masken berechnet er die IoU zwischen vorhergesagter Maske und Referenzmaske.

Einsatz bei der Inspektion von Flugfeldbefestigungen

Eine Maske kann die Größe eines einzelnen Schadens angeben, wenn der Bildmaßstab bekannt ist. Der Pavement Condition Index (PCI) folgt ASTM D5340. Die PAVER-Handbücher erfassen Asphaltschäden in Quadratfuß oder laufenden Fuß (Quadratmeter oder laufende Meter). Betonschäden erfassen sie als Anzahl der Platten. Eine Platte mit Schwindrissen zählt zum Beispiel einmal, egal wie viele Risse sie hat. Eine Anzahl von Masken ist deshalb allein keine Eingabe für den PCI. Die Masken müssen in die Einheiten umgerechnet werden, die das Handbuch für jede Schadensart verwendet.