Was ist semantische Segmentierung?
Semantische Segmentierung ist eine Aufgabe des maschinellen Sehens, die jedes Pixel eines Bildes einer Klasse zuordnet.
Long, Shelhamer und Darrell beschreiben die Aufgabe so: Jedes Pixel wird mit der Klasse des umschließenden Objekts oder Bereichs beschriftet. Ihre vollständig faltenden Netze nehmen ein Bild beliebiger Größe entgegen. Sie geben eine Beschriftungskarte derselben Größe zurück.
Verwandte Aufgaben
Die Instanzsegmentierung erkennt jedes Objekt und segmentiert es getrennt. Die semantische Segmentierung tut das nicht. Sie vergibt dieselbe Bezeichnung an zwei Risse. Die panoptische Segmentierung verbindet beide Aufgaben und gibt jedem Pixel der Szene eine einheitliche Bezeichnung.
Aufbau und Bewertung eines Modells
Viele Modelle folgen dem U-Net-Entwurf. Ein verkleinernder Pfad erfasst den Kontext. Ein symmetrischer erweiternder Pfad stellt die Position jeder Bezeichnung wieder her. Die Autoren trainierten es mit sehr wenigen Bildern.
Zwei gängige Werte sind die Pixelgenauigkeit und die mittlere Intersection over Union (mittlere IoU). Die Pixelgenauigkeit ist die Anzahl der richtigen Pixel geteilt durch alle Pixel. Die mittlere IoU vergleicht für jede Klasse die vorhergesagten mit den tatsächlichen Pixeln und bildet den Mittelwert der Ergebnisse.
Einsatz bei der Flugplatzinspektion
Der PCI eines Flugplatzbelags wird nach ASTM D5340 bestimmt (FAA AC 150/5380-6C, Abschnitt 2.4). Das FAA-Rundschreiben erwähnt die Bildsegmentierung nicht. Diese Seite behauptet nicht, wie gut ein Segmentierungsmodell Belagsschäden findet.
Häufig gestellte Fragen
- Was ist der Unterschied zwischen semantischer, Instanz- und panoptischer Segmentierung?
- Die semantische Segmentierung gibt jedem Pixel eine Klasse, trennt aber nicht die Objekte derselben Klasse. Die Instanzsegmentierung erkennt und segmentiert jedes Objekt einzeln. Die panoptische Segmentierung verbindet beides, sodass jedes Pixel der Szene eine einheitliche Bezeichnung erhält.
- Wie wird ein Modell für semantische Segmentierung bewertet?
- Zwei gängige Werte sind die Pixelgenauigkeit und die mittlere Intersection over Union (mittlere IoU). Die Pixelgenauigkeit ist der Anteil der Pixel mit der richtigen Klasse. Die mittlere IoU bildet über alle Klassen den Mittelwert aus dem Überlapp der vorhergesagten und der tatsächlichen Pixel, geteilt durch deren Vereinigung.
- Was ist ein U-Net?
- Ein U-Net ist ein neuronales Faltungsnetz für die Segmentierung mit einem verkleinernden Pfad, der den Kontext erfasst, und einem symmetrischen erweiternden Pfad, der eine präzise Lokalisierung ermöglicht. Ronneberger, Fischer und Brox stellten es 2015 für biomedizinische Bilder vor und trainierten es mit sehr wenigen Bildern.
Referenzen
- fcn-long-2015
- Fully Convolutional Networks for Semantic Segmentation Long, Shelhamer and Darrell, CVPR 2015 (arXiv:1411.4038)
- unet-2015
- U-Net: Convolutional Networks for Biomedical Image Segmentation Ronneberger, Fischer and Brox (arXiv:1505.04597)
- panoptic-2018
- Panoptic Segmentation Kirillov, He, Girshick, Rother and Dollar (arXiv:1801.00868, CVPR 2019)
- faa-ac-150-5380-6c
- AC 150/5380-6C, Guidelines and Procedures for Maintenance of Airport Pavements FAA
Dies ist ein Referenzeintrag. TarmacView bietet Drohneninspektionsdienste an und verkauft nicht die in diesem Glossar beschriebene Ausrüstung oder Materialien.
