Czym jest segmentacja semantyczna?
Segmentacja semantyczna to zadanie wizji komputerowej, które przypisuje klasę każdemu pikselowi obrazu.
Long, Shelhamer i Darrell opisują to zadanie jako przypisywanie każdemu pikselowi klasy jego obiektu lub obszaru. Ich w pełni splotowe sieci przyjmują obraz dowolnego rozmiaru i zwracają mapę etykiet o tym samym rozmiarze.
Zadania pokrewne
Segmentacja instancji wykrywa każdy obiekt i segmentuje go osobno. Segmentacja semantyczna tego nie robi. Nadaje tę samą etykietę dwóm pęknięciom. Segmentacja panoptyczna łączy oba zadania i przypisuje każdemu pikselowi sceny jedną spójną etykietę.
Budowa i ocena modelu
Wiele modeli opiera się na konstrukcji U-Net. Zwężająca się ścieżka wychwytuje kontekst. Symetryczna, rozszerzająca się ścieżka przywraca położenie każdej etykiety. Autorzy trenowali ją na bardzo małej liczbie obrazów.
Dwa popularne wyniki to dokładność pikselowa i średnie przecięcie nad sumą (mean IU). Dokładność pikselowa to liczba poprawnych pikseli podzielona przez wszystkie piksele. Mean IU porównuje przewidywane i prawdziwe piksele dla każdej klasy, a następnie uśrednia wynik.
Zastosowanie w inspekcji lotniska
Wskaźnik PCI nawierzchni lotniskowej wyznacza się według ASTM D5340 (FAA AC 150/5380-6C, punkt 2.4). Okólnik doradczy FAA nie wspomina o segmentacji obrazów. Ta strona nie twierdzi, jak dobrze model segmentacji wykrywa uszkodzenia nawierzchni.
Często zadawane pytania
- Czym różnią się segmentacja semantyczna, instancji i panoptyczna?
- Segmentacja semantyczna przypisuje każdemu pikselowi klasę, ale nie rozdziela obiektów tej samej klasy. Segmentacja instancji wykrywa i segmentuje każdy obiekt osobno. Segmentacja panoptyczna łączy oba podejścia, dzięki czemu każdy piksel sceny dostaje jedną spójną etykietę.
- Jak ocenia się model segmentacji semantycznej?
- Dwa popularne wyniki to dokładność pikselowa i średnie przecięcie nad sumą (mean IU). Dokładność pikselowa to udział pikseli z poprawną klasą. Mean IU uśrednia dla wszystkich klas stosunek części wspólnej przewidywanych i prawdziwych pikseli do ich sumy.
- Czym jest U-Net?
- U-Net to splotowa sieć do segmentacji, ze zwężającą się ścieżką, która wychwytuje kontekst, oraz symetryczną, rozszerzającą się ścieżką, która zapewnia precyzyjną lokalizację. Ronneberger, Fischer i Brox wprowadzili ją w 2015 roku dla obrazów biomedycznych i trenowali na bardzo małej liczbie obrazów.
Bibliografia
- fcn-long-2015
- Fully Convolutional Networks for Semantic Segmentation Long, Shelhamer and Darrell, CVPR 2015 (arXiv:1411.4038)
- unet-2015
- U-Net: Convolutional Networks for Biomedical Image Segmentation Ronneberger, Fischer and Brox (arXiv:1505.04597)
- panoptic-2018
- Panoptic Segmentation Kirillov, He, Girshick, Rother and Dollar (arXiv:1801.00868, CVPR 2019)
- faa-ac-150-5380-6c
- AC 150/5380-6C, Guidelines and Procedures for Maintenance of Airport Pavements FAA
To wpis referencyjny. TarmacView świadczy usługi inspekcji dronami i nie sprzedaje sprzętu ani materiałów opisanych w tym słowniczku.
