Czym jest segmentacja instancji?

Segmentacja instancji to zadanie widzenia komputerowego, które nadaje każdemu obiektowi na obrazie własną etykietę klasy i własną maskę pikseli.

Model zwraca jedną maskę na obiekt. Dwa obiekty tej samej klasy dostają dwie osobne maski. Mask R-CNN, YOLACT i Mask2Former to popularne modele do tego zadania.

Czym różni się od innych zadań

• Wykrywanie obiektów zwraca ramkę ograniczającą i klasę dla każdego obiektu. Nie zwraca maski.
• Segmentacja semantyczna zwraca klasę dla każdego piksela. Nie rozdziela obiektów tej samej klasy.
• Segmentacja instancji łączy oba podejścia. Autorzy Mask R-CNN opisują ją jako zadanie semantyczne i jednocześnie formę wykrywania.

Popularne modele

• Mask R-CNN (2017) dodaje gałąź maski do gałęzi ramek Faster R-CNN. Wersja ResNet-101-FPN osiąga 35,7 mask AP na zbiorze COCO test-dev przy 5 klatkach na sekundę.
• YOLACT (2019) to model w pełni splotowy. Osiąga 29,8 mAP na COCO przy 33,5 klatkach na sekundę na jednym procesorze graficznym Titan Xp.
• Mask2Former (2021) to jeden model transformera do segmentacji panoptycznej, instancji i semantycznej. Osiąga 50,1 AP na COCO w segmentacji instancji.

Te wyniki pochodzą z różnych artykułów i różnego sprzętu, więc nie stanowią uczciwego rankingu. Dotyczą też zdjęć z zbioru COCO przedstawiających codzienne przedmioty. Nic nie mówią o pęknięciach ani o światłach na lotnisku.

Jak artykuły porównują modele

Artykuły podają średnią precyzję (AP), AP50 i AP75. Kod oceny COCO używa 10 progów IoU od 0,50 do 0,95 z krokiem 0,05. W przypadku masek oblicza IoU między maską przewidywaną a maską referencyjną. IoU to iloraz części wspólnej i sumy obu obszarów.

Zastosowanie w inspekcji nawierzchni lotniskowych

Maska może podać wielkość jednego uszkodzenia, gdy znana jest skala obrazu. Wskaźnik stanu nawierzchni (PCI) opiera się na ASTM D5340. Instrukcje PAVER rejestrują uszkodzenia nawierzchni asfaltowych w stopach kwadratowych lub liniowych, a uszkodzenia nawierzchni betonowych jako liczbę płyt. Na przykład płyta z pęknięciami skurczowymi liczy się raz, bez względu na liczbę pęknięć. Sama liczba masek nie jest więc danymi wejściowymi do PCI. Maski trzeba przeliczyć na jednostki, których instrukcja używa dla danego rodzaju uszkodzenia.