Čo je segmentácia inštancií?

Segmentácia inštancií je úloha počítačového videnia, ktorá priraďuje každému objektu na obrázku vlastné označenie triedy a vlastnú masku na úrovni pixelov.

Model vráti jednu masku pre každý objekt. Dva objekty rovnakej triedy dostanú dve samostatné masky. Mask R-CNN, YOLACT a Mask2Former sú bežné modely pre túto úlohu.

Ako sa líši od iných úloh

• Detekcia objektov vráti ohraničujúci rámček a triedu pre každý objekt. Nevracia masku.
• Sémantická segmentácia vráti triedu pre každý pixel. Neoddeľuje objekty rovnakej triedy.
• Segmentácia inštancií spája obe. Autori Mask R-CNN ju opisujú ako úlohu sémantickú aj ako formu detekcie.

Bežné modely

• Mask R-CNN (2017) pridáva vetvu masiek k vetve ohraničujúcich rámčekov modelu Faster R-CNN. Verzia ResNet-101-FPN dosahuje 35,7 mask AP na COCO test-dev pri 5 snímkach za sekundu.
• YOLACT (2019) je plne konvolučný model. Dosahuje 29,8 mAP na COCO pri 33,5 snímkach za sekundu na jednom GPU Titan Xp.
• Mask2Former (2021) je jeden transformerový model pre panoptickú, inštančnú a sémantickú segmentáciu. Dosahuje 50,1 AP na inštančnej segmentácii COCO.

Tieto čísla pochádzajú z rôznych štúdií a rôzneho hardvéru, preto nejde o férové poradie. Opisujú tiež fotografie bežných objektov z datasetu COCO. Nič nehovoria o trhlinách alebo svetlách na letisku.

Ako štúdie porovnávajú modely

Štúdie uvádzajú priemernú presnosť (AP), AP50 a AP75. Kód hodnotenia COCO používa 10 prahov prieniku cez zjednotenie (IoU) od 0,50 do 0,95 v krokoch po 0,05. Pri maskách počíta IoU medzi predikovanou maskou a referenčnou maskou.

Použitie pri inšpekcii spevnených plôch letiska

Maska môže určiť veľkosť jedného defektu, ak poznáte mierku obrazu. Index stavu vozovky (PCI) vychádza z normy ASTM D5340. Manuály PAVER zaznamenávajú poškodenie asfaltu v štvorcových alebo lineárnych stopách a poškodenie betónu ako počet dosiek. Napríklad doska so zmršťovacími trhlinami sa počíta raz, bez ohľadu na to, koľko trhlín má. Počet masiek preto sám o sebe nie je vstupom pre PCI. Masky treba prepočítať na jednotky, ktoré manuál používa pre každý typ poškodenia.