Co je instanční segmentace?
Instanční segmentace je úloha počítačového vidění, která přiřadí každému objektu na snímku vlastní třídu a vlastní pixelovou masku.
Model vrací jednu masku pro každý objekt. Dva objekty stejné třídy dostanou dvě oddělené masky. Mask R-CNN, YOLACT a Mask2Former jsou běžné modely pro tuto úlohu.
Jak se liší od jiných úloh
- Detekce objektů vrací pro každý objekt ohraničující rámeček a třídu. Masku nevrací.
- Sémantická segmentace vrací třídu pro každý pixel. Objekty stejné třídy neodděluje.
- Instanční segmentace kombinuje obojí. Autoři Mask R-CNN ji popisují jako úlohu sémantickou i jako formu detekce.
Běžné modely
- Mask R-CNN (2017) přidává větev masek k větvi ohraničujících rámečků Faster R-CNN. Verze ResNet-101-FPN dosahuje 35,7 mask AP na COCO test-dev při 5 snímcích za sekundu.
- YOLACT (2019) je plně konvoluční model. Dosahuje 29,8 mAP na COCO při 33,5 snímcích za sekundu na jedné grafické kartě Titan Xp.
- Mask2Former (2021) je jeden transformerový model pro panoptickou, instanční a sémantickou segmentaci. Dosahuje 50,1 AP na instanční segmentaci COCO.
Tato čísla pocházejí z různých publikací a různého hardwaru, takže nejde o férové pořadí. Popisují také fotografie COCO běžných předmětů. Nic neříkají o trhlinách nebo světlech na letišti.
Jak publikace porovnávají modely
Publikace uvádějí průměrnou přesnost (AP), AP50 a AP75. Hodnotící kód COCO používá 10 prahů průniku přes sjednocení (IoU) od 0,50 do 0,95 s krokem 0,05. U masek počítá IoU mezi predikovanou maskou a referenční maskou.
Použití při inspekci letištních vozovek
Maska může udat velikost jedné závady, pokud známe měřítko snímku. Index stavu vozovky (PCI) se řídí normou ASTM D5340. Příručky PAVER zaznamenávají poškození asfaltu ve čtverečních nebo délkových jednotkách (stopách nebo metrech) a poškození betonu jako počet desek. Například deska s trhlinami od smršťování se počítá jednou, bez ohledu na počet trhlin. Počet masek proto sám o sobě není vstupem do PCI. Masky je nutné převést na jednotky, které příručka používá pro každý typ poškození.
Často kladené otázky
- Jaký je rozdíl mezi instanční a sémantickou segmentací?
- Sémantická segmentace přiřadí třídu každému pixelu, ale neodděluje objekty stejné třídy. Instanční segmentace je také odděluje. Pokud snímek ukazuje tři trhliny, sémantická segmentace označí všechny pixely trhlin jako jednu třídu a instanční segmentace vrátí tři masky.
- Je instanční segmentace totéž co detekce objektů?
- Ne. Detekce objektů vrací pro každý objekt ohraničující rámeček a třídu. Instanční segmentace vrací pro každý objekt pixelovou masku a třídu, takže kombinuje detekci objektů a sémantickou segmentaci.
- Který model instanční segmentace je nejpřesnější?
- Žádná publikace zde modely nesrovnává férově. Uváděná čísla používají různý hardware a různé verze modelů. Mask R-CNN uvádí 35,7 mask AP při 5 snímcích za sekundu, YOLACT uvádí 29,8 mAP při 33,5 snímcích za sekundu a Mask2Former uvádí 50,1 AP na COCO. Všechna tato čísla platí pro fotografie COCO, nikoli pro vozovky.
Reference
- he-mask-rcnn
- Mask R-CNN He, Gkioxari, Dollar, Girshick, arXiv 1703.06870 (v1 20 Mar 2017, v3 24 Jan 2018)
- bolya-yolact
- YOLACT: Real-time Instance Segmentation Bolya, Zhou, Xiao, Lee, arXiv 1904.02689 (ICCV 2019)
- cheng-mask2former
- Masked-attention Mask Transformer for Universal Image Segmentation (Mask2Former) Cheng, Misra, Schwing, Kirillov, Girdhar, arXiv 2112.01527 (CVPR 2022)
- pycocotools-cocoeval
- cocoeval.py, COCO API (pycocotools) COCO Consortium
- paver-asphalt
- PAVER Distress Identification Manual for Asphalt Surfaced Airfields US Army Corps of Engineers ERDC-CERL
- paver-concrete
- PAVER Distress Identification Manual for Concrete Surfaced Airfields US Army Corps of Engineers ERDC-CERL
- faa-ac-150-5380-6c
- AC 150/5380-6C, Guidelines and Procedures for Maintenance of Airport Pavements FAA
Toto je referenční položka. TarmacView poskytuje služby inspekce drony a neprodává zařízení ani materiály popsané v tomto slovníku.