Čo je sémantická segmentácia?
Sémantická segmentácia je úloha počítačového videnia, ktorá každému pixelu obrazu priradí triedu.
Long, Shelhamer a Darrell túto úlohu opisujú ako označovanie každého pixelu triedou objektu alebo oblasti, do ktorej patrí. Ich plne konvolučné siete prijímajú obraz ľubovoľnej veľkosti. Vracajú mapu štítkov rovnakej veľkosti.
Súvisiace úlohy
Segmentácia inštancií zisťuje každý objekt a segmentuje ho samostatne. Sémantická segmentácia to nerobí. Dvom trhlinám dá rovnaký štítok. Panoptická segmentácia spája obe úlohy a každému pixelu v scéne dá jeden konzistentný štítok.
Ako sa model zostavuje a hodnotí
Mnohé modely sa riadia návrhom U-Net. Zužujúca sa cesta zachytáva kontext. Symetrická rozširujúca sa cesta obnovuje polohu každého štítku. Jeho autori ho trénovali na veľmi malom počte obrazov.
Dve bežné skóre sú pixelová presnosť a stredný prienik cez zjednotenie (mean IU). Pixelová presnosť je počet správnych pixelov vydelený všetkými pixelmi. Mean IU porovnáva predpovedané a skutočné pixely pre každú triedu a výsledok spriemeruje.
Použitie pri kontrole letiska
Index PCI letiskovej vozovky sa určuje podľa ASTM D5340 (FAA AC 150/5380-6C, oddiel 2.4). Poradný obežník FAA nespomína segmentáciu obrazu. Táto stránka netvrdí, ako dobre model segmentácie nájde poškodenia vozovky.
Často kladené otázky
- Aký je rozdiel medzi sémantickou segmentáciou, segmentáciou inštancií a panoptickou segmentáciou?
- Sémantická segmentácia priradí každému pixelu triedu, ale neoddeľuje objekty tej istej triedy. Segmentácia inštancií zisťuje a segmentuje každý objekt samostatne. Panoptická segmentácia spája oboje, takže každý pixel scény dostane jeden konzistentný štítok.
- Ako sa hodnotí model sémantickej segmentácie?
- Dve bežné skóre sú pixelová presnosť a stredný prienik cez zjednotenie (mean IU). Pixelová presnosť je podiel pixelov so správnou triedou. Mean IU spriemeruje cez všetky triedy pomer prekrytia predpovedaných a skutočných pixelov k ich zjednoteniu.
- Čo je U-Net?
- U-Net je konvolučná sieť na segmentáciu so zužujúcou sa cestou, ktorá zachytáva kontext, a symetrickou rozširujúcou sa cestou, ktorá umožňuje presnú lokalizáciu. Ronneberger, Fischer a Brox ju predstavili v roku 2015 pre biomedicínske obrazy a trénovali ju na veľmi malom počte obrazov.
Referencie
- fcn-long-2015
- Fully Convolutional Networks for Semantic Segmentation Long, Shelhamer and Darrell, CVPR 2015 (arXiv:1411.4038)
- unet-2015
- U-Net: Convolutional Networks for Biomedical Image Segmentation Ronneberger, Fischer and Brox (arXiv:1505.04597)
- panoptic-2018
- Panoptic Segmentation Kirillov, He, Girshick, Rother and Dollar (arXiv:1801.00868, CVPR 2019)
- faa-ac-150-5380-6c
- AC 150/5380-6C, Guidelines and Procedures for Maintenance of Airport Pavements FAA
Toto je referenčný záznam. TarmacView poskytuje služby dronovej inšpekcie a nepredáva vybavenie ani materiály opísané v tomto slovníku.
