Co je sémantická segmentace?
Sémantická segmentace je úloha počítačového vidění, která každému pixelu obrazu přiřazuje třídu.
Long, Shelhamer a Darrell popisují tuto úlohu jako označení každého pixelu třídou objektu nebo oblasti, do které patří. Jejich plně konvoluční sítě přijmou obraz libovolné velikosti a vrátí mapu štítků stejné velikosti.
Související úlohy
Instanční segmentace zjistí každý objekt a segmentuje jej zvlášť. Sémantická segmentace to nedělá. Dvěma trhlinám dá stejný štítek. Panoptická segmentace spojuje obě úlohy a každému pixelu scény dá jeden konzistentní štítek.
Jak se model staví a hodnotí
Mnoho modelů vychází z návrhu U-Net. Kontrahující cesta zachycuje kontext. Symetrická expandující cesta obnovuje polohu každého štítku. Autoři ji trénovali na velmi malém počtu snímků.
Dvě běžná hodnocení jsou přesnost na pixelech a střední průnik nad sjednocením (mean IU). Přesnost na pixelech je počet správných pixelů dělený všemi pixely. Mean IU porovnává predikované a skutečné pixely pro každou třídu a výsledky zprůměruje.
Použití při kontrole letiště
PCI letištní vozovky se určuje podle ASTM D5340 (FAA AC 150/5380-6C, oddíl 2.4). Oběžník FAA o segmentaci obrazu nezmiňuje. Tato stránka netvrdí, jak dobře segmentační model nachází poruchy vozovky.
Často kladené otázky
- Jaký je rozdíl mezi sémantickou, instanční a panoptickou segmentací?
- Sémantická segmentace přiřadí každému pixelu třídu, ale neodděluje objekty stejné třídy. Instanční segmentace zjistí a segmentuje každý objekt zvlášť. Panoptická segmentace obě úlohy spojuje, takže každý pixel scény dostane jeden konzistentní štítek.
- Jak se hodnotí model sémantické segmentace?
- Dvě běžná hodnocení jsou přesnost na pixelech a střední průnik nad sjednocením (mean IU). Přesnost na pixelech je podíl pixelů se správnou třídou. Mean IU je průměr přes všechny třídy. Pro každou třídu se vezme překryv predikovaných a skutečných pixelů a vydělí se jejich sjednocením.
- Co je U-Net?
- U-Net je konvoluční síť pro segmentaci s kontrahující cestou, která zachycuje kontext, a symetrickou expandující cestou, která zajišťuje přesnou lokalizaci. Ronneberger, Fischer a Brox ji představili v roce 2015 pro biomedicínské snímky a trénovali ji na velmi malém počtu snímků.
Reference
- fcn-long-2015
- Fully Convolutional Networks for Semantic Segmentation Long, Shelhamer and Darrell, CVPR 2015 (arXiv:1411.4038)
- unet-2015
- U-Net: Convolutional Networks for Biomedical Image Segmentation Ronneberger, Fischer and Brox (arXiv:1505.04597)
- panoptic-2018
- Panoptic Segmentation Kirillov, He, Girshick, Rother and Dollar (arXiv:1801.00868, CVPR 2019)
- faa-ac-150-5380-6c
- AC 150/5380-6C, Guidelines and Procedures for Maintenance of Airport Pavements FAA
Toto je referenční položka. TarmacView poskytuje služby inspekce drony a neprodává zařízení ani materiály popsané v tomto slovníku.
