Mi a példányszegmentálás?

A példányszegmentálás számítógépes látási feladat, amely a kép minden objektumának saját osztálycímkét és pixelmaszkot ad.

A modell objektumonként egy maszkot ad vissza. Két azonos osztályú objektum két külön maszkot kap. A Mask R-CNN, a YOLACT és a Mask2Former gyakori modellek erre a feladatra.

Miben különbözik más feladatoktól

• Objektumdetektálás: minden objektumhoz határoló dobozt és osztályt ad. Maszkot nem ad.
• Szemantikus szegmentálás: minden pixelhez osztályt rendel. Nem választja el az azonos osztályú objektumokat.
• Példányszegmentálás: a kettőt egyesíti. A Mask R-CNN szerzői szerint szemantikus feladat, és a detektálás egy formája is.

Gyakori modellek

• Mask R-CNN (2017): a Faster R-CNN határolódoboz-ágához maszkágat ad. A ResNet-101-FPN változat 5 fps mellett 35,7 maszk AP-t ér el a COCO test-dev adatbázison.
• YOLACT (2019): teljesen konvolúciós modell. Egy Titan Xp GPU-n 33,5 fps mellett 29,8 mAP-t ér el a COCO-n.
• Mask2Former (2021): egyetlen transzformer modell panoptikus, példány- és szemantikus szegmentálásra. 50,1 AP-t ér el a COCO példányszegmentálásán.

Ezek a számok más-más tanulmányokból és eltérő hardverről származnak, ezért nem tisztességes rangsor. Emellett a mindennapi tárgyak COCO-fotóira vonatkoznak. Nem mondanak semmit a repülőtéri repedésekről vagy lámpákról.

Hogyan hasonlítják össze a tanulmányok a modelleket

A tanulmányok az átlagos pontosságot (AP), az AP50-et és az AP75-öt közlik. A COCO-értékelő kód 0,50 és 0,95 között, 0,05-ös lépésekben haladó 10 metszet/unió arány (IoU) küszöböt használ. Maszkok esetén a becsült maszk és a referenciamaszk közötti IoU-t számítja.

Felhasználás repülőtéri burkolat-ellenőrzésben

Egy maszk a hiba méretét adja meg, ha ismert a kép léptéke. A burkolatállapot-index (PCI) az ASTM D5340 szerint készül. A PAVER-kézikönyvek az aszfaltos hibákat négyzetlábban vagy lineáris lábban, a betonos hibákat lemezek számában rögzítik. Például egy zsugorodási repedéseket tartalmazó lemez egyszer számít, bármennyi repedés is van rajta. A maszkok darabszáma tehát önmagában nem PCI-bemenet. A maszkokat át kell váltani a kézikönyv által az egyes hibatípusokhoz használt mértékegységekre.