¿Qué es la segmentación de instancias?

La segmentación de instancias es una tarea de visión artificial que asigna a cada objeto de una imagen su propia etiqueta de clase y máscara de píxeles.

Un modelo devuelve una máscara por objeto. Dos objetos de la misma clase reciben dos máscaras separadas. Mask R-CNN, YOLACT y Mask2Former son modelos habituales para esta tarea.

En qué se diferencia de otras tareas

• Detección de objetos devuelve una caja delimitadora y una clase para cada objeto. No devuelve ninguna máscara.
• Segmentación semántica devuelve una clase para cada píxel. No separa los objetos de la misma clase.
• Segmentación de instancias combina ambas. Los autores de Mask R-CNN la describen como una tarea semántica y, a la vez, como una forma de detección.

Modelos habituales

• Mask R-CNN (2017) añade una rama de máscaras a la rama de cajas de Faster R-CNN. La versión ResNet-101-FPN alcanza 35,7 AP de máscara en COCO test-dev a 5 fotogramas por segundo.
• YOLACT (2019) es un modelo totalmente convolucional. Alcanza 29,8 mAP en COCO a 33,5 fotogramas por segundo en una GPU Titan Xp.
• Mask2Former (2021) es un único modelo transformador para segmentación panóptica, de instancias y semántica. Alcanza 50,1 AP en la segmentación de instancias de COCO.

Estas cifras proceden de artículos y hardware distintos, así que no son una clasificación justa. Además, describen fotografías de COCO de objetos cotidianos. No dicen nada sobre grietas ni luces de un aeródromo.

Cómo comparan los artículos los modelos

Los artículos informan de la precisión media (AP), AP50 y AP75. El código de evaluación de COCO usa 10 umbrales de intersección sobre unión (IoU), de 0,50 a 0,95 en pasos de 0,05. En el caso de las máscaras, calcula el IoU entre la máscara predicha y la máscara de referencia.

Uso en la inspección de pavimentos de aeródromos

Una máscara puede dar el tamaño de un deterioro cuando se conoce la escala de la imagen. El índice de condición del pavimento (PCI) sigue la norma ASTM D5340. Los manuales PAVER registran los deterioros del asfalto en pies cuadrados o lineales, y los del hormigón como número de losas. Por ejemplo, una losa con grietas por retracción cuenta una sola vez, sin importar cuántas grietas tenga. Por tanto, un conteo de máscaras no es por sí solo un dato de entrada del PCI. Las máscaras deben convertirse a las unidades que usa el manual para cada tipo de deterioro.