Qu'est-ce que l'apprentissage par transfert pour les modèles d'inspection d'infrastructures ?

Foire aux questions

Qu'est-ce que l'apprentissage par transfert en vision par ordinateur ?

L'apprentissage par transfert est une technique d'apprentissage automatique où un modèle entraîné sur un grand ensemble de données à usage général est réutilisé comme point de départ pour un modèle sur une tâche plus spécialisée. En vision par ordinateur, l'approche standard consiste à prendre un réseau neuronal pré-entraîné sur ImageNet (1,2 million d'images réparties dans 1 000 catégories d'objets) ou un modèle auto-supervisé comme DINOv3 (entraîné sur 1,7 milliard d'images) et à l'affiner sur un ensemble de données plus petit et spécifique à la tâche. Le modèle pré-entraîné a appris des caractéristiques visuelles générales, contours, textures, formes, taches de couleur, qui se transfèrent à pratiquement n'importe quel domaine visuel. Pour l'inspection d'infrastructures, l'apprentissage par transfert réduit le besoin de données de 50 000+ images étiquetées à seulement 200 à 1 000 images tout en maintenant ou en dépassant la précision d'un modèle entraîné à partir de zéro.

Comment l'apprentissage par transfert réduit-il les besoins en données pour l'inspection d'infrastructures ?

L'apprentissage par transfert réduit les besoins en données de 10 à 200 fois par rapport à un entraînement à partir de zéro. Un modèle de segmentation de fissures entraîné à partir de zéro nécessite environ 50 000 à 100 000 images étiquetées au niveau pixel pour atteindre une précision acceptable. Avec l'apprentissage par transfert depuis une architecture de base pré-entraînée sur ImageNet, 1 000 à 2 000 images étiquetées atteignent 60-70 % de mIoU sur la segmentation des défauts de piste. Avec le pré-entraînement auto-supervisé DINOv3 (1,7 milliard d'images), une architecture de base figée avec une sonde linéaire sur 200 images étiquetées atteint 55-65 % de mIoU, et le fine-tuning sur 500 à 1 500 images atteint 70-80 % de mIoU.

Quelle est la différence entre l'apprentissage par transfert, le fine-tuning et l'adaptation de domaine ?

L'apprentissage par transfert est le paradigme large de la réutilisation des connaissances d'une tâche ou d'un domaine vers un autre. Le fine-tuning est la technique d'apprentissage par transfert la plus courante, où les poids pré-entraînés sont ajustés sur les données cibles, partiellement ou totalement. L'adaptation de domaine est une sous-catégorie de l'apprentissage par transfert où la tâche reste la même mais la distribution des données change, par exemple, adapter un détecteur de fissures sur asphalte à des pistes en béton.

Qu'est-ce que DINOv3 et pourquoi est-il important pour l'inspection d'infrastructures ?

DINOv3 (Distillation with No Labels, version 3) est le modèle de vision auto-supervisé de pointe de Meta, entraîné sur 1,7 milliard d'images organisées (ensemble de données LVD-1689M). Il utilise une architecture Vision Transformer (ViT) avec jusqu'à 7 milliards de paramètres et a été entraîné sans aucune étiquette humaine. DINOv3 est crucial pour l'inspection d'infrastructures car il produit des caractéristiques denses exceptionnellement robustes, chaque patch d'image porte une information sémantiquement significative même sans fine-tuning, et prend en charge des entrées haute résolution jusqu'à 4K+, répondant aux exigences d'imagerie des inspections par drone.

Comment fonctionne le gel de l'architecture de base dans l'apprentissage par transfert ?

Le gel de l'architecture de base empêche la mise à jour des poids des couches sélectionnées pendant l'entraînement. Les gradients ne sont pas calculés pour les couches gelées, et leurs poids restent fixes tandis que seules les couches non gelées et la tête spécifique à la tâche apprennent à partir des nouvelles données. Les stratégies de gel courantes incluent : le gel complet de l'architecture de base (entraîner uniquement la tête, idéal pour les petits ensembles de données), le gel par étapes (geler les premières couches, affiner les couches ultérieures), le dégel progressif (dégeler graduellement du haut vers le bas), et la décroissance du taux d'apprentissage par couche (LLRD) où toutes les couches s'entraînent avec différents taux d'apprentissage.

Qu'est-ce que l'apprentissage contrastif supervisé et comment améliore-t-il l'apprentissage par transfert ?

L'apprentissage contrastif supervisé (SupCon), introduit par Khosla et al. à NeurIPS 2020, étend les approches contrastives auto-supervisées au cadre supervisé. La fonction de perte rapproche tous les échantillons d'une même classe dans l'espace de plongement tout en éloignant les échantillons de classes différentes. Dans TarmacView, SupCon est appliqué après le pré-entraînement DINOv3 pour créer des caractéristiques structurées par classe à partir de données étiquetées de pistes avant d'entraîner les têtes de segmentation spécialisées.

Quels sont les besoins en données pour l'apprentissage par transfert dans la détection de fissures sur chaussées ?

Les besoins en données varient considérablement selon la stratégie d'apprentissage par transfert. Une architecture de base DINOv3 figée avec sondage linéaire nécessite seulement 200 à 500 images étiquetées et atteint 55-65 % de mIoU. Le fine-tuning des 50 % supérieurs des blocs ViT sur 500 à 1 500 images atteint 70-80 % de mIoU. L'ajout d'un pré-entraînement dans le domaine routier avant le fine-tuning sur pistes avec 200 à 1 000 images et l'apprentissage contrastif supervisé atteint 75-85 % de mIoU. L'entraînement à partir de zéro nécessite environ 50 000 à 100 000 images étiquetées.

Qu'est-ce que l'écart de domaine et comment affecte-t-il l'apprentissage par transfert pour l'inspection des pistes ?

L'écart de domaine est la différence statistique entre le domaine de pré-entraînement (généralement des images naturelles d'ImageNet) et le domaine cible de l'inspection d'infrastructures (surfaces de chaussée, fissures, marquages de piste). Les ensembles de données de défauts de chaussée ont une distance de Fréchet Inception (FID) 2 à 3 fois plus grande par rapport à ImageNet que les ensembles de données de classification fine standard. Les stratégies d'atténuation incluent le pré-entraînement intermédiaire sur des ensembles de données routières, le pré-entraînement auto-supervisé continu sur des images de pistes non étiquetées, et le pontage par augmentation de données.

Comment TarmacView implémente-t-il l'apprentissage par transfert ?

TarmacView implémente un pipeline d'apprentissage par transfert en trois étapes. L'étape 1 utilise une architecture de base Vision Transformer DINOv3 figée, pré-entraînée sur 1,7 milliard d'images. L'étape 2 applique un fine-tuning par apprentissage contrastif supervisé (SupCon) sur des données étiquetées de défauts de piste. L'étape 3 entraîne des têtes spécialisées pour la segmentation sémantique au niveau pixel et l'estimation de l'indice d'état de chaussée (PCI). Ce pipeline atteint 75-85 % de mIoU avec 200 à 1 000 images de pistes étiquetées.

Quelles sont les meilleures pratiques pour l'apprentissage par transfert dans l'inspection d'infrastructures ?

Les meilleures pratiques incluent : commencer avec une architecture de base figée et une sonde linéaire pour établir une référence, utiliser le dégel progressif du haut vers le bas, appliquer une décroissance du taux d'apprentissage par couche, utiliser un fine-tuning en deux étapes (ImageNet vers Route vers Piste) lorsque des ensembles de données routières sont disponibles, normaliser toutes les images de manière cohérente, appliquer une profondeur stochastique comme régularisation pendant le fine-tuning, convertir les images en niveaux de gris lors du transfert entre types de surfaces, et collecter des images de pistes non étiquetées pour un pré-entraînement auto-supervisé continu.

Comment l'apprentissage par transfert se connecte-t-il aux normes d'inspection des pistes de l'OACI et de la FAA ?

L'Annexe 14 de l'OACI établit des normes mondiales exigeant des évaluations régulières de l'état des chaussées. Le document OACI 9137 définit les pratiques d'entretien des chaussées et les procédures d'inspection. Le cadre de l'indice d'état de chaussée (PCI) selon la norme ASTM D5340 est la référence industrielle pour l'évaluation de l'état des chaussées aéroportuaires. Le document de travail WP/173 (SkyInspect360) de l'Assemblée 42 de l'OACI propose d'intégrer l'IA et l'apprentissage automatique pour l'inspection des pistes. L'apprentissage par transfert permet aux systèmes d'inspection basés sur l'IA d'atteindre la précision de segmentation requise pour une estimation fiable du PCI.