Was ist Transfer Learning für Infrastruktur-Prüfmodelle?

Häufig gestellte Fragen

Was ist Transfer Learning in der Computer Vision?

Transfer Learning ist eine Technik des maschinellen Lernens, bei der ein auf einem großen, allgemeinen Datensatz trainiertes Modell als Ausgangspunkt für ein Modell für eine spezialisiertere Aufgabe wiederverwendet wird. In der Computer Vision besteht der Standardansatz darin, ein auf ImageNet (1,2 Millionen Bilder aus 1.000 Objektkategorien) vortrainiertes neuronales Netz oder ein selbstüberwachtes Modell wie DINOv3 (trainiert auf 1,7 Milliarden Bildern) zu nehmen und es auf einem kleineren, aufgabenspezifischen Datensatz feinzujustieren. Das vortrainierte Modell hat allgemeine visuelle Merkmale gelernt – Kanten, Texturen, Formen, Farbkleckse – die auf praktisch jede visuelle Domäne übertragbar sind. Für die Infrastrukturprüfung reduziert Transfer Learning den Datenbedarf von über 50.000 gelabelten Bildern auf nur 200–1.000 Bilder, während die Genauigkeit eines von Grund auf trainierten Modells erreicht oder übertroffen wird.

Wie reduziert Transfer Learning den Datenbedarf für die Infrastrukturprüfung?

Transfer Learning reduziert den Datenbedarf um das 10- bis 200-Fache im Vergleich zum Training von Grund auf. Ein Risssegmentierungsmodell, das von Grund auf trainiert wird, benötigt schätzungsweise 50.000–100.000 pixelgenau gelabelte Bilder, um eine akzeptable Genauigkeit zu erreichen. Mit Transfer Learning von einem auf ImageNet vortrainierten Backbone erreichen 1.000–2.000 gelabelte Bilder 60–70 % mIoU bei der Startbahn-Defektsegmentierung. Mit DINOv3 selbstüberwachtem Vortraining (1,7 Mrd. Bilder) erreicht ein eingefrorener Backbone mit einer linearen Sonde auf 200 gelabelten Bildern 55–65 % mIoU, und Feinabstimmung auf 500–1.500 Bildern erreicht 70–80 % mIoU.

Was ist der Unterschied zwischen Transfer Learning, Feinabstimmung und Domänenanpassung?

Transfer Learning ist das übergreifende Paradigma der Wiederverwendung von Wissen aus einer Aufgabe oder Domäne in einer anderen. Feinabstimmung ist die gebräuchlichste Transfer-Learning-Technik, bei der vortrainierte Gewichte auf Zieldaten angepasst werden, entweder teilweise oder vollständig. Domänenanpassung ist eine Unterkategorie des Transfer Learning, bei der die Aufgabe gleich bleibt, sich aber die Datenverteilung ändert – zum Beispiel die Anpassung eines Asphalt-Rissdetektors an Betonstartbahnen.

Was ist DINOv3 und warum ist es wichtig für die Infrastrukturprüfung?

DINOv3 (Distillation with No Labels, Version 3) ist Metas hochmodernes selbstüberwachtes Vision-Modell, trainiert auf 1,7 Milliarden kuratierten Bildern (LVD-1689M-Datensatz). Es verwendet eine Vision-Transformer-Architektur (ViT) mit bis zu 7 Milliarden Parametern und wurde ohne menschliche Labels trainiert. DINOv3 ist für die Infrastrukturprüfung von entscheidender Bedeutung, da es außergewöhnlich starke dichte Merkmale erzeugt – jedes Bildpatch trägt semantisch bedeutsame Informationen, selbst ohne Feinabstimmung – und hochauflösende Eingaben bis zu 4K+ unterstützt, was den Anforderungen von UAV-Prüfaufnahmen entspricht.

Wie funktioniert das Einfrieren des Backbones beim Transfer Learning?

Beim Einfrieren des Backbones wird verhindert, dass die Gewichte ausgewählter Schichten während des Trainings aktualisiert werden. Für eingefrorene Schichten werden keine Gradienten berechnet, und ihre Gewichte bleiben fix, während nur die nicht eingefrorenen Schichten und der aufgabenspezifische Kopf aus den neuen Daten lernen. Übliche Einfrierstrategien sind: vollständiges Einfrieren des Backbones (nur der Kopf wird trainiert, am besten für kleine Datensätze), stufenweises Einfrieren (frühe Schichten einfrieren, spätere Schichten feinabstimmen), progressives Auftauen (schrittweises Auftauen von oben nach unten) und schichtweiser Lernratenabfall (Layer-wise Learning Rate Decay, LLRD), bei dem alle Schichten mit unterschiedlichen Lernraten trainieren.

Was ist überwachtes kontrastives Lernen und wie verbessert es Transfer Learning?

Überwachtes kontrastives Lernen (Supervised Contrastive Learning, SupCon), eingeführt von Khosla et al. auf dem NeurIPS 2020, erweitert selbstüberwachte kontrastive Ansätze auf den überwachten Kontext. Die Verlustfunktion zieht alle Stichproben derselben Klasse im Einbettungsraum zusammen, während Stichproben verschiedener Klassen voneinander weg gedrückt werden. In TarmacView wird SupCon nach dem DINOv3-Vortraining angewendet, um klassendifferenzierte Merkmale aus gelabelten Startbahndaten zu erzeugen, bevor aufgabenspezifische Segmentierungsköpfe trainiert werden.

Was sind die Datenanforderungen für Transfer Learning bei der Erkennung von Fahrbahnrissen?

Die Datenanforderungen variieren erheblich je nach Transfer-Learning-Strategie. Ein eingefrorener DINOv3-Backbone mit linearer Sonde benötigt nur 200–500 gelabelte Bilder und erreicht 55–65 % mIoU. Die Feinabstimmung der oberen 50 % der ViT-Blöcke auf 500–1.500 Bildern erreicht 70–80 % mIoU. Das Hinzufügen eines Vortrainings im Straßenbereich vor der Feinabstimmung auf Startbahnen mit 200–1.000 Bildern und überwachtem kontrastivem Lernen erreicht 75–85 % mIoU. Training von Grund auf erfordert schätzungsweise 50.000–100.000 gelabelte Bilder.

Was ist die Domänenlücke und wie beeinflusst sie Transfer Learning für die Startbahnprüfung?

Die Domänenlücke ist der statistische Unterschied zwischen der Vortrainingsdomäne (typischerweise natürliche Bilder von ImageNet) und der Zieldomäne der Infrastrukturprüfung (Fahrbahnoberflächen, Risse, Startbahnmarkierungen). Datensätze zu Fahrbahnschäden haben eine 2- bis 3-mal größere Frechet-Inception-Distanz (FID) zu ImageNet als Standard-Feinklassifikationsdatensätze. Zu den Vermeidungsstrategien gehören zwischengeschaltetes Domänenvortraining auf Straßendatensätzen, selbstüberwachtes fortgesetztes Vortraining auf ungelabelten Startbahnbildern und Datenaufwertungs-Brückenbildung (Data Augmentation Bridging).

Wie implementiert TarmacView Transfer Learning?

TarmacView implementiert eine dreistufige Transfer-Learning-Pipeline. Stufe 1 verwendet einen eingefrorenen DINOv3-Vision-Transformer-Backbone, der auf 1,7 Milliarden Bildern vortrainiert wurde. Stufe 2 wendet überwachtes kontrastives Lernen (SupCon) zur Feinabstimmung auf gelabelten Startbahn-Defektdaten an. Stufe 3 trainiert aufgabenspezifische Köpfe für pixelgenaue semantische Segmentierung und Schätzung des Fahrbahnzustandsindex (PCI). Diese Pipeline erreicht 75–85 % mIoU mit 200–1.000 gelabelten Startbahnbildern.

Was sind die Best Practices für Transfer Learning bei der Infrastrukturprüfung?

Zu den Best Practices gehören: mit einem eingefrorenen Backbone und einer linearen Sonde beginnen, um eine Basisleistung zu ermitteln, progressives Auftauen von oben nach unten anwenden, schichtweisen Lernratenabfall (Layer-wise Learning Rate Decay) verwenden, zweistufige Feinabstimmung (ImageNet zu Straße zu Startbahn) anwenden, wenn Straßendatensätze verfügbar sind, alle Bilder konsistent normalisieren, stochastische Tiefe als Regularisierung während der Feinabstimmung anwenden, Bilder in Graustufen konvertieren, wenn zwischen Oberflächentypen gewechselt wird, und ungelabelte Startbahnbilder für selbstüberwachtes fortgesetztes Vortraining sammeln.

Wie hängt Transfer Learning mit den ICAO- und FAA-Startbahnprüfnormen zusammen?

ICAO Annex 14 legt globale Standards fest, die regelmäßige Fahrbahnzustandsbewertungen vorschreiben. ICAO Doc 9137 definiert Fahrbahnerhaltungspraktiken und Prüfverfahren. Das Fahrbahnzustandsindex-Framework (PCI) gemäß ASTM D5340 ist der Branchenstandard für die Zustandsbewertung von Flugplatzfahrbahnen. Das ICAO Assembly 42 Working Paper WP/173 (SkyInspect360) schlägt die Integration von KI und maschinellem Lernen für die Startbahnprüfung vor. Transfer Learning ermöglicht KI-basierten Prüfsystemen, die für eine zuverlässige PCI-Schätzung erforderliche Segmentierungsgenauigkeit zu erreichen.