+++ title = “Transfer Learning” description = “Transfer Learning wendet Wissen aus vortrainierten Modellen auf großen, allgemeinen Datensätzen (ImageNet 1,2 Mio. Bilder, DINOv3 auf 1,7 Mrd. Bilder) auf spezialisierte Infrastrukturprüfungsaufgaben mit begrenzten gelabelten Daten an, wie z. B. Risserkennung, Defektklassifikation und Bewertung des Fahrbahnzustands. Dadurch wird die Menge der benötigten aufgabenspezifischen Trainingsdaten drastisch reduziert.” keywords = [ “Transfer Learning”, “vortrainiertes Modell”, “Backbone”, “Feinabstimmung”, “Feature Extraction”, “Vortraining”, “Downstream Task”, “Modellanpassung”, “Foundation Model”, “DINOv3”, “ImageNet”, “Vision Transformer”, “Risserkennung”, “Infrastrukturprüfung”, “Zustandsindex der Fahrbahn” ] shortDescription = “Transfer Learning ist ein Paradigma des maschinellen Lernens, bei dem ein auf großen Datensätzen vortrainiertes Modell als Ausgangspunkt für eine spezialisierte Aufgabe wiederverwendet wird, wodurch eine genaue Erkennung von Infrastrukturdefekten mit 10- bis 200-mal weniger gelabelten Daten möglich ist als beim Training von Grund auf.” tags = [ “Technologie”, “Maschinelles Lernen”, “Deep Learning”, “Training” ] glossaryTitle = “Was ist Transfer Learning für Infrastruktur-Prüfmodelle?” glossaryDescription = “Transfer Learning ist ein Paradigma des maschinellen Lernens, bei dem ein für eine Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite, verwandte Aufgabe wiederverwendet wird. In der Computer Vision für die Infrastrukturprüfung bedeutet dies typischerweise, dass ein auf einem großen, generischen Datensatz vortrainiertes neuronales Netz (ImageNet mit 1,2 Millionen Bildern aus 1.000 Klassen oder Meta DINOv3, trainiert auf 1,7 Milliarden Bildern) genommen und an die Erkennung von Rissen, Abplatzungen, Gummiablagerungen und anderen Fahrbahnschäden angepasst wird – unter Verwendung eines Bruchteils der Daten, die für ein Training von Grund auf erforderlich wären.” showCTA = true ctaHeading = “Vortrainierte Prüfmodelle einsetzen” ctaDescription = “Die Transfer-Learning-Pipeline von TarmacView beginnt mit einem eingefrorenen DINOv3-Backbone, wendet überwachtes kontrastives Feinabstimmungs-Training an und trainiert aufgabenspezifische Köpfe für Risserkennung, Defektklassifikation und PCI-Schätzung – und erreicht 75–85 % mIoU mit weniger als 1.000 gelabelten Startbahnbildern.” ctaPrimaryText = “Kontaktieren Sie uns” ctaPrimaryURL = “/contact/” ctaSecondaryText = “Demo vereinbaren” ctaSecondaryURL = “/demo/”

[[faq]] question = “Was ist Transfer Learning in der Computer Vision?” answer = “Transfer Learning ist eine Technik des maschinellen Lernens, bei der ein auf einem großen, allgemeinen Datensatz trainiertes Modell als Ausgangspunkt für ein Modell für eine spezialisiertere Aufgabe wiederverwendet wird. In der Computer Vision besteht der Standardansatz darin, ein auf ImageNet (1,2 Millionen Bilder aus 1.000 Objektkategorien) vortrainiertes neuronales Netz oder ein selbstüberwachtes Modell wie DINOv3 (trainiert auf 1,7 Milliarden Bildern) zu nehmen und es auf einem kleineren, aufgabenspezifischen Datensatz feinzujustieren. Das vortrainierte Modell hat allgemeine visuelle Merkmale gelernt – Kanten, Texturen, Formen, Farbkleckse – die auf praktisch jede visuelle Domäne übertragbar sind. Für die Infrastrukturprüfung reduziert Transfer Learning den Datenbedarf von über 50.000 gelabelten Bildern auf nur 200–1.000 Bilder, während die Genauigkeit eines von Grund auf trainierten Modells erreicht oder übertroffen wird.”

[[faq]] question = “Wie reduziert Transfer Learning den Datenbedarf für die Infrastrukturprüfung?” answer = “Transfer Learning reduziert den Datenbedarf um das 10- bis 200-Fache im Vergleich zum Training von Grund auf. Ein Risssegmentierungsmodell, das von Grund auf trainiert wird, benötigt schätzungsweise 50.000–100.000 pixelgenau gelabelte Bilder, um eine akzeptable Genauigkeit zu erreichen. Mit Transfer Learning von einem auf ImageNet vortrainierten Backbone erreichen 1.000–2.000 gelabelte Bilder 60–70 % mIoU bei der Startbahn-Defektsegmentierung. Mit DINOv3 selbstüberwachtem Vortraining (1,7 Mrd. Bilder) erreicht ein eingefrorener Backbone mit einer linearen Sonde auf 200 gelabelten Bildern 55–65 % mIoU, und Feinabstimmung auf 500–1.500 Bildern erreicht 70–80 % mIoU.”

[[faq]] question = “Was ist der Unterschied zwischen Transfer Learning, Feinabstimmung und Domänenanpassung?” answer = “Transfer Learning ist das übergreifende Paradigma der Wiederverwendung von Wissen aus einer Aufgabe oder Domäne in einer anderen. Feinabstimmung ist die gebräuchlichste Transfer-Learning-Technik, bei der vortrainierte Gewichte auf Zieldaten angepasst werden, entweder teilweise oder vollständig. Domänenanpassung ist eine Unterkategorie des Transfer Learning, bei der die Aufgabe gleich bleibt, sich aber die Datenverteilung ändert – zum Beispiel die Anpassung eines Asphalt-Rissdetektors an Betonstartbahnen.”

[[faq]] question = “Was ist DINOv3 und warum ist es wichtig für die Infrastrukturprüfung?” answer = “DINOv3 (Distillation with No Labels, Version 3) ist Metas hochmodernes selbstüberwachtes Vision-Modell, trainiert auf 1,7 Milliarden kuratierten Bildern (LVD-1689M-Datensatz). Es verwendet eine Vision-Transformer-Architektur (ViT) mit bis zu 7 Milliarden Parametern und wurde ohne menschliche Labels trainiert. DINOv3 ist für die Infrastrukturprüfung von entscheidender Bedeutung, da es außergewöhnlich starke dichte Merkmale erzeugt – jedes Bildpatch trägt semantisch bedeutsame Informationen, selbst ohne Feinabstimmung – und hochauflösende Eingaben bis zu 4K+ unterstützt, was den Anforderungen von UAV-Prüfaufnahmen entspricht.”

[[faq]] question = “Wie funktioniert das Einfrieren des Backbones beim Transfer Learning?” answer = “Beim Einfrieren des Backbones wird verhindert, dass die Gewichte ausgewählter Schichten während des Trainings aktualisiert werden. Für eingefrorene Schichten werden keine Gradienten berechnet, und ihre Gewichte bleiben fix, während nur die nicht eingefrorenen Schichten und der aufgabenspezifische Kopf aus den neuen Daten lernen. Übliche Einfrierstrategien sind: vollständiges Einfrieren des Backbones (nur der Kopf wird trainiert, am besten für kleine Datensätze), stufenweises Einfrieren (frühe Schichten einfrieren, spätere Schichten feinabstimmen), progressives Auftauen (schrittweises Auftauen von oben nach unten) und schichtweiser Lernratenabfall (Layer-wise Learning Rate Decay, LLRD), bei dem alle Schichten mit unterschiedlichen Lernraten trainieren.”

[[faq]] question = “Was ist überwachtes kontrastives Lernen und wie verbessert es Transfer Learning?” answer = “Überwachtes kontrastives Lernen (Supervised Contrastive Learning, SupCon), eingeführt von Khosla et al. auf dem NeurIPS 2020, erweitert selbstüberwachte kontrastive Ansätze auf den überwachten Kontext. Die Verlustfunktion zieht alle Stichproben derselben Klasse im Einbettungsraum zusammen, während Stichproben verschiedener Klassen voneinander weg gedrückt werden. In TarmacView wird SupCon nach dem DINOv3-Vortraining angewendet, um klassendifferenzierte Merkmale aus gelabelten Startbahndaten zu erzeugen, bevor aufgabenspezifische Segmentierungsköpfe trainiert werden.”

[[faq]] question = “Was sind die Datenanforderungen für Transfer Learning bei der Erkennung von Fahrbahnrissen?” answer = “Die Datenanforderungen variieren erheblich je nach Transfer-Learning-Strategie. Ein eingefrorener DINOv3-Backbone mit linearer Sonde benötigt nur 200–500 gelabelte Bilder und erreicht 55–65 % mIoU. Die Feinabstimmung der oberen 50 % der ViT-Blöcke auf 500–1.500 Bildern erreicht 70–80 % mIoU. Das Hinzufügen eines Vortrainings im Straßenbereich vor der Feinabstimmung auf Startbahnen mit 200–1.000 Bildern und überwachtem kontrastivem Lernen erreicht 75–85 % mIoU. Training von Grund auf erfordert schätzungsweise 50.000–100.000 gelabelte Bilder.”

[[faq]] question = “Was ist die Domänenlücke und wie beeinflusst sie Transfer Learning für die Startbahnprüfung?” answer = “Die Domänenlücke ist der statistische Unterschied zwischen der Vortrainingsdomäne (typischerweise natürliche Bilder von ImageNet) und der Zieldomäne der Infrastrukturprüfung (Fahrbahnoberflächen, Risse, Startbahnmarkierungen). Datensätze zu Fahrbahnschäden haben eine 2- bis 3-mal größere Frechet-Inception-Distanz (FID) zu ImageNet als Standard-Feinklassifikationsdatensätze. Zu den Vermeidungsstrategien gehören zwischengeschaltetes Domänenvortraining auf Straßendatensätzen, selbstüberwachtes fortgesetztes Vortraining auf ungelabelten Startbahnbildern und Datenaufwertungs-Brückenbildung (Data Augmentation Bridging).”

[[faq]] question = “Wie implementiert TarmacView Transfer Learning?” answer = “TarmacView implementiert eine dreistufige Transfer-Learning-Pipeline. Stufe 1 verwendet einen eingefrorenen DINOv3-Vision-Transformer-Backbone, der auf 1,7 Milliarden Bildern vortrainiert wurde. Stufe 2 wendet überwachtes kontrastives Lernen (SupCon) zur Feinabstimmung auf gelabelten Startbahn-Defektdaten an. Stufe 3 trainiert aufgabenspezifische Köpfe für pixelgenaue semantische Segmentierung und Schätzung des Fahrbahnzustandsindex (PCI). Diese Pipeline erreicht 75–85 % mIoU mit 200–1.000 gelabelten Startbahnbildern.”

[[faq]] question = “Was sind die Best Practices für Transfer Learning bei der Infrastrukturprüfung?” answer = “Zu den Best Practices gehören: mit einem eingefrorenen Backbone und einer linearen Sonde beginnen, um eine Basisleistung zu ermitteln; progressives Auftauen von oben nach unten anwenden; schichtweisen Lernratenabfall (Layer-wise Learning Rate Decay) verwenden; zweistufige Feinabstimmung (ImageNet zu Straße zu Startbahn) anwenden, wenn Straßendatensätze verfügbar sind; alle Bilder konsistent normalisieren; stochastische Tiefe als Regularisierung während der Feinabstimmung anwenden; Bilder in Graustufen konvertieren, wenn zwischen Oberflächentypen gewechselt wird; und ungelabelte Startbahnbilder für selbstüberwachtes fortgesetztes Vortraining sammeln.”

[[faq]] question = “Wie hängt Transfer Learning mit den ICAO- und FAA-Startbahnprüfnormen zusammen?” answer = “ICAO Annex 14 legt globale Standards fest, die regelmäßige Fahrbahnzustandsbewertungen vorschreiben. ICAO Doc 9137 definiert Fahrbahnerhaltungspraktiken und Prüfverfahren. Das Fahrbahnzustandsindex-Framework (PCI) gemäß ASTM D5340 ist der Branchenstandard für die Zustandsbewertung von Flugplatzfahrbahnen. Das ICAO Assembly 42 Working Paper WP/173 (SkyInspect360) schlägt die Integration von KI und maschinellem Lernen für die Startbahnprüfung vor. Transfer Learning ermöglicht KI-basierten Prüfsystemen, die für eine zuverlässige PCI-Schätzung erforderliche Segmentierungsgenauigkeit zu erreichen.”

[[lnks]] text = “Domänenanpassung” path = “/glossary/domain-adaptation/” title = “Domänenanpassung ist eine Unterkategorie des Transfer Learning, die statistische Abweichungen zwischen Trainings- und Einsatzdomänen adressiert.”

[[lnks]] text = “Maschinelles Lernen” path = “/glossary/machine-learning/” title = “Maschinelles Lernen liefert die grundlegenden Algorithmen für die automatisierte Fahrbahnprüfung und Defekterkennung.”

[[lnks]] text = “Deep Learning” path = “/glossary/deep-learning/” title = “Deep Learning verwendet mehrschichtige neuronale Netze, um hierarchische Merkmale aus Fahrbahnbildern für die Defekterkennung zu lernen.”

[[lnks]] text = “Feinabstimmung” path = “/glossary/fine-tuning/” title = “Feinabstimmung passt vortrainierte Modelle an neue Aufgaben an, indem das Training auf aufgabenspezifischen Daten mit angepassten Lernraten fortgesetzt wird.”

[[lnks]] text = “Training” path = “/glossary/training/” title = “Das Training optimiert neuronale Netzparameter mithilfe gelabelter Daten, wobei Transfer Learning den Datenbedarf drastisch reduziert.”

[[lnks]] text = “Überwachtes kontrastives Lernen” path = “/glossary/supervised-contrastive-learning/” title = “Überwachtes kontrastives Lernen erzeugt strukturierte Einbettungsräume, die die Transfer-Learning-Leistung verbessern.”

[[lnks]] text = “Datenaufwertung” path = “/glossary/data-augmentation/” title = “Datenaufwertung erweitert die Vielfalt der Trainingsdaten und ergänzt Transfer Learning für eine verbesserte Modellgeneralisierung.”

[[lnks]] text = “Einbettungsraum” path = “/glossary/embedding-space/” title = “Einbettungsräume repräsentieren visuelle Merkmale als Vektoren, wobei Transfer Learning diese Räume domänenübergreifend ausrichtet.”