Was ist Transfer Learning?

Transfer Learning ist ein Verfahren des maschinellen Lernens, das ein Modell nutzt, das für eine Aufgabe trainiert wurde, um das Lernen einer anderen Aufgabe zu verbessern. Pan und Yang definieren es mit einer Quelldomäne und Quellaufgabe sowie einer Zieldomäne und Zielaufgabe. Die Domänen oder die Aufgaben unterscheiden sich.

So funktioniert es

Ein Modell wird zuerst auf einem großen Quelldatensatz trainiert. Bei Bildmodellen ist das oft ImageNet, das etwa 1,2 Millionen Trainingsbilder in 1 000 Klassen umfasst. Das Modell wird dann für die neue Aufgabe wiederverwendet, für die weniger gelabelte Daten vorliegen. Es gibt zwei gängige Wege, es wiederzuverwenden:

• Merkmalsextraktion. Die letzte Klassifikationsschicht wird entfernt, der Rest bleibt eingefroren, und ein neuer linearer Klassifikator wird auf der Ausgabe trainiert.
• Feinabstimmung. Der Klassifikator wird ersetzt, und das Training läuft durch einige oder alle vortrainierten Schichten weiter. Die vortrainierten Gewichte erhalten eine kleinere Lernrate als der neue Klassifikator.

Nur wenige Teams trainieren ein ganzes Netz von Grund auf, weil große Datensätze selten sind. Für einen kleinen Zieldatensatz, der den Quelldaten ähnelt, empfehlen die Stanford-CS231n-Notizen die Merkmalsextraktion. Ein großer Zieldatensatz erlaubt die Feinabstimmung des gesamten Netzes.

Warum sich die Merkmale übertragen lassen

Yosinski und Koautoren haben dies Schicht für Schicht getestet. Merkmale in der ersten Schicht, etwa Farbflecken, sind allgemein. Spätere Schichten sind spezifischer für die Quellaufgabe. Je stärker sich die Zielaufgabe von der Quellaufgabe unterscheidet, desto weniger lassen sich die Merkmale übertragen. Der Start mit übertragenen Gewichten kann auch nach der Feinabstimmung noch helfen.

Selbstüberwachte Backbones

Ein Backbone braucht keine Labels, um nützlich zu sein. DINOv3 von Meta AI wird ohne manuelle Labels auf einem kuratierten Satz von 1 689 Millionen Bildern trainiert. Das größte Modell hat 7 Milliarden Parameter. Die Autoren berichten, dass es bei vielen Aufgaben ohne Feinabstimmung starke Ergebnisse liefert und dass das Backbone in den meisten ihrer Tests eingefroren bleibt. Siehe auch die DINOv3-Seite in diesem Glossar.

Flugplatzinspektion

Erhebungen des Zustandsindex von Flugplatzbefestigungen (Pavement Condition Index, PCI) folgen ASTM D5340, wie FAA AC 150/5380-7B festhält. Das Rundschreiben erwähnt kein maschinelles Lernen. Ein mit Transfer Learning erstelltes Modell kann nur Schäden in Bildern finden. Es ändert die Erhebungsmethode nicht.