Czym jest uczenie transferowe?
Uczenie transferowe to metoda uczenia maszynowego, która wykorzystuje model wytrenowany do jednego zadania, aby poprawić naukę innego zadania. Pan i Yang definiują je przez domenę i zadanie źródłowe oraz domenę i zadanie docelowe. Domeny lub zadania się różnią.
Jak to działa
Model najpierw trenuje się na dużym zbiorze źródłowym. W przypadku modeli obrazów często jest to ImageNet, który ma około 1,2 miliona obrazów treningowych w 1000 klasach. Model następnie wykorzystuje się w nowym zadaniu, w którym jest mniej oznakowanych danych. Istnieją dwa częste sposoby ponownego wykorzystania:
- Ekstrakcja cech. Usuń ostatnią warstwę klasyfikującą, pozostałe warstwy zamroź i wytrenuj nowy klasyfikator liniowy na ich wyjściu.
- Dostrajanie. Zastąp klasyfikator i kontynuuj trening części lub wszystkich wstępnie wytrenowanych warstw. Wstępnie wytrenowane wagi dostają mniejszy współczynnik uczenia niż nowy klasyfikator.
Niewiele zespołów trenuje całą sieć od zera, bo duże zbiory danych są rzadkie. Dla małego zbioru docelowego, który przypomina dane źródłowe, notatki Stanford CS231n zalecają ekstrakcję cech. Duży zbiór docelowy pozwala na dostrajanie całej sieci.
Dlaczego cechy się przenoszą
Yosinski i współautorzy badali to warstwa po warstwie. Cechy w pierwszej warstwie, takie jak plamy barw, są ogólne. Późniejsze warstwy są bardziej właściwe dla zadania źródłowego. Im bardziej zadanie docelowe różni się od źródłowego, tym gorzej cechy się przenoszą. Start od przeniesionych wag może nadal pomagać po dostrajaniu.
Samonadzorowane sieci bazowe
Sieć bazowa (backbone) nie potrzebuje etykiet, aby być użyteczna. DINOv3 od Meta AI jest trenowany bez ręcznych etykiet na wyselekcjonowanym zbiorze 1 689 milionów obrazów. Jego największy model ma 7 miliardów parametrów. Autorzy podają, że daje mocne wyniki w wielu zadaniach bez dostrajania, a w większości ich testów sieć bazowa pozostaje zamrożona. Zobacz też stronę DINOv3 w tym glosariuszu.
Inspekcja lotniska
Badania wskaźnika stanu nawierzchni lotniska (PCI) prowadzi się zgodnie z ASTM D5340, jak stwierdza FAA AC 150/5380-7B. Publikacja nie wspomina o uczeniu maszynowym. Model zbudowany metodą uczenia transferowego może wykrywać wady wyłącznie na obrazach. Nie zmienia metody badania.
Często zadawane pytania
- Czym jest uczenie transferowe?
- Uczenie transferowe to metoda, która wykorzystuje wiedzę ze zadania źródłowego, aby poprawić naukę zadania docelowego. Źródło i cel mogą różnić się danymi, zadaniem lub jednym i drugim. W widzeniu komputerowym typowym źródłem jest sieć wytrenowana na dużym zbiorze obrazów, na przykład ImageNet.
- Jaka jest różnica między ekstrakcją cech a dostrajaniem?
- Przy ekstrakcji cech wstępnie wytrenowana sieć pozostaje zamrożona, a na jej wyjściu trenuje się tylko nowy klasyfikator liniowy. Przy dostrajaniu klasyfikator zostaje zastąpiony, a trening trwa w części lub we wszystkich wstępnie wytrenowanych warstwach. Dostrajanie używa mniejszego współczynnika uczenia dla wag wstępnie wytrenowanych niż dla nowego klasyfikatora.
- Dlaczego nie trenować sieci od zera?
- Trenowanie całej sieci od zera wymaga dużego zbioru danych, a niewiele projektów taki ma. Wstępnie wytrenowana sieć zawiera już ogólne cechy, więc mniejszy zbiór może wystarczyć do nowego zadania.
Bibliografia
- pan-yang-2010
- A Survey on Transfer Learning S. J. Pan and Q. Yang, IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, 2010
- cs231n-transfer
- Transfer Learning, CS231n Convolutional Neural Networks for Visual Recognition Stanford University
- yosinski-2014
- How transferable are features in deep neural networks? J. Yosinski, J. Clune, Y. Bengio, H. Lipson, arXiv 1411.1792
- ilsvrc-2015
- ImageNet Large Scale Visual Recognition Challenge O. Russakovsky et al., arXiv 1409.0575 (International Journal of Computer Vision, 2015)
- dinov3-2025
- DINOv3 O. Siméoni et al., Meta AI, arXiv 2508.10104
- faa-ac-150-5380-7b
- AC 150/5380-7B, Airport Pavement Management Program FAA
To wpis referencyjny. TarmacView świadczy usługi inspekcji dronami i nie sprzedaje sprzętu ani materiałów opisanych w tym słowniczku.