Čo je prenosové učenie?
Prenosové učenie je metóda strojového učenia, ktorá používa model natrénovaný na jednej úlohe na zlepšenie učenia inej úlohy. Pan a Yang ju definujú pomocou zdrojovej domény a úlohy a cieľovej domény a úlohy. Domény alebo úlohy sa líšia.
Ako to funguje
Model sa najprv natrénuje na veľkej zdrojovej množine dát. Pri obrazových modeloch je to často ImageNet, ktorý má asi 1,2 milióna trénovacích obrázkov v 1 000 triedach. Model sa potom znovu použije na novú úlohu, pre ktorú je k dispozícii menej označených dát. Existujú dva bežné spôsoby opätovného použitia:
- Extrakcia príznakov. Odstráňte poslednú klasifikačnú vrstvu, ponechajte zvyšok zmrazený a na jeho výstupe natrénujte nový lineárny klasifikátor.
- Jemné doladenie. Nahraďte klasifikátor a pokračujte v trénovaní niektorých alebo všetkých predtrénovaných vrstiev. Predtrénované váhy dostanú menšiu rýchlosť učenia ako nový klasifikátor.
Len málo tímov natrénuje celú sieť od nuly, pretože veľké množiny dát sú vzácne. Pre malú cieľovú množinu, ktorá vyzerá ako zdrojové dáta, poznámky Stanfordskej univerzity CS231n odporúčajú extrakciu príznakov. Veľká cieľová množina umožňuje jemné doladenie celej siete.
Prečo sa príznaky prenášajú
Yosinski a spoluautori to otestovali vrstvu po vrstve. Príznaky v prvej vrstve, napríklad farebné škvrny, sú všeobecné. Neskoršie vrstvy sú špecifickejšie pre zdrojovú úlohu. Čím viac sa cieľová úloha líši od zdrojovej, tým menej sa príznaky prenášajú. Začiatok s prenesenými váhami môže pomôcť aj po jemnom doladení.
Samoriadené chrbtice
Chrbtica nepotrebuje označenia, aby bola užitočná. DINOv3 od Meta AI sa trénuje bez manuálnych označení na starostlivo vybranej množine 1 689 miliónov obrázkov. Jeho najväčší model má 7 miliárd parametrov. Autori uvádzajú, že dáva silné výsledky na mnohých úlohách bez jemného doladenia, a vo väčšine ich testov chrbtica zostáva zmrazená. Pozri aj stránku DINOv3 v tomto slovníku.
Kontrola letiska
Prieskumy indexu stavu letiskovej vozovky (PCI) sa robia podľa normy ASTM D5340, ako uvádza FAA AC 150/5380-7B. Obežník nespomína strojové učenie. Model vytvorený prenosovým učením dokáže nájsť chyby iba na obrázkoch. Nemení metódu prieskumu.
Často kladené otázky
- Čo je prenosové učenie?
- Prenosové učenie je metóda, ktorá používa poznatky zo zdrojovej úlohy na zlepšenie učenia cieľovej úlohy. Zdroj a cieľ sa môžu líšiť v dátach, v úlohe alebo v oboch. Pri počítačovom videní je obvyklým zdrojom sieť natrénovaná na veľkej množine obrázkov, napríklad ImageNet.
- Aký je rozdiel medzi extrakciou príznakov a jemným doladením?
- Pri extrakcii príznakov predtrénovaná sieť zostáva zmrazená a trénuje sa len nový lineárny klasifikátor na jej výstupe. Pri jemnom doladení sa klasifikátor nahradí a trénovanie pokračuje cez niektoré alebo všetky predtrénované vrstvy. Predtrénované váhy pri jemnom doladení dostanú menšiu rýchlosť učenia ako nový klasifikátor.
- Prečo netrénovať sieť od nuly?
- Trénovanie celej siete od nuly potrebuje veľkú množinu dát a málo projektov takú má. Predtrénovaná sieť už obsahuje všeobecné príznaky, takže na novú úlohu môže stačiť menšia množina dát.
Referencie
- pan-yang-2010
- A Survey on Transfer Learning S. J. Pan and Q. Yang, IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, 2010
- cs231n-transfer
- Transfer Learning, CS231n Convolutional Neural Networks for Visual Recognition Stanford University
- yosinski-2014
- How transferable are features in deep neural networks? J. Yosinski, J. Clune, Y. Bengio, H. Lipson, arXiv 1411.1792
- ilsvrc-2015
- ImageNet Large Scale Visual Recognition Challenge O. Russakovsky et al., arXiv 1409.0575 (International Journal of Computer Vision, 2015)
- dinov3-2025
- DINOv3 O. Siméoni et al., Meta AI, arXiv 2508.10104
- faa-ac-150-5380-7b
- AC 150/5380-7B, Airport Pavement Management Program FAA
Toto je referenčný záznam. TarmacView poskytuje služby dronovej inšpekcie a nepredáva vybavenie ani materiály opísané v tomto slovníku.