Co je přenosové učení?
Přenosové učení (transfer learning) je metoda strojového učení, která využívá model natrénovaný na jedné úloze ke zlepšení učení jiné úlohy. Pan a Yang ji definují se zdrojovou doménou a úlohou a s cílovou doménou a úlohou. Domény nebo úlohy se liší.
Jak to funguje
Model se nejprve natrénuje na velké zdrojové datové sadě. U obrazových modelů je to často ImageNet, který má zhruba 1,2 milionu trénovacích obrázků ve 1 000 třídách. Model se pak znovu použije pro novou úlohu, která má méně označených dat. Existují dva běžné způsoby, jak ho použít:
- Extrakce příznaků. Odstraní se poslední klasifikační vrstva, zbytek se zmrazí a na jeho výstupu se natrénuje nový lineární klasifikátor.
- Dotrénování. Klasifikátor se nahradí a učení pokračuje v některých nebo všech předtrénovaných vrstvách. Předtrénované váhy dostanou menší rychlost učení než nový klasifikátor.
Málokterý tým trénuje celou síť od nuly, protože velké datové sady jsou vzácné. Pro malou cílovou sadu, která připomíná zdrojová data, doporučují poznámky ke kurzu CS231n (Stanford) extrakci příznaků. Velká cílová sada umožňuje dotrénování celé sítě.
Proč se příznaky přenášejí
Yosinski a spoluautoři to testovali vrstvu po vrstvě. Příznaky v první vrstvě, například barevné skvrny, jsou obecné. Pozdější vrstvy jsou specifičtější pro zdrojovou úlohu. Čím více se cílová úloha liší od zdrojové, tím hůř se příznaky přenášejí. Přenesené váhy mohou pomoci i po dotrénování.
Samoučené páteře
Páteř modelu nepotřebuje štítky, aby byla užitečná. DINOv3 od Meta AI se učí bez ručních štítků na kurátorské sadě 1 689 milionů obrázků. Jeho největší model má 7 miliard parametrů. Autoři uvádějí silné výsledky na mnoha úlohách bez dotrénování a ve většině testů zůstává páteř zmrazená. Viz také stránka DINOv3 v tomto slovníku.
Inspekce letiště
Průzkumy indexu stavu letištních vozovek (PCI) se provádějí podle ASTM D5340, jak uvádí FAA AC 150/5380-7B. Tento předpis strojové učení nezmiňuje. Model vytvořený přenosovým učením dokáže najít vady jen na snímcích. Nemění metodu průzkumu.
Často kladené otázky
- Co je přenosové učení?
- Přenosové učení je metoda, která využívá znalosti ze zdrojové úlohy ke zlepšení učení cílové úlohy. Zdroj a cíl se mohou lišit daty, úlohou nebo obojím. V počítačovém vidění bývá zdrojem síť natrénovaná na velké sadě obrázků, například ImageNet.
- Jaký je rozdíl mezi extrakcí příznaků a dotrénováním?
- Při extrakci příznaků zůstane předtrénovaná síť zmrazená a trénuje se jen nový lineární klasifikátor nad jejím výstupem. Při dotrénování se klasifikátor nahradí a učení pokračuje v některých nebo všech předtrénovaných vrstvách. Dotrénování používá pro předtrénované váhy menší rychlost učení než pro nový klasifikátor.
- Proč netrénovat síť od začátku?
- Natrénování celé sítě od nuly potřebuje velkou datovou sadu a málokterý projekt ji má. Předtrénovaná síť už obsahuje obecné příznaky, takže pro novou úlohu může stačit menší datová sada.
Reference
- pan-yang-2010
- A Survey on Transfer Learning S. J. Pan and Q. Yang, IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, 2010
- cs231n-transfer
- Transfer Learning, CS231n Convolutional Neural Networks for Visual Recognition Stanford University
- yosinski-2014
- How transferable are features in deep neural networks? J. Yosinski, J. Clune, Y. Bengio, H. Lipson, arXiv 1411.1792
- ilsvrc-2015
- ImageNet Large Scale Visual Recognition Challenge O. Russakovsky et al., arXiv 1409.0575 (International Journal of Computer Vision, 2015)
- dinov3-2025
- DINOv3 O. Siméoni et al., Meta AI, arXiv 2508.10104
- faa-ac-150-5380-7b
- AC 150/5380-7B, Airport Pavement Management Program FAA
Toto je referenční položka. TarmacView poskytuje služby inspekce drony a neprodává zařízení ani materiály popsané v tomto slovníku.