Mi a transzfer tanulás?
A transzfer tanulás olyan gépi tanulási módszer, amely egy feladatra betanított modellt használ fel egy másik feladat tanulásának javítására. Pan és Yang a forrástartománnyal és forrásfeladattal, valamint a céltartománnyal és célfeladattal határozza meg. A tartományok vagy a feladatok eltérnek.
Hogyan működik
A modellt először egy nagy forrás-adathalmazon tanítják be. Képmodelleknél ez gyakran az ImageNet, amely 1000 osztályban körülbelül 1,2 millió tanítóképet tartalmaz. A modellt ezután újrafelhasználják az új feladathoz, amelyhez kevesebb címkézett adat áll rendelkezésre. Az újrafelhasználásnak két gyakori módja van:
- Jellemzőkinyerés. Az utolsó osztályozó réteget eltávolítják, a többi réteget befagyasztva tartják, és új lineáris osztályozót tanítanak a kimenetén.
- Finomhangolás. Az osztályozót lecserélik, és a tanítás az előtanított rétegek egy részén vagy mindegyikén folytatódik. Az előtanított súlyok kisebb tanulási rátát kapnak, mint az új osztályozó.
Kevés csapat tanít be teljes hálózatot nulláról, mert a nagy adathalmazok ritkák. Kis célhalmaz esetén, amely hasonlít a forrásadatokra, a Stanford CS231n jegyzetei a jellemzőkinyerést javasolják. Nagy célhalmaz esetén a teljes hálózat finomhangolása lehetséges.
Miért vihetők át a jellemzők
Yosinski és társai rétegenként vizsgálták ezt. Az első réteg jellemzői, például a színfoltok, általánosak. A későbbi rétegek jobban kötődnek a forrásfeladathoz. Minél jobban eltér a célfeladat a forrásfeladattól, annál kevésbé vihetők át a jellemzők. Az átvitt súlyokból való indulás a finomhangolás után is segíthet.
Önfelügyelt backbone-ok
A backbone nem igényel címkéket ahhoz, hogy hasznos legyen. A Meta AI DINOv3 modelljét manuális címkék nélkül tanítják, egy válogatott, 1 689 millió képből álló halmazon. A legnagyobb modellje 7 milliárd paraméterrel rendelkezik. A szerzők szerint sok feladaton finomhangolás nélkül is erős eredményeket ad, és a teszteik többségében a backbone befagyasztva marad. Lásd még a DINOv3 oldalt a szójegyzékben.
Repülőtéri ellenőrzés
A repülőtéri burkolat-állapotindex (PCI) felmérései az ASTM D5340 szerint készülnek, ahogyan az FAA AC 150/5380-7B mondja. A körlevél nem említi a gépi tanulást. A transzfer tanulással épített modell csak képeken tud hibákat találni. A felmérés módszerét nem változtatja meg.
Gyakran Ismételt Kérdések
- Mi a transzfer tanulás?
- A transzfer tanulás olyan módszer, amely a forrásfeladatból szerzett tudást használja fel a célfeladat tanulásának javítására. A forrás és a cél eltérhet az adataikban, a feladatukban vagy mindkettőben. A számítógépes látásban a szokásos forrás egy nagy képhalmazon, például az ImageNeten betanított hálózat.
- Mi a különbség a jellemzőkinyerés és a finomhangolás között?
- A jellemzőkinyerésnél az előtanított hálózat befagyasztva marad, és csak egy új lineáris osztályozót tanítunk be a kimenetén. A finomhangolásnál az osztályozót lecserélik, és a tanítás az előtanított rétegek egy részén vagy mindegyikén folytatódik. A finomhangolás az előtanított súlyokhoz kisebb tanulási rátát használ, mint az új osztályozóhoz.
- Miért nem tanítunk hálózatot nulláról?
- Egy teljes hálózat nulláról történő betanításához nagy adathalmaz kell, és kevés projektnek van ilyen. Az előtanított hálózat már tartalmaz általános jellemzőket, ezért az új feladathoz kisebb adathalmaz is elegendő lehet.
Hivatkozások
- pan-yang-2010
- A Survey on Transfer Learning S. J. Pan and Q. Yang, IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, 2010
- cs231n-transfer
- Transfer Learning, CS231n Convolutional Neural Networks for Visual Recognition Stanford University
- yosinski-2014
- How transferable are features in deep neural networks? J. Yosinski, J. Clune, Y. Bengio, H. Lipson, arXiv 1411.1792
- ilsvrc-2015
- ImageNet Large Scale Visual Recognition Challenge O. Russakovsky et al., arXiv 1409.0575 (International Journal of Computer Vision, 2015)
- dinov3-2025
- DINOv3 O. Siméoni et al., Meta AI, arXiv 2508.10104
- faa-ac-150-5380-7b
- AC 150/5380-7B, Airport Pavement Management Program FAA
Ez egy referenciabejegyzés. A TarmacView drónos ellenőrzési szolgáltatásokat nyújt, és nem árulja az ebben a szószedetben leírt felszereléseket vagy anyagokat.