Mi az a DINOv3 Vision Transformer?

DINOv3 Vision Transformer az infrastruktúra felületének elemzéséhez

Önfelügyelt tanulás és DINO

Az önfelügyelt tanulás (SSL) a gépi tanulás egy olyan paradigmája, ahol a modell címkézetlen adatokból tanul meg értelmes reprezentációkat egy olyan ürügyfeladat meghatározásával, amely nem igényel emberi annotációt. A modellnek az adatok egy részét kell megjósolnia más részekből, kihasználva az adatokban rejlő belső szerkezetet és együttes előfordulási mintákat. A számítógépes látásban az SSL módszerek a kézzel készített ürügyfeladatoktól, mint például a kép elforgatási szögének előrejelzése (RotNet), a megkevert foltok kirakós játékának megoldása vagy a szürkeárnyalatos képek kiszínezése, a kifinomultabb kontrasztív és desztillációs alapú megközelítések felé haladtak. Az SSL alapvető előnye, hogy lehetővé teszi a webes méretű adathalmazokon történő képzést a kézi annotáció tiltó költsége nélkül. Az infrastruktúra-alkalmazások esetében, ahol a címkézett hibadatkészletek ritkák és előállításuk költséges (minősített ellenőröket és mérnököket igényel), az SSL-alapú alapmodellek lehetővé teszik a hatékony jellemzőtanulást a feladatspecifikus finomhangolás előtt, nagy mennyiségű címkézetlen képből.

Ez a repedésdetektálási módszer a TarmacView útpálya-értékelési terméke mögött.

A kontrasztív tanulási módszerek, mint a SimCLR, a MoCo és a SwAV, úgy tanulnak reprezentációkat, hogy ugyanazon kép nagyított nézeteit (pozitív párok) összehúzzák a beágyazási térben, miközben a különböző képek nézeteit (negatív párok) szétválasztják. Ezek a módszerek gondos kezelést igényelnek a negatív minták tekintetében – túl kevés negatív rontja a teljesítményt, túl sok növeli a számítási költséget. A nem kontrasztív módszerek, mint a BYOL, a SimSiam és a DINO, teljesen elkerülik a negatív párok szükségességét aszimmetrikus hálózati architektúrák és stop-gradiens műveletek használatával a reprezentációs összeomlás megakadályozására. A DINO (ön-desztilláció címkék nélkül), amelyet Caron és munkatársai mutattak be a Meta AI-nál 2021-ben, ebbe a nem kontrasztív családba tartozik, és a számítógépes látás egyik legbefolyásosabb SSL módszerévé vált. Az eredeti DINO cikk bebizonyította, hogy az SSL-nek és a Vision Transformereknek egyedi szinergiája van – a ViT-k önfigyelmi mechanizmusai természetes módon hoznak létre szemantikus szegmentációs térképeket mindenféle felügyelet nélkül, ez a tulajdonság a többterméses nagyítási stratégia és az ön-desztillációs cél kölcsönhatásából ered.

A DINO képzési keretrendszer a következőképpen működik. Minden bemeneti képhez két globális nézet (amely a képterület több mint 50%-át fedi le, jellemzően 224x224 pixel) és több helyi nézet (kisebb termések, amelyek a képterület kevesebb mint 50%-át fedik le, jellemzően 96x96 pixel) jön létre véletlenszerű átméretezett vágással, színeltolással és Gauss-elmosással. Az összes nézet áthalad egy diák hálózaton (egy Vision Transformer). A globális nézetek egy tanító hálózaton is áthaladnak, amely ugyanazzal az architektúrával rendelkezik, mint a diák, de eltérő paraméterekkel. A tanító paraméterei nem gradienseken keresztül tanulnak – ehelyett a diák paramétereinek exponenciális mozgóátlagaként (EMA) frissülnek. A képzés alapvető célja, hogy a diák kimeneti eloszlása megegyezzen a tanító kimeneti eloszlásával a globális nézetek esetében, míg a helyi nézetek további képzési jelet biztosítanak csak a diák számára. Ez a tanító-diák felállás, amelyet ön-desztillációnak neveznek, olyan tanulási jelet hoz létre, amely nem igényel címkéket – a diák megtanul konzisztens reprezentációkat előállítani ugyanazon kép különböző nagyításaihoz, ami arra kényszeríti, hogy a felületes pixelszintű részletek helyett a változatlan szemantikai tartalmat rögzítse.

A DINOv1 (2021) három kulcsfontosságú emergens tulajdonságot mutatott be az önfelügyelt ViT-k esetében. Először is, a [CLS] token figyelmi térképei a képfoltokhoz természetes módon szegmentálják az objektumokat a háttértől – ez a tulajdonság pusztán az önfelügyeletből ered, szegmentációs címkék nélkül. Másodszor, a tanult jellemzők kiváló k-NN osztályozási teljesítményt mutatnak – egy egyszerű legközelebbi szomszéd osztályozó a DINO jellemzőtérben 78,2%-os top-1 pontosságot ér el az ImageNet-en finomhangolás nélkül. Harmadszor, a DINO jellemzők erős szemantikus megfeleltetést mutatnak ugyanazon objektumosztály különböző példányai között, lehetővé téve az alkalmazásokat a képvisszakeresésben, a közös szegmentációban és a videóobjektum-szegmentációban. Ezek a tulajdonságok tették a DINO-t alapvető módszerré az önfelügyelt tanulás területén, és előkészítették a terepet a DINOv2 (2023) és a DINOv3 (2025) számára.

ViT architektúra

A Vision Transformer (ViT) architektúrát, amelyet Dosovitskiy és munkatársai mutattak be a Google-nál 2021-ben, a Transformer architektúrát adaptálja a természetes nyelvi feldolgozásból a számítógépes látásba azáltal, hogy a képfoltokat a szótokenek analógjaként kezeli. Ellentétben a konvolúciós neurális hálózatokkal (CNN), amelyek a képeket lokális receptív mezőkön keresztül dolgozzák fel beépített transzlációs ekvivarianciával, a ViT-k globális önfigyelmet alkalmaznak az összes folton egyszerre, lehetővé téve a modell számára, hogy a legelső rétegtől kezdve hosszú távú függőségeket rögzítsen. Ez az architekturális választás kulcsfontosságúnak bizonyult a DINO sikere szempontjából – az eredeti DINO cikk kimutatta, hogy az önfelügyelt ViT-k jelentősen felülmúlják az önfelügyelt CNN-eket, és hogy az önfigyelem és az ön-desztilláció közötti szinergia felelős az emergens szemantikus szegmentációs tulajdonságokért.

Folt beágyazás. A ViT első művelete a bemeneti kép felosztása nem átfedő foltokból álló rácsra. A TarmacView által használt ViT-B/16 változat esetében a foltméret 16x16 pixel. Egy 224x224 pixeles bemeneti kép (224/16) x (224/16) = 14 x 14 = 196 foltot eredményez. Minden 16x16x3 (RGB csatornák) folt egy 768 hosszúságú vektorba (16x16x3) lapul ki. A gyakorlatban ezt a foltbeágyazást egyetlen konvolúciós rétegként valósítják meg, amelynek kernelmérete megegyezik a foltmérettel (16x16), lépésköze pedig a foltmérettel, ami egy 14x14-es jellemzővektor-rácsot hoz létre, amelynek minden dimenziója megegyezik a modell rejtett méretével (768 a ViT-B esetében). Egy tanulható lineáris vetítés ezután leképezi az egyes kiterített foltokat a beágyazási dimenzióra. A Conv2d implementáció számítási szempontból hatékony (egy művelet 196 különálló lineáris vetítést helyettesít), és ez a szabvány az összes modern ViT implementációban.

A [CLS] token. A BERT architektúrát követve az NLP-ben, egy speciális tanulható osztályozási token ([CLS]) kerül a foltbeágyazások sorozata elé. A [CLS] token ugyanolyan dimenziójú (768), mint a foltbeágyazások, és véletlenszerűen inicializálódik. A képzés során, az összes transzformer rétegen átívelő önfigyelem révén, a [CLS] token információkat gyűjt az összes képfoltról – minden rétegben minden folthoz hozzáférhet, így a teljes kép globális reprezentációját építi fel. Az utolsó transzformer réteg kimenetén a [CLS] token beágyazás szolgál az osztályozási feladatokhoz használt képszintű reprezentációként. A DINOv3-ban a [CLS] tokent 4 regiszter token egészíti ki – további tanulható tokenek, amelyek a sorozat elé kerülnek, és vázlatmemóriaként működnek, hogy elnyeljék a kiugró vagy háttérinformációkat, megakadályozva, hogy a [CLS] és a folt tokeneket irreleváns nagyfrekvenciás részletek rontsák meg.

Pozícióbeágyazások. Mivel a Transformer önfigyelmi mechanizmusa permutáció-invariáns (a foltokat halmazként dolgozza fel, nem sorozatként), a pozícióinformációkat explicit módon hozzá kell adni, hogy a modell tudja, hová tartozik az egyes foltok a térbeli rácsban. A DINOv3 Rotary Position Embeddings (RoPE) technikát használ a DINOv2-ben használt szabványos tanult abszolút pozíciókódolások helyett. A RoPE relatív pozícióinformációt kódol azáltal, hogy egy forgatási mátrixot alkalmaz a lekérdezési és kulcsvektorokra az önfigyelemben a térbeli koordinátáik alapján. Az egyes dimenziók forgási frekvenciáját a dimenzióindex határozza meg, egy geometriai progressziót követve. A RoPE kulcsfontosságú előnye az infrastruktúra-elemzés szempontjából, hogy képes kezelni a változó felbontású bemeneteket – a nagy felbontású képek (akár 4096x4096 pixel) feldolgozásakor a RoPE mechanizmus természetes módon általánosít a nagyobb térbeli rácsra anélkül, hogy a tanult pozícióbeágyazások interpolációját igényelné. A DINOv3 véletlenszerű doboz-eltolást is bevezet a RoPE alkalmazása során, ahol a pozícióindexek véletlenszerűen eltolódnak egy [-s,s] tartományon belül, ahol s [0.5,2.0] között van, így a modell ellenállóvá válik a különböző képarányokkal és vágási mintákkal szemben.

Többfejű önfigyelem (MHSA). A ViT alapvető számítási primitívje a többfejű önfigyelmi mechanizmus. Minden transzformer blokkban az N tokenből álló bemeneti sorozatot (N = 1 [CLS] + 4 regiszter + 196 folt = 201 token egy 224x224-es bemenethez) lineárisan három mátrixba vetítik: Lekérdezések (Q) , Kulcsok (K) és Értékek (V) , mindegyik 768 dimenziójú a ViT-B/16 esetében. A figyelmi mechanizmus az összes token közötti páronkénti hasonlóságot számítja ki a Q és K^T pontszorzataként, skálázva d_k négyzetgyökével (ahol d_k a kulcsdimenzió fejenként). Az eredményül kapott figyelmi súlyok (softmax által normalizálva) határozzák meg, hogy az egyes tokenek mennyiben járulnak hozzá a többi token reprezentációjához. A ViT-B/16-ban 12 figyelmi fej van, amelyek mindegyike egy 64 dimenziós altérben működik (768/12 = 64). A többfejű figyelem lehetővé teszi a modell számára, hogy egyszerre különböző típusú kapcsolatokra figyeljen – például az egyik fej a foltok közötti textúra-hasonlóságra, egy másik a térbeli közelségre, egy harmadik pedig a szemantikus kategóriatagságra összpontosíthat. Az összes fej kimenete összefűződik, és lineárisan visszavetítődik 768 dimenzióra. Az MHSA számítási komplexitása O(N2d) – négyzetes az N sorozathosszban, de lineáris a d beágyazási dimenzióban. A DINOv3 ViT-B/16 201 tokenből álló sorozata esetében ez kezelhető (körülbelül 40 000 figyelemszámítás rétegenként), de a nagy felbontású képeknél 4000+ token esetén (pl. egy 1024x1024-es kép 64x64 = 4096 foltot eredményez) a négyzetes skálázódás jelentős szemponttá válik.

Transzformer kódoló blokk. A DINOv3 mind a 12 (ViT-B) vagy 40 (ViT-7B) transzformer rétege az elő-normalizációs kialakítást követi. A réteg-normalizációt (LayerNorm) az MHSA és az MLP alrétegek előtt alkalmazzák, a maradék kapcsolatokkal, amelyek megkerülik az egyes alrétegeket. Az MLP (többrétegű perceptron) alréteg két lineáris rétegből áll, közöttük egy GELU (Gaussian Error Linear Unit) aktivációval. A ViT-B/16 esetében az MLP rejtett dimenziója 3072 (4-szerese a beágyazási dimenziónak), ami a következő konfigurációt eredményezi: Beágyazási dimenzió 768 -> MLP rejtett 3072 -> GELU -> MLP kimenet 768. A DINOv3 nagyobb tanító modellje (ViT-7B) SwiGLU (Swish-Gated Linear Unit) aktivációt használ az MLP-ben a GELU helyett, követve a modern LLM architektúra trendeket. A SwiGLU egy kapuzási mechanizmust alkalmaz: kimenet = (xW1) elemenként szorozva Swish(xW2) szorozva W3-mal. Ez a kapuzott aktiváció a skálázás során jobb képzési stabilitást és végső teljesítményt mutatott. Az elő-normalizációs kialakítás eltér az eredeti Transformer utó-normalizációjától (ahol a normalizációt a maradék összeadás után alkalmazták), és kimutatták, hogy stabilabb képzést eredményez, különösen mély (12+ rétegű) transzformerek esetében.

Architektúra összefoglaló táblázat a DINOv3 modellcsaládhoz.

A ViT-Base (86M paraméter) architektúra az optimális kompromisszum a jellemzőminőség és a számítási hatékonyság között a TarmacView infrastruktúra-ellenőrzési folyamatában, 768 dimenziós beágyazásokat és 12 rétegnyi önfigyelmi feldolgozási teljesítményt kínálva.

DINOv3 képzés 1,7 milliárd képen

A DINOv3 a legmodernebb teljesítményét az önfelügyelt képzés példátlan méretarányán keresztül éri el, kihasználva mind a hatalmas adatkurálást, mind a hatékony elosztott optimalizálást több száz GPU-n.

Az LVD-1689M adathalmaz. A DINOv3 képzési adatai egy 17 milliárd tartalommal moderált Instagram-képből álló nyers készlettel kezdődnek. Ebből a hatalmas készletből a Meta AI csapata egy kiegyensúlyozott részhalmazt kurált 1 689 millió képből, amelyet LVD-1689M-nek (Large Visual Dataset 1689 Million) neveztek el. A kurálási folyamat kritikus fontosságú, mert a nyers Instagram-adatokon való egyszerű képzés olyan modellt eredményezne, amely torzít a közösségi médiában előforduló vizuális fogalmak természetes gyakorisági eloszlása felé – például az arcok, ételek és tájak dominálnának, míg az infrastruktúra, ipari és tudományos képek alulreprezentáltak lennének. A kurálási folyamat hierarchikus k-közép klaszterezést alkalmaz a teljes képkészletből kinyert DINOv2 beágyazásokon. A DINOv2 ViT-H/14 modell feldolgozza az egyes képeket, és az eredményül kapott CLS token beágyazásokat 25 000 klaszterbe klaszterezi k-közép módszerrel. Ezt követően minden klaszterből azonos számú képet mintavételeznek, így egy klaszter-kiegyensúlyozott adathalmazt hozva létre, amely arányos reprezentációt biztosít a vizuális tartományok között. Ez a kiegyensúlyozott mintavételezés közvetlenül analóg a statisztikában használt rétegzett mintavételezéssel – a klasztertagság szabályozásával az adathalmaz a vizuális fogalmak teljes sokféleségét rögzíti ahelyett, hogy a gyakori kategóriákat túlreprezentálná. A klaszterezés után egy további visszakeresési lépés kibővíti a magkészleteket a kurált adathalmazokból (ImageNet-1k, ImageNet-22k, Google Landmarks és finom szemcséjű osztályozási adathalmazok) a DINOv2 beágyazási térben lévő legközelebbi szomszédok megkeresésével. A végső LVD-1689M adathalmaz 1 489 millió klaszter-kiegyensúlyozott képet és 200 millió visszakereséssel bővített képet kombinál, amelyek mindegyike NSFW-szűrésen, PCA hash deduplikáción és arcelmosáson esett át.

Képzési konfiguráció. A ViT-7B tanító modellt, a valaha képzett legnagyobb önfelügyelt látásmodellt (2025-ös állapot szerint), 256 NVIDIA GPU-n (A100 80GB SXM4) tanították 4096-os kötegmérettel (16 kép GPU-nként). Az optimalizálás az AdamW optimalizálót használja 4x10^-4 konstans tanulási sebességgel, 0,04-es súlycsökkenéssel és 0,999-es EMA lendülettel, egy 100 000 lépéses bemelegítési időszakot követően. A képzés 1 millió iteráción keresztül tart a többterméses stratégiával: 2 globális termés 256x256-os felbontásban és 8 helyi termés 112x112-es felbontásban, összesen 10 nézet képenként iterációnként. 1 millió iteráció alatt 4096-os kötegméret mellett a modell körülbelül 2,56 milliárd egyedi kép-termés kombinációt lát. A teljes képzési folyamat becslések szerint 10 000-15 000 GPU-nap számítási kapacitást fogyaszt. A képzés során a kötegek 10%-a homogén mintavétel az ImageNet-1k-ból (a szabványos benchmarkokon nyújtott teljesítmény fenntartása érdekében), míg 90%-a heterogén mintavétel a teljes LVD-1689M készletből, ami egy ablációval igazolt optimális keverési arány.

Képzési célok. A DINOv3 előképzési vesztesége három összetevőt kombinál. A DINO veszteség (L_DINO) egy SwAV-stílusú Sinkhorn-Knopp klaszterezést alkalmaz a globális termésekből származó [CLS] token kimenetekre, illesztve a prototípus-hozzárendeléseket a diák és a tanító között. A Sinkhorn algoritmus 3 iterációt futtat a lágy álcímkék előállításához. Az iBOT veszteség (L_iBOT) a folt szintjén működik – a helyi termésekben lévő véletlenszerű foltokat maszkolják, és a diáknak meg kell jósolnia a tanító normalizált foltjellemzőit ezeken a maszkolt pozíciókon. Ez a maszkolt képmodellezési cél arra kényszeríti a modellt, hogy megtanulja a sűrű előrejelzési feladatokhoz szükséges helyi textúra- és szerkezeti információkat. A Koleo regularizátor (L_Koleo) egyenletesen szórja szét a [CLS] token beágyazásokat a hiperszférán azáltal, hogy minimalizálja a kötegben lévő összes beágyazáspár közötti koszinusz hasonlóságok összegét, megakadályozva a reprezentációs összeomlást és biztosítva, hogy a jellemzőtér jól kihasznált legyen. A kombinált előképzési veszteség: L_Pre = L_DINO + L_iBOT + 0,1 x L_Koleo. Az 1 millió iterációs előképzés után egy 200 000 további iterációból álló finomítási fázis beépíti a Gram rögzítési veszteséget (L_Gram) 2-es súllyal, amely megőrzi a sűrű jellemzők minőségét a hosszú képzés során.

Desztilláció kisebb modellekbe. Miután a ViT-7B tanító teljesen betanult, lefagyasztják, és célként használják a reprezentációk desztillálására kisebb, praktikusabb modellekből álló készletbe. A desztillációs folyamat tükrözi az előképzési beállítást: a diák modelleket (ViT-S, ViT-B, ViT-L, ViT-H+, ConvNeXt változatok) arra tanítják, hogy illeszkedjenek a tanító kimeneti jellemzőihez ugyanazt a veszteségfüggvényt (L_DINO + L_iBOT + 0,1 x L_Koleo) használva, de a tanító lefagyasztva és az EMA tanító frissítés elhagyva. A Meta AI egy többdiákos desztillációs beállítást valósít meg, amely hatékonyan tanít egyszerre több diák modellt – a tanító minden képet egyszer dolgoz fel, és az összes diák ugyanazokat a tanító kimeneteket kapja, lehetővé téve a köteg veszteségszámításának párhuzamosítását a diákok között. Ez körülbelül 60%-kal csökkenti a teljes modellcsalád előállításának teljes számítási költségét az egyes diákok egymás utáni desztillálásához képest. A ViT-Base (86M paraméter) diák, amelyet a TarmacView alapmodellként használ, eléri a ViT-7B tanító lineáris szonda pontosságának 98,7%-át az ImageNet-1k-n, miközben körülbelül 80-szor kevesebb FLOP-ot igényel a következtetéshez.

768 dimenziós beágyazások

A DINOv3 ViT-B/16 által minden tokenhez (1 CLS + 4 regiszter + 196 folt = 201 összesen) előállított 768 dimenziós beágyazás a vizuális információ sűrű numerikus kódolását képviseli egy nagy dimenziós vektortérben. Minden dimenzió egy adott vizuális fogalmat vagy jellemzőt rögzít, és mind a 768 érték kombinációja egyedi aláírást képez a képterület számára. A 768-as dimenzió nem önkényes – a ViT-Base architektúrából ered, ahol a rejtett dimenzió 768-ra van állítva, elegendő kapacitást biztosítva az összetett vizuális minták kódolásához, miközben számítási szempontból kezelhető marad. Összehasonlításképpen: a ViT-Small 384 dimenziót, a ViT-Large 1024-et, a ViT-7B pedig 4096-ot használ.

CLS token beágyazás. A [CLS] token 768 dimenziós beágyazása a 12. transzformer réteg kimenetén a globális kép tartalmát kódolja – a teljes jelenetet, a domináns objektumokat és a szemantikus kontextust. Ezt a beágyazást kinyerik és képszintű osztályozási feladatokhoz használják. A TarmacView folyamatában a CLS beágyazást egy könnyű lineáris osztályozón (768-tól N osztályig, ahol N a felülettípusok vagy minőségi osztályzatok száma) vezetik át, amelyet címkézett infrastruktúra-adathalmazokon tanítottak. A DINOv3 CLS beágyazása erős domain-általánosítási tulajdonságokat mutat – az ezen a beágyazáson tanított modellek lényegesen jobban általánosítanak a nem látott infrastruktúra-típusokra, mint a felügyelt alapmodellek beágyazásain tanított modellek. A DINOv3 ViT-B/16 lineáris szonda pontossága az ImageNet-1k-n eléri a 85,1%-os top-1 pontosságot, felülmúlva a DINOv2-t (83,5%) és megközelítve a felügyelt ViT-et (86,0%), annak ellenére, hogy az előképzés során soha nem látott ImageNet-címkéket.

Folt token beágyazások. Mind a 196 folt token külön 768 dimenziós beágyazást hoz létre, amely egy 14x14-es térbeli jellemzővektor-rácsot alkot. Ezek a sűrű beágyazások lokalizált vizuális információkat kódolnak az egyes 16x16 pixeles foltokon belül – textúrát, éleket, színeloszlást és helyi mintákat. A foltbeágyazások a kritikus kimenetek a sűrű előrejelzési feladatokhoz, mint a repedésdetektálás és szegmentáció. A TarmacView infrastruktúra-elemzési folyamatában a 14x14 x 768 dimenziós jellemzőrácsot (körülbelül 1,5 millió lebegőpontos érték képenként) egy könnyű konvolúciós dekóderen keresztül dolgozzák fel, amely 224x224-re nagyítja fel, és pixelenkénti előrejelzéseket hoz létre. Minden foltbeágyazás értelmezhető úgy, mint egy 768 dimenziós leírása annak, hogy néz ki az adott 16x16-os régió – két hasonló vizuális megjelenésű folt (pl. sima aszfalt két területe) közeli beágyazásokkal rendelkezik a 768 dimenziós térben (magas koszinusz hasonlóság), míg a vizuálisan eltérő foltok (pl. aszfalt vs. beton) távoli beágyazásokkal rendelkeznek (alacsony koszinusz hasonlóság).

Beágyazási tulajdonságok. A DINOv3 beágyazások számos olyan tulajdonsággal rendelkeznek, amelyek kiválóvá teszik őket az infrastruktúra-elemzéshez. Először is, szemantikus simaság – a vizuálisan hasonló régiók közeli beágyazásokat hoznak létre, egy folytonos sokaságot alkotva a 768 dimenziós térben. Ez azt jelenti, hogy a különböző szélességű, tájolású és súlyosságú repedések mind a beágyazási tér egy összefüggő régiójába képeződnek le, így koherens osztályként észlelhetők, nem pedig elszigetelt kiugró értékekként. Másodszor, többskálás érzékenység – a 12 transzformer rétegben lévő önfigyelmi mechanizmus különböző térbeli skálákon integrál információkat, így minden foltbeágyazást nemcsak a saját 16x16-os tartalma, hanem a környező foltok és a globális jelenet tágabb kontextusa is befolyásol. Egy dilatációs hézag közelében lévő repedés másképp van kódolva, mint ugyanaz a repedés a panel közepén, mert a kontextuális információ beépül a beágyazásba. Harmadszor, megvilágítással szembeni robusztusság – az önfelügyelt képzés kiterjedt színeltolással és nagyítással biztosítja, hogy a beágyazások stabilak legyenek a változó fényviszonyok, árnyékok és expozíció mellett. Ez kritikus fontosságú a kültéri infrastruktúra-ellenőrzéshez, ahol a képeket szabályozatlan természetes fényviszonyok között rögzítik. Negyedszer, lineáris szétválaszthatóság – a beágyazások úgy vannak strukturálva, hogy az egyszerű lineáris osztályozók hatékonyan el tudják választani a különböző felületi állapotokat. A TarmacView 96,2%-os felülettípus-osztályozási pontosságot és 94,7%-os repedésdetektálási F1-pontszámot ér el, csak lineáris szondákat használva a fagyasztott DINOv3 beágyazásokon.

Távolságmetrikák a beágyazási térben. A távolságmetrika megválasztása a DINOv3 beágyazások összehasonlításához jelentősen befolyásolja a downstream feladat teljesítményét. A koszinusz hasonlóság a leggyakrabban használt metrika, amelyet a cos(theta) = (a dot b) / (||a|| x ||b||) képlettel definiálunk, ahol a és b 768 dimenziós beágyazási vektorok. A koszinusz hasonlóság -1 (ellentétes irány, nem valószínű a vizuális beágyazásoknál) és +1 (azonos irány) között mozog. Két 768 dimenziós vektor, amelyek koszinusz hasonlósága nagyobb, mint 0,9, vizuálisan majdnem azonos a helyi tartalmukban, míg a 0,5-nél kisebb hasonlóság lényegesen eltérő vizuális tartalmat jelez. Az L2 (euklideszi) távolságot is használják, de gondos normalizálást igényel, mert a beágyazások abszolút skálája változhat. A pontszorzat hasonlóság hatékony, de érzékeny a vektor nagyságára. A TarmacView a koszinusz hasonlóságot használja elsődleges távolságmetrikaként a hibavisszakereséshez és -egyeztetéshez, mert normalizálja a beágyazás nagyságát, és kizárólag az iránybeli igazításra összpontosít, ami robusztusabb a képkontraszt és expozíció változásaival szemben.

Dimenziócsökkentés vizualizációhoz. A 768 dimenziós beágyazási tér nem vizualizálható közvetlenül, ezért a TarmacView Főkomponens-elemzést (PCA) alkalmaz a foltbeágyazások 3 dimenzióra csökkentésére vizualizációs és minőségbiztosítási célokra. A DINOv3 foltbeágyazások első három főkomponense az infrastruktúra-képeken jellemzően a teljes variancia 45-55%-át rögzíti (PC1 körülbelül 25%, PC2 körülbelül 15%, PC3 körülbelül 10%), ami azt jelzi, hogy a felületi foltok effektív belső dimenziója sokkal alacsonyabb, mint 768. A PCA vizualizáció következetesen különálló klasztereket mutat a különböző felületi anyagokhoz (aszfalt, beton, zúzottkő, kavics) és folyamatos gradienseket a felületromlás súlyosságához (a sértetlentől a súlyosan repedezettig). Ez a vizuális ellenőrizhetőség kritikus minőségbiztosítási eszköz – az infrastruktúra-mérnökök vizuálisan ellenőrizhetik a beágyazási teret, hogy megbizonyosodjanak arról, hogy a modell helyesen választja el a releváns felületi állapotokat, mielőtt az automatizált osztályozásra hagyatkoznának.

DINOv3 vs DINOv2

A DINOv2-ről a DINOv3-ra való áttérés az önfelügyelt látásképzési paradigma átfogó skálázását és finomítását képviseli. A különbségek megértése elengedhetetlen a gyakorlati szakemberek számára, akik a megfelelő alapmodellt választják ki az alkalmazásukhoz.

A képzési adatok mérete. A legszembetűnőbb különbség a képzési adatok 12-szeres növekedése: a DINOv2 LVD-142M (142 millió kép) szemben a DINOv3 LVD-1689M (1,689 milliárd kép) adatkészletével. A kurálási módszertan is javult. A DINOv2 egy visszakeresés-alapú folyamatot használt, amely kibővítette a kurált magadatkészleteket az ImageNet-22k-n előtanított ViT-H/16 beágyazási terében lévő legközelebbi szomszédok megkeresésével. A bővítés 1,2 milliárd nyers webes képből indult, és 142 millió kurált képet eredményezett. A DINOv3 a visszakeresés tetején egy klaszterezés-alapú kiegyensúlyozási lépést ad hozzá, biztosítva, hogy a 25 000 vizuális klaszter egyenlő arányban legyen képviselve. Ez a klaszterezési lépés megakadályozza, hogy a modell túlreprezentálja a vizuálisan domináns fogalmakat, mint az arcok, szövegek és gyakori tárgyak, miközben alulreprezentálja a ritka, de fontos vizuális tartományokat, mint az infrastruktúra-hibák, orvosi képek és műholdfelvételek.

Modellméret és architektúra. A DINOv2 legnagyobb tanító modellje a ViT-g volt 1 milliárd paraméterrel. A DINOv3 ezt 7 milliárd paraméterre (ViT-7B) skálázza – a modellkapacitás 7-szeres növekedése. Maga az architektúra is modernizálódott. A DINOv2 szabványos tanult abszolút pozícióbeágyazásokat használt, míg a DINOv3 bevezeti a Rotary Position Embeddings (RoPE) technikát a változó felbontás támogatásához. A DINOv3 ViT-7B előrecsatolt hálózata SwiGLU aktivációt használ a GELU helyett, követve a nagy nyelvi modellek architekturális újításait. A DINOv2 14 pixeles foltméretet használt (az eredeti cikk ViT architektúrája), míg a DINOv3 16 pixeles foltméretet használ. Ez a változás 256-ról (224/14 = 16, 16^2 = 256) 196-ra (224/16 = 14, 14^2 = 196) csökkenti a foltok számát egy 224x224-es bemenet esetében, ami 23%-os csökkenés a sorozathosszban, ami körülbelül 40%-kal kevesebb önfigyelmi számítást jelent (mivel a figyelem O(N2)-ként skálázódik). Ez az architekturális hatékonyságnövekedés részben ellensúlyozza a nagyobb modellméretekből származó megnövekedett számítási költséget.

Sűrű jellemzők minősége. Ez a legjelentősebb minőségi javulás a DINOv3-ban. A nagy modellekkel végzett hosszú képzési ütemezések során a DINOv2 folt szintű jellemzőiről megfigyelték, hogy fokozatosan romlanak – a képzés egy bizonyos pontja után a pixelszintű jellemzőtérképek elveszítették térbeli szerkezetüket, zajossá vagy elmosódottá váltak, miközben a globális [CLS] token jellemzői tovább javultak. Ez a romlás kevésbé alkalmassá tette a DINOv2-t a sűrű előrejelzési feladatokra, mint a szemantikus szegmentáció és mélységbecslés, ha hosszú képzési ütemezéseket használtak. A DINOv3 Gram rögzítési mechanizmusa közvetlenül kezeli ezt a romlást azáltal, hogy kikényszeríti, hogy a foltjellemzők közötti páronkénti hasonlósági szerkezet stabil maradjon a képzés során. Ennek eredményeként a DINOv3 sűrű jellemzői élesek és szemantikailag értelmesek maradnak még több millió képzési iteráció után is. Az ADE20K szemantikus szegmentációs benchmarkon a DINOv3 54,2%-os átlagos Intersection over Union (mIoU) pontszámot ér el egy fagyasztott alapmodellel és lineáris szondával – ez +6,1 pontos javulás a DINOv2 48,1%-os mIoU-jához képest. A NAVI 3D kulcspont-egyeztetési benchmarkon a DINOv3 68,5%-os pontosságot ér el a DINOv2 60,2%-ával szemben. A videóobjektum-szegmentációban (DAVIS 2017) a DINOv3 82,3 J&F-Átlagot ér el a DINOv2 75,6-ával szemben.

A fenti táblázat azt mutatja, hogy a DINOv3 ViT-Base modellje (86M paraméter, amelyet a TarmacView használ) már felülmúlja a DINOv2 sokkal nagyobb ViT-Large modelljét (304M paraméter) minden benchmarkon, miközben 3,5-szer kisebb és jelentősen hatékonyabb a következtetés szempontjából.

Licencbeli különbségek. A DINOv2 az Apache 2.0 licenc alatt jelent meg, egy szabványos nyílt forráskódú licenc, amely szabad felhasználást, módosítást és terjesztést tesz lehetővé bármilyen célra, beleértve a kereskedelmi alkalmazásokat is. A DINOv3 a DINOv3 Licenc alatt jelenik meg, egy egyedi licenc, amely kifejezetten a Meta AI modellkiadásához készült. Bár a DINOv3 Licenc engedélyezi a kereskedelmi felhasználást, további feltételeket tartalmaz a nevesítésre és az elfogadható használatra vonatkozóan. Az egyedi licenc vitát váltott ki a nyílt forráskódú közösségben – a dinov3 adattáron a 31. számú GitHub issue kifejezetten kéri a kiadást egy szabványosabb licenc, például az Apache 2.0 alatt. A gyakorlati szakembereknek át kell tekinteniük a GitHub adattáron található teljes LICENSE.md szöveget, mielőtt a DINOv3-at kereskedelmi termékekben telepítenék. A TarmacView használati esete esetében a DINOv3 Licenc engedélyezi a tervezett kereskedelmi alkalmazást a megfelelő nevesítéssel.

DINOv3 finomhangolása domain-specifikus feladatokhoz

Míg a DINOv3 a legmodernebb teljesítményt éri el egy fagyasztott alapmodellel (lineáris szonda vagy k-NN osztályozó), bizonyos infrastruktúra-alkalmazások előnyösek lehetnek az alapmodell domain-specifikus adatokon történő finomhangolásából. A fagyasztott és a finomhangolt megközelítés közötti választás az adathalmaz méretétől, a feladat specifikusságától és a számítási költségvetéstől függ.

Fagyasztott alapmodell (lineáris szondázás). A legegyszerűbb és számítási szempontból leghatékonyabb megközelítés a DINOv3 súlyainak lefagyasztása és csak egy lineáris osztályozó tanítása a kinyert beágyazások tetején. Egy ViT-B/16 modell esetében, amely 768 dimenziós CLS beágyazásokat hoz létre, egy lineáris osztályozó pontosan 768 x N paraméterből áll, ahol N a kimeneti osztályok száma. Egy 5 osztályos felülettípus-osztályozási feladathoz ez csak 768 x 5 = 3 840 tanítható paraméter – a képzés percek alatt konvergál CPU-n, és osztályonként akár 50 címkézett példára van szükség a jó eredmények eléréséhez. A fagyasztott alapmodell megközelítés akkor ajánlott, ha a cél domain jól lefedett a DINOv3 előképzési adatai által, amelyek természetes képeket, webes képeket és sokféle vizuális tartományt tartalmaznak. Az infrastruktúra felületének elemzéséhez a TarmacView fagyasztott DINOv3 beágyazásokat használ lineáris szondával a felülettípus osztályozásához (aszfalt, beton, kompozit, zúzottkő, kavics), és 96,2%-os pontosságot ér el ezeken az osztályokon. A kulcsfontosságú előny, hogy a DINOv3 alapmodell univerzális vizuális jellemzőket biztosít, amelyek domain-specifikus képzés nélkül általánosítanak a tartományok között.

Könnyű finomhangolás (Adapter / LoRA). Azokhoz a feladatokhoz, ahol a fagyasztott alapmodell nem ér el elegendő pontosságot – jellemzően erősen specializált tartományok, amelyek vizuális jellemzői jelentősen eltérnek a természetes képektől – a paraméter-hatékony finomhangolási (PEFT) módszerek kis számú tanítható paramétert adnak hozzá, miközben az alapmodell nagy részét fagyasztva tartják. A Low-Rank Adaptation (LoRA) rang-felbontási mátrixpárokat (A és B, ahol a súlyfrissítés delta_W = AB) ad hozzá a lekérdezési és értékvetítési mátrixokhoz minden önfigyelmi rétegben. Egy ViT-B/16 modell esetében a LoRA r=8 ranggal körülbelül 0,5 millió tanítható paramétert ad hozzá (kevesebb, mint a 86 milliós összmennyiség 0,6%-a), elosztva mind a 12 transzformer réteg között. Csak ezeknek a LoRA paramétereknek a tanítása 10-50 epochon keresztül egy 1 000-5 000 címkézett képből álló domain-specifikus adathalmazon jellemzően 3-8%-os pontosságjavulást eredményez a lineáris szondázáshoz képest, miközben csak 1-2 órát igényel egyetlen GPU-n. A TarmacView LoRA finomhangolást használ a speciális hibabesorolási feladatokhoz, mint például a különböző repedéstípusok (keresztirányú, hosszirányú, blokk, alligátor, tükröződő) megkülönböztetése, ahol a finom vizuális különbségek előnyösek a domain-specifikus adaptációból.

Teljes finomhangolás. Ha elegendő címkézett adat áll rendelkezésre (10 000+ kép osztályonként), és a feladat maximális pontosságot igényel, a teljes DINOv3 alapmodell finomhangolható. Ez frissíti a ViT-B/16 mind a 86 millió paraméterét a címkézett adathalmaz segítségével. A teljes finomhangolás jellemzően 4-8 GPU-t igényel 16-32 GB VRAM-mal, elosztott képzést PyTorch DDP-vel, és gondos hiperparaméter-hangolást (tanulási sebesség jellemzően 5x10^-6 és 5x10^-5 között, súlycsökkenés 0,01-0,1, koszinusz tanulási sebesség ütemezés 10%-os bemelegítéssel). A teljes finomhangolás további 2-5% pontosságot eredményezhet a LoRA-hoz képest erősen specializált feladatokon, de magában hordozza a katasztrofális felejtés kockázatát – a modell elveszítheti az önfelügyelt előképzés során megszerzett általános vizuális tudást. Ennek enyhítésére a fokozatos feloldás (először az utolsó réteg feloldása, majd fokozatosan a korábbi rétegek) és a tanulási sebesség megkülönböztetése (alacsonyabb tanulási sebesség a korábbi rétegekhez, magasabb a későbbiekhez) ajánlott. A DINOv3 egy utólagos nagy felbontású adaptációs protokollt is javasol a finomhangoláshoz: folytassa a képzést 10 000 lépésig vegyes globális termésméreteken az iBOT veszteség és a Gram rögzítés használatával, ami biztosítja, hogy az alapmodell általánosítson a szabványos 224px felbontásról a nagyon nagy felbontásokra (4096px) is, miközben éles jellemzőtérképeket hoz létre.

Fagyasztás vs. finomhangolás döntési mátrix.

Domain adaptációs szempontok. Az infrastruktúra-ellenőrzési képek több szempontból is eltérnek a természetes képektől: konzisztens kameraszögek (nadír/drón perspektíva), specifikus fényviszonyok (kültéri, de változó), ismétlődő minták (burkolati textúra) és szűk vizuális tartomány (utak, kifutópályák, hídpályák). A DINOv3 önfelügyelt előképzése sokféle adaton azt jelenti, hogy már látott sok hasonló vizuális mintát, de a webes képek és az infrastruktúra-képek közötti domain-rés továbbra is fennáll. A TarmacView kísérletei azt mutatják, hogy a fagyasztott DINOv3 beágyazások 94,7%-os repedésdetektálási F1-pontszámot érnek el a repülőtéri burkolati képeken finomhangolás nélkül, ami kiváló domain-átvitelt jelez. Az olyan speciális hibák észleléséhez azonban, mint a betonburkolatok hézageltolódása vagy az aszfaltfedőrétegek kimosódása, a LoRA finomhangolás 2 000-5 000 címkézett példával a cél domainből 5-8 százalékponttal javítja az F1-pontszámot. A finomhangolt modell javított robusztusságot is mutat a domain-specifikus műtermékekkel szemben, mint a guminyomok, gumilerakódások és kifutópálya-jelzések, amelyek összezavarhatják az általános előtanított jellemzőket.

DINOv3 mint jellemzőkinyerő

A DINOv3 jellemzőkinyerőként való használata a legközvetlenebb és legszélesebb körben alkalmazható telepítési minta, különösen azon szervezetek számára, amelyek nem rendelkeznek a nagyszabású képzéshez szükséges számítási erőforrásokkal. Ebben a paradigmában a DINOv3 egyetlen előrehaladáson keresztül feldolgozza az egyes képeket, beágyazásokat hozva létre, amelyeket gyorsítótárba helyeznek és több downstream feladathoz újra felhasználnak.

Jellemzőkinyerési folyamat. A DINOv3 jellemzők kinyerésének szabványos folyamata a TarmacView infrastruktúra-elemzési munkafolyamatában a következőképpen működik. Először is, a bemeneti képet (jellemzően egy 4K-s drónkép, amely egy 10m x 7m-es kifutópálya-szakaszt fed le) átfedő 224x224-es csempékre osztják 50%-os átfedéssel az élek lefedésének biztosítása érdekében. Minden csempét normalizálnak a szabványos ImageNet átlaggal (0,485, 0,456, 0,406) és szórással (0,229, 0,224, 0,225). A normalizált csempét a DINOv3 ViT-B/16 modellen keresztül vezetik át PyTorch használatával FP16 pontossággal a memóriahatékonyság érdekében. A modell 201 tokent hoz létre (1 CLS + 4 regiszter + 196 folt), mindegyik 768 dimenziós. A CLS token beágyazást (768-dim) kinyerik a globális csempe osztályozásához. A 196 folt token beágyazást egy 14x14-es térbeli rácsba rendezik át 768 dimenziós vektorokból a sűrű előrejelzéshez. Az összes csempe összes beágyazását egy térbeli koordináták által indexelt jellemzőadatbázisba gyűjtik, lehetővé téve a csempék közötti elemzést és a nagy területű térképezést.

Számítási hatékonyság. A jellemzőkinyerés fagyasztott DINOv3 ViT-B/16-tal körülbelül 12,5 GFLOP-ot igényel 224x224-es képenként – összehasonlítható a ResNet-50 (7,7 GFLOP) vagy az EfficientNet-B4 (12,0 GFLOP) értékével. Egy NVIDIA RTX 4090-en (FP16) a következtetési átviteli sebesség körülbelül 180 kép/másodperc. Egy NVIDIA Jetson Orin NX 16GB-on (élő eszköz) az átviteli sebesség körülbelül 25 kép/másodperc. Egy tipikus 4K-s drónképhez (3840x2160 pixel), amelyet 224x224-es csempékre osztanak 50%-os átfedéssel, körülbelül 160 csempére van szükség. A teljes feldolgozási idő egy RTX 4090-en kevesebb, mint 1 másodperc 4K-s képenként. A jellemzőkinyerés költsége egyszeri kiadás – a beágyazások tárolása után minden downstream feladat (osztályozás, szegmentáció, visszakeresés) elhanyagolható további számítást ad hozzá (ezredmásodpercek képenként).

Faiss beágyazási adatbázis hasonlósági kereséshez. A TarmacView a kinyert DINOv3 beágyazásokat egy FAISS (Facebook AI Similarity Search) indexben tárolja a hatékony hasonlóság-alapú visszakeresés és elemzés érdekében. A FAISS egy a Meta AI által fejlesztett könyvtár a sűrű vektorok hatékony hasonlósági kereséséhez és klaszterezéséhez, amely képes milliárdos méretű adatbázisok ezredmásodpercek alatti keresésére. A beágyazási adatbázis a kifutópálya-felületi csempéket indexeli a 768 dimenziós DINOv3 CLS beágyazásaik alapján. Amikor egy új ellenőrző kép érkezik, a beágyazását kiszámítják, és összehasonlítják a teljes adatbázissal, hogy megtalálják a leginkább hasonló történelmi csempéket. Ez lehetővé teszi az állapottrend-elemzést – a múltban előfordult hasonló felületi állapotok és azok későbbi romlási pályáinak megtalálását. A FAISS index IVF (Inverted File) technikát használ 4096 centroiddal és HNSW (Hierarchical Navigable Small World) gráfot a durva kvantálóhoz, ami több mint 99%-os visszahívást ér el 10 ms lekérdezési idő alatt egy 10 millió csempe beágyazást tartalmazó adatbázis esetében. A koszinusz hasonlóság metrikát használják az összes beágyazás-összehasonlításhoz.

Keveset példás hibadetektálás. A DINOv3 beágyazások lehetővé teszik a hatékony keveset példás hibadetektálást – új hibatípusok azonosítását akár 1-5 példaképből. Amikor egy új típusú burkolati károsodást (pl. egy adott repedésmintát vagy felületi lerakódást) észlelnek a terepen, az ellenőr 1-5 példaképet készít, és megjelöli a hibás régiókat. A DINOv3 foltbeágyazásait ezekből a példarégiókból átlagolják, hogy létrehozzanak egy hibaprototípus vektort (768 dimenziós). Az új képeket ezután feldolgozzák, és minden foltbeágyazást összehasonlítanak a prototípussal koszinusz hasonlóság segítségével. Azok a foltok, amelyek hasonlósága egy küszöbérték (jellemzően 0,75-0,85, empirikusan meghatározva) felett van, a hibatípusnak megfelelőként vannak megjelölve. Ez a prototípus-alapú megközelítés 89-93%-os detektálási pontosságot ér el az új hibák esetében mindössze 3 példából, újratanítás vagy finomhangolás nélkül. Ez kritikus fontosságú az infrastruktúra-ellenőrzésben, ahol gyakran találkoznak új, váratlan károsodási típusokkal, amelyeket dokumentálni kell anélkül, hogy az ellenőrzési munkafolyamatot késleltetné a képzési adatok gyűjtése.

Sűrű folt tokenek szegmentációhoz

A DINOv3 által egy 224x224-es képhez előállított 196 folt token beágyazás egy 14x14-es térbeli rácsot alkot 768 dimenziós jellemzővektorokból. Ez a rács az elsődleges reprezentáció a sűrű előrejelzési feladatokhoz – szemantikus szegmentáció, repedésdetektálás és hibalokalizáció –, ahol a bemeneti kép minden egyes pixelét osztályozni kell.

Rácsszerkezet és felbontás. Egy 224x224 pixeles bemenethez 16x16-os foltokkal a 196 folt token mindegyike a bemenet egy 16x16 pixeles régióját fedi le. Az eredményül kapott 14x14-es rács lépésköze 16 pixel a szomszédos foltközéppontok között. Ez azt jelenti, hogy a DINOv3 jellemzőtérkép térbeli felbontása körülbelül 1/256-a a bemeneti képének (14x14 = 196 vs 224x224 = 50 176 pixel). Az önfigyelmi mechanizmus kompenzálja ezt a térbeli tömörítést azáltal, hogy információkat integrál a foltok között – minden foltbeágyazást a környező 14x14-es rács tájékoztat a többfejű figyelem révén, hatékony kontextustudatot biztosítva. A szegmentációs feladatokhoz a 14x14-es rácsot fel kell nagyítani az eredeti képfelbontásra. A TarmacView egy könnyű konvolúciós dekódert használ 3 réteggel: transzponált konvolúció (14x14 -> 28x28, 384 csatorna), transzponált konvolúció (28x28 -> 56x56, 192 csatorna), bilineáris felskálázás (56x56 -> 224x224), és egy végső 1x1-es konvolúció osztályonkénti logitekhez. Ez a dekóder csak 2,3 millió paramétert ad hozzá a 86 millió paraméteres alapmodellhez.

DINOv3 sűrű jellemzők minősége vs DINOv2. A DINOv3 kritikus újítása, a Gram rögzítés, közvetlenül ezeknek a sűrű foltjellemzőknek a minőségét célozza meg. A hosszú képzési futtatások során a DINOv2 foltjellemzői a szerzők által a sűrű jellemzőtérképek romlásaként leírt jelenséget mutatták: a foltbeágyazások kevésbé lettek szemantikailag értelmesek, a folt-folt hasonlósági szerkezet romlott, és a szegmentációs minőség platót ért el vagy akár csökkent is a globális osztályozás folyamatos javulása ellenére. A Gram rögzítés megőrzi a foltjellemzők Gram-mátrixát (páronkénti hasonlósági szerkezet) azáltal, hogy azt egy korai képzésből származó referenciához igazítja, biztosítva, hogy a foltok közötti térbeli és szemantikai kapcsolatok stabilak maradjanak. Ennek gyakorlati eredménye, hogy a DINOv3 foltjellemzői élesek és szemantikailag koherensek maradnak még nagy felbontásokon is. A DINOv3 cikk PCA vizualizációkat mutat be a DINOv3 foltjellemzőiről nagy felbontású légifelvételekhez – utak, épületek, növényzet és víztestek egyértelműen elkülöníthetők a jellemzőtérben, kivételes jellemzőminőséget demonstrálva a jelenetértelmezéshez.

Szemantikus szegmentáció lineáris szondákkal. A DINOv3 egyik leglenyűgözőbb képessége a szemantikus szegmentáció végrehajtása csak lineáris szondák használatával a fagyasztott foltjellemzőkön – az alapmodell finomhangolása nélkül. Egy lineáris szegmentációs fej 1x1-es konvolúciót (vagy ezzel egyenértékűen, egy lineáris réteget foltonként) alkalmaz, hogy minden foltbeágyazást 768 dimenzióból C kimeneti osztályba képezzen le. Ez egy 14x14-es szegmentációs térképet hoz létre, amelyet a képfelbontásra nagyítanak fel. A megközelítés egyszerűsége ellenére (csak 768 x C tanítható paraméter a teljes szegmentációs fejhez) a DINOv3 52,3%-os mIoU-t ér el az ADE20K-n a ViT-B-vel, felülmúlva számos olyan módszert, amely a teljes alapmodellt finomhangolja. Ezt a DINOv3 foltjellemzők kivételes lineáris szétválaszthatósága teszi lehetővé – a beágyazási tér már úgy van strukturálva, hogy a különböző szemantikus kategóriák különálló, lineárisan szétválasztható régiókat foglaljanak el.

Repedés-szegmentáció az infrastruktúrában. A TarmacView a DINOv3 sűrű folt tokenjeit alkalmazza pixeles repedés-szegmentációhoz kifutópálya- és burkolati képeken. A 768 dimenziós foltbeágyazások 14x14-es rácsja rögzíti mind a helyi repedéstextúrát (az egyes 16x16-os foltokon belül), mind a kontextuális információkat (mely foltokat köt össze a repedés). A szegmentációs fej egy könnyű hálózat 3 transzponált konvolúciós réteggel, amely a 14x14-es jellemzőrácsot 224x224-es felbontásra nagyítja fel. A képzéshez körülbelül 500 címkézett repedés-szegmentációs képre (224x224-es csempék pixeles repedésmaszkokkal) van szükség, és 2-3 óra alatt konvergál egyetlen RTX 3060 GPU-n. Az eredményül kapott modell 94,7%-os F1-pontszámot ér el a repedésdetektálásban, szemben a ResNet-50 88,2%-ával és a DINOv2 91,3%-ával azonos képzési körülmények között. Az F1-pontszám 96,8%-ra javul a nagy felbontású adaptációs protokoll használatakor (a DINOv3 finomhangolása 512px bemeneti felbontáson az ajánlott 10 000 lépéses ütemezéssel). A repedésszélesség-becslés pontossága (átlagos abszolút hiba mm-ben) 0,8 mm a DINOv3 esetében, szemben a DINOv2 1,4 mm-ével és a ResNet-50 2,1 mm-ével.

Regiszter tokenek a háttér elnyeléséhez. A DINOv3 4 regiszter tokenje specifikus szerepet játszik a sűrű jellemzők minőségében. Ezek a tokenek további tanulható tokenek (768 dimenzió), amelyek a CLS token mellett a sorozat elejére kerülnek. Az önfigyelem során a regiszter tokenek figyelhetnek a folt tokenekre, és a folt tokenek is figyelhetnek rájuk. A kulcsfontosságú felismerés az, hogy a kép egyes vizuális foltjai kiugró vagy háttérinformációkat tartalmaznak – eget, távoli objektumokat vagy egységes textúra nélküli régiókat –, amelyek, ha a folt tokenek kénytelenek lennének kódolni, rontanák a jellemzőtér minőségét. A regiszter tokenek abszorbens memóriahelyekként működnek, amelyek rögzítik ezt a nem informatív tartalmat, lehetővé téve a folt tokenek számára, hogy a szemantikailag jelentős képterületekre összpontosítsanak. A gyakorlati hatás a sűrű jellemzők minőségének mérhető javulása: +1,8 mIoU az ADE20K-n és jelentősen tisztább folt-hasonlósági térképek, különösen a nagy egységes háttérrégiókkal rendelkező képek esetében. Az infrastruktúra-ellenőrzésben, ahol a képek gyakran tartalmaznak nagy kiterjedésű egységes burkolati textúrájú területeket, a regiszter tokenek segítenek fenntartani a tiszta foltjellemzőket, amelyek a károsodási mintákra összpontosítanak a háttértextúra helyett.

MPS és GPU képzés

A DINOv3 képzési és következtetési infrastruktúrája több hardveres hátteret támogat, a nagy GPU klaszterektől az élő eszközökön és Apple Silicon Mac-eken át.

GPU képzés nagy méretben. A ViT-7B tanító modellt 256 NVIDIA A100 80GB SXM4 GPU-n tanították NVLink összeköttetésekkel, ami körülbelül 20 TB/s aggregált GPU memória sávszélességet és 25 PFLOPS FP16 számítási teljesítményt biztosít. A képzés a Fully Sharded Data Parallel (FSDP) technikát használja – a PyTorch natív széttöredezési stratégiáját, amely a modell paramétereit, gradienseit és optimalizáló állapotait az összes GPU között osztja szét. Az FSDP-vel és vegyes pontosságú képzéssel (BF16) a 7B modell belefér a 256 GPU aggregált memóriájába (256 x 80GB = 20,48 TB), annak ellenére, hogy egyetlen GPU csak a modell paramétereinek körülbelül 2-3%-át tudja tárolni. Az xFormers könyvtár (a Meta AI által fejlesztett) memóriahatékony figyelmi implementációkat biztosít, beleértve a memóriahatékony figyelmet (a figyelmi memória csökkentése O(N2)-ről O(N)-re) és a blokk-ritka figyelmi mintákat. Az FSDP, BF16, xFormers és gradiens ellenőrzőpontok kombinációja a ViT-7B GPU-nkénti memóriaigényét a becsült 250 GB-ról (teljes pontosság, optimalizálások nélkül) körülbelül 65 GB-ra csökkenti, ami belefér az A100 80 GB-os kapacitásába.

Egy GPU-s következtetés. Gyakorlati telepítéshez a DINOv3 ViT-B/16 (86M paraméter) hatékonyan fut egyetlen NVIDIA GPU-n. FP32 pontosságnál a modell körülbelül 344 MB memóriát igényel a paraméterekhez (86M x 4 bájt lebegőpontonként). Az 1-es kötegméretű (224x224 kép) aktivációkkal együtt a teljes memóriahasználat körülbelül 1,2-1,5 GB (paraméterek + aktivációk + köztes tenzorok). FP16 pontosságnál a paramétermemória 172 MB-ra csökken, a teljes használat pedig körülbelül 0,8-1,0 GB-ra. Ez azt jelenti, hogy a DINOv3 ViT-B/16 kényelmesen fut akár 4 GB VRAM-mal rendelkező GPU-kon is, beleértve a régebbi kártyákat, mint az NVIDIA GTX 1650 és az NVIDIA Jetson Xavier NX. Az átviteli sebesség egy RTX 3060-on (12GB) FP16-nál körülbelül 100 kép/másodperc. Egy NVIDIA A100-on az átviteli sebesség meghaladja a 400 kép/másodpercet, lehetővé téve a 4K-s drónképek valós idejű feldolgozását csempe-bontási sebességgel.

Apple Silicon (MPS) támogatás. A DINOv3 teljes mértékben kompatibilis az Apple Metal Performance Shaders (MPS) hátterével a PyTorch-ban, GPU-gyorsított következtetést biztosítva Apple Silicon Mac-eken (M1, M2, M3, M4 sorozat). Az MPS háttér a PyTorch műveleteket az Apple GPU architektúrájához rendeli a Metal keretrendszeren keresztül. A teljesítmény egy M2 Pro MacBook Pro-n (19 magos GPU, 32 GB egyesített memória) körülbelül 25-35 kép/másodperc a ViT-B/16 esetében FP16 pontosságnál – elegendő a nagy képgyűjtemények kötegelt feldolgozásához. Egy M2 Ultra Mac Studio-n (76 magos GPU, 192 GB egyesített memória) az átviteli sebesség körülbelül 70-90 kép/másodperc. A memóriahasználat hatékony, mert az Apple egyesített memória architektúrája kiküszöböli a CPU-GPU adatátviteli többletköltséget. A TarmacView MPS-gyorsított DINOv3-at használ a helyszíni adatfeldolgozáshoz a terepen, lehetővé téve az ellenőrök számára, hogy közvetlenül a MacBook-jaikon futtassák a következtetést anélkül, hogy dedikált GPU hardverre lenne szükségük. Az Apple Silicon nagyobb egyesített memóriája (akár 192 GB az M2 Ultra-n) lehetővé teszi a nagyon nagy felbontású képek feldolgozását csempézés nélkül – egy 4096x4096 pixeles kép 256x256 foltot = 65 536 tokent eredményez, ami körülbelül 8 GB VRAM-egyenértékű memóriát igényel az egyesített memóriakészleten.

Elosztott következtetés. A több millió képet feldolgozó nagyszabású infrastruktúra-ellenőrzési projektekhez elosztott következtetésre van szükség több GPU-n vagy gépen. A DINOv3 támogatja a PyTorch DistributedDataParallel (DDP) technikát a több GPU-s következtetéshez egyetlen szerveren, a modell párhuzamosságot (csővezeték-párhuzamosság a ViT-7B-hez) és a Ray-t (egy nyílt forráskódú elosztott számítási keretrendszer) a több csomópontos elosztott következtetéshez. A TarmacView telepítése Kubernetes-t használ GPU csomópontkészletekkel, amelyek a DINOv3 következtetést skálázható mikroszolgáltatásként futtatják. Minden következtetési pod egyetlen T4 GPU-n (16 GB VRAM) fut, és körülbelül 70 kép/másodpercet dolgoz fel. Egy 50 podból álló klaszter 3 500 kép/másodperc átviteli sebességet ér el, lehetővé téve egy 500 képből álló kifutópálya-felmérés feldolgozását kevesebb mint 3 másodperc alatt. A következtetési szerver a TorchServe-t használja a modell kiszolgálására dinamikus kötegeléssel (4-16 közötti kötegméretek a kérés mennyiségétől függően) és FP16 pontossággal az átviteli sebesség maximalizálása érdekében.

Élesztői telepítés NVIDIA Jetson-nal. A terepen telepített ellenőrző rendszerekhez, amelyek drónokat vagy földi járműveket használnak, a DINOv3 ViT-B/16 telepíthető NVIDIA Jetson élő eszközökön. A Jetson Orin NX 16GB modul (100 TOPS AI teljesítmény) 15-25 kép/másodpercet ér el a DINOv3 ViT-B/16-tal FP16-nál, a teljesítmény módtól függően (15W vs 25W vs 40W). A modellt a TensorRT – az NVIDIA mélytanulási következtetési optimalizálója – segítségével optimalizálják, amely összeolvasztja a rétegeket, optimalizálja a kernel kiválasztását, és FP16-ra vagy INT8-ra kvantál. A TensorRT INT8 kvantálással a következtetési sebesség 30-40 kép/másodpercre nő a Jetson Orin NX-en, kevesebb mint 1%-os pontosságromlással az FP32-hez képest. A Jetson Xavier NX (21 TOPS) 8-12 kép/másodpercet ér el a TensorRT FP16-tal. Ez az élő telepítés lehetővé teszi a valós idejű repedésdetektálást a drónrepülés során – a drón kamerája képeket rögzít, a DINOv3 feldolgozza azokat a fedélzeten, és másodperceken belül jelzi a lehetséges hibákat anélkül, hogy felhőkapcsolatra lenne szükség.

Nyílt forráskódú elérhetőség és licencelés

A DINOv3-at a Meta AI 2025-ben nyílt forráskódú projektként adta ki, folytatva a vállalat hagyományát, hogy nyilvánosan kiadja a legmodernebb AI kutatási modelleket. A licencelési és terjesztési feltételek megértése elengedhetetlen azon szervezetek számára, amelyek a DINOv3-at kereskedelmi termékekben tervezik telepíteni.

Kód és modellsúlyok. A teljes DINOv3 kódbázis elérhető a GitHub-on a facebookresearch/dinov3 címen (10 700+ csillag 2025 közepén). Az adattár tartalmazza a teljes képzési és értékelési kódot (PyTorch), a modelldefiníciókat, az adatfeldolgozási folyamatokat, az értékelési szkripteket és az előtanított súlyokat mind a 12 kiadott modellváltozathoz. A modellsúlyok a Hugging Face Hub-on is elérhetők a facebook/dinov3-* névtér alatt, beleértve: facebook/dinov3-vits16-pretrain-lvd1689m (ViT-Small, 21M paraméter) facebook/dinov3-vitb16-pretrain-lvd1689m (ViT-Base, 86M paraméter) – a TarmacView által használt elsődleges modell facebook/dinov3-vitl16-pretrain-lvd1689m (ViT-Large, 304M paraméter) facebook/dinov3-vith16-pretrain-lvd1689m (ViT-H+, ~1,5B paraméter) facebook/dinov3-vit7b-pretrain-lvd1689m (ViT-7B, 7B paraméter) Továbbá ConvNeXt változatok (T, S, B, L) és műhold-specifikus modellek (SAT-493M)

A Hugging Face hozzáférés megköveteli a felhasználóktól, hogy elfogadják a Meta feltételeit, és megadják kapcsolati adataikat, amelyeket a Meta Adatvédelmi Szabályzatával összhangban gyűjtenek, tárolnak és dolgoznak fel. A modellsúlyok PyTorch state_dict fájlokként vannak terjesztve, amelyek kompatibilisek a Hugging Face Transformers könyvtárral (az integráció elérhető az AutoModel.from_pretrained() segítségével).

A DINOv3 Licenc. A DINOv3 a DINOv3 Licenc alatt jelenik meg, egy egyedi nyílt forráskódú licenc, amelyet a Meta AI fejlesztett ki kifejezetten ehhez a modellkiadáshoz. Ez eltér a DINOv2-től, amely a szabványos Apache 2.0 licenc alatt jelent meg. A DINOv3 Licenc engedélyezi: A modell és a kód használatát, sokszorosítását, módosítását és terjesztését Kereskedelmi felhasználást, beleértve a termékekbe és szolgáltatásokba való integrálást Származtatott művek más feltételek melletti allicencelését

A DINOv3 Licenc tartalmaz specifikus nevesítési követelményeket (meg kell őrizni a szerzői jogi közleményeket) és egy elfogadható használati szabályzatot, amely megtiltja a modell használatát bizonyos célokra, beleértve az emberi jogokat sértő megfigyelést, az autonóm fegyvereket és az alkalmazandó törvények megsértését. A licenc vitát váltott ki a fejlesztői közösségben – a dinov3 adattáron a 31. számú GitHub issue kifejezetten kéri a kiadást egy szabványosabb licenc, például az Apache 2.0 alatt, hogy egyszerűsítse a jogi megfelelést a vállalkozások számára, amelyek rendelkeznek a nyílt forráskódú licencekre vonatkozó szabályzattal. A TarmacView áttekintette a DINOv3 Licencet, és megállapította, hogy az infrastruktúra-ellenőrzési és hibadetektálási alkalmazások teljes mértékben megengedettek a feltételei szerint.

Összehasonlítás más alapmodellek licencelésével.

A reprodukció számítási költsége. A DINOv3 ViT-7B képzési költsége becslések szerint 2-5 millió USD (körülbelül 15 000 GPU-nap A100-80GB-on, igény szerinti felhőárazással). A desztillált kisebb modellek (ViT-B, ViT-L) reprodukálása lényegesen olcsóbb, de még mindig jelentős számítási kapacitást igényel – a ViT-Base desztillációja a ViT-7B-ből az LVD-1689M-en körülbelül 500-800 GPU-napot igényel. A gyakorlati szakemberek számára azonban az előtanított súlyok elérhetősége kiküszöböli a képzési számítás szükségességét – a súlyok letölthetők és azonnal használhatók a következtetéshez egyetlen, bármilyen generációs GPU költségén. Ez a hozzáférhetőség az alapmodellek alapvető értékajánlata: a hatalmas képzési költség az összes downstream felhasználó között oszlik el.

Közösségi és ökoszisztéma-integráció. A DINOv3 előnye a széles körű ökoszisztéma-integráció: a Hugging Face Transformers plug-and-play API-t biztosít, a PyTorch Hub támogatja a modell betöltését a torch.hub.load() segítségével, és a modell szerepel a Torchvision modellkészletében a közvetlen hozzáférés érdekében. A Weights & Biases, MLflow és Neptune.ai szolgáltatásokkal való integráció a kísérletkövetéshez szabványos PyTorch horgokon keresztül támogatott. Az ONNX (Open Neural Network Exchange) formátumú export támogatott a nem PyTorch környezetekbe történő telepítéshez, beleértve a TensorRT-t az NVIDIA élő eszközökhöz, a CoreML-t az Apple eszközökhöz és a TFLite-ot a mobiltelefonos telepítéshez. A TarmacView infrastruktúra-ellenőrző platformja a DINOv3-at a Hugging Face Transformers folyamaton keresztül integrálja, TensorRT optimalizálással az élő telepítéshez Jetson Orin NX-en és MPS gyorsítással a macOS terepi laptopokhoz.

Következtetés. A DINOv3 generációs ugrást jelent az önfelügyelt látás-alapmodellekben, a legmodernebb teljesítményt érve el a globális és sűrű előrejelzési feladatokon a példátlan méretarány (1,689 milliárd kép, 7 milliárd paraméter) és a Gram rögzítési innováció révén, amely megőrzi a sűrű jellemzők minőségét. Az infrastruktúra felületének elemzéséhez a DINOv3 ViT-B/16 változata egy 768 dimenziós beágyazási teret biztosít kivételes szemantikus szerkezettel – a felülettípusok, repedésminták és hibajellemzők lineárisan szétválaszthatók a beágyazási térben, lehetővé téve a pontos osztályozást és detektálást fagyasztott alapmodell következtetéssel. A nyílt forráskódú elérhetőség, a széles körű hardvertámogatás (GPU, MPS, Edge) és a megengedő licencelés a DINOv3-at teszi az optimális alapmodellé a TarmacView automatizált infrastruktúra-ellenőrző platformjához, amely a legmodernebb hibadetektálási pontosságot nyújtja minimális domain-specifikus képzési adattal és számítási követelménnyel.