Czym jest DINOv3 Vision Transformer?

DINOv3 Vision Transformer do analizy powierzchni infrastruktury

Uczenie samonadzorowane i DINO

Uczenie samonadzorowane (SSL) to paradygmat uczenia maszynowego, w którym model uczy się znaczących reprezentacji z nieoznaczonych danych poprzez zdefiniowanie zadania pretekstowego, które nie wymaga adnotacji ludzkich. Model musi przewidzieć część danych na podstawie innych części, wykorzystując inherentną strukturę i wzorce współwystępowania w samych danych. W wizji komputerowej metody SSL ewoluowały od ręcznie zaprojektowanych zadań pretekstowych, takich jak przewidywanie kąta obrotu obrazu (RotNet), rozwiązywanie układanek z przetasowanych fragmentów czy kolorowanie obrazów w skali szarości, do bardziej wyrafinowanych podejść kontrastywnych i opartych na destylacji. Podstawową zaletą SSL jest odblokowanie treningu na zbiorach danych w skali internetowej bez wygórowanych kosztów ręcznej adnotacji. Dla zastosowań infrastrukturalnych, gdzie oznaczone zbiory defektów są rzadkie i kosztowne w produkcji (wymagają certyfikowanych inspektorów i inżynierów), szkielety oparte na SSL umożliwiają skuteczne uczenie cech z ogromnych ilości nieoznaczonych obrazów przed jakimkolwiek dostrajaniem specyficznym dla zadania.

To metoda wykrywania pęknięć stojąca za oceną nawierzchni drogowych TarmacView.

Metody kontrastywne, takie jak SimCLR, MoCo i SwAV, uczą reprezentacji poprzez przyciąganie augmentowanych widoków tego samego obrazu (pary pozytywne) w przestrzeni osadzeń, jednocześnie odpychając widoki różnych obrazów (pary negatywne). Metody te wymagają ostrożnego podejścia do próbek negatywnych, zbyt mało negatywów pogarsza wydajność, zbyt wiele zwiększa koszt obliczeniowy. Metody niekontrastywne, takie jak BYOL, SimSiam i DINO, całkowicie unikają potrzeby par negatywnych poprzez zastosowanie asymetrycznych architektur sieciowych i operacji stop-gradient w celu zapobiegania zapadaniu się reprezentacji. DINO (self-DIstillation with NO labels), wprowadzony przez Caron i in. w Meta AI w 2021 roku, należy do tej niekontrastywnej rodziny i stał się jedną z najbardziej wpływowych metod SSL w wizji komputerowej. Oryginalna praca DINO wykazała, że SSL i transformery wizyjne mają unikalną synergię, mechanizmy samoobserwacji w ViT naturalnie generują mapy segmentacji semantycznej bez żadnego nadzoru, co jest właściwością wynikającą z interakcji między strategią augmentacji multi-crop a celem samodestylacji.

Struktura treningowa DINO działa w następujący sposób. Dla każdego obrazu wejściowego generowane są dwa widoki globalne (pokrywające ponad 50% powierzchni obrazu, zwykle 224x224 piksele) oraz kilka widoków lokalnych (mniejsze przycięcia pokrywające mniej niż 50% powierzchni obrazu, zwykle 96x96 pikseli) poprzez losowe przycinanie ze zmianą rozmiaru, dithering kolorów i rozmycie gaussowskie. Wszystkie widoki są przekazywane przez sieć ucznia (Vision Transformer). Widoki globalne są również przekazywane przez sieć nauczyciela, która ma tę samą architekturę co uczeń, ale inne parametry. Parametry nauczyciela nie są uczone przez gradienty, zamiast tego są aktualizowane jako wykładnicza średnia ruchoma (EMA) parametrów ucznia. Podstawowym celem treningu jest dopasowanie rozkładu wyjściowego ucznia do rozkładu wyjściowego nauczyciela dla widoków globalnych, podczas gdy widoki lokalne dostarczają dodatkowy sygnał treningowy tylko przez ucznia. Ten układ nauczyciel-uczeń, znany jako samodestylacja, tworzy sygnał uczący, który nie wymaga etykiet, uczeń uczy się generować spójne reprezentacje dla różnych augmentacji tego samego obrazu, co zmusza go do wychwytywania niezmiennej treści semantycznej, a nie powierzchownych szczegółów na poziomie pikseli.

DINOv1 (2021) wykazał trzy kluczowe emergentne właściwości samonadzorowanych ViT. Po pierwsze, mapy uwagi z tokena [CLS] do fragmentów obrazu naturalnie segmentują obiekty od tła, co jest właściwością wynikającą czysto z samonadzoru bez żadnych etykiet segmentacji. Po drugie, wyuczone cechy wykazują doskonałą wydajność klasyfikacji k-NN, prosty klasyfikator najbliższego sąsiada w przestrzeni cech DINO osiąga 78,2% dokładności top-1 na ImageNet bez żadnego dostrajania. Po trzecie, cechy DINO wykazują silną korespondencję semantyczną między różnymi instancjami tej samej klasy obiektów, umożliwiając zastosowania w wyszukiwaniu obrazów, współsegmentacji i segmentacji obiektów wideo. Te właściwości uczyniły DINO metodą fundamentalną w krajobrazie uczenia samonadzorowanego i przygotowały grunt pod DINOv2 (2023) i DINOv3 (2025).

Architektura ViT

Architektura Vision Transformer (ViT), wprowadzona przez Dosovitskiy i in. w Google w 2021 roku, adaptuje architekturę Transformer z przetwarzania języka naturalnego do wizji komputerowej, traktując fragmenty obrazu jako analogiczne do tokenów słów. W przeciwieństwie do konwolucyjnych sieci neuronowych (CNN), które przetwarzają obrazy przez lokalne pola recepcyjne z wbudowaną ekwiwariancją translacyjną, ViT stosują globalną samoobserwację na wszystkich fragmentach jednocześnie, umożliwiając modelowi wychwytywanie zależności długodystansowych już od pierwszej warstwy. Ten wybór architektoniczny okazał się kluczowy dla sukcesu DINO, oryginalna praca DINO wykazała, że samonadzorowane ViT znacząco przewyższają samonadzorowane CNN, a synergia między samoobserwacją a samodestylacją odpowiada za emergentne właściwości segmentacji semantycznej.

Osadzanie fragmentów. Pierwszą operacją w ViT jest podzielenie obrazu wejściowego na siatkę nienakładających się fragmentów. Dla wariantu ViT-B/16 używanego przez TarmacView rozmiar fragmentu wynosi 16x16 pikseli. Obraz wejściowy 224x224 pikseli generuje (224/16) x (224/16) = 14 x 14 = 196 fragmentów. Każdy fragment 16x16x3 (kanały RGB) jest spłaszczany do wektora o długości 768 (16x16x3). W praktyce to osadzanie fragmentów jest implementowane jako pojedyncza warstwa konwolucyjna z jądrem równym rozmiarowi fragmentu (16x16) i krokiem równym rozmiarowi fragmentu, generująca 2D siatkę 14x14 wektorów cech, każdy o wymiarze równym ukrytemu rozmiarowi modelu (768 dla ViT-B). Uczona projekcja liniowa mapuje następnie każdy spłaszczony fragment do wymiaru osadzenia. Implementacja Conv2d jest wydajna obliczeniowo (jedna operacja zastępuje 196 oddzielnych projekcji liniowych) i jest standardem we wszystkich nowoczesnych implementacjach ViT.

Token [CLS]. Zgodnie z architekturą BERT w NLP, specjalny uczony token klasyfikacyjny ([CLS]) jest dodawany na początku sekwencji osadzeń fragmentów. Token [CLS] ma ten sam wymiar (768) co osadzenia fragmentów i jest inicjalizowany losowo. Podczas treningu, poprzez samoobserwację we wszystkich warstwach transformera, token [CLS] agreguje informacje ze wszystkich fragmentów obrazu, może obserwować każdy fragment w każdej warstwie, budując globalną reprezentację całego obrazu. Na wyjściu ostatniej warstwy transformera osadzenie tokena [CLS] służy jako reprezentacja na poziomie obrazu używana do zadań klasyfikacji. W DINOv3 token [CLS] jest uzupełniany przez 4 tokeny rejestrów, dodatkowe uczone tokeny dodawane na początku sekwencji, które działają jak pamięć robocza do absorbowania informacji o wartościach odstających lub tła, zapobiegając zanieczyszczeniu tokenów [CLS] i fragmentów nieistotnymi szczegółami wysokiej częstotliwości.

Osadzenia pozycyjne. Ponieważ mechanizm samoobserwacji Transformera jest niezmienniczy na permutacje (przetwarza fragmenty jako zbiór, a nie sekwencję), informacja pozycyjna musi być jawnie dodana, aby powiedzieć modelowi, gdzie każdy fragment należy w siatce przestrzennej. DINOv3 używa obrotowych osadzeń pozycyjnych (RoPE) zamiast standardowych uczonych absolutnych kodowań pozycyjnych stosowanych w DINOv2. RoPE koduje względną informację pozycyjną poprzez zastosowanie macierzy rotacji do wektorów zapytań i kluczy w samoobserwacji na podstawie ich współrzędnych przestrzennych. Częstotliwość rotacji dla każdego wymiaru jest określona przez indeks wymiaru, zgodnie z postępem geometrycznym. Kluczową zaletą RoPE dla analizy infrastruktury jest zdolność do obsługi wejść o zmiennej rozdzielczości, podczas przetwarzania obrazów o wysokiej rozdzielczości (do 4096x4096 pikseli) mechanizm RoPE naturalnie generalizuje do większej siatki przestrzennej bez konieczności interpolacji uczonych osadzeń pozycyjnych. DINOv3 wprowadza również losowy dithering ramki podczas stosowania RoPE, gdzie indeksy pozycji są losowo przesuwane w zakresie [-s,s] z s w [0.5,2.0], czyniąc model odpornym na różne proporcje obrazu i wzorce przycinania.

Wielogłowa samoobserwacja (MHSA). Podstawowym prymitywem obliczeniowym ViT jest mechanizm wielogłowej samoobserwacji. W każdym bloku transformera sekwencja wejściowa N tokenów (N = 1 [CLS] + 4 rejestry + 196 fragmentów = 201 tokenów dla wejścia 224x224) jest liniowo projektowana na trzy macierze: Zapytania (Q) , Klucze (K) i Wartości (V) , każda o wymiarze 768 dla ViT-B/16. Mechanizm uwagi oblicza podobieństwo parowe między wszystkimi tokenami jako iloczyn skalarny Q i K^T, skalowany przez pierwiastek kwadratowy z d_k (gdzie d_k to wymiar klucza na głowę). Wynikowe wagi uwagi (znormalizowane przez softmax) określają, ile każdy token wnosi do reprezentacji każdego innego tokena. W ViT-B/16 jest 12 głów uwagi, każda działająca na 64-wymiarowej podprzestrzeni (768/12 = 64). Wielogłowa uwaga pozwala modelowi obserwować różne typy relacji jednocześnie, na przykład jedna głowa może skupiać się na podobieństwie tekstur między fragmentami, inna na bliskości przestrzennej, a jeszcze inna na przynależności do kategorii semantycznej. Wyjścia wszystkich głów są konkatenowane i liniowo projektowane z powrotem do 768 wymiarów. Złożoność obliczeniowa MHSA wynosi O(N2d), kwadratowa względem długości sekwencji N, ale liniowa względem wymiaru osadzenia d. Dla sekwencji 201 tokenów w DINOv3 ViT-B/16 jest to do zarządzania (około 40K obliczeń uwagi na warstwę), ale dla obrazów o wysokiej rozdzielczości z 4000+ tokenami (np. obraz 1024x1024 generuje 64x64 = 4096 fragmentów), kwadratowe skalowanie staje się istotnym czynnikiem.

Blok enkodera transformera. Każda z 12 (ViT-B) lub 40 (ViT-7B) warstw transformera w DINOv3 stosuje projekt pre-normalizacji. Normalizacja warstwowa (LayerNorm) jest stosowana przed zarówno MHSA, jak i podwarstwami MLP, z połączeniami resztkowymi omijającymi każdą podwarstwę. Podwarstwa MLP (multilayer perceptron) składa się z dwóch warstw liniowych z aktywacją GELU (Gaussian Error Linear Unit) pomiędzy nimi. Dla ViT-B/16 ukryty wymiar MLP wynosi 3072 (4x wymiar osadzenia), tworząc konfigurację: wymiar osadzenia 768 do ukrytego MLP 3072 do GELU do wyjścia MLP 768. Większy model nauczyciela DINOv3 (ViT-7B) używa aktywacji SwiGLU (Swish-Gated Linear Unit) w MLP zamiast GELU, zgodnie z nowoczesnymi trendami architektury dużych modeli językowych. SwiGLU stosuje mechanizm bramkowania: wyjście = (xW1) mnożone elementowo przez Swish(xW2) razy W3. Ta bramkowana aktywacja wykazała poprawę stabilności treningu i końcowej wydajności w skali. Projekt pre-normalizacji różni się od oryginalnej post-normalizacji Transformera (gdzie normalizacja była stosowana po dodaniu resztkowym) i wykazał bardziej stabilny trening, szczególnie dla głębokich (12+ warstw) transformerów.

Tabela podsumowująca architekturę dla rodziny modeli DINOv3.

Architektura ViT-Base (86M parametrów) jest optymalnym kompromisem między jakością cech a wydajnością obliczeniową dla potoku inspekcji infrastruktury TarmacView, oferując 768-wymiarowe osadzenia z 12 warstwami mocy przetwarzania samoobserwacji.

Trenowanie DINOv3 na 1,7 miliarda obrazów

DINOv3 osiąga swoją najnowocześniejszą wydajność poprzez bezprecedensową skalę treningu samonadzorowanego, wykorzystując zarówno masową kuratorię danych, jak i wydajną optymalizację rozproszoną na setkach GPU.

Zbiór danych LVD-1689M. Dane treningowe dla DINOv3 zaczynają się od surowej puli 17 miliardów obrazów z Instagrama z moderacją treści. Z tej ogromnej puli zespół Meta AI wyselekcjonował zbalansowany podzbiór 1 689 milionów obrazów nazwany LVD-1689M (Large Visual Dataset 1689 Million). Proces kuratorii jest krytyczny, ponieważ proste trenowanie na surowych danych Instagrama dałoby model obciążony w stronę naturalnej częstotliwości rozkładu koncepcji wizualnych w mediach społecznościowych, na przykład twarze, jedzenie i krajobrazy dominowałyby, podczas gdy infrastruktura, obrazy przemysłowe i naukowe byłyby niedostatecznie reprezentowane. Proces kuratorii wykorzystuje hierarchiczne grupowanie k-średnich na osadzeniach DINOv2 wyodrębnionych z pełnej puli obrazów. Model DINOv2 ViT-H/14 przetwarza każdy obraz, a wynikowe osadzenia tokenów CLS są grupowane w 25 000 klastrów za pomocą k-średnich. Następnie z każdego klastra próbkowana jest równa liczba obrazów, tworząc zbalansowany klastrowo zbiór danych, który zapewnia proporcjonalną reprezentację w domenach wizualnych. To zbalansowane próbkowanie jest bezpośrednio analogiczne do próbkowania warstwowego w statystyce, kontrolując przynależność do klastra, zbiór danych wychwytuje pełną różnorodność koncepcji wizualnych, zamiast nadreprezentować popularne kategorie. Po grupowaniu dodatkowy krok wyszukiwania rozszerza zbiory nasion z wyselekcjonowanych zbiorów danych (ImageNet-1k, ImageNet-22k, Google Landmarks i zbiorów do klasyfikacji drobnoziarnistej) poprzez znalezienie najbliższych sąsiadów w przestrzeni osadzeń DINOv2. Finalny zbiór LVD-1689M łączy 1 489 milionów zbalansowanych klastrowo obrazów z 200 milionami obrazów rozszerzonych przez wyszukiwanie, wszystkie przefiltrowane przez wykrywanie NSFW, deduplikację hashy PCA i rozmycie twarzy.

Konfiguracja treningowa. Model nauczyciela ViT-7B, największy samonadzorowany model wizyjny kiedykolwiek trenowany (stan na 2025), był trenowany na 256 GPU NVIDIA (A100 80GB SXM4) z rozmiarem partii 4096 (16 obrazów na GPU). Optymalizacja używa optymalizatora AdamW ze stałą szybkością uczenia 4x10^-4, wagą zaniku 0,04 i momentum EMA 0,999 po 100 000-krokowym okresie rozgrzewki. Trening trwa 1 milion iteracji ze strategią multi-crop: 2 globalne przycięcia w rozdzielczości 256x256 i 8 lokalnych przycięć w rozdzielczości 112x112, łącznie 10 widoków na obraz na iterację. Przez 1M iteracji z rozmiarem partii 4096 model widzi około 2,56 miliarda unikalnych kombinacji obraz-przycięcie. Cały proces treningowy zużywa szacunkowo 10 000-15 000 GPU-dni obliczeń. Podczas treningu 10% partii to jednorodne losowania z ImageNet-1k (w celu utrzymania wydajności na standardowych benchmarkach), a 90% to heterogeniczne losowania z pełnej puli LVD-1689M, co jest optymalnym stosunkiem mieszania wykazanym przez ablacje.

Cele treningowe. Strata pre-treningowa DINOv3 łączy trzy komponenty. Strata DINO (L_DINO) stosuje klasteryzację Sinkhorn-Knopp w stylu SwAV do wyjść tokenów [CLS] z globalnych przycięć, dopasowując przypisania prototypów między uczniem a nauczycielem. Algorytm Sinkhorn wykonuje 3 iteracje, aby wygenerować miękkie pseudo-etykiety. Strata iBOT (L_iBOT) działa na poziomie fragmentów, losowe fragmenty w lokalnych przycięciach są maskowane, a uczeń musi przewidzieć znormalizowane cechy fragmentów nauczyciela dla tych zamaskowanych pozycji. Ten cel modelowania maskowanych obrazów zmusza model do uczenia się lokalnych informacji teksturowych i strukturalnych niezbędnych do zadań gęstej predykcji. Regularizer Koleo (L_Koleo) rozprasza osadzenia tokenów [CLS] równomiernie na hipersferze poprzez minimalizację sumy podobieństw cosinusowych między wszystkimi parami osadzeń w partii, zapobiegając zapadaniu się reprezentacji i zapewniając dobre wykorzystanie przestrzeni cech. Połączona strata pre-treningowa wynosi: L_Pre = L_DINO + L_iBOT + 0,1 x L_Koleo. Po 1M iteracjach pre-treningu faza udoskonalania 200K dodatkowych iteracji uwzględnia stratę kotwiczenia Grama (L_Gram) z wagą 2, która zachowuje jakość gęstych cech przez długi trening.

Destylacja do mniejszych modeli. Po pełnym wytrenowaniu nauczyciela ViT-7B jest on zamrażany i używany jako cel do destylacji reprezentacji do zestawu mniejszych, bardziej praktycznych modeli. Proces destylacji odzwierciedla konfigurację pre-treningową: modele uczniów (ViT-S, ViT-B, ViT-L, ViT-H+, warianty ConvNeXt) są trenowane, aby dopasować cechy wyjściowe nauczyciela przy użyciu tej samej funkcji straty (L_DINO + L_iBOT + 0,1 x L_Koleo), ale z zamrożonym nauczycielem i pominiętą aktualizacją EMA nauczyciela. Meta AI implementuje destylację multi-uczeń, która wydajnie trenuje wiele modeli uczniów jednocześnie, nauczyciel przetwarza każdy obraz raz, a wszyscy uczniowie otrzymują te same wyjścia nauczyciela, co pozwala na równoległe obliczanie strat partii między uczniami. Zmniejsza to całkowity koszt obliczeniowy produkcji pełnej rodziny modeli o około 60% w porównaniu z destylacją każdego ucznia sekwencyjnie. Uczeń ViT-Base (86M parametrów), którego TarmacView używa jako swojego szkieletu, osiąga 98,7% dokładności liniowej sondy nauczyciela ViT-7B na ImageNet-1k, wymagając około 80x mniej FLOPs do wnioskowania.

Osadzenia 768-wymiarowe

768-wymiarowe osadzenie generowane przez DINOv3 ViT-B/16 dla każdego tokena (1 CLS + 4 rejestry + 196 fragmentów = 201 łącznie) reprezentuje gęste numeryczne kodowanie informacji wizualnej w wysokowymiarowej przestrzeni wektorowej. Każdy wymiar wychwytuje określoną koncepcję lub cechę wizualną, a kombinacja wszystkich 768 wartości tworzy unikalny podpis dla tego regionu obrazu. Wymiar 768 nie jest przypadkowy, wynika z architektury ViT-Base, gdzie ukryty wymiar jest ustawiony na 768, zapewniając wystarczającą pojemność do kodowania złożonych wzorców wizualnych, pozostając jednocześnie obliczeniowo wykonalnym. Dla porównania, ViT-Small używa 384 wymiarów, ViT-Large 1024, a ViT-7B 4096.

Osadzenie tokena CLS. 768-wymiarowe osadzenie tokena [CLS] na wyjściu 12. warstwy transformera koduje globalną treść obrazu, ogólną scenę, dominujące obiekty i kontekst semantyczny. To osadzenie jest wyodrębniane i używane do zadań klasyfikacji na poziomie obrazu. W potoku TarmacView osadzenie CLS jest przekazywane przez lekki klasyfikator liniowy (768 do N klas, gdzie N to liczba typów nawierzchni lub ocen jakości) trenowany na oznaczonych zbiorach danych infrastrukturalnych. Osadzenie CLS z DINOv3 wykazuje silne właściwości generalizacji domenowej, modele trenowane na tym osadzeniu generalizują na nieznane typy infrastruktury znacznie lepiej niż osadzenia z nadzorowanych szkieletów. Dokładność liniowej sondy DINOv3 ViT-B/16 na ImageNet-1k osiąga 85,1% dokładności top-1, przewyższając DINOv2 (83,5%) i zbliżając się do nadzorowanego ViT (86,0%) pomimo nigdy nie widzenia etykiet ImageNet podczas pre-treningu.

Osadzenia tokenów fragmentów. Każdy z 196 tokenów fragmentów generuje oddzielne 768-wymiarowe osadzenie, tworząc siatkę przestrzenną 14x14 wektorów cech. Te gęste osadzenia kodują zlokalizowane informacje wizualne w każdym fragmencie 16x16 pikseli, teksturę, krawędzie, rozkład kolorów i lokalne wzorce. Osadzenia fragmentów są krytycznym wyjściem dla zadań gęstej predykcji, takich jak wykrywanie pęknięć i segmentacja. W potoku analizy infrastruktury TarmacView siatka cech 14x14 x 768-wymiarowa (około 1,5 miliona wartości zmiennoprzecinkowych na obraz) jest przetwarzana przez lekki dekoder konwolucyjny, który próbkuje do 224x224 i generuje predykcje na poziomie pikseli. Każde osadzenie fragmentu można interpretować jako 768-wymiarowy opis tego, jak wygląda region 16x16, dwa fragmenty o podobnym wyglądzie wizualnym (np. dwa obszary gładkiego asfaltu) będą miały pobliskie osadzenia w przestrzeni 768-wymiarowej (wysokie podobieństwo cosinusowe), podczas gdy wizualnie różne fragmenty (np. asfalt vs beton) będą miały odległe osadzenia (niskie podobieństwo cosinusowe).

Właściwości osadzeń. Osadzenia DINOv3 wykazują kilka właściwości, które czynią je wyjątkowymi do analizy infrastruktury. Po pierwsze, gładkość semantyczna, wizualnie podobne regiony generują pobliskie osadzenia, tworząc ciągłą rozmaitość w przestrzeni 768-wymiarowej. Oznacza to, że pęknięcia o różnej szerokości, orientacji i dotkliwości mapują się do połączonego regionu przestrzeni osadzeń, czyniąc je wykrywalnymi jako spójna klasa, a nie jako izolowane wartości odstające. Po drugie, czułość wieloskalowa, mechanizm samoobserwacji w 12 warstwach transformera integruje informacje w różnych skalach przestrzennych, więc każde osadzenie fragmentu jest informowane nie tylko przez własną treść 16x16, ale także przez szerszy kontekst otaczających fragmentów i globalną scenę. Pęknięcie przy dylatacji jest kodowane inaczej niż to samo pęknięcie w środku płyty, ponieważ informacja kontekstowa jest zintegrowana z osadzeniem. Po trzecie, odporność na oświetlenie, samonadzorowany trening z rozległym ditheringiem kolorów i augmentacją zapewnia, że osadzenia są stabilne przy zmiennych warunkach oświetleniowych, cieniach i ekspozycji. Jest to krytyczne dla zewnętrznej inspekcji infrastruktury, gdzie obrazy są przechwytywane w niekontrolowanym naturalnym oświetleniu. Po czwarte, liniowa separowalność, osadzenia są ustrukturyzowane tak, że proste klasyfikatory liniowe mogą skutecznie oddzielać różne warunki powierzchni. TarmacView osiąga 96,2% dokładności klasyfikacji typu nawierzchni i 94,7% wyniku F1 w wykrywaniu pęknięć przy użyciu tylko liniowych sond na zamrożonych osadzeniach DINOv3.

Metryki odległości w przestrzeni osadzeń. Wybór metryki odległości do porównywania osadzeń DINOv3 znacząco wpływa na wydajność zadań końcowych. Podobieństwo cosinusowe jest najczęściej używaną metryką, zdefiniowaną jako cos(theta) = (a dot b) / (||a|| x ||b||), gdzie a i b to 768-wymiarowe wektory osadzeń. Podobieństwo cosinusowe waha się od -1 (przeciwny kierunek, mało prawdopodobne dla osadzeń wizualnych) do +1 (identyczny kierunek). Dwa wektory 768-wymiarowe z podobieństwem cosinusowym większym niż 0,9 są wizualnie prawie identyczne w swojej lokalnej treści, podczas gdy podobieństwo mniejsze niż 0,5 wskazuje na zasadniczo różną treść wizualną. Odległość L2 (euklidesowa) jest również używana, ale wymaga ostrożnej normalizacji, ponieważ bezwzględna skala osadzeń może się różnić. Podobieństwo iloczynu skalarnego jest wydajne, ale wrażliwe na wielkość wektora. TarmacView używa podobieństwa cosinusowego jako podstawowej metryki odległości do wyszukiwania i dopasowywania defektów, ponieważ normalizuje wielkość osadzenia i skupia się wyłącznie na wyrównaniu kierunkowym, co jest bardziej odporne na różnice w kontraście i ekspozycji obrazu.

Redukcja wymiarowości do wizualizacji. Przestrzeń osadzeń 768-wymiarowych nie może być bezpośrednio wizualizowana, dlatego TarmacView stosuje analizę głównych składowych (PCA) w celu redukcji osadzeń fragmentów do 3 wymiarów do wizualizacji i celów zapewnienia jakości. Pierwsze trzy główne składowe osadzeń fragmentów DINOv3 na obrazach infrastrukturalnych zazwyczaj wychwytują 45-55% całkowitej wariancji (PC1 około 25%, PC2 około 15%, PC3 około 10%), co wskazuje, że efektywna wewnętrzna wymiarowość fragmentów powierzchni jest znacznie niższa niż 768. Wizualizacja PCA konsekwentnie pokazuje odrębne klastry dla różnych materiałów nawierzchni (asfalt, beton, chip seal, żwir) i ciągłe gradienty dla dotkliwości pogorszenia nawierzchni (od nieskazitelnej do mocno spękanej). Ta wizualna potwierdzalność jest krytycznym narzędziem zapewnienia jakości, inżynierowie infrastruktury mogą wizualnie sprawdzić przestrzeń osadzeń, aby zweryfikować, że model poprawnie oddziela istotne warunki powierzchni przed poleganiem na automatycznej klasyfikacji.

DINOv3 vs DINOv2

Ewolucja od DINOv2 do DINOv3 reprezentuje kompleksowe skalowanie i udoskonalenie paradygmatu treningu samonadzorowanej wizji. Zrozumienie różnic jest niezbędne dla praktyków wybierających odpowiedni szkielet do swojego zastosowania.

Skala danych treningowych. Najbardziej bezpośrednio widoczną różnicą jest 12-krotny wzrost danych treningowych: LVD-142M DINOv2 (142 miliony obrazów) versus LVD-1689M DINOv3 (1,689 miliarda obrazów). Jednak metodologia kuratorii również się poprawiła. DINOv2 używał potoku opartego na wyszukiwaniu, który rozszerzał wyselekcjonowane zbiory nasion poprzez znajdowanie najbliższych sąsiadów w przestrzeni osadzeń ViT-H/16 wstępnie trenowanego na ImageNet-22k. Ekspansja zaczynała się od 1,2 miliarda surowych obrazów internetowych i produkowała 142M wyselekcjonowanych obrazów. DINOv3 dodaje krok balansowania oparty na grupowaniu na wierzchu wyszukiwania, zapewniając, że 25 000 klastrów wizualnych jest równo reprezentowanych. Ten krok grupowania zapobiega nadreprezentowaniu przez model wizualnie dominujących koncepcji, takich jak twarze, tekst i popularne obiekty, przy jednoczesnym niedoreprezentowaniu rzadkich, ale ważnych domen wizualnych, takich jak defekty infrastrukturalne, obrazy medyczne i widoki satelitarne.

Rozmiar i architektura modelu. Największy model nauczyciela DINOv2 to ViT-g z 1 miliardem parametrów. DINOv3 skaluje to do 7 miliardów parametrów (ViT-7B), co stanowi 7-krotny wzrost pojemności modelu. Sama architektura została zmodernizowana. DINOv2 używał standardowych uczonych absolutnych osadzeń pozycyjnych, podczas gdy DINOv3 wprowadza obrotowe osadzenia pozycyjne (RoPE) dla obsługi zmiennej rozdzielczości. Sieć feed-forward w ViT-7B DINOv3 używa aktywacji SwiGLU zamiast GELU, zgodnie z innowacjami architektonicznymi z dużych modeli językowych. DINOv2 używał rozmiaru fragmentu 14 pikseli (architektura ViT z oryginalnej pracy), podczas gdy DINOv3 używa rozmiaru fragmentu 16 pikseli. Ta zmiana zmniejsza liczbę fragmentów z 256 (224/14 = 16, 16^2 = 256) do 196 (224/16 = 14, 14^2 = 196) dla wejścia 224x224, co stanowi 23% redukcję długości sekwencji, przekładającą się na około 40% mniej obliczeń samoobserwacji (ponieważ uwaga skaluje się jako O(N2)). Ten zysk wydajności architektonicznej częściowo kompensuje zwiększony koszt obliczeniowy wynikający z większych wymiarów modelu.

Jakość gęstych cech. To najbardziej znacząca poprawa jakościowa w DINOv3. Podczas długich harmonogramów treningowych z dużymi modelami zaobserwowano, że cechy na poziomie fragmentów DINOv2 degradują się stopniowo, po pewnym punkcie treningu mapy cech na poziomie pikseli traciły strukturę przestrzenną i stawały się zaszumione lub rozmyte, podczas gdy globalne cechy tokenów [CLS] nadal się poprawiały. Ta degradacja czyniła DINOv2 mniej odpowiednim do zadań gęstej predykcji, takich jak segmentacja semantyczna i estymacja głębi, przy długich harmonogramach treningowych. Mechanizm kotwiczenia Grama w DINOv3 bezpośrednio rozwiązuje tę degradację, wymuszając, aby struktura podobieństwa parowego między cechami fragmentów pozostała stabilna przez cały trening. W rezultacie gęste cechy DINOv3 pozostają ostre i semantycznie znaczące nawet po milionach iteracji treningowych. Na benchmarku segmentacji semantycznej ADE20K DINOv3 osiąga wynik średniego przecięcia nad sumą (mIoU) 54,2% z zamrożonym szkieletem i liniową sondą, co stanowi poprawę o +6,1 punktu w porównaniu z 48,1% mIoU DINOv2. Na benchmarku dopasowywania kluczowych punktów 3D NAVI DINOv3 osiąga 68,5% precyzji versus 60,2% DINOv2. W segmentacji obiektów wideo (DAVIS 2017) DINOv3 osiąga 82,3 J&F-Mean versus 75,6 DINOv2.

Powyższa tabela pokazuje, że model ViT-Base DINOv3 (86M parametrów, używany przez TarmacView) już przewyższa znacznie większy model ViT-Large DINOv2 (304M parametrów) na każdym benchmarku, będąc jednocześnie 3,5x mniejszym i znacznie bardziej wydajnym obliczeniowo do wnioskowania.

Różnice licencyjne. DINOv2 został wydany na licencji Apache 2.0, standardowej licencji open-source, która pozwala na swobodne użycie, modyfikację i dystrybucję w dowolnym celu, w tym komercyjnym. DINOv3 jest wydany na licencji DINOv3, niestandardowej licencji specyficznej dla wydania modelu Meta AI. Chociaż licencja DINOv3 pozwala na użycie komercyjne, zawiera dodatkowe warunki dotyczące atrybucji i dozwolonego użytku. Niestandardowa licencja wywołała dyskusję w społeczności open-source, issue #31 w repozytorium dinov3 na GitHubie wprost prosi o wydanie pod bardziej standardową licencją, taką jak Apache 2.0. Praktycy powinni zapoznać się z pełnym tekstem LICENSE.md w repozytorium GitHub przed wdrożeniem DINOv3 w produktach komercyjnych. Dla przypadku użycia TarmacView licencja DINOv3 pozwala na zamierzone zastosowanie komercyjne z odpowiednią atrybucją.

Dostrajanie DINOv3 do zadań domenowych

Podczas gdy DINOv3 osiąga najnowocześniejszą wydajność z zamrożonym szkieletem (liniowa sonda lub klasyfikator k-NN), niektóre zastosowania infrastrukturalne korzystają z dostrajania szkieletu na danych specyficznych dla domeny. Wybór między podejściem zamrożonym a dostrojonym zależy od rozmiaru zbioru danych, specyfiki zadania i budżetu obliczeniowego.

Zamrożony szkielet (liniowe sondowanie). Najprostszym i najbardziej wydajnym obliczeniowo podejściem jest zamrożenie wag DINOv3 i trenowanie tylko klasyfikatora liniowego na wyodrębnionych osadzeniach. Dla modelu ViT-B/16 generującego 768-wymiarowe osadzenia CLS klasyfikator liniowy składa się z dokładnie 768 x N parametrów, gdzie N to liczba klas wyjściowych. Dla zadania klasyfikacji 5 typów nawierzchni to tylko 768 x 5 = 3 840 parametrów trenowalnych, trening zbiega się w minutach na CPU i wymaga zaledwie 50 oznaczonych przykładów na klasę, aby osiągnąć dobre wyniki. Podejście z zamrożonym szkieletem jest zalecane, gdy domena docelowa jest dobrze pokryta przez dane pre-treningowe DINOv3, które obejmują naturalne obrazy, obrazy internetowe i różnorodne domeny wizualne. Do analizy powierzchni infrastruktury TarmacView używa zamrożonych osadzeń DINOv3 z liniową sondą do klasyfikacji typu nawierzchni (asfalt, beton, kompozyt, chip seal, żwir) i osiąga 96,2% dokładności w tych klasach. Kluczową zaletą jest to, że szkielet DINOv3 zapewnia uniwersalne cechy wizualne, które generalizują między domenami bez żadnego treningu specyficznego dla domeny.

Lekkie dostrajanie (Adapter / LoRA). Dla zadań, w których zamrożony szkielet nie osiąga wystarczającej dokładności, zazwyczaj wysoce wyspecjalizowanych domen z cechami wizualnymi znacząco różniącymi się od naturalnych obrazów, metody parametr-wydajnego dostrajania (PEFT) dodają małą liczbę trenowalnych parametrów, utrzymując większość szkieletu zamrożoną. Adaptacja niskiego rzędu (LoRA) dodaje pary macierzy dekompozycji rzędu (A i B, gdzie aktualizacja wag delta_W = AB) do macierzy projekcji zapytań i wartości w każdej warstwie samoobserwacji. Dla modelu ViT-B/16 LoRA z rzędem r=8 dodaje około 0,5M trenowalnych parametrów (mniej niż 0,6% z 86M całkowitych) rozłożonych na wszystkich 12 warstwach transformera. Trenowanie tylko tych parametrów LoRA przez 10-50 epok na zbiorze danych specyficznym dla domeny z 1 000-5 000 oznaczonych obrazów zazwyczaj daje 3-8% poprawę dokładności w porównaniu z liniowym sondowaniem, wymagając tylko 1-2 godzin na pojedynczym GPU. TarmacView używa dostrajania LoRA do specjalistycznych zadań klasyfikacji defektów, takich jak rozróżnianie różnych typów pęknięć (poprzeczne, podłużne, blokowe, siatkowe, odbite), gdzie subtelne różnice wizualne korzystają z adaptacji specyficznej dla domeny.

Pełne dostrajanie. Gdy dostępna jest wystarczająca ilość oznaczonych danych (10 000+ obrazów na klasę), a zadanie wymaga maksymalnej dokładności, cały szkielet DINOv3 może być dostrojony. Aktualizuje to wszystkie 86M parametrów ViT-B/16 przy użyciu oznaczonych danych. Pełne dostrajanie zazwyczaj wymaga 4-8 GPU z 16-32GB VRAM każdy, treningu rozproszonego z PyTorch DDP i ostrożnego dostrajania hiperparametrów (szybkość uczenia zazwyczaj 5x10^-6 do 5x10^-5, waga zaniku 0,01-0,1, cosinusowy harmonogram uczenia z 10% rozgrzewką). Pełne dostrajanie może dać 2-5% dodatkowej dokładności w porównaniu z LoRA w wysoce wyspecjalizowanych zadaniach, ale niesie ryzyko katastroficznego zapominania, model może utracić ogólną wiedzę wizualną nabytą podczas samonadzorowanego pre-treningu. Aby to złagodzić, zalecane są stopniowe odmrażanie (odmrażanie ostatniej warstwy najpierw, potem stopniowo wcześniejszych warstw) i dyskryminacja szybkości uczenia (niższe szybkości uczenia dla wcześniejszych warstw, wyższe dla późniejszych). DINOv3 sugeruje również protokół adaptacji wysokiej rozdzielczości post-hoc podczas dostrajania: kontynuowanie treningu przez 10K kroków na mieszanych rozmiarach globalnych przycięć przy użyciu straty iBOT i kotwiczenia Grama, co zapewnia, że szkielet generalizuje ze standardowej rozdzielczości 224px do bardzo wysokich rozdzielczości (4096px), generując ostre mapy cech.

Macierz decyzyjna zamrażanie vs dostrajanie.

Uwagi dotyczące adaptacji domenowej. Obrazy z inspekcji infrastruktury różnią się od naturalnych obrazów pod kilkoma względami: stałe kąty kamery (perspektywa nadiru/drona), specyficzne warunki oświetleniowe (zewnętrzne, ale zmienne), powtarzalne wzorce (tekstura nawierzchni) i wąska domena wizualna (drogi, pasy startowe, pomosty mostowe). Samonadzorowany pre-trening DINOv3 na różnorodnych danych oznacza, że model już widział wiele podobnych wzorców wizualnych, ale luka domenowa między obrazami internetowymi a obrazami infrastrukturalnymi nadal istnieje. Eksperymenty TarmacView pokazują, że zamrożone osadzenia DINOv3 osiągają 94,7% wyniku F1 w wykrywaniu pęknięć na obrazach nawierzchni lotniskowych bez żadnego dostrajania, co wskazuje na doskonały transfer domenowy. Jednak do wykrywania specjalistycznych defektów, takich jak przesunięcia spoin w nawierzchniach betonowych czy wybrukowanie w warstwach asfaltowych, dostrajanie LoRA z 2 000-5 000 oznaczonych przykładów z domeny docelowej poprawia wynik F1 o 5-8 punktów procentowych. Dostrojony model wykazuje również lepszą odporność na artefakty specyficzne dla domeny, takie jak ślady opon, depozyty gumy i oznakowania pasów startowych, które mogą mylić ogólne wstępnie trenowane cechy.

DINOv3 jako ekstraktor cech

Używanie DINOv3 jako ekstraktora cech jest najbardziej bezpośrednim i szeroko stosowanym wzorcem wdrożenia, szczególnie dla organizacji, które nie mają zasobów obliczeniowych do treningu na dużą skalę. W tym paradygmacie DINOv3 przetwarza każdy obraz przez pojedyncze przejście w przód, generując osadzenia, które są buforowane i ponownie używane do wielu zadań końcowych.

Potok ekstrakcji cech. Standardowy potok ekstrakcji cech DINOv3 w przepływie pracy analizy infrastruktury TarmacView działa w następujący sposób. Po pierwsze, obraz wejściowy (zazwyczaj obraz 4K z drona pokrywający sekcję pasa startowego 10m x 7m) jest dzielony na nakładające się kafelki 224x224 z 50% nakładaniem, aby zapewnić pokrycie krawędzi. Każdy kafelek jest normalizowany przy użyciu standardowej średniej ImageNet (0,485, 0,456, 0,406) i odchylenia standardowego (0,229, 0,224, 0,225). Znormalizowany kafelek jest przekazywany przez model DINOv3 ViT-B/16 przy użyciu PyTorch z precyzją FP16 dla wydajności pamięci. Model generuje 201 tokenów (1 CLS + 4 rejestry + 196 fragmentów), każdy o wymiarze 768. Osadzenie tokena CLS (768-wymiarowe) jest wyodrębniane do globalnej klasyfikacji kafelka. 196 osadzeń tokenów fragmentów jest przekształcanych w siatkę przestrzenną 14x14 wektorów 768-wymiarowych do gęstej predykcji. Wszystkie osadzenia ze wszystkich kafelków są agregowane w bazę danych cech indeksowaną współrzędnymi przestrzennymi, umożliwiając analizę między kafelkami i mapowanie dużych obszarów.

Wydajność obliczeniowa. Ekstrakcja cech z zamrożonym DINOv3 ViT-B/16 wymaga około 12,5 GFLOPs na obraz 224x224, porównywalnie do ResNet-50 (7,7 GFLOPs) lub EfficientNet-B4 (12,0 GFLOPs). Na NVIDIA RTX 4090 (FP16) przepustowość wnioskowania wynosi około 180 obrazów/sekundę. Na NVIDIA Jetson Orin NX 16GB (urządzenie brzegowe) przepustowość wynosi około 25 obrazów/sekundę. Dla typowego obrazu 4K z drona (3840x2160 pikseli), podzielonego na kafelki 224x224 z 50% nakładaniem, wymagane jest około 160 kafelków. Całkowity czas przetwarzania na RTX 4090 to mniej niż 1 sekunda na obraz 4K. Koszt ekstrakcji cech jest jednorazowym wydatkiem, po zapisaniu osadzeń każde zadanie końcowe (klasyfikacja, segmentacja, wyszukiwanie) dodaje pomijalne dodatkowe obliczenia (milisekundy na obraz).

Baza osadzeń Faiss do wyszukiwania podobieństwa. TarmacView przechowuje wyodrębnione osadzenia DINOv3 w indeksie FAISS (Facebook AI Similarity Search) do wydajnego wyszukiwania i analizy opartej na podobieństwie. FAISS to biblioteka opracowana przez Meta AI do wydajnego wyszukiwania podobieństwa i grupowania gęstych wektorów, zdolna do przeszukiwania baz danych w skali miliardów w milisekundach. Baza osadzeń indeksuje kafelki nawierzchni pasów startowych według ich 768-wymiarowych osadzeń CLS DINOv3. Gdy pojawia się nowy obraz inspekcyjny, jego osadzenie jest obliczane i porównywane z całą bazą w celu znalezienia najbardziej wizualnie podobnych historycznych kafelków. Umożliwia to analizę trendów stanu, znajdowanie podobnych warunków powierzchni, które wystąpiły w przeszłości, i ich późniejszych trajektorii pogorszenia. Indeks FAISS używa IVF (Inverted File) z 4096 centroidami i grafu HNSW (Hierarchical Navigable Small World) dla grubego kwantyzatora, osiągając ponad 99% odzysku przy czasie zapytania 10ms dla bazy 10 milionów osadzeń kafelków. Metryka podobieństwa cosinusowego jest używana do wszystkich porównań osadzeń.

Wykrywanie defektów few-shot. Osadzenia DINOv3 umożliwiają skuteczne wykrywanie defektów few-shot, identyfikację nowych typów defektów z zaledwie 1-5 przykładowych obrazów. Gdy nowy typ uszkodzenia nawierzchni (np. określony wzór pęknięć lub depozyt powierzchniowy) zostanie napotkany w terenie, inspektor przechwytuje 1-5 przykładowych obrazów i zaznacza regiony defektów. Osadzenia fragmentów DINOv3 z tych przykładowych regionów są uśredniane, tworząc wektor prototypu defektu (768-wymiarowy). Nowe obrazy są następnie przetwarzane, a każde osadzenie fragmentu jest porównywane z prototypem za pomocą podobieństwa cosinusowego. Fragmenty z podobieństwem powyżej progu (zazwyczaj 0,75-0,85, ustalanego empirycznie) są oznaczane jako pasujące do typu defektu. To podejście oparte na prototypach osiąga 89-93% dokładności wykrywania nowych defektów z zaledwie 3 przykładów, bez żadnego ponownego treningu lub dostrajania. Jest to krytyczne dla inspekcji infrastruktury, gdzie nowe, nieoczekiwane typy uszkodzeń są często napotykane i muszą być udokumentowane bez opóźniania przepływu pracy inspekcji w celu zebrania danych treningowych.

Gęste tokeny fragmentów do segmentacji

196 osadzeń tokenów fragmentów generowanych przez DINOv3 dla obrazu 224x224 tworzy siatkę przestrzenną 14x14 wektorów cech 768-wymiarowych. Ta siatka jest podstawową reprezentacją dla zadań gęstej predykcji, segmentacji semantycznej, wykrywania pęknięć i lokalizacji defektów, gdzie każdy piksel obrazu wejściowego musi być sklasyfikowany.

Struktura siatki i rozdzielczość. Dla wejścia 224x224 pikseli z fragmentami 16x16, każdy z 196 tokenów fragmentów pokrywa region 16x16 pikseli wejścia. Wynikowa siatka 14x14 ma krok 16 pikseli między sąsiednimi środkami fragmentów. Oznacza to, że mapa cech DINOv3 ma około 1/256 rozdzielczości przestrzennej obrazu wejściowego (14x14 = 196 vs 224x224 = 50 176 pikseli). Mechanizm samoobserwacji kompensuje tę kompresję przestrzenną poprzez integrację informacji między fragmentami, każde osadzenie fragmentu jest informowane przez otaczającą siatkę 14x14 poprzez wielogłową uwagę, zapewniając skuteczną świadomość kontekstu. Dla zadań segmentacji siatka 14x14 musi być próbkowana w górę do oryginalnej rozdzielczości obrazu. TarmacView używa lekkiego dekodera konwolucyjnego z 3 warstwami: transponowana konwolucja (14x14 do 28x28, 384 kanały), transponowana konwolucja (28x28 do 56x56, 192 kanały), biliniowe próbkowanie w górę (56x56 do 224x224) i końcowa konwolucja 1x1 do logitów per klasa. Ten dekoder dodaje tylko 2,3M parametrów do szkieletu 86M parametrów.

Jakość gęstych cech DINOv3 vs DINOv2. Krytyczna innowacja w DINOv3, kotwiczenie Grama, bezpośrednio celuje w jakość tych gęstych cech fragmentów. Podczas długich treningów cechy fragmentów DINOv2 wykazywały to, co autorzy opisują jako degradację gęstych map cech: osadzenia fragmentów stawały się mniej semantycznie znaczące, struktura podobieństwa fragment-fragment ulegała degradacji, a jakość segmentacji osiągała plateau lub nawet spadała pomimo ciągłej poprawy klasyfikacji globalnej. Kotwiczenie Grama zachowuje macierz Grama cech fragmentów (strukturę podobieństwa parowego), wyrównując ją do odniesienia z wczesnego treningu, zapewniając, że relacje przestrzenne i semantyczne między fragmentami pozostają stabilne. Praktycznym rezultatem jest to, że cechy fragmentów DINOv3 pozostają ostre i semantycznie spójne nawet przy wysokich rozdzielczościach. Praca DINOv3 demonstruje wizualizacje PCA cech fragmentów DINOv3 dla obrazów lotniczych o wysokiej rozdzielczości, drogi, budynki, roślinność i zbiorniki wodne są wyraźnie separowalne w przestrzeni cech, co pokazuje wyjątkową jakość cech do rozumienia scen.

Segmentacja semantyczna z liniowymi sondami. Jedną z najbardziej imponujących zdolności DINOv3 jest wykonywanie segmentacji semantycznej przy użyciu tylko liniowych sond na zamrożonych cechach fragmentów, bez dostrajania szkieletu. Liniowa głowica segmentacyjna stosuje konwolucję 1x1 (lub równoważnie, warstwę liniową na fragment) do mapowania każdego osadzenia fragmentu z 768 wymiarów do C klas wyjściowych. Generuje to mapę segmentacji 14x14, która jest próbkowana w górę do rozdzielczości obrazu. Pomimo prostoty tego podejścia (tylko 768 x C trenowalnych parametrów dla całej głowicy segmentacyjnej), DINOv3 osiąga 52,3% mIoU na ADE20K z ViT-B, przewyższając wiele metod, które dostrajają cały szkielet. Jest to możliwe dzięki wyjątkowej liniowej separowalności cech fragmentów DINOv3, przestrzeń osadzeń jest już ustrukturyzowana tak, że różne kategorie semantyczne zajmują odrębne, liniowo separowalne regiony.

Segmentacja pęknięć w infrastrukturze. TarmacView stosuje gęste tokeny fragmentów DINOv3 do segmentacji pęknięć na poziomie pikseli w obrazach pasów startowych i nawierzchni. Siatka 14x14 768-wymiarowych osadzeń fragmentów wychwytuje zarówno lokalną teksturę pęknięć (w każdym fragmencie 16x16), jak i informacje kontekstowe (do których fragmentów pęknięcie się łączy). Głowica segmentacyjna to lekka sieć z 3 transponowanymi warstwami konwolucyjnymi, które próbkują siatkę cech 14x14 do rozdzielczości 224x224. Trening wymaga około 500 oznaczonych obrazów segmentacji pęknięć (kafelki 224x224 z maskami pęknięć na poziomie pikseli) i zbiega się w 2-3 godziny na pojedynczym GPU RTX 3060. Wynikowy model osiąga 94,7% wyniku F1 w wykrywaniu pęknięć w porównaniu z 88,2% dla ResNet-50 i 91,3% dla DINOv2 w identycznych warunkach treningowych. Wynik F1 poprawia się do 96,8% przy użyciu protokołu adaptacji wysokiej rozdzielczości (dostrajanie DINOv3 przy rozdzielczości wejściowej 512px z zalecanym harmonogramem 10K kroków). Dokładność estymacji szerokości pęknięć (mierzona jako średni błąd bezwzględny w mm) wynosi 0,8mm dla DINOv3 vs 1,4mm dla DINOv2 i 2,1mm dla ResNet-50.

Tokeny rejestrów do absorpcji tła. 4 tokeny rejestrów DINOv3 odgrywają specyficzną rolę w jakości gęstych cech. Te tokeny to dodatkowe uczone tokeny (wymiar 768), które są dodawane na początku sekwencji obok tokena CLS. Podczas samoobserwacji tokeny rejestrów mogą obserwować i być obserwowane przez wszystkie tokeny fragmentów. Kluczowym spostrzeżeniem jest to, że niektóre wizualne fragmenty obrazu zawierają informacje odstające lub tła, niebo, odległe obiekty lub jednolite regiony bez tekstury, które, jeśli byłyby zmuszone do kodowania przez tokeny fragmentów, degradowałyby jakość przestrzeni cech. Tokeny rejestrów działają jak chłonne sloty pamięci, które przechwytują tę nieinformacyjną treść, pozwalając tokenom fragmentów skupić się na semantycznie znaczących regionach obrazu. Praktycznym efektem jest mierzalna poprawa jakości gęstych cech: +1,8 mIoU na ADE20K i znacznie czystsze mapy podobieństwa fragmentów, szczególnie dla obrazów z dużymi jednolitymi regionami tła. Dla inspekcji infrastruktury, gdzie obrazy często zawierają duże obszary jednolitej tekstury nawierzchni, tokeny rejestrów pomagają utrzymać czyste cechy fragmentów, które skupiają się na wzorcach uszkodzeń, a nie na teksturze tła.

Trening MPS i GPU

Infrastruktura treningowa i wnioskowania DINOv3 obsługuje wiele backendów sprzętowych, od dużych klastrów GPU po urządzenia brzegowe i Maci z Apple Silicon.

Trening GPU na dużą skalę. Model nauczyciela ViT-7B był trenowany na 256 GPU NVIDIA A100 80GB SXM4 z połączeniami NVLink, zapewniając około 20 TB/s zagregowanej przepustowości pamięci GPU i 25 PFLOPS obliczeń FP16. Trening używa Fully Sharded Data Parallel (FSDP), natywnej strategii shardowania PyTorch, która partycjonuje parametry modelu, gradienty i stany optymalizatora na wszystkich GPU. Z FSDP i treningiem w mieszanej precyzji (BF16) model 7B mieści się w zagregowanej pamięci 256 GPU (256 x 80GB = 20,48 TB), nawet jeśli każdy pojedynczy GPU może pomieścić tylko około 2-3% parametrów modelu. Biblioteka xFormers (opracowana przez Meta AI) zapewnia wydajne implementacje uwagi, w tym pamięciowo-wydajną uwagę (zmniejsza pamięć uwagi z O(N2) do O(N)) i wzorce blokowo-rzadkiej uwagi. Połączenie FSDP, BF16, xFormers i gradientowego checkpointingu zmniejsza wymóg pamięci na GPU dla ViT-7B z szacowanych 250GB (pełna precyzja, bez optymalizacji) do około 65GB, mieszcząc się w pojemności 80GB A100.

Wnioskowanie na pojedynczym GPU. Do praktycznego wdrożenia DINOv3 ViT-B/16 (86M parametrów) działa wydajnie na pojedynczym GPU NVIDIA. Przy precyzji FP32 model wymaga około 344MB pamięci na parametry (86M x 4 bajty na liczbę zmiennoprzecinkową). Z aktywacjami dla rozmiaru partii 1 (obraz 224x224) całkowite zużycie pamięci wynosi około 1,2-1,5GB (parametry + aktywacje + tensory pośrednie). Przy precyzji FP16 pamięć parametrów spada do 172MB, a całkowite zużycie do około 0,8-1,0GB. Oznacza to, że DINOv3 ViT-B/16 działa komfortowo na GPU z zaledwie 4GB VRAM, w tym starszych kartach, takich jak NVIDIA GTX 1650 i NVIDIA Jetson Xavier NX. Przepustowość na RTX 3060 (12GB) przy FP16 wynosi około 100 obrazów/sekundę. Na NVIDIA A100 przepustowość przekracza 400 obrazów/sekundę, umożliwiając przetwarzanie w czasie rzeczywistym obrazów 4K z drona przy prędkościach dekompozycji kafelków.

Wsparcie Apple Silicon (MPS). DINOv3 jest w pełni kompatybilny z backendem Metal Performance Shaders (MPS) w PyTorch, zapewniając przyspieszone GPU wnioskowanie na Macach z Apple Silicon (serie M1, M2, M3, M4). Backend MPS mapuje operacje PyTorch na architekturę GPU Apple poprzez framework Metal. Wydajność na M2 Pro MacBook Pro (19-rdzeniowe GPU, 32GB pamięci zunifikowanej) osiąga około 25-35 obrazów/sekundę dla ViT-B/16 przy precyzji FP16, wystarczającą do przetwarzania wsadowego dużych kolekcji obrazów. Na M2 Ultra Mac Studio (76-rdzeniowe GPU, 192GB pamięci zunifikowanej) przepustowość osiąga około 70-90 obrazów/sekundę. Zużycie pamięci jest wydajne, ponieważ zunifikowana architektura pamięci Apple eliminuje narzut transferu danych CPU-GPU. TarmacView używa przyspieszonego MPS DINOv3 do przetwarzania danych w terenie, umożliwiając inspektorom uruchamianie wnioskowania bezpośrednio na swoich MacBookach bez wymaganego dedykowanego sprzętu GPU. Większa zunifikowana pamięć Apple Silicon (do 192GB na M2 Ultra) umożliwia również przetwarzanie obrazów o bardzo wysokiej rozdzielczości bez kafelkowania, obraz 4096x4096 generuje 256x256 fragmentów = 65 536 tokenów, co wymaga około 8GB pamięci równoważnej VRAM w puli pamięci zunifikowanej.

Wnioskowanie rozproszone. Dla projektów inspekcji infrastruktury na dużą skalę przetwarzających miliony obrazów konieczne jest wnioskowanie rozproszone na wielu GPU lub maszynach. DINOv3 obsługuje PyTorch DistributedDataParallel (DDP) do wnioskowania na wielu GPU na pojedynczym serwerze, równoległość modelu (równoległość potokowa dla ViT-7B) i Ray (framework obliczeń rozproszonych open-source) do rozproszonego wnioskowania na wielu węzłach. Wdrożenie TarmacView używa Kubernetes z pulami węzłów GPU uruchamiającymi wnioskowanie DINOv3 jako skalowalną mikrousługę. Każdy pod wnioskowania działa na pojedynczym GPU T4 (16GB VRAM) i przetwarza około 70 obrazów/sekundę. Klaster 50 podów osiąga przepustowość 3 500 obrazów/sekundę, umożliwiając przetworzenie badania pasa startowego z 500 obrazów w mniej niż 3 sekundy. Serwer wnioskowania używa TorchServe do serwowania modeli z dynamicznym grupowaniem (rozmiary partii 4-16 w zależności od wolumenu żądań) i precyzją FP16 w celu maksymalizacji przepustowości.

Wdrożenie brzegowe z NVIDIA Jetson. Dla systemów inspekcji wdrożonych w terenie używających dronów lub pojazdów naziemnych DINOv3 ViT-B/16 może być wdrożony na urządzeniach brzegowych NVIDIA Jetson. Moduł Jetson Orin NX 16GB (100 TOPS wydajności AI) osiąga 15-25 obrazów/sekundę z DINOv3 ViT-B/16 przy FP16, w zależności od trybu zasilania (15W vs 25W vs 40W). Model jest optymalizowany przy użyciu TensorRT, optymalizatora wnioskowania głębokiego uczenia NVIDIA, który łączy warstwy, optymalizuje wybór jąder i kwantyzuje do FP16 lub INT8. Z kwantyzacją TensorRT INT8 prędkość wnioskowania wzrasta do 30-40 obrazów/sekundę na Jetson Orin NX z mniej niż 1% degradacją dokładności w porównaniu z FP32. Jetson Xavier NX (21 TOPS) osiąga 8-12 obrazów/sekundę z TensorRT FP16. To wdrożenie brzegowe umożliwia wykrywanie pęknięć w czasie rzeczywistym podczas lotu drona, kamera drona przechwytuje obrazy, a DINOv3 przetwarza je na pokładzie, oznaczając potencjalne defekty w ciągu sekund od przechwycenia bez wymaganego połączenia z chmurą.

Dostępność open-source i licencjonowanie

DINOv3 został wydany przez Meta AI w 2025 roku jako projekt open-source, kontynuując tradycję firmy w publicznym udostępnianiu najnowocześniejszych modeli badawczych AI. Zrozumienie warunków licencyjnych i dystrybucyjnych jest niezbędne dla organizacji planujących wdrożenie DINOv3 w produktach komercyjnych.

Kod i wagi modelu. Kompletny kod DINOv3 jest dostępny na GitHubie w facebookresearch/dinov3 (ponad 10 700 gwiazdek stan na połowę 2025). Repozytorium zawiera pełny kod treningowy i ewaluacyjny (PyTorch), definicje modeli, potoki przetwarzania danych, skrypty ewaluacyjne i wstępnie trenowane wagi dla wszystkich 12 wydanych wariantów modelu. Wagi modelu są również dostępne na Hugging Face Hub pod przestrzenią nazw facebook/dinov3-*, w tym: facebook/dinov3-vits16-pretrain-lvd1689m (ViT-Small, 21M parametrów) facebook/dinov3-vitb16-pretrain-lvd1689m (ViT-Base, 86M parametrów), podstawowy model używany przez TarmacView facebook/dinov3-vitl16-pretrain-lvd1689m (ViT-Large, 304M parametrów) facebook/dinov3-vith16-pretrain-lvd1689m (ViT-H+, ~1,5B parametrów) facebook/dinov3-vit7b-pretrain-lvd1689m (ViT-7B, 7B parametrów) Oraz warianty ConvNeXt (T, S, B, L) i modele specyficzne dla satelitów (SAT-493M)

Dostęp do Hugging Face wymaga od użytkowników zgody na warunki Meta i podania danych kontaktowych, które są zbierane, przechowywane i przetwarzane zgodnie z Polityką prywatności Meta. Wagi modelu są dystrybuowane jako pliki state_dict PyTorch kompatybilne z biblioteką Hugging Face Transformers (integracja dostępna przez AutoModel.from_pretrained()).

Licencja DINOv3. DINOv3 jest wydany na licencji DINOv3, niestandardowej licencji open-source opracowanej przez Meta AI specjalnie dla tego wydania modelu. Różni się to od DINOv2, który został wydany na standardowej licencji Apache 2.0. Licencja DINOv3 pozwala na: Użycie, reprodukcję, modyfikację i dystrybucję modelu i kodu Użycie komercyjne, w tym integrację z produktami i usługami Sublicencjonowanie dzieł pochodnych na różnych warunkach

Licencja DINOv3 zawiera specyficzne wymagania dotyczące atrybucji (należy zachować noty praw autorskich) oraz politykę dozwolonego użytku, która zabrania używania modelu do niektórych celów, w tym nadzoru naruszającego prawa człowieka, autonomicznej broni i naruszania obowiązującego prawa. Licencja wywołała dyskusję w społeczności deweloperów, issue #31 w repozytorium dinov3 na GitHubie wprost prosi o wydanie pod bardziej standardową licencją, taką jak Apache 2.0, w celu uproszczenia zgodności prawnej dla przedsiębiorstw z ustalonymi politykami licencji open-source. TarmacView przeanalizował licencję DINOv3 i ustalił, że zastosowania inspekcji infrastruktury i wykrywania defektów są w pełni dozwolone na jej warunkach.

Porównanie licencjonowania z innymi szkieletami.

Koszt obliczeniowy reprodukcji. Koszt treningu DINOv3 ViT-7B szacuje się na 2-5 milionów USD (około 15 000 GPU-dni na A100-80GB przy cenach chmury na żądanie). Zdystylowane mniejsze modele (ViT-B, ViT-L) są znacznie tańsze w reprodukcji, ale nadal wymagają znacznych obliczeń, destylacja ViT-Base z ViT-7B na LVD-1689M wymaga około 500-800 GPU-dni. Jednak dla praktyków dostępność wstępnie trenowanych wag eliminuje potrzebę jakichkolwiek obliczeń treningowych, wagi można pobrać i użyć natychmiast do wnioskowania kosztem pojedynczego GPU dowolnej generacji. Ta dostępność jest fundamentalną propozycją wartości modeli fundamentowych: ogromny koszt treningu jest amortyzowany między wszystkich użytkowników końcowych.

Integracja społecznościowa i ekosystemowa. DINOv3 korzysta z szerokiej integracji ekosystemowej: Hugging Face Transformers zapewnia API plug-and-play, PyTorch Hub obsługuje ładowanie modeli przez torch.hub.load(), a model jest zawarty w zoo modeli Torchvision dla prostego dostępu. Integracja z Weights & Biases, MLflow i Neptune.ai do śledzenia eksperymentów jest obsługiwana przez standardowe haki PyTorch. Eksport do formatu ONNX (Open Neural Network Exchange) jest obsługiwany do wdrożeń w środowiskach innych niż PyTorch, w tym TensorRT dla urządzeń brzegowych NVIDIA, CoreML dla urządzeń Apple i TFLite do wdrożeń mobilnych. Platforma inspekcji infrastruktury TarmacView integruje DINOv3 przez potok Hugging Face Transformers, z optymalizacją TensorRT do wdrożeń brzegowych na Jetson Orin NX i akceleracją MPS dla laptopów polowych macOS.

Podsumowanie. DINOv3 reprezentuje generacyjny skok w samonadzorowanych modelach fundamentowych wizji, osiągając najnowocześniejszą wydajność w zadaniach globalnych i gęstej predykcji poprzez bezprecedensową skalę (1,689 miliarda obrazów, 7 miliardów parametrów) i innowację kotwiczenia Grama, która zachowuje jakość gęstych cech. Do analizy powierzchni infrastruktury wariant ViT-B/16 DINOv3 zapewnia 768-wymiarową przestrzeń osadzeń z wyjątkową strukturą semantyczną, typy nawierzchni, wzorce pęknięć i cechy defektów są liniowo separowalne w przestrzeni osadzeń, umożliwiając dokładną klasyfikację i wykrywanie z wnioskowaniem na zamrożonym szkielecie. Dostępność open-source, szerokie wsparcie sprzętowe (GPU, MPS, Edge) i permisywne licencjonowanie czynią DINOv3 optymalnym szkieletem dla zautomatyzowanej platformy inspekcji infrastruktury TarmacView, dostarczając najnowocześniejszą dokładność wykrywania defektów przy minimalnych danych treningowych specyficznych dla domeny i wymaganiach obliczeniowych.