Was ist der DINOv3 Vision Transformer?

DINOv3 Vision Transformer für die Analyse von Infrastrukturoberflächen

Selbstüberwachtes Lernen und DINO

Selbstüberwachtes Lernen (SSL) ist ein Paradigma des maschinellen Lernens, bei dem ein Modell aussagekräftige Repräsentationen aus unbeschrifteten Daten lernt, indem es eine Voraufgabe definiert, die keine menschlichen Annotationen erfordert. Das Modell muss einen Teil der Daten aus anderen Teilen vorhersagen und dabei die inhärente Struktur und die Ko-Okkurrenzmuster innerhalb der Daten selbst nutzen. Im Bereich Computer Vision haben sich SSL-Methoden von handgefertigten Voraufgaben wie der Vorhersage des Rotationswinkels eines Bildes (RotNet), dem Lösen von Puzzles aus gemischten Patches oder dem Kolorieren von Graustufenbildern zu anspruchsvolleren kontrastiven und destillationsbasierten Ansätzen entwickelt. Der grundlegende Vorteil von SSL besteht darin, dass es das Training auf Web-Scale-Datensätzen ohne die prohibitiv hohen Kosten manueller Annotation ermöglicht. Für Infrastrukturanwendungen, bei denen beschriftete Defektdatensätze rar und teuer in der Erstellung sind (zertifizierte Inspektoren und Ingenieure erforderlich), ermöglichen SSL-basierte Rückgrate ein effektives Merkmalslernen aus großen Mengen unbeschrifteter Bilddaten, bevor ein aufgabenspezifisches Feintuning erfolgt.

Dies ist die Risserkennungsmethode hinter TarmacViews Straßenfahrbahnbewertung .

Kontrastive Lernmethoden wie SimCLR, MoCo und SwAV lernen Repräsentationen, indem sie augmentierte Ansichten desselben Bildes (positive Paare) im Einbettungsraum zusammenziehen, während Ansichten verschiedener Bilder (negative Paare) auseinandergedrückt werden. Diese Methoden erfordern eine sorgfältige Handhabung negativer Stichproben – zu wenige Negative verschlechtern die Leistung, zu viele erhöhen den Rechenaufwand. Nicht-kontrastive Methoden wie BYOL, SimSiam und DINO vermeiden die Notwendigkeit negativer Paare vollständig, indem sie asymmetrische Netzwerkarchitekturen und Stop-Gradient-Operationen verwenden, um einen Repräsentationskollaps zu verhindern. DINO (self-DIstillation with NO labels), eingeführt von Caron et al. bei Meta AI im Jahr 2021, gehört zu dieser nicht-kontrastiven Familie und ist zu einer der einflussreichsten SSL-Methoden im Computer Vision geworden. Das ursprüngliche DINO-Papier zeigte, dass SSL und Vision Transformer eine einzigartige Synergie eingehen – die Self-Attention-Mechanismen in ViTs erzeugen auf natürliche Weise semantische Segmentierungskarten ohne jegliche Überwachung, eine Eigenschaft, die aus der Interaktion zwischen der Multi-Crop-Augmentierungsstrategie und dem Selbst-Destillationsziel entsteht.

Das DINO-Trainingsframework funktioniert wie folgt. Für jedes Eingabebild werden zwei globale Ansichten (die mehr als 50% der Bildfläche abdecken, typischerweise 224x224 Pixel) und mehrere lokale Ansichten (kleinere Ausschnitte, die weniger als 50% der Bildfläche abdecken, typischerweise 96x96 Pixel) durch zufälliges Zuschneiden in der Größe, Farbveränderung und Gaußsches Weichzeichnen erzeugt. Alle Ansichten werden durch ein Schülernetzwerk (einen Vision Transformer) geleitet. Die globalen Ansichten werden auch durch ein Lehrernetzwerk geleitet, das dieselbe Architektur wie der Schüler hat, aber andere Parameter. Die Parameter des Lehrers werden nicht durch Gradienten gelernt – stattdessen werden sie als exponentiell gleitender Durchschnitt (EMA) der Schülerparameter aktualisiert. Das Kern-Trainingsziel ist es, die Ausgabeverteilung des Schülers an die Ausgabeverteilung des Lehrers für die globalen Ansichten anzupassen, während die lokalen Ansichten zusätzliche Trainingssignale nur durch den Schüler liefern. Diese Lehrer-Schüler-Anordnung, bekannt als Selbst-Destillation, erzeugt ein Lernsignal, das keine Beschriftungen erfordert – der Schüler lernt, konsistente Repräsentationen über verschiedene Augmentierungen desselben Bildes hinweg zu erzeugen, was ihn zwingt, den invarianten semantischen Inhalt und nicht oberflächliche Pixel-Details zu erfassen.

DINOv1 (2021) demonstrierte drei wichtige emergente Eigenschaften selbstüberwachter ViTs. Erstens segmentieren die Aufmerksamkeitskarten vom [CLS]-Token zu Bildpatches auf natürliche Weise Objekte vom Hintergrund – eine Eigenschaft, die rein aus der Selbstüberwachung ohne jegliche Segmentierungsetiketten entsteht. Zweitens zeigen die gelernten Merkmale eine hervorragende k-NN-Klassifikationsleistung – ein einfacher Nächste-Nachbarn-Klassifikator im DINO-Merkmalsraum erreicht 78,2% Top-1-Genauigkeit auf ImageNet ohne jegliches Feintuning. Drittens zeigen DINO-Merkmale eine starke semantische Korrespondenz über verschiedene Instanzen derselben Objektklasse hinweg, was Anwendungen in der Bildersuche, Co-Segmentierung und Video-Objeksegmentierung ermöglicht. Diese Eigenschaften machten DINO zu einer grundlegenden Methode in der Landschaft des selbstüberwachten Lernens und bereiteten die Bühne für DINOv2 (2023) und DINOv3 (2025).

ViT-Architektur

Die Vision Transformer (ViT)-Architektur, eingeführt von Dosovitskiy et al. bei Google im Jahr 2021, adaptiert die Transformer-Architektur aus der natürlichen Sprachverarbeitung für das Computer Vision, indem sie Bildpatches als analog zu Wort-Token behandelt. Im Gegensatz zu Convolutional Neural Networks (CNNs), die Bilder durch lokale rezeptive Felder mit eingebauter Translations-Äquivarianz verarbeiten, wenden ViTs globale Self-Attention auf alle Patches gleichzeitig an, wodurch das Modell von der allerersten Schicht an weitreichende Abhängigkeiten erfassen kann. Diese architektonische Entscheidung hat sich als entscheidend für den Erfolg von DINO erwiesen – das ursprüngliche DINO-Papier zeigte, dass selbstüberwachte ViTs signifikant besser abschneiden als selbstüberwachte CNNs und dass die Synergie zwischen Self-Attention und Selbst-Destillation für die emergenten semantischen Segmentierungseigenschaften verantwortlich ist.

Patch-Einbettung. Die erste Operation in einem ViT besteht darin, das Eingabebild in ein Gitter nicht überlappender Patches zu unterteilen. Für die von TarmacView verwendete ViT-B/16-Variante beträgt die Patch-Größe 16x16 Pixel. Ein 224x224 Pixel großes Eingabebild erzeugt (224/16) x (224/16) = 14 x 14 = 196 Patches. Jeder 16x16x3 (RGB-Kanäle) Patch wird zu einem Vektor der Länge 768 (16x16x3) abgeflacht. In der Praxis wird diese Patch-Einbettung als eine einzelne Faltungsschicht mit einer Kernel-Größe gleich der Patch-Größe (16x16) und einer Schrittweite gleich der Patch-Größe implementiert, wodurch ein 2D-Gitter von 14x14 Merkmalsvektoren erzeugt wird, von denen jeder eine Dimension hat, die der verborgenen Größe des Modells (768 für ViT-B) entspricht. Eine lernbare lineare Projektion bildet dann jeden abgeflachten Patch auf die Einbettungsdimension ab. Die Conv2d-Implementierung ist recheneffizient (eine Operation ersetzt 196 separate lineare Projektionen) und ist der Standard in allen modernen ViT-Implementierungen.

Der [CLS]-Token. In Anlehnung an die BERT-Architektur in der NLP wird ein spezieller lernbarer Klassifikations-Token ([CLS]) der Sequenz von Patch-Einbettungen vorangestellt. Der [CLS]-Token hat dieselbe Dimensionalität (768) wie die Patch-Einbettungen und wird zufällig initialisiert. Während des Trainings aggregiert der [CLS]-Token durch Self-Attention über alle Transformer-Schichten hinweg Informationen aus allen Bildpatches – er kann in jeder Schicht auf jeden Patch achten und baut so eine globale Repräsentation des gesamten Bildes auf. Am Ausgang der letzten Transformer-Schicht dient die [CLS]-Token-Einbettung als Bildrepräsentation auf Bildebene, die für Klassifikationsaufgaben verwendet wird. In DINOv3 wird der [CLS]-Token durch 4 Register-Token ergänzt – zusätzliche lernbare Token, die der Sequenz vorangestellt werden und als Notizspeicher dienen, um Ausreißer- oder Hintergrundinformationen zu absorbieren und zu verhindern, dass die [CLS]- und Patch-Token durch irrelevante hochfrequente Details verfälscht werden.

Positions-Einbettungen. Da der Self-Attention-Mechanismus des Transformers permutationsinvariant ist (er verarbeitet die Patches als Menge, nicht als Sequenz), müssen Positionsinformationen explizit hinzugefügt werden, um dem Modell mitzuteilen, wo jeder Patch im räumlichen Gitter hingehört. DINOv3 verwendet Rotary Position Embeddings (RoPE) anstelle der standardmäßigen lernbaren absoluten Positionskodierungen, die in DINOv2 verwendet wurden. RoPE kodiert relative Positionsinformationen, indem es eine Rotationsmatrix auf die Query- und Key-Vektoren in der Self-Attention basierend auf ihren räumlichen Koordinaten anwendet. Die Rotationsfrequenz für jede Dimension wird durch den Dimensionsindex bestimmt, einer geometrischen Progression folgend. Der Hauptvorteil von RoPE für die Infrastrukturanalyse ist seine Fähigkeit, Eingaben mit variabler Auflösung zu verarbeiten – bei der Verarbeitung hochauflösender Bilder (bis zu 4096x4096 Pixel) verallgemeinert der RoPE-Mechanismus auf natürliche Weise auf das größere räumliche Gitter, ohne dass eine Interpolation gelernter Positions-Einbettungen erforderlich ist. DINOv3 führt auch zufälligen Box-Jitter während der RoPE-Anwendung ein, bei dem die Positionsindizes zufällig innerhalb eines Bereichs [-s,s] mit s in [0.5,2.0] verschoben werden, was das Modell robust gegenüber verschiedenen Seitenverhältnissen und Zuschneidemustern macht.

Multi-Head Self-Attention (MHSA). Die grundlegende Recheneinheit des ViT ist der Multi-Head Self-Attention-Mechanismus. In jedem Transformer-Block wird die Eingabesequenz von N Token (N = 1 [CLS] + 4 Register + 196 Patch = 201 Token für eine 224x224-Eingabe) linear in drei Matrizen projiziert: Queries (Q) , Keys (K) und Values (V) , jede mit der Dimension 768 für ViT-B/16. Der Aufmerksamkeitsmechanismus berechnet die paarweise Ähnlichkeit zwischen allen Token als das Skalarprodukt von Q und K^T, skaliert mit der Quadratwurzel von d_k (wobei d_k die Schlüsseldimension pro Kopf ist). Die resultierenden Aufmerksamkeitsgewichte (normalisiert durch Softmax) bestimmen, wie viel jeder Token zur Repräsentation jedes anderen Tokens beiträgt. In ViT-B/16 gibt es 12 Aufmerksamkeitsköpfe, von denen jeder in einem 64-dimensionalen Unterraum arbeitet (768/12 = 64). Multi-Head Attention ermöglicht es dem Modell, gleichzeitig auf verschiedene Arten von Beziehungen zu achten – zum Beispiel kann sich ein Kopf auf Texturähnlichkeit zwischen Patches konzentrieren, ein anderer auf räumliche Nähe und ein weiterer auf die Zugehörigkeit zu semantischen Kategorien. Die Ausgaben aller Köpfe werden konkateniert und linear zurück auf 768 Dimensionen projiziert. Die Rechenkomplexität von MHSA ist O(N2d) – quadratisch in der Sequenzlänge N, aber linear in der Einbettungsdimension d. Für die 201-Token-Sequenz in DINOv3 ViT-B/16 ist dies handhabbar (etwa 40K Aufmerksamkeitsberechnungen pro Schicht), aber für hochauflösende Bilder mit 4000+ Token (z. B. erzeugt ein 1024x1024 Bild 64x64 = 4096 Patches) wird die quadratische Skalierung zu einer bedeutenden Überlegung.

Transformer-Encoder-Block. Jede der 12 (ViT-B) oder 40 (ViT-7B) Transformer-Schichten in DINOv3 folgt dem Pre-Normalisierungs-Design. Die Layer-Normalisierung (LayerNorm) wird sowohl vor dem MHSA- als auch vor dem MLP-Teilblock angewendet, wobei Residualverbindungen jeden Teilblock umgehen. Der MLP (Multilayer Perceptron)-Teilblock besteht aus zwei linearen Schichten mit einer GELU (Gaussian Error Linear Unit)-Aktivierung dazwischen. Für ViT-B/16 beträgt die verborgene Dimension des MLP 3072 (4x die Einbettungsdimension), was die Konfiguration ergibt: Einbettungsdimension 768 zu MLP-verborgen 3072 zu GELU zu MLP-Ausgabe 768. Das größere Lehrermodell von DINOv3 (ViT-7B) verwendet eine SwiGLU (Swish-Gated Linear Unit)-Aktivierung im MLP anstelle von GELU, was modernen LLM-Architekturtrends folgt. SwiGLU wendet einen Gating-Mechanismus an: Ausgabe = (xW1) elementweise multipliziert mit Swish(xW2) mal W3. Es hat sich gezeigt, dass diese gegatterte Aktivierung die Trainingsstabilität und die endgültige Leistung bei Skalierung verbessert. Das Pre-Normalisierungs-Design unterscheidet sich von der Post-Normalisierung des ursprünglichen Transformers (bei der die Normalisierung nach der Residualaddition angewendet wurde) und hat sich als stabiler für das Training erwiesen, insbesondere für tiefe (12+ Schichten) Transformer.

Architektur-Zusammenfassungstabelle für die DINOv3-Modellfamilie.

Die ViT-Base-Architektur (86M Parameter) ist der optimale Kompromiss zwischen Merkmalsqualität und Recheneffizienz für die Infrastruktur-Inspektionspipeline von TarmacView und bietet 768-dimensionale Einbettungen mit 12 Schichten Self-Attention-Verarbeitungsleistung.

DINOv3-Training auf 1,7 Milliarden Bildern

DINOv3 erreicht seine hochmoderne Leistung durch eine beispiellose Skalierung des selbstüberwachten Trainings, wobei sowohl massive Datenkuratierung als auch effiziente verteilte Optimierung über Hunderte von GPUs hinweg genutzt werden.

Der LVD-1689M-Datensatz. Die Trainingsdaten für DINOv3 beginnen mit einem Rohpool von 17 Milliarden inhaltsmoderierten Instagram-Bildern. Aus diesem massiven Pool kuratierte das Meta AI Team einen ausgewogenen Teildatensatz von 1.689 Millionen Bildern mit dem Namen LVD-1689M (Large Visual Dataset 1689 Million). Die Kuratierungspipeline ist entscheidend, da ein einfaches Training auf den rohen Instagram-Daten ein Modell erzeugen würde, das zur natürlichen Häufigkeitsverteilung visueller Konzepte in sozialen Medien verzerrt ist – zum Beispiel würden Gesichter, Essen und Landschaften dominieren, während Infrastruktur-, Industrie- und wissenschaftliche Bilder unterrepräsentiert wären. Der Kuratierungsprozess verwendet hierarchisches k-Means-Clustering auf DINOv2-Einbettungen, die aus dem gesamten Bildpool extrahiert wurden. Das DINOv2 ViT-H/14-Modell verarbeitet jedes Bild, und die resultierenden CLS-Token-Einbettungen werden mit k-Means in 25.000 Cluster geclustert. Anschließend wird aus jedem Cluster eine gleiche Anzahl von Bildern entnommen, wodurch ein cluster-ausgeglichener Datensatz entsteht, der eine proportionale Repräsentation über visuelle Domänen hinweg gewährleistet. Dieses ausgewogene Sampling ist direkt analog zur geschichteten Stichprobenziehung in der Statistik – durch die Kontrolle der Clustermitgliedschaft erfasst der Datensatz die volle Vielfalt visueller Konzepte, anstatt häufige Kategorien zu überrepräsentieren. Nach dem Clustering erweitert ein zusätzlicher Retrieval-Schritt Startmengen aus kuratierten Datensätzen (ImageNet-1k, ImageNet-22k, Google Landmarks und feinkörnige Klassifikationsdatensätze), indem die nächsten Nachbarn im DINOv2-Einbettungsraum gefunden werden. Der endgültige LVD-1689M-Datensatz kombiniert 1.489 Millionen cluster-ausgeglichene Bilder mit 200 Millionen Retrieval-erweiterten Bildern, alle gefiltert durch NSFW-Erkennung, PCA-Hash-Deduplizierung und Gesichts-Unschärfe.

Trainingskonfiguration. Das ViT-7B-Lehrermodell, das größte jemals trainierte selbstüberwachte Vision-Modell (Stand 2025), wurde auf 256 NVIDIA GPUs (A100 80GB SXM4) mit einer Batch-Größe von 4096 (16 Bilder pro GPU) trainiert. Die Optimierung verwendet den AdamW-Optimierer mit einer konstanten Lernrate von 4x10^-4, Gewichtsabfall von 0,04 und EMA-Momentum von 0,999 nach einer Aufwärmphase von 100.000 Schritten. Das Training läuft über 1 Million Iterationen mit der Multi-Crop-Strategie: 2 globale Ausschnitte mit 256x256 Auflösung und 8 lokale Ausschnitte mit 112x112 Auflösung, insgesamt also 10 Ansichten pro Bild pro Iteration. Über 1M Iterationen mit einer Batch-Größe von 4096 sieht das Modell etwa 2,56 Milliarden eindeutige Bild-Ausschnitt-Kombinationen. Der gesamte Trainingsprozess verbraucht schätzungsweise 10.000-15.000 GPU-Tage Rechenleistung. Während des Trainings sind 10% der Batches homogene Ziehungen aus ImageNet-1k (um die Leistung bei Standard-Benchmarks zu erhalten), während 90% heterogene Ziehungen aus dem gesamten LVD-1689M-Pool sind, ein durch Ablation nachgewiesenes optimales Mischungsverhältnis.

Trainingsziele. Der DINOv3-Vortrainingsverlust kombiniert drei Komponenten. Der DINO-Verlust (L_DINO) wendet ein SwAV-artiges Sinkhorn-Knopp-Clustering auf die [CLS]-Token-Ausgaben von globalen Ausschnitten an und gleicht die Prototypzuweisungen zwischen Schüler und Lehrer ab. Der Sinkhorn-Algorithmus läuft 3 Iterationen, um weiche Pseudo-Labels zu erzeugen. Der iBOT-Verlust (L_iBOT) arbeitet auf Patch-Ebene – zufällige Patches in lokalen Ausschnitten werden maskiert, und der Schüler muss die normalisierten Patch-Merkmale des Lehrers für diese maskierten Positionen vorhersagen. Dieses Ziel des maskierten Bildmodellierens zwingt das Modell, lokale Textur- und Strukturinformationen zu lernen, die für dichte Vorhersageaufgaben notwendig sind. Der Koleo-Regularisierer (L_Koleo) verteilt die [CLS]-Token-Einbettungen gleichmäßig über die Hypersphäre, indem er die Summe der Kosinus-Ähnlichkeiten zwischen allen Paaren von Einbettungen in einem Batch minimiert, wodurch ein Repräsentationskollaps verhindert und sichergestellt wird, dass der Merkmalsraum gut genutzt wird. Der kombinierte Vortrainingsverlust ist: L_Pre = L_DINO + L_iBOT + 0,1 x L_Koleo. Nach 1M Iterationen des Vortrainings integriert eine Verfeinerungsphase von 200K zusätzlichen Iterationen den Gram-Anchoring-Verlust (L_Gram) mit Gewicht 2, der die Qualität dichter Merkmale durch langes Training bewahrt.

Destillation in kleinere Modelle. Sobald der ViT-7B-Lehrer vollständig trainiert ist, wird er eingefroren und als Ziel für die Destillation von Repräsentationen in eine Reihe kleinerer, praktischerer Modelle verwendet. Der Destillationsprozess spiegelt das Vortrainings-Setup wider: Schülermodelle (ViT-S, ViT-B, ViT-L, ViT-H+, ConvNeXt-Varianten) werden trainiert, um die Ausgabemerkmale des Lehrers unter Verwendung derselben Verlustfunktion (L_DINO + L_iBOT + 0,1 x L_Koleo) zu erreichen, jedoch mit eingefrorenem Lehrer und ohne das EMA-Lehrer-Update. Meta AI implementiert ein Multi-Student-Destillations-Setup, das mehrere Schülermodelle gleichzeitig effizient trainiert – der Lehrer verarbeitet jedes Bild einmal, und alle Schüler erhalten dieselben Lehrerausgaben, was eine Parallelisierung der Batch-Verlustberechnung über die Schüler hinweg ermöglicht. Dies reduziert die Gesamtrechenkosten für die Erstellung der vollständigen Modellfamilie um etwa 60% im Vergleich zur sequentiellen Destillation jedes Schülers. Der ViT-Base-Schüler (86M Parameter), den TarmacView als sein Rückgrat verwendet, erreicht 98,7% der linearen Sondengenauigkeit des ViT-7B-Lehrers auf ImageNet-1k, während er etwa 80x weniger FLOPs für die Inferenz benötigt.

768-Dimensionale Einbettungen

Die 768-dimensionale Einbettung, die von DINOv3 ViT-B/16 für jeden Token (1 CLS + 4 Register + 196 Patch = 201 insgesamt) erzeugt wird, stellt eine dichte numerische Kodierung visueller Informationen in einem hochdimensionalen Vektorraum dar. Jede Dimension erfasst ein spezifisches visuelles Konzept oder Merkmal, und die Kombination aller 768 Werte bildet eine eindeutige Signatur für diese Bildregion. Die Dimensionalität von 768 ist nicht willkürlich – sie ergibt sich aus der ViT-Base-Architektur, bei der die verborgene Dimension auf 768 gesetzt ist, was ausreichende Kapazität bietet, um komplexe visuelle Muster zu kodieren, während sie rechenbar bleibt. Zum Vergleich: ViT-Small verwendet 384 Dimensionen, ViT-Large 1024 und ViT-7B 4096.

CLS-Token-Einbettung. Die 768-dimensionale Einbettung des [CLS]-Tokens am Ausgang der 12. Transformer-Schicht kodiert den globalen Bildinhalt – die Gesamtszene, dominante Objekte und den semantischen Kontext. Diese Einbettung wird extrahiert und für Klassifikationsaufgaben auf Bildebene verwendet. In der Pipeline von TarmacView wird die CLS-Einbettung durch einen leichten linearen Klassifikator (768 zu N Klassen, wobei N die Anzahl der Oberflächentypen oder Qualitätsstufen ist) geleitet, der auf beschrifteten Infrastrukturdatensätzen trainiert wurde. Die CLS-Einbettung von DINOv3 zeigt starke Domänengeneralisierungseigenschaften – auf dieser Einbettung trainierte Modelle generalisieren auf unbekannte Infrastrukturtypen signifikant besser als Einbettungen von überwachten Rückgraten. Die lineare Sondengenauigkeit von DINOv3 ViT-B/16 auf ImageNet-1k erreicht 85,1% Top-1-Genauigkeit und übertrifft damit DINOv2 (83,5%) und nähert sich dem überwachten ViT (86,0%), obwohl es während des Vortrainings nie ImageNet-Beschriftungen gesehen hat.

Patch-Token-Einbettungen. Jeder der 196 Patch-Token erzeugt eine separate 768-dimensionale Einbettung, die ein 14x14 räumliches Gitter von Merkmalsvektoren bildet. Diese dichten Einbettungen kodieren lokalisierte visuelle Informationen innerhalb jedes 16x16-Pixel-Patches – Textur, Kanten, Farbverteilung und lokale Muster. Die Patch-Einbettungen sind die kritische Ausgabe für dichte Vorhersageaufgaben wie Risserkennung und -segmentierung. In der Infrastrukturanalyse-Pipeline von TarmacView wird das 14x14 x 768-dimensionale Merkmalsgitter (etwa 1,5 Millionen Gleitkommawerte pro Bild) durch einen leichten Faltungs-Decoder verarbeitet, der auf 224x224 hochskaliert und pixelgenaue Vorhersagen erzeugt. Jede Patch-Einbettung kann als eine 768-dimensionale Beschreibung dessen interpretiert werden, wie diese 16x16-Region aussieht – zwei Patches mit ähnlichem visuellem Erscheinungsbild (z. B. zwei Bereiche mit glattem Asphalt) haben nahe beieinander liegende Einbettungen im 768-dimensionalen Raum (hohe Kosinus-Ähnlichkeit), während visuell unterschiedliche Patches (z. B. Asphalt vs. Beton) weit voneinander entfernte Einbettungen haben (niedrige Kosinus-Ähnlichkeit).

Eigenschaften der Einbettungen. DINOv3-Einbettungen weisen mehrere Eigenschaften auf, die sie für die Infrastrukturanalyse außergewöhnlich machen. Erstens, semantische Glätte – visuell ähnliche Regionen erzeugen nahe beieinander liegende Einbettungen und bilden eine kontinuierliche Mannigfaltigkeit im 768-dimensionalen Raum. Dies bedeutet, dass Risse unterschiedlicher Breite, Ausrichtung und Schwere alle auf eine verbundene Region des Einbettungsraums abgebildet werden, was sie als kohärente Klasse und nicht als isolierte Ausreißer erkennbar macht. Zweitens, Multi-Skalen-Empfindlichkeit – der Self-Attention-Mechanismus in den 12 Transformer-Schichten integriert Informationen über verschiedene räumliche Skalen hinweg, sodass jede Patch-Einbettung nicht nur durch ihren eigenen 16x16-Inhalt, sondern auch durch den breiteren Kontext der umgebenden Patches und der globalen Szene informiert wird. Ein Riss in der Nähe einer Dehnungsfuge wird anders kodiert als derselbe Riss in der Mitte einer Platte, da die kontextuellen Informationen in die Einbettung integriert werden. Drittens, Robustheit gegenüber Beleuchtung – das selbstüberwachte Training mit umfangreicher Farbveränderung und Augmentierung stellt sicher, dass die Einbettungen unter wechselnden Lichtverhältnissen, Schatten und Belichtung stabil sind. Dies ist entscheidend für die Inspektion von Infrastruktur im Freien, bei der Bilder unter unkontrollierter natürlicher Beleuchtung aufgenommen werden. Viertens, lineare Trennbarkeit – die Einbettungen sind so strukturiert, dass einfache lineare Klassifikatoren verschiedene Oberflächenzustände effektiv trennen können. TarmacView erreicht 96,2% Genauigkeit bei der Klassifizierung des Oberflächentyps und 94,7% Risserkennungs-F1-Score unter Verwendung nur linearer Sonden auf eingefrorenen DINOv3-Einbettungen.

Distanzmetriken im Einbettungsraum. Die Wahl der Distanzmetrik für den Vergleich von DINOv3-Einbettungen hat einen signifikanten Einfluss auf die Leistung nachgelagerter Aufgaben. Die Kosinus-Ähnlichkeit ist die am häufigsten verwendete Metrik, definiert als cos(theta) = (a dot b) / (||a|| x ||b||), wobei a und b 768-dimensionale Einbettungsvektoren sind. Die Kosinus-Ähnlichkeit reicht von -1 (entgegengesetzte Richtung, unwahrscheinlich für visuelle Einbettungen) bis +1 (identische Richtung). Zwei 768-dimensionale Vektoren mit einer Kosinus-Ähnlichkeit größer als 0,9 sind in ihrem lokalen Inhalt nahezu identisch, während eine Ähnlichkeit von weniger als 0,5 auf einen wesentlich unterschiedlichen visuellen Inhalt hinweist. Der L2 (euklidische) Abstand wird ebenfalls verwendet, erfordert jedoch eine sorgfältige Normalisierung, da der absolute Maßstab der Einbettungen variieren kann. Die Skalarprodukt-Ähnlichkeit ist effizient, aber empfindlich gegenüber der Vektorgröße. TarmacView verwendet die Kosinus-Ähnlichkeit als primäre Distanzmetrik für die Defektsuche und den -abgleich, da sie die Einbettungsgröße normalisiert und sich ausschließlich auf die Richtungsausrichtung konzentriert, was robuster gegenüber Variationen im Bildkontrast und der Belichtung ist.

Dimensionsreduktion zur Visualisierung. Der 768-dimensionale Einbettungsraum kann nicht direkt visualisiert werden, daher wendet TarmacView die Hauptkomponentenanalyse (PCA) an, um die Patch-Einbettungen für Visualisierungs- und Qualitätssicherungszwecke auf 3 Dimensionen zu reduzieren. Die ersten drei Hauptkomponenten der DINOv3-Patch-Einbettungen auf Infrastrukturbildern erfassen typischerweise 45-55% der Gesamtvarianz (PC1 etwa 25%, PC2 etwa 15%, PC3 etwa 10%), was darauf hindeutet, dass die effektive intrinsische Dimensionalität von Oberflächenpatches viel niedriger als 768 ist. Die PCA-Visualisierung zeigt konsistent unterschiedliche Cluster für verschiedene Oberflächenmaterialien (Asphalt, Beton, Dünnschichtbelag, Schotter) und kontinuierliche Gradienten für den Schweregrad der Oberflächenverschlechterung (von makellos bis stark gerissen). Diese visuelle Überprüfbarkeit ist ein kritisches Werkzeug zur Qualitätssicherung – Infrastruktur-Ingenieure können den Einbettungsraum visuell inspizieren, um zu überprüfen, ob das Modell relevante Oberflächenzustände korrekt trennt, bevor sie sich auf die automatisierte Klassifizierung verlassen.

DINOv3 vs. DINOv2

Die Entwicklung von DINOv2 zu DINOv3 stellt eine umfassende Skalierung und Verfeinerung des selbstüberwachten Vision-Trainingsparadigmas dar. Das Verständnis der Unterschiede ist für Praktiker, die das geeignete Rückgrat für ihre Anwendung auswählen, unerlässlich.

Umfang der Trainingsdaten. Der unmittelbar sichtbarste Unterschied ist die 12-fache Steigerung der Trainingsdaten: DINOv2s LVD-142M (142 Millionen Bilder) gegenüber DINOv3s LVD-1689M (1,689 Milliarden Bilder). Allerdings hat sich auch die Kuratierungsmethodik verbessert. DINOv2 verwendete eine Retrieval-basierte Pipeline, die kuratierte Startdatensätze erweiterte, indem die nächsten Nachbarn im Einbettungsraum eines auf ImageNet-22k vortrainierten ViT-H/16 gefunden wurden. Die Erweiterung begann mit 1,2 Milliarden rohen Web-Bildern und erzeugte 142 Millionen kuratierte Bilder. DINOv3 fügt einen clustering-basierten Ausgleichsschritt zusätzlich zum Retrieval hinzu, der sicherstellt, dass die 25.000 visuellen Cluster gleichmäßig repräsentiert sind. Dieser Clustering-Schritt verhindert, dass das Modell visuell dominante Konzepte wie Gesichter, Text und gewöhnliche Objekte überrepräsentiert, während seltene, aber wichtige visuelle Domänen wie Infrastrukturdefekte, medizinische Bilder und Satellitenansichten unterrepräsentiert werden.

Modellgröße und Architektur. DINOv2s größtes Lehrermodell war ViT-g mit 1 Milliarde Parametern. DINOv3 skaliert dies auf 7 Milliarden Parameter (ViT-7B) – eine 7-fache Steigerung der Modellkapazität. Die Architektur selbst wurde modernisiert. DINOv2 verwendete standardmäßige gelernte absolute Positions-Einbettungen, während DINOv3 Rotary Position Embeddings (RoPE) für die Unterstützung variabler Auflösungen einführt. Das Feed-Forward-Netzwerk in DINOv3s ViT-7B verwendet die SwiGLU-Aktivierung anstelle von GELU, was architektonischen Innovationen aus großen Sprachmodellen folgt. DINOv2 verwendete eine Patch-Größe von 14 Pixeln (ViT-Architektur aus dem Originalpapier), während DINOv3 eine Patch-Größe von 16 Pixeln verwendet. Diese Änderung reduziert die Anzahl der Patches von 256 (224/14 = 16, 16^2 = 256) auf 196 (224/16 = 14, 14^2 = 196) für eine 224x224-Eingabe, eine Reduzierung der Sequenzlänge um 23%, was zu etwa 40% weniger Self-Attention-Berechnungen führt (da die Aufmerksamkeit mit O(N2) skaliert). Dieser architektonische Effizienzgewinn gleicht teilweise die erhöhten Rechenkosten durch die größeren Modellabmessungen aus.

Qualität dichter Merkmale. Dies ist die bedeutendste qualitative Verbesserung in DINOv3. Während langer Trainingsläufe mit großen Modellen wurde beobachtet, dass die Patch-Ebene-Merkmale von DINOv2 progressiv degradierten – ab einem bestimmten Punkt im Training verloren die pixelgenauen Merkmalskarten ihre räumliche Struktur und wurden verrauscht oder unscharf, während die globalen [CLS]-Token-Merkmale weiterhin verbessert wurden. Diese Degradation machte DINOv2 weniger geeignet für dichte Vorhersageaufgaben wie semantische Segmentierung und Tiefenschätzung bei Verwendung langer Trainingsläufe. Der Gram-Anchoring-Mechanismus von DINOv3 adressiert diese Degradation direkt, indem er erzwingt, dass die paarweise Ähnlichkeitsstruktur zwischen Patch-Merkmalen während des gesamten Trainings stabil bleibt. Infolgedessen bleiben die dichten Merkmale von DINOv3 auch nach Millionen von Trainingsiterationen scharf und semantisch bedeutungsvoll. Im ADE20K-Semantiksegmentierungs-Benchmark erreicht DINOv3 einen mittleren Intersection over Union (mIoU)-Score von 54,2% mit einem eingefrorenen Rückgrat und einer linearen Sonde – eine +6,1-Punkte-Verbesserung gegenüber DINOv2s 48,1% mIoU. Im NAVI-3D-Schlüsselpunkterkennungs-Benchmark erreicht DINOv3 68,5% Präzision gegenüber DINOv2s 60,2%. Bei der Video-Objeksegmentierung (DAVIS 2017) erreicht DINOv3 82,3 J&F-Mean gegenüber DINOv2s 75,6.

Die obige Tabelle zeigt, dass DINOv3s ViT-Base-Modell (86M Parameter, verwendet von TarmacView) DINOv2s viel größeres ViT-Large-Modell (304M Parameter) in jedem Benchmark bereits übertrifft, während es 3,5x kleiner und für die Inferenz signifikant recheneffizienter ist.

Lizenzunterschiede. DINOv2 wurde unter der Apache 2.0-Lizenz veröffentlicht, einer standardmäßigen Open-Source-Lizenz, die die freie Nutzung, Modifikation und Verteilung für jeden Zweck, einschließlich kommerzieller Anwendungen, erlaubt. DINOv3 wird unter der DINOv3-Lizenz veröffentlicht, einer benutzerdefinierten Lizenz, die spezifisch für die Modellveröffentlichung von Meta AI ist. Während die DINOv3-Lizenz die kommerzielle Nutzung erlaubt, enthält sie zusätzliche Bedingungen bezüglich der Namensnennung und der akzeptablen Nutzung. Die benutzerdefinierte Lizenz hat in der Open-Source-Community Diskussionen ausgelöst – GitHub-Issue #31 im dinov3-Repository fordert speziell die Veröffentlichung unter einer standardmäßigeren Lizenz wie Apache 2.0. Praktiker sollten den vollständigen LICENSE.md-Text im GitHub-Repository überprüfen, bevor sie DINOv3 in kommerziellen Produkten einsetzen. Für den Anwendungsfall von TarmacView erlaubt die DINOv3-Lizenz die beabsichtigte kommerzielle Nutzung mit entsprechender Namensnennung.

Feintuning von DINOv3 für Bereichsaufgaben

Während DINOv3 mit einem eingefrorenen Rückgrat (lineare Sonde oder k-NN-Klassifikator) eine hochmoderne Leistung erreicht, profitieren bestimmte Infrastrukturanwendungen vom Feintuning des Rückgrats auf domänenspezifischen Daten. Die Wahl zwischen eingefrorenen und feinabgestimmten Ansätzen hängt von der Datensatzgröße, der Aufgabenspezifität und dem Rechenbudget ab.

Eingefrorenes Rückgrat (Lineares Sondieren). Der einfachste und recheneffizienteste Ansatz besteht darin, die Gewichte von DINOv3 einzufrieren und nur einen linearen Klassifikator auf den extrahierten Einbettungen zu trainieren. Für ein ViT-B/16-Modell, das 768-dimensionale CLS-Einbettungen erzeugt, besteht ein linearer Klassifikator aus genau 768 x N Parametern, wobei N die Anzahl der Ausgabeklassen ist. Für eine 5-Klassen-Klassifizierungsaufgabe des Oberflächentyps sind dies nur 768 x 5 = 3.840 trainierbare Parameter – das Training konvergiert in Minuten auf einer CPU und erfordert nur etwa 50 beschriftete Beispiele pro Klasse, um gute Ergebnisse zu erzielen. Der Ansatz des eingefrorenen Rückgrats wird empfohlen, wenn die Zieldomäne durch die Vortrainingsdaten von DINOv3 gut abgedeckt ist, zu denen natürliche Bilder, Web-Bilder und verschiedene visuelle Domänen gehören. Für die Analyse von Infrastrukturoberflächen verwendet TarmacView eingefrorene DINOv3-Einbettungen mit einer linearen Sonde für die Klassifizierung des Oberflächentyps (Asphalt, Beton, Verbund, Dünnschichtbelag, Schotter) und erreicht 96,2% Genauigkeit über diese Klassen hinweg. Der Hauptvorteil besteht darin, dass das DINOv3-Rückgrat universelle visuelle Merkmale bereitstellt, die ohne domänenspezifisches Training über Domänen hinweg generalisieren.

Leichtes Feintuning (Adapter / LoRA). Für Aufgaben, bei denen das eingefrorene Rückgrat keine ausreichende Genauigkeit erreicht – typischerweise hochspezialisierte Domänen mit visuellen Eigenschaften, die sich signifikant von natürlichen Bildern unterscheiden – fügen parametereffiziente Feintuning-Methoden (PEFT) eine kleine Anzahl trainierbarer Parameter hinzu, während der Großteil des Rückgrats eingefroren bleibt. Low-Rank Adaptation (LoRA) fügt Paare von Rangzerlegungsmatrizen (A und B, wobei die Gewichtsaktualisierung delta_W = AB ist) zu den Query- und Value-Projektionsmatrizen in jeder Self-Attention-Schicht hinzu. Für ein ViT-B/16-Modell fügt LoRA mit Rang r=8 etwa 0,5 Millionen trainierbare Parameter hinzu (weniger als 0,6% der 86M Gesamtparameter), verteilt über alle 12 Transformer-Schichten. Das Training nur dieser LoRA-Parameter für 10-50 Epochen auf einem domänenspezifischen Datensatz von 1.000-5.000 beschrifteten Bildern führt typischerweise zu einer 3-8%igen Genauigkeitsverbesserung gegenüber dem linearen Sondieren, während es nur 1-2 Stunden auf einer einzelnen GPU erfordert. TarmacView verwendet LoRA-Feintuning für spezialisierte Defektklassifizierungsaufgaben wie die Unterscheidung zwischen verschiedenen Risstypen (quer, längs, blockartig, netzartig, reflektiert), bei denen die nuancierten visuellen Unterschiede von einer domänenspezifischen Anpassung profitieren.

Vollständiges Feintuning. Wenn ausreichend beschriftete Daten verfügbar sind (10.000+ Bilder pro Klasse) und die Aufgabe maximale Genauigkeit erfordert, kann das gesamte DINOv3-Rückgrat feinabgestimmt werden. Dies aktualisiert alle 86M Parameter von ViT-B/16 unter Verwendung des beschrifteten Datensatzes. Vollständiges Feintuning erfordert typischerweise 4-8 GPUs mit 16-32GB VRAM, verteiltes Training mit PyTorch DDP und sorgfältige Hyperparameter-Abstimmung (Lernrate typischerweise 5x10^-6 bis 5x10^-5, Gewichtsabfall 0,01-0,1, Kosinus-Lernratenplan mit 10% Aufwärmphase). Vollständiges Feintuning kann 2-5% zusätzliche Genauigkeit gegenüber LoRA bei hochspezialisierten Aufgaben liefern, birgt jedoch das Risiko des katastrophalen Vergessens – das Modell kann das allgemeine visuelle Wissen verlieren, das während des selbstüberwachten Vortrainings erworben wurde. Um dies zu mildern, werden schrittweises Auftauen (zuerst die letzte Schicht auftauen, dann fortschreitend frühere Schichten) und Lernratendiskriminierung (niedrigere Lernraten für frühere Schichten, höhere für spätere) empfohlen. DINOv3 schlägt auch ein nachträgliches Hochauflösungs-Anpassungsprotokoll beim Feintuning vor: Fortsetzung des Trainings für 10K Schritte auf gemischten globalen Ausschnittsgrößen unter Verwendung des iBOT-Verlusts und Gram-Anchoring, was sicherstellt, dass das Rückgrat von der Standard-224px-Auflösung bis zu sehr hohen Auflösungen (4096px) generalisiert, während scharfe Merkmalskarten erzeugt werden.

Entscheidungsmatrix Einfrieren vs. Feintuning.

Überlegungen zur Domänenanpassung. Infrastruktur-Inspektionsbilder unterscheiden sich in mehrfacher Hinsicht von natürlichen Bildern: konsistente Kamerawinkel (Nadir/Drohnenperspektive), spezifische Lichtverhältnisse (Außenbereich, aber variabel), sich wiederholende Muster (Fahrbahntextur) und eine enge visuelle Domäne (Straßen, Start- und Landebahnen, Brückendecks). Das selbstüberwachte Vortraining von DINOv3 auf vielfältigen Daten bedeutet, dass es bereits viele ähnliche visuelle Muster gesehen hat, aber die Domänenlücke zwischen Web-Bildern und Infrastrukturbildern besteht dennoch. Die Experimente von TarmacView zeigen, dass eingefrorene DINOv3-Einbettungen einen Risserkennungs-F1-Score von 94,7% auf Flugplatzfahrbahnbildern ohne jegliches Feintuning erreichen, was auf eine hervorragende Domänenübertragung hindeutet. Für die Erkennung spezialisierter Defekte wie Plattenversätze in Betonfahrbahnen oder Ausbröckelungen in Asphaltdeckschichten verbessert das LoRA-Feintuning mit 2.000-5.000 beschrifteten Beispielen aus der Zieldomäne den F1-Score jedoch um 5-8 Prozentpunkte. Das feinabgestimmte Modell zeigt auch eine verbesserte Robustheit gegenüber domänenspezifischen Artefakten wie Reifenspuren, Gummiablagerungen und Startbahnmarkierungen, die die generischen vortrainierten Merkmale verwirren können.

DINOv3 als Merkmalsextraktor

Die Verwendung von DINOv3 als Merkmalsextraktor ist das unkomplizierteste und am weitesten verbreitete Bereitstellungsmuster, insbesondere für Organisationen, die nicht über die Rechenressourcen für groß angelegtes Training verfügen. In diesem Paradigma verarbeitet DINOv3 jedes Bild in einem einzigen Vorwärtsdurchlauf, erzeugt Einbettungen, die zwischengespeichert und für mehrere nachgelagerte Aufgaben wiederverwendet werden.

Merkmalsextraktions-Pipeline. Die Standard-Pipeline zur Extraktion von DINOv3-Merkmalen im Infrastrukturanalyse-Workflow von TarmacView funktioniert wie folgt. Zunächst wird das Eingabebild (typischerweise ein 4K-Drohnenbild, das einen 10m x 7m großen Startbahnabschnitt abdeckt) in überlappende 224x224-Kacheln mit 50% Überlappung unterteilt, um die Randabdeckung zu gewährleisten. Jede Kachel wird mit dem standardmäßigen ImageNet-Mittelwert (0,485, 0,456, 0,406) und der Standardabweichung (0,229, 0,224, 0,225) normalisiert. Die normalisierte Kachel wird mit FP16-Präzision für Speichereffizienz durch das DINOv3 ViT-B/16-Modell (PyTorch) geleitet. Das Modell erzeugt 201 Token (1 CLS + 4 Register + 196 Patch), jeder mit der Dimension 768. Die CLS-Token-Einbettung (768-dim) wird für die globale Kachelklassifizierung extrahiert. Die 196 Patch-Token-Einbettungen werden in ein 14x14 räumliches Gitter von 768-dim-Vektoren umgeformt, das für dichte Vorhersagen verwendet wird. Alle Einbettungen aller Kacheln werden in einer Merkmalsdatenbank aggregiert, die nach räumlichen Koordinaten indiziert ist, was eine kachelübergreifende Analyse und großflächige Kartierung ermöglicht.

Recheneffizienz. Die Merkmalsextraktion mit eingefrorenem DINOv3 ViT-B/16 erfordert etwa 12,5 GFLOPs pro 224x224 Bild – vergleichbar mit ResNet-50 (7,7 GFLOPs) oder EfficientNet-B4 (12,0 GFLOPs). Auf einer NVIDIA RTX 4090 (FP16) beträgt der Inferenzdurchsatz etwa 180 Bilder/Sekunde. Auf einem NVIDIA Jetson Orin NX 16GB (Edge-Gerät) beträgt der Durchsatz etwa 25 Bilder/Sekunde. Für ein typisches 4K-Drohnenbild (3840x2160 Pixel), unterteilt in 224x224-Kacheln mit 50% Überlappung, sind etwa 160 Kacheln erforderlich. Die Gesamtverarbeitungszeit auf einer RTX 4090 beträgt weniger als 1 Sekunde pro 4K-Bild. Die Kosten für die Merkmalsextraktion sind einmalig – sobald die Einbettungen gespeichert sind, fügt jede nachgelagerte Aufgabe (Klassifizierung, Segmentierung, Retrieval) vernachlässigbare zusätzliche Berechnung hinzu (Millisekunden pro Bild).

Faiss Embedding Database for Similarity Search. TarmacView speichert extrahierte DINOv3-Einbettungen in einem FAISS (Facebook AI Similarity Search)-Index für effiziente ähnlichkeitsbasierte Suche und Analyse. FAISS ist eine von Meta AI entwickelte Bibliothek für effiziente Ähnlichkeitssuche und Clusterbildung dichter Vektoren, die in der Lage ist, Milliarden-Datenbanken in Millisekunden zu durchsuchen. Die Einbettungsdatenbank indiziert Startbahn-Kacheln nach ihren 768-dimensionalen DINOv3-CLS-Einbettungen. Wenn ein neues Inspektionsbild eintrifft, wird seine Einbettung berechnet und mit der gesamten Datenbank verglichen, um die visuell ähnlichsten historischen Kacheln zu finden. Dies ermöglicht die Analyse von Zustandstrends – das Auffinden ähnlicher Oberflächenzustände, die in der Vergangenheit aufgetreten sind, und ihrer anschließenden Verschlechterungsverläufe. Der FAISS-Index verwendet IVF (Inverted File) mit 4096 Zentroiden und HNSW (Hierarchical Navigable Small World)-Graph für den groben Quantisierer und erreicht eine Trefferquote von mehr als 99% bei einer Abfragezeit von 10ms für eine Datenbank von 10 Millionen Kacheleinbettungen. Für alle Einbettungsvergleiche wird die Kosinus-Ähnlichkeitsmetrik verwendet.

Few-Shot-Defekterkennung. DINOv3-Einbettungen ermöglichen eine effektive Few-Shot-Defekterkennung – die Identifizierung neuartiger Defekttypen aus nur 1-5 Beispielbildern. Wenn im Feld eine neue Art von Fahrbahnschaden (z. B. ein bestimmtes Rissmuster oder eine Oberflächenablagerung) auftritt, nimmt der Inspektor 1-5 Beispielbilder auf und markiert die Defektbereiche. Die DINOv3-Patch-Einbettungen aus diesen Beispielbereichen werden gemittelt, um einen Defekt-Prototyp-Vektor (768-dimensional) zu erstellen. Neue Bilder werden dann verarbeitet, und jede Patch-Einbettung wird mit dem Prototyp mittels Kosinus-Ähnlichkeit verglichen. Patches mit einer Ähnlichkeit über einem Schwellenwert (typischerweise 0,75-0,85, empirisch ermittelt) werden als Übereinstimmung mit dem Defekttyp markiert. Dieser prototypbasierte Ansatz erreicht eine Erkennungsgenauigkeit von 89-93% für neuartige Defekte aus nur 3 Beispielen, ohne jegliches Neutraining oder Feintuning. Dies ist entscheidend für die Infrastrukturinspektion, bei der häufig neue, unerwartete Schadensarten auftreten und dokumentiert werden müssen, ohne den Inspektionsworkflow zu verzögern, um Trainingsdaten zu sammeln.

Dichte Patch-Token für die Segmentierung

Die 196 Patch-Token-Einbettungen, die von DINOv3 für ein 224x224 Bild erzeugt werden, bilden ein 14x14 räumliches Gitter von 768-dimensionalen Merkmalsvektoren. Dieses Gitter ist die primäre Repräsentation für dichte Vorhersageaufgaben – semantische Segmentierung, Risserkennung und Defektlokalisierung – bei denen jedes Pixel im Eingabebild klassifiziert werden muss.

Gitterstruktur und Auflösung. Für eine 224x224-Pixel-Eingabe mit 16x16-Patches deckt jeder der 196 Patch-Token eine 16x16-Pixel-Region der Eingabe ab. Das resultierende 14x14-Gitter hat eine Schrittweite von 16 Pixeln zwischen benachbarten Patch-Zentren. Dies bedeutet, dass die DINOv3-Merkmalskarte etwa 1/256 der räumlichen Auflösung des Eingabebildes hat (14x14 = 196 vs. 224x224 = 50.176 Pixel). Der Self-Attention-Mechanismus kompensiert diese räumliche Kompression, indem er Informationen über Patches hinweg integriert – jede Patch-Einbettung wird durch das umgebende 14x14-Gitter mittels Multi-Head Attention informiert, was ein effektives Kontextbewusstsein bietet. Für Segmentierungsaufgaben muss das 14x14-Gitter auf die ursprüngliche Bildauflösung hochskaliert werden. TarmacView verwendet einen leichten Faltungs-Decoder mit 3 Schichten: transponierte Faltung (14x14 auf 28x28, 384 Kanäle), transponierte Faltung (28x28 auf 56x56, 192 Kanäle), bilineares Hochskalieren (56x56 auf 224x224) und eine abschließende 1x1-Faltung auf Pro-Klassen-Logits. Dieser Decoder fügt dem 86M-Parameter-Rückgrat nur 2,3M Parameter hinzu.

Qualität dichter DINOv3-Merkmale vs. DINOv2. Die kritische Innovation in DINOv3 – Gram-Anchoring – zielt direkt auf die Qualität dieser dichten Patch-Merkmale ab. Während langer Trainingsläufe würden die Patch-Merkmale von DINOv2 das aufweisen, was die Autoren als Degradation dichter Merkmalskarten beschreiben: Die Patch-Einbettungen würden semantisch weniger bedeutungsvoll, die Patch-Patch-Ähnlichkeitsstruktur würde degradieren, und die Segmentierungsqualität würde sich trotz anhaltender Verbesserung der globalen Klassifizierung einem Plateau nähern oder sogar abnehmen. Gram-Anchoring bewahrt die Gram-Matrix der Patch-Merkmale (paarweise Ähnlichkeitsstruktur), indem es sie an eine Referenz aus dem frühen Training anpasst, wodurch sichergestellt wird, dass die räumlichen und semantischen Beziehungen zwischen Patches stabil bleiben. Das praktische Ergebnis ist, dass die DINOv3-Patch-Merkmale auch bei hohen Auflösungen scharf und semantisch kohärent bleiben. Das DINOv3-Papier demonstriert PCA-Visualisierungen von DINOv3-Patch-Merkmalen für hochauflösende Luftbilder – Straßen, Gebäude, Vegetation und Gewässer sind im Merkmalsraum klar trennbar, was eine außergewöhnliche Merkmalsqualität für das Szenenverständnis demonstriert.

Semantische Segmentierung mit linearen Sonden. Eine der beeindruckendsten Fähigkeiten von DINOv3 ist die Durchführung semantischer Segmentierung unter Verwendung nur linearer Sonden auf eingefrorenen Patch-Merkmalen – kein Feintuning des Rückgrats ist erforderlich. Ein linearer Segmentierungskopf wendet eine 1x1-Faltung (oder äquivalent eine lineare Schicht pro Patch) an, um jede Patch-Einbettung von 768 Dimensionen auf C Ausgabeklassen abzubilden. Dies erzeugt eine 14x14-Segmentierungskarte, die auf die Bildauflösung hochskaliert wird. Trotz der Einfachheit dieses Ansatzes (nur 768 x C trainierbare Parameter für den gesamten Segmentierungskopf) erreicht DINOv3 52,3% mIoU auf ADE20K mit ViT-B und übertrifft damit viele Methoden, die das gesamte Rückgrat feinabstimmen. Dies wird durch die außergewöhnliche lineare Trennbarkeit der DINOv3-Patch-Merkmale ermöglicht – der Einbettungsraum ist bereits so strukturiert, dass verschiedene semantische Kategorien unterschiedliche, linear trennbare Regionen einnehmen.

Risssegmentierung in der Infrastruktur. TarmacView wendet die dichten Patch-Token von DINOv3 für die pixelgenaue Risssegmentierung in Startbahn- und Fahrbahnbildern an. Das 14x14-Gitter aus 768-dimensionalen Patch-Einbettungen erfasst sowohl die lokale Risstextur (innerhalb jedes 16x16-Patches) als auch kontextuelle Informationen (welche Patches der Riss verbindet). Der Segmentierungskopf ist ein leichtes Netzwerk mit 3 transponierten Faltungsschichten, die das 14x14-Merkmalsgitter auf 224x224-Auflösung hochskalieren. Das Training erfordert etwa 500 beschriftete Risssegmentierungsbilder (224x224-Kacheln mit pixelgenauen Rissmasken) und konvergiert in 2-3 Stunden auf einer einzelnen RTX 3060 GPU. Das resultierende Modell erreicht einen F1-Score von 94,7% für die Risserkennung, verglichen mit 88,2% mit ResNet-50 und 91,3% mit DINOv2 unter identischen Trainingsbedingungen. Der F1-Score verbessert sich auf 96,8% bei Verwendung des Hochauflösungs-Anpassungsprotokolls (Feintuning von DINOv3 bei 512px Eingabeauflösung mit dem empfohlenen 10K-Schritt-Plan). Die Genauigkeit der Rissbreitenschätzung (gemessen als mittlerer absoluter Fehler in mm) beträgt 0,8mm für DINOv3 gegenüber 1,4mm für DINOv2 und 2,1mm für ResNet-50.

Register-Token zur Hintergrundabsorption. Die 4 Register-Token von DINOv3 spielen eine spezifische Rolle für die Qualität dichter Merkmale. Diese Token sind zusätzliche lernbare Token (Dimension 768), die der Sequenz zusammen mit dem CLS-Token vorangestellt werden. Während der Self-Attention können Register-Token von allen Patch-Token beachtet werden und auf sie achten. Die Schlüsseleinsicht ist, dass einige visuelle Patches in einem Bild Ausreißer- oder Hintergrundinformationen enthalten – Himmel, entfernte Objekte oder gleichmäßige texturlose Regionen – die, wenn sie von den Patch-Token kodiert werden müssten, die Qualität des Merkmalsraums verschlechtern würden. Register-Token wirken als absorbierende Speicherplätze, die diese nicht-informativen Inhalte aufnehmen, sodass sich die Patch-Token auf semantisch bedeutungsvolle Bildregionen konzentrieren können. Der praktische Effekt ist eine messbare Verbesserung der Qualität dichter Merkmale: +1,8 mIoU auf ADE20K und deutlich sauberere Patch-Ähnlichkeitskarten, insbesondere für Bilder mit großen gleichmäßigen Hintergrundregionen. Für die Infrastrukturinspektion, bei der Bilder häufig große Flächen mit gleichmäßiger Fahrbahntextur enthalten, helfen Register-Token, saubere Patch-Merkmale zu erhalten, die sich auf Schadensmuster und nicht auf die Hintergrundtextur konzentrieren.

MPS- und GPU-Training

Die Trainings- und Inferenzinfrastruktur von DINOv3 unterstützt mehrere Hardware-Backends, von großen GPU-Clustern über Edge-Geräte bis hin zu Apple Silicon Macs.

GPU-Training in großem Maßstab. Das ViT-7B-Lehrermodell wurde auf 256 NVIDIA A100 80GB SXM4 GPUs mit NVLink-Verbindungen trainiert, was eine aggregierte GPU-Speicherbandbreite von etwa 20 TB/s und 25 PFLOPS FP16-Rechenleistung bietet. Das Training verwendet Fully Sharded Data Parallel (FSDP) – PyTorchs native Sharding-Strategie, die Modellparameter, Gradienten und Optimiererzustände auf alle GPUs verteilt. Mit FSDP und Mixed-Precision-Training (BF16) passt das 7B-Modell in den aggregierten Speicher von 256 GPUs (256 x 80GB = 20,48 TB), obwohl jede einzelne GPU nur etwa 2-3% der Modellparameter halten kann. Die xFormers-Bibliothek (entwickelt von Meta AI) bietet speichereffiziente Aufmerksamkeitsimplementierungen, darunter speichereffiziente Aufmerksamkeit (reduziert den Aufmerksamkeitsspeicher von O(N2) auf O(N)) und block-sparse Attention-Muster. Die Kombination aus FSDP, BF16, xFormers und Gradienten-Checkpointing reduziert den Speicherbedarf pro GPU für den ViT-7B von geschätzten 250GB (volle Präzision, keine Optimierungen) auf etwa 65GB, was innerhalb der 80GB A100-Kapazität liegt.

Single-GPU-Inferenz. Für die praktische Bereitstellung läuft DINOv3 ViT-B/16 (86M Parameter) effizient auf einer einzelnen NVIDIA GPU. Bei FP32-Präzision benötigt das Modell etwa 344MB Speicher für Parameter (86M x 4 Bytes pro Float). Mit Aktivierungen für eine Batch-Größe von 1 (224x224 Bild) beträgt der Gesamtspeicherverbrauch etwa 1,2-1,5GB (Parameter + Aktivierungen + Zwischentensoren). Bei FP16-Präzision sinkt der Parameterspeicher auf 172MB und der Gesamtverbrauch auf etwa 0,8-1,0GB. Dies bedeutet, dass DINOv3 ViT-B/16 bequem auf GPUs mit nur 4 GB VRAM läuft, einschließlich älterer Karten wie der NVIDIA GTX 1650 und dem NVIDIA Jetson Xavier NX. Der Durchsatz auf einer RTX 3060 (12GB) bei FP16 beträgt etwa 100 Bilder/Sekunde. Auf einer NVIDIA A100 übersteigt der Durchsatz 400 Bilder/Sekunde, was eine Echtzeitverarbeitung von 4K-Drohnenbildern bei Kachelzerlegungsgeschwindigkeiten ermöglicht.

Apple Silicon (MPS)-Unterstützung. DINOv3 ist vollständig kompatibel mit Apples Metal Performance Shaders (MPS)-Backend in PyTorch und bietet GPU-beschleunigte Inferenz auf Apple Silicon Macs (M1, M2, M3, M4 Serie). Das MPS-Backend bildet PyTorch-Operationen auf Apples GPU-Architektur über das Metal-Framework ab. Die Leistung auf einem M2 Pro MacBook Pro (19-Core GPU, 32GB Unified Memory) erreicht etwa 25-35 Bilder/Sekunde für ViT-B/16 bei FP16-Präzision – ausreichend für die Stapelverarbeitung großer Bildsammlungen. Auf einem M2 Ultra Mac Studio (76-Core GPU, 192GB Unified Memory) erreicht der Durchsatz etwa 70-90 Bilder/Sekunde. Der Speicherverbrauch ist effizient, da die einheitliche Speicherarchitektur von Apple den CPU-GPU-Datentransfer-Overhead eliminiert. TarmacView verwendet MPS-beschleunigtes DINOv3 für die On-Site-Datenverarbeitung im Feld, sodass Inspektoren die Inferenz direkt auf ihren MacBooks ausführen können, ohne dedizierte GPU-Hardware zu benötigen. Der größere einheitliche Speicher von Apple Silicon (bis zu 192GB auf M2 Ultra) ermöglicht auch die Verarbeitung von Bildern mit sehr hoher Auflösung ohne Kachelung – ein 4096x4096 Bild erzeugt 256x256 Patches = 65.536 Token, was etwa 8GB VRAM-äquivalenten Speicher auf dem einheitlichen Speicherpool erfordert.

Verteilte Inferenz. Für groß angelegte Infrastruktur-Inspektionsprojekte, die Millionen von Bildern verarbeiten, ist eine verteilte Inferenz über mehrere GPUs oder Maschinen hinweg erforderlich. DINOv3 unterstützt PyTorch DistributedDataParallel (DDP) für Multi-GPU-Inferenz auf einem einzelnen Server, Modellparallelität (Pipeline-Parallelität für ViT-7B) und Ray (ein Open-Source-Framework für verteiltes Rechnen) für Multi-Node-verteilte Inferenz. Die Bereitstellung von TarmacView verwendet Kubernetes mit GPU-Knotenpools, die DINOv3-Inferenz als skalierbaren Microservice ausführen. Jeder Inferenz-Pod läuft auf einer einzelnen T4 GPU (16GB VRAM) und verarbeitet etwa 70 Bilder/Sekunde. Ein Cluster von 50 Pods erreicht einen Durchsatz von 3.500 Bildern/Sekunde und ermöglicht so die Verarbeitung einer 500-Bild-Startbahnvermessung in weniger als 3 Sekunden. Der Inferenzserver verwendet TorchServe für die Modellbereitstellung mit dynamischem Batching (Batch-Größen von 4-16, abhängig vom Anfragevolumen) und FP16-Präzision, um den Durchsatz zu maximieren.

Edge-Bereitstellung mit NVIDIA Jetson. Für feldbereitgestellte Inspektionssysteme, die Drohnen oder Bodenfahrzeuge verwenden, kann DINOv3 ViT-B/16 auf NVIDIA Jetson Edge-Geräten bereitgestellt werden. Das Jetson Orin NX 16GB Modul (100 TOPS KI-Leistung) erreicht 15-25 Bilder/Sekunde mit DINOv3 ViT-B/16 bei FP16, abhängig vom Strommodus (15W vs. 25W vs. 40W). Das Modell wird mit TensorRT optimiert – NVIDIAs Deep-Learning-Inferenzoptimierer, der Schichten fusioniert, die Kernel-Auswahl optimiert und auf FP16 oder INT8 quantisiert. Mit TensorRT INT8-Quantisierung steigt die Inferenzgeschwindigkeit auf 30-40 Bilder/Sekunde auf dem Jetson Orin NX bei einer Genauigkeitsverschlechterung von weniger als 1% gegenüber FP32. Der Jetson Xavier NX (21 TOPS) erreicht 8-12 Bilder/Sekunde mit TensorRT FP16. Diese Edge-Bereitstellung ermöglicht die Echtzeit-Risserkennung während des Drohnenflugs – die Drohnenkamera nimmt Bilder auf, und DINOv3 verarbeitet sie an Bord, wodurch potenzielle Defekte innerhalb von Sekunden nach der Aufnahme markiert werden, ohne dass eine Cloud-Verbindung erforderlich ist.

Open-Source-Verfügbarkeit und Lizenzierung

DINOv3 wurde 2025 von Meta AI als Open-Source-Projekt veröffentlicht und setzt damit die Tradition des Unternehmens fort, hochmoderne KI-Forschungsmodelle öffentlich zugänglich zu machen. Das Verständnis der Lizenz- und Vertriebsbedingungen ist für Organisationen, die DINOv3 in kommerziellen Produkten einsetzen möchten, unerlässlich.

Code und Modellgewichte. Die vollständige DINOv3-Codebasis ist auf GitHub unter facebookresearch/dinov3 verfügbar (10.700+ Sterne Mitte 2025). Das Repository enthält den vollständigen Trainings- und Evaluierungscode (PyTorch), Modelldefinitionen, Datenverarbeitungspipelines, Evaluierungsskripte und vortrainierte Gewichte für alle 12 veröffentlichten Modellvarianten. Die Modellgewichte sind auch auf Hugging Face Hub unter dem Namensraum facebook/dinov3-* verfügbar, darunter: facebook/dinov3-vits16-pretrain-lvd1689m (ViT-Small, 21M Parameter) facebook/dinov3-vitb16-pretrain-lvd1689m (ViT-Base, 86M Parameter) – das primäre Modell, das von TarmacView verwendet wird facebook/dinov3-vitl16-pretrain-lvd1689m (ViT-Large, 304M Parameter) facebook/dinov3-vith16-pretrain-lvd1689m (ViT-H+, ~1,5B Parameter) facebook/dinov3-vit7b-pretrain-lvd1689m (ViT-7B, 7B Parameter) Plus ConvNeXt-Varianten (T, S, B, L) und satellitenspezifische Modelle (SAT-493M)

Der Zugriff auf Hugging Face erfordert, dass Benutzer den Bedingungen von Meta zustimmen und Kontaktinformationen angeben, die in Übereinstimmung mit der Meta-Datenschutzrichtlinie gesammelt, gespeichert und verarbeitet werden. Die Modellgewichte werden als PyTorch state_dict-Dateien verteilt, die mit der Hugging Face Transformers-Bibliothek kompatibel sind (Integration verfügbar via AutoModel.from_pretrained()).

Die DINOv3-Lizenz. DINOv3 wird unter der DINOv3-Lizenz veröffentlicht, einer benutzerdefinierten Open-Source-Lizenz, die von Meta AI speziell für diese Modellveröffentlichung entwickelt wurde. Dies unterscheidet sich von DINOv2, das unter der standardmäßigen Apache 2.0-Lizenz veröffentlicht wurde. Die DINOv3-Lizenz erlaubt: Nutzung, Vervielfältigung, Modifikation und Verteilung des Modells und des Codes Kommerzielle Nutzung, einschließlich Integration in Produkte und Dienstleistungen Unterlizenzierung abgeleiteter Werke unter anderen Bedingungen

Die DINOv3-Lizenz enthält spezifische Anforderungen an die Namensnennung (Urheberrechtshinweise müssen beibehalten werden) und eine Richtlinie zur akzeptablen Nutzung, die die Verwendung des Modells für bestimmte Zwecke verbietet, darunter Überwachung, die Menschenrechte verletzt, autonome Waffen und Verstöße gegen geltendes Recht. Die Lizenz hat in der Entwickler-Community Diskussionen ausgelöst – GitHub-Issue #31 im dinov3-Repository fordert speziell die Veröffentlichung unter einer standardmäßigeren Lizenz wie Apache 2.0, um die rechtliche Compliance für Unternehmen mit etablierten Open-Source-Lizenzrichtlinien zu vereinfachen. TarmacView hat die DINOv3-Lizenz geprüft und festgestellt, dass Anwendungen zur Infrastrukturinspektion und Defekterkennung unter ihren Bedingungen vollständig zulässig sind.

Vergleich mit der Lizenzierung anderer Rückgrate.

Rechenkosten der Reproduktion. Die Trainingskosten für DINOv3 ViT-7B werden auf 2-5 Millionen USD geschätzt (etwa 15.000 GPU-Tage auf A100-80GB zu On-Demand-Cloud-Preisen). Die destillierten kleineren Modelle (ViT-B, ViT-L) sind deutlich günstiger zu reproduzieren, erfordern aber dennoch erhebliche Rechenleistung – die ViT-Base-Destillation von ViT-7B auf LVD-1689M erfordert etwa 500-800 GPU-Tage. Für Praktiker entfällt jedoch durch die Verfügbarkeit vortrainierter Gewichte die Notwendigkeit jeglicher Trainingsrechenleistung – die Gewichte können heruntergeladen und sofort für die Inferenz zu den Kosten einer einzelnen GPU beliebiger Generation verwendet werden. Diese Zugänglichkeit ist der grundlegende Wertbeitrag von Foundation-Modellen: Die enormen Trainingskosten werden auf alle nachgelagerten Benutzer amortisiert.

Community- und Ökosystem-Integration. DINOv3 profitiert von einer breiten Ökosystem-Integration: Hugging Face Transformers bietet eine Plug-and-Play-API, PyTorch Hub unterstützt das Laden von Modellen via torch.hub.load(), und das Modell ist im Torchvision-Modellzoo für den unkomplizierten Zugriff enthalten. Die Integration mit Weights & Biases, MLflow und Neptune.ai für die Experimentverfolgung wird durch standardmäßige PyTorch-Hooks unterstützt. Der Export im ONNX (Open Neural Network Exchange)-Format wird für die Bereitstellung in Nicht-PyTorch-Umgebungen unterstützt, einschließlich TensorRT für NVIDIA Edge-Geräte, CoreML für Apple-Geräte und TFLite für die mobile Bereitstellung. Die Infrastruktur-Inspektionsplattform von TarmacView integriert DINOv3 über die Hugging Face Transformers-Pipeline, mit TensorRT-Optimierung für die Edge-Bereitstellung auf Jetson Orin NX und MPS-Beschleunigung für macOS-Feld-Laptops.

Fazit. DINOv3 stellt einen Generationssprung bei selbstüberwachten Vision-Foundation-Modellen dar und erreicht eine hochmoderne Leistung bei globalen und dichten Vorhersageaufgaben durch beispiellose Skalierung (1,689 Milliarden Bilder, 7 Milliarden Parameter) und die Gram-Anchoring-Innovation, die die Qualität dichter Merkmale bewahrt. Für die Analyse von Infrastrukturoberflächen bietet die ViT-B/16-Variante von DINOv3 einen 768-dimensionalen Einbettungsraum mit außergewöhnlicher semantischer Struktur – Oberflächentypen, Rissmuster und Defektmerkmale sind im Einbettungsraum linear trennbar, was eine genaue Klassifizierung und Erkennung mit eingefrorener Rückgrat-Inferenz ermöglicht. Die Open-Source-Verfügbarkeit, die breite Hardware-Unterstützung (GPU, MPS, Edge) und die großzügige Lizenzierung machen DINOv3 zum optimalen Rückgrat für die automatisierte Infrastruktur-Inspektionsplattform von TarmacView und liefern eine hochmoderne Defekterkennungsgenauigkeit mit minimalen domänenspezifischen Trainingsdaten und Rechenanforderungen.