Czym jest przestrzeń osadzeń?

Przestrzeń osadzeń – wektorowa reprezentacja danych (uczenie maszynowe): szczegółowy przewodnik

Definicja przestrzeni osadzeń

Przestrzeń osadzeń to wielowymiarowa przestrzeń matematyczna, w której złożone obiekty danych, takie jak obrazy, tekst lub odczyty czujników, są przekształcane na wektory numeryczne (zwane osadzeniami) w taki sposób, że obiekty podobne semantycznie lub wizualnie są umieszczone blisko siebie w przestrzeni. W przeciwieństwie do surowych danych, które mogą istnieć w wysokowymiarowej przestrzeni wejściowej (np. miliony pikseli w obrazie), osadzenia kompresują tę informację do niższej wymiarowej ciągłej przestrzeni wektorowej, zachowując znaczące relacje i wzorce.

Kluczowym spostrzeżeniem jest to, że obiekty o podobnych znaczeniach, strukturach lub cechach wizualnych grupują się razem w tej przestrzeni, podczas gdy obiekty niepodobne są rozmieszczone dalej od siebie. Ta właściwość czyni przestrzenie osadzeń nieocenionymi w zadaniach uczenia maszynowego, takich jak wyszukiwanie podobieństw, klasyfikacja, wykrywanie anomalii i wyszukiwanie treści.

Jak uczone są osadzenia

Osadzenia nie są tworzone ręcznie. Są one uczone przez sieci neuronowe podczas treningu na oznaczonych lub nieoznaczonych danych. Proces uczenia zazwyczaj przebiega w dwóch etapach.

Trening sieci neuronowej: Model głębokiego uczenia, taki jak konwolucyjna sieć neuronowa (CNN) lub transformer wizyjny (ViT), jest trenowany na zadaniu, takim jak klasyfikacja lub przewidywanie podobieństwa. Podczas propagacji wstecznej ukryte warstwy sieci uczą się wyodrębniać coraz bardziej abstrakcyjne cechy z surowych danych wejściowych. Ostatnia ukryta warstwa sieci przed wyjściem działa jako warstwa osadzeń, wyprowadzając wektor o stałym rozmiarze, który koduje najbardziej dyskryminujące informacje o wejściu.

Funkcje celu: Różne cele kształtują strukturę wyuczonej przestrzeni osadzeń:

• Strata klasyfikacyjna: Modele trenowane do klasyfikowania obrazów (np. identyfikacji typów pęknięć w nawierzchni) naturalnie uczą się osadzeń, w których obrazy z tej samej klasy grupują się razem.
• Uczenie kontrastowe: Metody takie jak sieci syjamskie lub strata tripletowa wyraźnie przybliżają do siebie podobne pary i oddalają niepodobne pary, bezpośrednio kształtując geometrię przestrzeni.
• Uczenie samonadzorowane: Modele trenowane na nieoznaczonych danych przy użyciu technik takich jak modelowanie maskowanych obrazów lub wstępne trenowanie kontrastowe uczą się osadzeń, które wychwytują strukturę semantyczną bez ręcznie oznaczonych adnotacji.

Poprzez iteracyjne udoskonalanie osadzeń w celu optymalizacji tych celów, sieci neuronowe odkrywają znaczące ukryte reprezentacje danych.

Przestrzenie osadzeń w inspekcji wizyjnej

W inspekcji infrastruktury i nawierzchni za pomocą dronów przestrzenie osadzeń umożliwiają następujące przepływy pracy:

Kodowanie obrazu: Obrazy inspekcyjne o wysokiej rozdzielczości z lotu ptaka lub z poziomu gruntu, zawierające pęknięcia, wykruszenia, zużycie powierzchni i anomalie oświetleniowe, są przepuszczane przez wytrenowaną sieć CNN lub transformer wizyjny, który mapuje każdy obraz na wektor w przestrzeni osadzeń. Proces ten redukuje obraz o kilku milionach pikseli do zwartego wektora, często o 256 do 1024 wymiarach, który oddaje istotę tego, co obraz przedstawia.

Reprezentacja uszkodzeń: Różne typy uszkodzeń, takie jak pęknięcia podłużne, pęknięcia poprzeczne, pęknięcia siatkowe, awarie LED i niewspółosiowość łożysk, są uczone zajmować odrębne regiony przestrzeni osadzeń. Obraz pękniętego odcinka grupuje się w pobliżu innych obrazów pęknięć. Obraz zdrowej nawierzchni grupuje się w innym regionie. Odległość między osadzeniami bezpośrednio koreluje z podobieństwem wizualnym i nasileniem uszkodzenia.

Generalizacja modelu: Ponieważ osadzenia kodują ukryte cechy, a nie zapamiętują wzorców pikseli, sieć CNN wytrenowana do rozpoznawania typów uszkodzeń na pasie startowym jednego lotniska może być zastosowana na innym lotnisku z innym oświetleniem, kątami kamery lub warunkami sezonowymi. Osadzenia wychwytują niezmienną strukturę samych wad.

Zastosowania w ocenie nawierzchni i infrastruktury

Przestrzenie osadzeń odblokowują kilka kluczowych możliwości w systemach inspekcji:

Wymiarowość i architektura modelu

Wymiarowość przestrzeni osadzeń jest wyborem projektowym z ważnymi kompromisami:

• Niska wymiarowość (32-128 wymiarów): Szybsze obliczenia, mniejszy ślad pamięciowy, ale może nie wychwytywać drobnych różnic między podtypami uszkodzeń.
• Średnia wymiarowość (256-512 wymiarów): Równoważy wyrazistość i wydajność. Szeroko stosowana w nowoczesnych modelach wizyjnych, takich jak ResNet, EfficientNet i CLIP.
• Wysoka wymiarowość (1000+ wymiarów): Zachowuje maksymalną ilość informacji, ale zwiększa koszt obliczeniowy i może prowadzić do przeuczenia, jeśli dane treningowe są ograniczone.

Typowe architektury do uczenia osadzeń w zadaniach wizyjnych obejmują:

• Konwolucyjne sieci neuronowe (CNN): Ekstrakcja cech poprzez uczone filtry konwolucyjne. Sprawdzone i wydajne dla danych obrazowych.
• Transformery wizyjne (ViT): Architektury oparte na uwadze, które wychwytują zależności dalekiego zasięgu. Coraz bardziej popularne w obrazach inspekcyjnych, gdzie kontekst ma znaczenie.
• Modele hybrydowe: Łączą wydajność CNN z wyrazistością transformera, stosowane w najnowocześniejszych systemach inspekcyjnych.

Architekci wybierają wymiarowość i architekturę na podstawie rozmiaru zbioru danych, budżetu obliczeniowego, wymaganej latencji wnioskowania i złożoności wzorców uszkodzeń do rozróżnienia.

Wyszukiwanie podobieństw i grupowanie

Po nauczeniu osadzeń umożliwiają one dwa praktyczne przepływy pracy:

Wyszukiwanie podobieństw: Dla obrazu zapytania przedstawiającego pęknięcie nawierzchni system oblicza jego osadzenie i pobiera K najbliższych sąsiadów w przestrzeni osadzeń przy użyciu odległości euklidesowej, podobieństwa cosinusowego lub wyuczonych funkcji metrycznych. Jest to o rzędy wielkości szybsze niż porównanie piksel po pikselu i bardziej odporne na zmiany oświetlenia, kąta i przybliżenia.

Grupowanie: Algorytmy grupowania nienadzorowanego, takie jak K-średnich, DBSCAN lub grupowanie hierarchiczne, mogą być stosowane bezpośrednio do osadzeń w celu grupowania podobnych obrazów inspekcyjnych bez ręcznego oznaczania. Wspiera to analizę eksploracyjną i odkrywanie nowych wzorców uszkodzeń, które mogły nie być przewidziane podczas treningu.

Oba przepływy pracy opierają się na podstawowej właściwości, że odległości osadzeń odzwierciedlają podobieństwo semantyczne, co czyni przestrzeń matematyczną interpretowalną dla zadań końcowych.

Zalety w porównaniu z porównaniem na poziomie pikseli

Przestrzenie osadzeń zapewniają kilka zalet w porównaniu z naiwnym porównaniem obrazów piksel po pikselu lub opartym na histogramach:

Rzeczywiste wdrożenie w potokach inspekcyjnych

W produkcyjnych systemach inspekcji infrastruktury osadzenia są osadzone w następujących przepływach pracy. Obrazy z lotu ptaka lub z poziomu gruntu są pozyskiwane z pasów startowych, dróg kołowania, systemów oświetlenia podejścia lub powierzchni nawierzchni. Obrazy te są przepuszczane przez wytrenowaną sieć neuronową w celu wyprodukowania osadzeń. Osadzenia są następnie używane do klasyfikacji typów uszkodzeń, oznaczania anomalii, porównywania trendów historycznych i pobierania podobnych obrazów referencyjnych z bazy wiedzy. Ten potok działa w czasie rzeczywistym lub zbliżonym do rzeczywistego, umożliwiając inspektorom skupienie się na wykonalnych wnioskach, zamiast ręcznego przeglądania surowych obrazów.

Przestrzenie osadzeń stanowią zatem fundamentalną technikę w nowoczesnej inspekcji infrastruktury opartej na AI, wypełniając lukę między surowymi danymi sensorycznymi a interpretowalnym przez maszynę znaczeniem semantycznym.