Weryfikacja Human-in-the-Loop (HITL) w zautomatyzowanej inspekcji

Definicja i uzasadnienie

Human-in-the-loop (HITL) to paradygmat architektoniczny dla systemów półautomatycznych, w którym model uczenia maszynowego wykonuje wstępne przetwarzanie danych, a następnie operator-ludzki dokonuje przeglądu, walidacji lub korekty wyników modelu, zanim zostaną one zaakceptowane jako ostateczne. W kontekście inspekcji infrastruktury HITL odnosi się konkretnie do przepływów pracy, w których algorytm wykrywania wad oparty na AI przetwarza obrazy w wysokiej rozdzielczości mostów, nawierzchni, pasów startowych lub obiektów lotniskowych, przypisuje poziomy ufności do każdej wykrytej anomalii, a następnie kieruje detekcje o niskim lub niejednoznacznym poziomie ufności do wykwalifikowanego inspektora w celu ręcznej oceny.

Podstawowe uzasadnienie dla HITL w inspekcji wynika z nieodłącznych ograniczeń obecnych modeli widzenia komputerowego wdrażanych w środowiskach krytycznych dla bezpieczeństwa. Modele głębokiego uczenia, w tym konwolucyjne sieci neuronowe (CNN) i transformery wizyjne, osiągają wysoką dokładność na zbiorach referencyjnych, ale mogą zawodzić w nieprzewidywalny sposób w przypadkach brzegowych – nietypowych warunkach oświetleniowych, nowych morfologiach pęknięć, zanieczyszczeniach powierzchni imitujących wzory wad lub przesłonięciach spowodowanych roślinnością czy gruzem. Badanie z 2024 roku na Uniwersytecie Stanu Michigan, oceniające siedem multimodalnych dużych modeli językowych w ocenie stanu nawierzchni, wykazało, że choć modele takie jak GPT-4o osiągały dobre wyniki w standardowej identyfikacji uszkodzeń, wszystkie modele wykazywały zmienność w rozpoznawaniu wzorców przestrzennych i ocenie stopnia nasilenia – zadaniach wymagających rozumienia kontekstowego. Architektura HITL uznaje, że w przypadku aktywów infrastrukturalnych, których awaria może prowadzić do katastrofalnych skutków, wydajność maszyny musi być podporządkowana ludzkiemu osądowi na etapie podejmowania ostatecznej decyzji.

Podejście HITL rozwiązuje również problem luki odpowiedzialności, który pojawia się, gdy decyzje są podejmowane wyłącznie przez algorytmy. W regulowanych branżach – lotnictwie, infrastrukturze drogowej, obiektach jądrowych – raporty inspekcyjne muszą być podpisane przez certyfikowanego specjalistę, który ponosi prawną odpowiedzialność za wyniki. Europejska Agencja Bezpieczeństwa Lotniczego (EASA) wydała wytyczne w ramach swojego Planu Działania ds. AI, stwierdzając, że zastosowania AI wysokiego ryzyka w utrzymaniu lotnictwa muszą obejmować „znaczący nadzór człowieka" z „możliwością unieważnienia lub odwrócenia decyzji". Podobnie amerykańska Federalna Administracja Drogownictwa (FHWA) w ramach National Bridge Inspection Standards (NBIS) wymaga, aby oceny stanu mostów były dokonywane przez lidera zespołu spełniającego określone kryteria kwalifikacyjne – wymóg, którego nie można delegować na oprogramowanie.

Raport Narodowych Akademii z 2024 roku na temat zastosowań AI w automatycznej ocenie stanu nawierzchni podkreślił, że „weryfikacja przez człowieka wyników automatycznego wykrywania uszkodzeń jest niezbędna do utrzymania jakości danych i zapewnienia, że decyzje dotyczące utrzymania opierają się na wiarygodnych ocenach". Raport udokumentował, że agencje stosujące w pełni zautomatyzowaną ocenę nawierzchni bez przeglądu przez człowieka odnotowały wskaźniki błędów na poziomie 15–25% w przypadku pęknięć o umiarkowanym nasileniu, w porównaniu z 3–8%, gdy wyniki AI były przeglądane przez człowieka.

Architektura HITL: od wykrycia AI do raportu końcowego

Standardowa architektura HITL dla inspekcji infrastruktury opiera się na ustrukturyzowanym, pięcioetapowym pipeline, który przekształca surowe dane sensoryczne w zweryfikowaną ocenę stanu. Każdy etap ma określone wymagania techniczne i punkty kontroli jakości.

Etap 1: Akwizycja danych

Obrazy w wysokiej rozdzielczości są pozyskiwane za pomocą bezzałogowych statków powietrznych (UAV), pojazdów inspekcyjnych wyposażonych w kamery liniowe lub kamer stacjonarnych montowanych na bramownicach. W przypadku inspekcji mostów typowa misja UAV zbiera 5000–10 000 obrazów o rozdzielczości 20–50 megapikseli, z naziemną odległością próbkowania (GSD) 0,5–2 mm na piksel. W przypadku badań nawierzchni specjalistyczne pojazdy rejestrują ciągłe obrazy z prędkościami autostradowymi przy użyciu wielu zsynchronizowanych kamer pokrywających 4-metrową szerokość pasa. Faza akwizycji danych musi obejmować rygorystyczną kontrolę jakości – detekcję rozmycia, walidację ekspozycji i weryfikację tagowania geoprzestrzennego – ponieważ wydajność AI na dalszych etapach jest ograniczona jakością danych wejściowych.

Etap 2: Silnik wnioskowania AI

Pozyskane obrazy są przetwarzane przez silnik wnioskowania głębokiego uczenia, zazwyczaj oparty na architekturze CNN, takiej jak YOLOv8, Faster R-CNN lub wariant U-Net do segmentacji semantycznej. Model wykonuje detekcję na poziomie pikseli lub obwiedni dla predefiniowanych klas wad. W inspekcji mostów klasy te obejmują zazwyczaj pęknięcia (poprzeczne, podłużne, ukośne, siatkowe), ubytki, delaminację, plamy korozji, odsłonięte zbrojenie i uszkodzenia połączeń. W inspekcji nawierzchni klasy obejmują pęknięcia zmęczeniowe, pęknięcia blokowe, pęknięcia krawędziowe, koleiny, wyboje, dziury i łatania.

Każda detekcja jest opatrzona poziomem ufności w zakresie od 0,0 do 1,0, reprezentującym oszacowanie przez model prawdopodobieństwa, że detekcja jest prawdziwie pozytywna. Silnik wnioskowania generuje również metadane, w tym współrzędne detekcji w przestrzeni obrazu, wymiary wady w pikselach (lub w jednostkach fizycznych, jeśli dostępne są dane kalibracyjne) oraz etykietę klasyfikacyjną.

Etap 3: Routing oparty na poziomie ufności

Wyniki AI są przetwarzane przez moduł routingu, który stosuje konfigurowalne progi ufności do triażu detekcji. Logika routingu zazwyczaj wykorzystuje system dwóch progów:

Wartości progów są dostosowywane do konkretnego obiektu i sytuacji. Inspekcja mostu na elemencie krytycznym dla pękania (FCM) może obniżyć próg przeglądu do 0,70, aby zapewnić, że wszystkie potencjalnie istotne wady zostaną sprawdzone przez człowieka. Badanie nawierzchni na mało ruchliwej drodze wiejskiej może podnieść próg do 0,90, akceptując nieco wyższy wskaźnik wyników fałszywie negatywnych w zamian za zmniejszone obciążenie przeglądem.

Etap 4: Interfejs przeglądu przez człowieka

Oznaczone detekcje są prezentowane wykwalifikowanemu inspektorowi za pośrednictwem specjalistycznego interfejsu przeglądowego. Interfejs zazwyczaj wyświetla wykrytą wadę z obwiednią wygenerowaną przez AI lub nakładką segmentacji, poziom ufności, klasyfikację wady oraz informacje kontekstowe, takie jak identyfikator składnika aktywów (numer mostu, odcinek nawierzchni), współrzędne lokalizacji i historyczne dane inspekcyjne, jeśli są dostępne.

Inspektor ma trzy możliwe działania dla każdej oznaczonej detekcji:

• Potwierdź — Zaakceptuj predykcję AI jako prawidłową; detekcja staje się częścią raportu końcowego
• Odrzuć — Odrzuć detekcję jako fałszywie pozytywną
• Popraw — Zmodyfikuj predykcję AI poprzez dostosowanie obwiedni, zmianę klasyfikacji lub aktualizację oceny nasilenia

Nowoczesne interfejsy przeglądowe zawierają skróty klawiaturowe i operacje wsadowe, aby przyspieszyć proces przeglądu. Doświadczony inspektor może przejrzeć 200–500 oznaczonych wad na godzinę, w zależności od gęstości wad i złożoności obrazu. Sesja przeglądu generuje ślad audytowy dokumentujący każde działanie inspektora, co jest kluczowe dla zapewnienia jakości i zgodności regulacyjnej.

Etap 5: Generowanie raportu końcowego

Końcowy raport stanu integruje automatycznie zaakceptowane detekcje o wysokim poziomie ufności z detekcjami oznaczonymi i zweryfikowanymi przez człowieka. Raport oblicza zagregowane metryki, takie jak gęstość wad (procent powierzchni dotkniętej każdym typem wady), Wskaźnik Stanu Nawierzchni (PCI) dla lotnisk lub dróg, lub oceny stanu na poziomie elementów dla mostów zgodnie z ramami inspekcji na poziomie elementów AASHTO.

Progi ufności dla oznaczania

Progi ufności to krytyczne parametry strojenia, które określają wydajność operacyjną i margines bezpieczeństwa każdego systemu inspekcji HITL. Zbyt agresywne ustawienie progów (akceptowanie przewidywań o niskim poziomie ufności) zwiększa ryzyko wyników fałszywie negatywnych – przeoczonych wad, które mogłyby zagrozić integralności strukturalnej. Zbyt konserwatywne ustawienie progów (kierowanie wszystkiego do przeglądu przez człowieka) niweczy cel wydajnościowy automatyzacji.

Krzywa charakterystyki operacyjnej odbiornika (ROC) modelu AI stanowi analityczną podstawę doboru progu. Krzywa ROC przedstawia wskaźnik prawdziwie pozytywnych (czułość) w funkcji wskaźnika fałszywie pozytywnych dla każdej możliwej wartości progowej. Pole pod krzywą ROC (AUC) podsumowuje ogólną zdolność dyskryminacyjną modelu. Model z AUC na poziomie 0,95 lub wyższym na reprezentatywnych danych testowych jest ogólnie uważany za odpowiedni do wdrożenia HITL.

Najlepsze praktyki branżowe zalecają kalibrację progów za pomocą macierzy kosztów, która przypisuje wagi pieniężne lub oparte na ryzyku do każdego typu błędu:

Proces kalibracji progów zazwyczaj obejmuje uruchomienie modelu AI na zbiorze walidacyjnym składającym się z co najmniej 5000–10 000 obrazów, które zostały niezależnie oznaczone przez certyfikowanych inspektorów. Detekcje modelu są porównywane z etykietami referencyjnymi, a próg jest dostosowywany w celu osiągnięcia docelowego wskaźnika fałszywie negatywnych – zwykle 1–2% dla elementów mostów krytycznych dla pękania i 5–8% dla ogólnych badań nawierzchni.

Progowanie dynamiczne to nowa praktyka, w której progi są dostosowywane w czasie rzeczywistym na podstawie warunków środowiskowych, metryk jakości obrazu lub krytyczności składnika aktywów. Na przykład, jeśli pojazd inspekcyjny napotka ulewny deszcz lub warunki słabego oświetlenia pogarszające jakość obrazu, system automatycznie obniża próg ufności, aby kierować więcej detekcji do przeglądu przez człowieka, kompensując wyższą niepewność przewidywań modelu.

Interfejsy przeglądowe i przepływy pracy

Interfejs przeglądu przez człowieka jest operacyjnym centrum systemu inspekcji HITL. Jego konstrukcja ma bezpośredni wpływ zarówno na szybkość, jak i dokładność procesu weryfikacji. Źle zaprojektowane interfejsy powodują zmęczenie operatora, zwiększają wskaźniki błędów i tworzą wąskie gardła, które niwelują korzyści wydajnościowe wynikające z automatyzacji AI.

Skuteczne interfejsy przeglądowe uwzględniają kilka kluczowych zasad projektowych:

Równoległe wyświetlanie wyników AI i oryginalnych obrazów. Interfejs powinien nakładać detekcję AI (obwiednię, maskę segmentacji lub mapę ciepła) na oryginalny obraz, z możliwością włączania i wyłączania nakładki. Pozwala to inspektorowi zobaczyć dokładnie, co wykrył model, zachowując jednocześnie możliwość inspekcji surowych obrazów pod kątem przeoczonych wad.

Kontekstowe narzędzia nawigacji. Interfejs powinien zapewniać system nawigacji na poziomie wad (do przodu/do tyłu przez oznaczone detekcje) zintegrowany z nawigacją na poziomie składników aktywów (np. selektor elementów mostu lub mapa odcinków nawierzchni). Platforma Twinsity Twinspect, zaprezentowana w 2025 roku w ramach proof of concept z Die Autobahn GmbH na niemieckich mostach autostradowych, wdrożyła skonsolidowany widok, w którym uszkodzenia pojawiające się na wielu obrazach są scalane w unikalne rekordy wad, zmniejszając nadmiarowość i przyspieszając przegląd przez inspektora ponad 600 anomalii wykrytych przez AI.

Wizualizacja poziomu ufności. Każda detekcja powinna wyświetlać swój poziom ufności numerycznie i wizualnie – zazwyczaj jako kolorową odznakę (zielony dla wysokiego poziomu ufności, żółty dla średniego, czerwony dla niskiego). Pomaga to inspektorowi priorytetyzować uwagę na najbardziej niepewnych detekcjach w pierwszej kolejności – przepływ pracy znany jako przegląd sterowany niepewnością.

Rejestrowanie śladu audytowego. Każde działanie podjęte przez inspektora – potwierdzenie, odrzucenie, poprawienie, pominięcie – musi być oznaczone znacznikiem czasu, identyfikatorem użytkownika i zarejestrowane w niezmiennym śladzie audytowym. Nie jest to opcjonalne; jest to wymóg regulacyjny dla wszelkich danych inspekcyjnych, które trafiają do systemów zarządzania bezpieczeństwem lub raportowania zgodności.

Potwierdzenie wsadowe dla przeglądu dużej liczby detekcji. W przypadku inspekcji z tysiącami oznaczonych detekcji interfejs powinien obsługiwać zaznaczanie wsadowe i zbiorcze potwierdzanie podobnych detekcji niskiego ryzyka. Inspektor przeglądający pęknięcia nawierzchni na 10-kilometrowym odcinku autostrady może napotkać setki identycznych pęknięć poprzecznych; zgrupowanie ich w jedną czynność potwierdzenia radykalnie skraca czas przeglądu.

Sekwencja przepływu pracy przeglądu zazwyczaj przebiega w następującej kolejności:

1. Inspektor loguje się do platformy HITL i ładuje zadanie inspekcyjne
2. System wyświetla pulpit nawigacyjny pokazujący całkowitą liczbę detekcji oznaczonych do przeglądu, podzieloną według typu wady i pasma ufności
3. Inspektor rozpoczyna przegląd detekcji, zaczynając od elementów o najniższym poziomie ufności
4. Dla każdej detekcji inspektor bada nakładkę AI na tle surowego obrazu i podejmuje decyzję: potwierdź/odrzuć/popraw
5. System automatycznie przechodzi do następnej detekcji
6. Po zakończeniu system generuje podsumowanie weryfikacji pokazujące proporcję potwierdzonych, odrzuconych i poprawionych detekcji
7. Zweryfikowane detekcje są scalane z detekcjami automatycznie zaakceptowanymi w raporcie końcowym

Poprawianie predykcji AI przez człowieka

Poprawianie predykcji AI przez człowieka to jedna z najcenniejszych funkcji w systemie HITL. Gdy inspektor koryguje wynik AI – poprzez dostosowanie źle umieszczonej obwiedni, reklasyfikację błędnie zidentyfikowanego typu wady lub aktualizację oceny nasilenia – system rejestruje nie tylko poprawiony wynik, ale także różnicę między predykcją AI a ludzką prawdą referencyjną. Ta różnica jest sygnałem napędzającym ulepszanie modelu poprzez uczenie aktywne.

Typowe rodzaje poprawek w inspekcji infrastruktury obejmują:

Dostosowanie obwiedni. AI może prawidłowo zidentyfikować, że wada istnieje, ale umieścić obwiednię niedokładnie – zbyt ciasno (odcinając część pęknięcia) lub zbyt luźno (obejmując powierzchnię bez wady). Inspektor dostosowuje obwiednię, aby precyzyjnie otoczyć wadę, a system rejestruje IoU (wskaźnik przecięcia nad sumą) między predykcją AI a poprawką ludzką. Powtarzające się niskie wyniki IoU dla określonych klas wad sygnalizują potrzebę ponownego trenowania modelu z lepszymi przykładami lokalizacji.

Poprawa klasyfikacji. AI może wykryć pęknięcie, ale sklasyfikować je jako „poprzeczne", podczas gdy w rzeczywistości jest „podłużne". Ta błędna klasyfikacja ma konsekwencje dla oceny stanu, ponieważ różne typy pęknięć mapują się na różne macierze nasilenia w systemach zarządzania nawierzchnią (np. ASTM D6433 do obliczania PCI). Inspektor poprawia etykietę, a system rejestruje wpis w macierzy pomyłek, budując zestaw danych trudnych przypadków klasyfikacyjnych.

Ponowna ocena nasilenia. Wiele protokołów oceny stanu wymaga ocen nasilenia (niskie, średnie, wysokie lub skala numeryczna) na podstawie wymiarów wady. AI może prawidłowo zidentyfikować i zlokalizować pęknięcie, ale błędnie oszacować jego szerokość lub długość, prowadząc do nieprawidłowego przypisania nasilenia. Inspektor poprawia ocenę nasilenia, a system rejestruje rozbieżność pomiarową.

Odrzucenie fałszywie pozytywnego. Najczęstszą czynnością inspektora w przypadku detekcji o niskim poziomie ufności jest odrzucenie – AI oznaczyło cechę powierzchni (plamę oleju, cień, ślad opony, złącze), która nie jest wadą. Każde odrzucenie jest oznaczonym przykładem fałszywie pozytywnym, który poprawia zdolność dyskryminacyjną modelu.

Badanie proof-of-concept z 2025 roku przeprowadzone przez Twinsity we współpracy z Die Autobahn GmbH wykazało praktyczny wpływ poprawek ludzkich. Model AI początkowo wykrył 600 anomalii na niemieckim moście autostradowym, z czego 176 było pęknięciami potwierdzonymi przez inżynierów budowlanych. W procesie przeglądu HITL inspektorzy poprawili klasyfikacje AI, udoskonalili obwiednie i odrzucili fałszywie pozytywne wyniki. Ostateczna zweryfikowana liczba 156 potwierdzonych pęknięć dała wskaźnik dokładności na poziomie 88,6%, który wzrósł do ponad 95% po wykorzystaniu danych korekcyjnych do dostrojenia modelu.

Uczenie aktywne na podstawie informacji zwrotnej od człowieka

Integracja HITL z uczeniem aktywnym tworzy cykl ciągłego doskonalenia, który z czasem stopniowo zmniejsza obciążenie związane z przeglądem przez człowieka. Uczenie aktywne to strategia uczenia maszynowego, w której algorytm identyfikuje, które nieoznaczone punkty danych byłyby najbardziej informacyjne dla poprawy wydajności modelu i żąda etykiet dla tych konkretnych punktów od ludzkiego adnotatora.

W kontekście inspekcji HITL uczenie aktywne działa w następujący sposób:

1. Model AI przetwarza nowe obrazy inspekcyjne i generuje predykcje z poziomami ufności
2. System identyfikuje detekcje o najwyższej niepewności – te najbliższe granicy decyzyjnej między wynikiem prawdziwie pozytywnym a fałszywie pozytywnym
3. Te niepewne detekcje są kierowane do inspektora w celu weryfikacji
4. Potwierdzone lub poprawione etykiety inspektora stają się danymi treningowymi do następnej aktualizacji modelu
5. Model jest ponownie trenowany lub dostrajany na rozszerzonym zbiorze danych, poprawiając swoją dokładność w zakresie wcześniej niepewnych przypadków
6. W kolejnych cyklach inspekcji liczba detekcji wymagających przeglądu przez człowieka maleje

Strategia zapytań dotycząca wyboru detekcji do skierowania do etykietowania przez człowieka jest kluczowa. Typowe strategie obejmują:

• Próbkowanie najmniej pewne: Kierowanie detekcji z poziomami ufności najbliższymi progowi decyzyjnemu (np. 0,45–0,55)
• Próbkowanie marginesowe: Kierowanie detekcji, w których różnica między dwoma najwyższymi prawdopodobieństwami klas jest najmniejsza
• Próbkowanie entropijne: Kierowanie detekcji z najwyższą entropią predykcji, wskazującą, że model jest najbardziej niepewny co do klasyfikacji

Badanie opublikowane w Automation in Construction, oceniające systemy HITL wspomagane automatyzacją do wizualnej inspekcji infrastruktury, wykazało, że uczenie aktywne zmniejszyło obciążenie związane z etykietowaniem przez człowieka o 60–75% w porównaniu z próbkowaniem losowym, przy zachowaniu równoważnej dokładności modelu. Badanie udokumentowało, że po pięciu cyklach uczenia aktywnego na zbiorze danych dotyczącym wykrywania pęknięć model osiągnął 94,7% dokładności, przy czym tylko 30% danych treningowych wymagało przeglądu przez człowieka.

Wdrażanie uczenia aktywnego w produkcyjnych systemach HITL wymaga zarządzania wersjami modelu. Każdy cykl ponownego trenowania tworzy nową wersję modelu, która musi zostać zwalidowana na wydzielonym zestawie testowym przed wdrożeniem. System musi również obsługiwać testy A/B – uruchamianie nowego modelu w trybie cienia równolegle z bieżącym modelem produkcyjnym w celu weryfikacji, że ulepszenia wydajności uogólniają się na nowe dane inspekcyjne przed zatwierdzeniem aktualizacji.

HITL w inspekcji mostów

Inspekcja mostów jest najbardziej krytycznym dla bezpieczeństwa zastosowaniem technologii HITL w infrastrukturze. Stany Zjednoczone mają ponad 617 000 mostów, z których około 42% ma ponad 50 lat, a 7,5% jest klasyfikowanych jako konstrukcyjnie wadliwe według raportu American Society of Civil Engineers (ASCE) z 2024 roku. National Bridge Inspection Standards (NBIS) skodyfikowane w 23 CFR 650 wymagają, aby wszystkie mosty na drogach publicznych były inspekcjonowane w odstępach nieprzekraczających 24 miesięcy przez wykwalifikowanych liderów zespołów.

Dokumentacja FHWA podkreśla, że weryfikacja przez człowieka jest niepodlegająca negocjacjom w przypadku ocen stanu przypisywanych w ramach NBIS. Skale oceny stanu elementów mostu (0–9 dla pomostów, konstrukcji nadbudowy i podbudowy według przewodnika kodowania National Bridge Inventory) wymagają od inspektora syntezy wielu obserwowalnych warunków w jedną ocenę liczbową – zadanie, którego obecne systemy AI nie są w stanie wykonywać wiarygodnie, ponieważ wymaga ono zrozumienia ścieżek przenoszenia obciążeń konstrukcyjnych, zachowania materiałów i mechanizmów degradacji.

Przepływ pracy HITL w inspekcji mostów integruje wiele źródeł danych:

Obrazy z UAV dostarczają wizualnych danych w wysokiej rozdzielczości wszystkich dostępnych powierzchni mostu – pomostu, spodu, dźwigarów, filarów, przyczółków, łożysk i złączy. Typowa inspekcja mostu z użyciem UAV zbiera 3000–8000 obrazów na konstrukcję, w zależności od rozmiaru i złożoności mostu. Silnik wnioskowania AI przetwarza te obrazy w celu wykrycia pęknięć, ubytków, korozji i innych widocznych wad.

Dane z georadaru (GPR) są wykorzystywane wraz z obrazami wizualnymi do wykrywania delaminacji pomostów i oceny korozji zbrojenia. Podczas gdy interpretacja sygnału GPR wymaga specjalistycznej wiedzy, modele AI mogą oznaczać anomalne wzory sygnałów do przeglądu przez człowieka.

Rola inspektora w systemie HITL nie polega jedynie na potwierdzaniu lub odrzucaniu predykcji AI, ale na dodawaniu osądu inżynierii budowlanej, którego AI nie jest w stanie zapewnić. Inspektor przegląda oznaczone detekcje w kontekście znanego obciążenia mostu, natężenia ruchu, ekspozycji środowiskowej i historii inspekcji. Mikropęknięcie w środniku dźwigara z betonu sprężonego może zostać natychmiast oznaczone do pilnej naprawy, podczas gdy identyczne pęknięcie w drugorzędnym elemencie poprzecznym może zostać ocenione jako drobna obserwacja – rozróżnienie, które zależy od wiedzy z zakresu inżynierii budowlanej, a nie od rozpoznawania wzorców na poziomie pikseli.

Zalecane przez FHWA ramy programu QC/QA inspekcji mostów, zaktualizowane w 2024 roku, wyraźnie odnoszą się do integracji zautomatyzowanych technologii inspekcyjnych. Ramy wymagają, aby każdy automatyczny system wykrywania pęknięć został zwalidowany w porównaniu z inspekcją manualną na co najmniej 10% elementów mostu, a wyniki walidacji zostały udokumentowane i przejrzane przez lidera zespołu inspekcyjnego. To podejście podwójnej walidacji jest sformalizowanym procesem HITL, który zapewnia, że automatyzacja służy jako narzędzie wspomagania decyzji, a nie zastępstwo dla profesjonalnego osądu.

HITL w inspekcji nawierzchni

Ocena stanu nawierzchni była jednym z pierwszych obszarów przyjęcia zautomatyzowanej technologii inspekcyjnej ze względu na duże wolumeny danych – pojedyncza agencja drogowa może zarządzać 10 000–50 000 km pasów nawierzchni, z interwałami inspekcji co 1–3 lata. Ręczne badania wizualne na taką skalę są zbyt kosztowne, wymagając 30–50 osobodni na 100 km pasów. Metody wspomagane AI mogą przetworzyć tę samą sieć w 5–10 godzin czasu obliczeniowego, ale wyniki muszą zostać zweryfikowane przez inspektorów, zanim będą mogły zostać wykorzystane do decyzji o programowaniu utrzymania.

Przepływ pracy HITL w inspekcji nawierzchni zazwyczaj wykorzystuje kamery liniowe zamontowane na pojazdach pomiarowych poruszających się z prędkościami autostradowymi (80–100 km/h), rejestrując ciągłe obrazy 360-stopniowe powierzchni nawierzchni. Obrazy są georeferencjonowane za pomocą systemów GPS/IMU o dokładności 10–50 cm. Model AI segmentuje powierzchnię nawierzchni na kategorie wad i oblicza metryki gęstości uszkodzeń.

Wytyczne American Association of State Highway and Transportation Officials (AASHTO) dotyczące gromadzenia danych o stanie nawierzchni uznają rolę systemów zautomatyzowanych, przy jednoczesnym utrzymaniu wymogów weryfikacji przez człowieka. Norma AASHTO PP 89-21 dotycząca zautomatyzowanego gromadzenia danych o uszkodzeniach nawierzchni określa procedury zapewnienia jakości, w tym:

• Weryfikacja terenowa: Co najmniej 5% odcinków pomiarowych musi zostać zweryfikowanych poprzez inspekcję ręczną w ciągu 30 dni od automatycznego pomiaru
• Testowanie powtarzalności: System zautomatyzowany musi wykazać powtarzalność na poziomie ±5% w zakresie ilości uszkodzeń przy ponownym pomiarze tego samego odcinka w ciągu 24 godzin
• Przegląd przypadków brzegowych przez człowieka: Wszystkie odcinki, w których ilość uszkodzeń przekracza z góry określone progi (np. >20% powierzchni pęknięć), muszą zostać ręcznie przejrzane

Interfejs przeglądu HITL dla inspekcji nawierzchni zazwyczaj prezentuje widok paskowy pokazujący powierzchnię nawierzchni z wadami wykrytymi przez AI, kodowanymi kolorami według typu i nasilenia. Inspektor przewija ciągłe obrazy nawierzchni, przeglądając oznaczone sekcje i weryfikując ocenę stanu dokonaną przez AI. Dla agencji stosujących metodologię Wskaźnika Stanu Nawierzchni (PCI) zgodnie z ASTM D6433, system HITL oblicza wartości PCI na podstawie zweryfikowanych danych o wadach, a inspektor akceptuje lub nadpisuje obliczoną wartość na podstawie swojej wiedzy terenowej.

Badanie z 2025 roku przeprowadzone przez Narodowe Akademie na temat zastosowań AI w automatycznej ocenie stanu nawierzchni wykazało, że systemy HITL osiągnęły 92–96% zgodności z inspekcją manualną w zakresie identyfikacji uszkodzeń, w porównaniu z 78–85% dla w pełni zautomatyzowanych systemów bez przeglądu przez człowieka. Badanie wykazało również, że HITL skrócił czas inspekcji o 55–70% w porównaniu z metodami czysto manualnymi, przy jednoczesnym zachowaniu zgodności ze standardami jakości danych AASHTO.

Regulacyjna akceptacja HITL

Krajobraz regulacyjny dla AI w inspekcji infrastruktury ewoluuje szybko, ale spójnym tematem we wszystkich głównych ramach jest to, że nadzór człowieka jest obowiązkowy w przypadku decyzji związanych z bezpieczeństwem.

Międzynarodowa Organizacja Lotnictwa Cywilnego (ICAO) — Zgodnie z Załącznikiem 14 ICAO, Tom I (Projektowanie i eksploatacja lotnisk), operator lotniska jest odpowiedzialny za zapewnienie, że pasy startowe, drogi kołowania i płyty postojowe są utrzymywane w stanie akceptowalnym dla operacji statków powietrznych. Chociaż ICAO wyraźnie nie zakazuje zautomatyzowanej inspekcji, wymóg, aby „operator lotniska ustanowił program inspekcji" który jest „akceptowalny dla Państwa", domyślnie wymaga, aby oceny stanu były przeprowadzane lub weryfikowane przez kompetentny personel. Dokument ICAO 9157 (Podręcznik projektowania lotnisk) odnosi się do metodologii Wskaźnika Stanu Nawierzchni (PCI), która wymaga inspekcji wizualnej przez wyszkolonych oceniających, chyba że Państwo zatwierdzi alternatywną procedurę.

Europejska Agencja Bezpieczeństwa Lotniczego (EASA) — Plan Działania EASA ds. AI 2.0, opublikowany w 2024 roku, ustanawia stopniowe podejście do AI w lotnictwie. W ramach Poziomu 2 („Współpraca człowieka z AI"), który obejmuje inspekcję wspomaganą AI, agencja wymaga: (a) człowiek zachowuje ostateczną władzę decyzyjną, (b) system AI dostarcza wyjaśnień swoich wyników oraz (c) system może być w każdej chwili unieważniony lub wyłączony przez operatora-ludzkiego. Wymogi te bezpośrednio odpowiadają architekturze HITL.

Federalna Administracja Lotnictwa (FAA) — Okólnik doradczy FAA AC 150/5380-6C dotyczący „Wytycznych dla programów zarządzania nawierzchnią" stwierdza, że zautomatyzowane metody gromadzenia danych są dopuszczalne pod warunkiem, że „sprzęt do gromadzenia danych jest certyfikowany, a dane są walidowane przez inżyniera doświadczonego w ocenie nawierzchni". Ten podwójny wymóg – certyfikacja sprzętu plus walidacja przez człowieka – jest formalnym nakazem HITL.

Federalna Administracja Drogownictwa (FHWA) — NBIS FHWA (23 CFR 650 Podczęść C) wymaga, aby wszystkie inspekcje mostów były przeprowadzane przez lub pod kierunkiem lidera zespołu spełniającego określone wymogi kwalifikacyjne (inżynier dyplomowany lub certyfikowany inspektor mostów z minimalnym doświadczeniem). Chociaż zautomatyzowane gromadzenie danych jest dozwolone, ocena stanu musi być określona przez lidera zespołu. Wytyczne FHWA z 2024 roku dotyczące procesu przeglądu NBIS potwierdzają, że „zautomatyzowane technologie inspekcyjne uzupełniają, ale nie zastępują profesjonalnego osądu lidera zespołu".

ISO 55001 (Zarządzanie aktywami) — Międzynarodowa norma dotycząca zarządzania aktywami wymaga, aby dane o stanie wykorzystywane do podejmowania decyzji były wiarygodne, powtarzalne i weryfikowalne. Przepływy pracy HITL spełniają te wymagania, utrzymując weryfikację przez człowieka jako ostateczną bramkę jakości.

Praktyczna implikacja tego otoczenia regulacyjnego jest taka, że HITL to nie tylko preferencja techniczna w inspekcji infrastruktury – to wymóg zgodności. Każda organizacja wdrażająca AI do inspekcji aktywów lotniczych, drogowych lub konstrukcyjnych musi wdrożyć proces przeglądu przez człowieka, aby spełnić obowiązki regulacyjne. Dokładna architektura może się różnić – niektóre agencje wymagają 100% przeglądu wszystkich detekcji przez człowieka, podczas gdy inne akceptują próbkowanie statystyczne – ale zasada weryfikacji przez człowieka jest uniwersalna.

W pełni zautomatyzowana inspekcja vs HITL

Rozróżnienie między w pełni zautomatyzowaną inspekcją a inspekcją z udziałem człowieka jest fundamentalne dla zrozumienia decyzji wdrożeniowych w zarządzaniu aktywami infrastrukturalnymi. Każde podejście ma odrębne cechy, zalety i ograniczenia:

Decyzja między wdrożeniem w pełni zautomatyzowanym a HITL zależy od kategorii ryzyka inspekcjonowanego składnika aktywów. Aktywa niskiego ryzyka – takie jak drogi drugorzędne, niestrukturalne elementy budynków i kosmetyczne stany powierzchni – mogą być kandydatami do w pełni zautomatyzowanej inspekcji, gdzie koszt wyników fałszywie negatywnych jest akceptowalny. Aktywa krytyczne dla bezpieczeństwa – mosty, pasy startowe, tunele, tamy i drogi o dużym natężeniu ruchu – wymagają HITL, ponieważ konsekwencja przeoczenia krytycznej wady jest niedopuszczalna.

Badanie z 2024 roku obejmujące 47 stanowych departamentów transportu USA wykazało, że 93% agencji stosujących zautomatyzowane gromadzenie danych o nawierzchni korzysta z jakiejś formy weryfikacji przez człowieka, od pobierania próbek losowych (10% odcinków) do kompleksowego przeglądu wszystkich odcinków oznaczonych jako wadliwe. Tylko 7% akceptowało dane zautomatyzowane bez żadnej weryfikacji przez człowieka, a agencje te ograniczały akceptację wyłącznie automatyczną do lokalnych dróg o małym natężeniu ruchu w dobrym stanie. W przypadku inspekcji mostów to samo badanie wykazało, że 100% agencji utrzymywało wymogi weryfikacji przez człowieka, przy czym najczęstszym podejściem był przegląd przez człowieka wszystkich anomalii wykrytych przez AI w połączeniu z losową kontrolą 15–20% obrazów sklasyfikowanych jako wolne od wad.

Trend operacyjny zmierza w kierunku modeli hybrydowych, które dostosowują stopień automatyzacji w zależności od stanu składnika aktywów. Most w dobrym stanie (ocena NBI 7–9) może być przetwarzany z progami auto-akceptacji o wysokim poziomie ufności i minimalnym przeglądem przez człowieka, podczas gdy most w złym stanie (ocena NBI 3–4) może mieć wszystkie detekcje kierowane do przeglądu przez człowieka niezależnie od poziomu ufności. To adaptacyjne do ryzyka podejście HITL optymalizuje wysiłek inspektora, alokując uwagę na aktywa, w których zapewnia największe korzyści dla bezpieczeństwa.

Podsumowanie

Weryfikacja typu human-in-the-loop reprezentuje obecny stan wiedzy w zautomatyzowanej inspekcji infrastruktury. Architektura HITL – łącząca wstępne wykrywanie oparte na AI z routingiem opartym na poziomie ufności i obowiązkowym przeglądem przez człowieka – zapewnia korzyści wydajnościowe automatyzacji, przy jednoczesnym zachowaniu odpowiedzialności za bezpieczeństwo i profesjonalnego osądu, których wymagają normy regulacyjne. Kalibracja progów, projekt interfejsu przeglądowego, przepływy pracy związane z poprawkami ludzkimi i integracja uczenia aktywnego to elementy techniczne, które decydują o tym, czy system HITL działa skutecznie w praktyce.

W przypadku inspekcji mostów, oceny stanu nawierzchni, oceny pasów startowych lotnisk i zgodności utrzymania aerodromów, HITL nie jest podejściem przejściowym na drodze do pełnej autonomii – jest sprawdzoną najlepszą praktyką, która równoważy komplementarne mocne strony maszyn i ludzi. W miarę dalszej poprawy dokładności modeli AI obciążenie związane z przeglądem przez człowieka będzie się zmniejszać dzięki uczeniu aktywnemu, ale zasada weryfikacji przez człowieka w przypadku decyzji krytycznych dla bezpieczeństwa pozostanie wymogiem regulacyjnym i etycznym.