Letecký slovník

Co je Human-in-the-Loop (HITL)?

AI · Inspection 8 jazyky
Definice
Human-in-the-Loop (HITL) je způsob provozu systému umělé inteligence, při němž člověk může zkontrolovat, přepsat nebo zvrátit jeho výstup.

Human-in-the-Loop (HITL) je způsob provozu systému umělé inteligence, při němž člověk může zkontrolovat, přepsat nebo zvrátit jeho výstup.

Systém umělé inteligence navrhne řešení, například rozhodnutí nebo označení. Člověk zůstává v procesu a může návrh přijmout, změnit nebo odmítnout. Tato stránka ukazuje, odkud pojem pochází. Ukazuje také, co o stejné myšlence říkají texty EU.

Co pojem znamená

V roce 2019 definovala expertní skupina EU na vysoké úrovni pro umělou inteligenci HITL jako schopnost lidského zásahu v každém rozhodovacím cyklu. Skupina dodává, že to je v mnoha případech ani nemožné, ani žádoucí.

Nařízení EU o umělé inteligenci popisuje stejnou myšlenku jiným pojmem. Článek 14 odst. 4 říká, že člověk se může rozhodnout systém nepoužít, nebo může výstup ignorovat, přepsat nebo zvrátit. Nařízení tomu říká lidský dohled. Termín HITL nepoužívá.

HITL, HOTL a HIC

Expertní skupina uvádí tři způsoby dohledu nad systémem umělé inteligence.

PojemCo může člověk dělat
Human-in-the-loop (HITL)Zasáhnout v každém rozhodovacím cyklu systému
Human-on-the-loop (HOTL)Zasáhnout během cyklu návrhu a sledovat provoz
Human-in-command (HIC)Dohlížet na celkovou činnost a rozhodnout, kdy a jak systém použít

Skupina říká, že potřebný dohled závisí na oblasti použití a na riziku. Čím menší dohled může člověk vykonávat, tím rozsáhlejší testování a přísnější řízení systém vyžaduje.

Jak EASA pojem používá

EASA uvádí human-in-the-loop, human-on-the-loop a human-in-command jako způsoby dohledu nad systémem založeným na umělé inteligenci. Její koncept tyto pojmy nedefinuje. Pokud žadatel popisuje dohled těmito pojmy, EASA uvádí, že by měl objasnit použité definice. Zdroj, který říká „HITL znamená X“, tedy uvádí vlastní definici.

Koncept je první sada cílů pro AI v leteckých aplikacích souvisejících s bezpečností. EASA uvádí, že zatím nejde o závazné pokyny. Jeho rozsah jsou oblasti základního nařízení EASA, nařízení (EU) 2018/1139.

EASA třídí aplikace AI do úrovní. Úrovně sledují, co AI dělá, a jakou pravomoc si koncový uživatel ponechává (tabulka 2 konceptu).

ÚroveňFunkce přidělená systému AIPravomoc koncového uživatele
1A, rozšíření lidských schopnostíPodpora získávání a analýzy informacíPlná
1B, pomoc člověkuPodpora rozhodováníPlná
2A, kooperace člověka a AIŘízené rozhodnutí a automatické provedení akcePlná
2B, kolaborace člověka a AIDohlížené automatické rozhodnutí a provedení akceČástečná
3A, zabezpečená pokročilá automatizaceZabezpečené automatické rozhodnutí a provedení akceOmezená, po upozornění
3B, nedohlížená pokročilá automatizaceNedohlížené automatické rozhodnutí a provedení akceNeuplatňuje se

Na úrovni 1 koncový uživatel rozhoduje a provádí všechny akce. Na úrovni 2 může systém vybírat a provádět akce, a koncový uživatel si ponechává dohled a může kdykoli zasáhnout. Koncept pokrývá úrovně 1 a 2. Pro úroveň 3 zatím pokyny nedává.

Co EASA požaduje od systému

U AI související s bezpečností koncept uvádí cíle, které umožňují kontrolu člověkem. Jde o cíle pro žadatele.

  • Důvěra. Systém by měl u každého výstupu uvádět míru důvěry (cíl EXP-04). Měl by sledovat, že důvěra zůstává v určené úrovni (EXP-07).
  • Vysvětlení. Koncový uživatel může v případě potřeby získat vysvětlení nebo podrobnosti (EXP-16).
  • Křížová kontrola. Pokud rozhodnutí vyžaduje ověření podle postupu, měl by systém být schopen požádat koncového uživatele o křížovou kontrolu (HF-04).
  • Školení. Koncept se opírá o licencování a školení, aby lidé, kteří AI dohlížejí, ji obsluhovali přiměřeně (ustanovení ORG-08).

Co zákon o umělé inteligenci žádá od člověka

U systémů AI s vysokým rizikem článek 14 odst. 4 říká, že systém musí člověku umožnit tyto úkony:

  • Chápat možnosti a meze systému a sledovat jeho provoz.
  • Být si vědom automatizačního zkreslení, tedy sklonu spoléhat se na výstup systému příliš.
  • Správně interpretovat výstup.
  • Rozhodnout se systém nepoužít, nebo ignorovat, přepsat či zvrátit výstup.
  • Přerušit systém tlačítkem „stop“ nebo podobným postupem. Systém pak přejde do bezpečného stavu.

Článek 26 odst. 2 ukládá povinnost nasazovateli. Nasazovatel přiděluje lidský dohled osobám, které mají potřebnou kompetenci, školení, pravomoc a potřebnou podporu.

Článek 14 se vztahuje jen na systémy s vysokým rizikem. Článek 6 a příloha III určují, které systémy jsou vysoce rizikové. Příloha III uvádí bezpečnostní součásti v kritické digitální infrastruktuře, silniční dopravě a dodávkách vody, plynu, tepla a elektřiny. Letiště neuvádí. To, zda je daný nástroj pro kontrolu vysoce rizikový, závisí na jeho zamýšleném použití. Nařízení (EU) 2018/1139 o civilním letectví je v příloze I oddílu B. Uvažujte systém AI s vysokým rizikem podle článku 6 odst. 1, který se vztahuje na produkt uvedený v oddílu B. Pro takový systém článek 2 odst. 2 říká, že použijí se pouze články 6 odst. 1, 102 až 109 a 112. Článek 14 mezi nimi není.

Inspekce letiště

Odpovědnost za inspekci nese provozovatel letiště. ADR.OPS.B.015(b) uvádí, že provozovatel musí provádět pravidelné kontroly pohybové plochy a s ní souvisejících zařízení. ICAO Annex 14 v 2.9.3 vyžaduje kontroly pohybové plochy každý den. Počet závisí na kódovém čísle.

AMC1 ADR.OPS.B.015 uvádí, že provozovatel by měl mít program inspekcí a vést záznamy. AMC2 uvádí, že provozovatel by měl určit osoby, které inspekci provádějí. Tyto osoby by měly být vyškoleny v technikách inspekce a v hlášení výsledků. AMC je přijatelný způsob plnění, nikoli požadavek.

Přečtené pasáže nezmiňují AI ani HITL. Neuvádějí, kdo musí kontrolovat výsledky nástroje AI.

Příklad ukazuje, kde člověk do procesu zapadá. Nástroj AI označí kandidátní nález na snímcích z dronu, například nesvítící světlo nebo prasklinu. Inspektor přijme nebo odmítne každé označení dřív, než se dostane do protokolu. V terminologii EASA AI podporuje analýzu informací a člověk si ponechává plnou pravomoc, což odpovídá úrovni 1A. Koncept se k inspekci dronem nevyjadřuje. Jde o použití jeho tabulky.

Často kladené otázky

Co znamená human-in-the-loop?
Znamená to, že člověk může zasáhnout do toho, co systém umělé inteligence dělá. Podle formulace expertní skupiny EU je human-in-the-loop (HITL) schopnost lidského zásahu v každém rozhodovacím cyklu systému. V běžném použití termín často znamená, že člověk může zkontrolovat, změnit nebo odmítnout výstup AI.
Jaký je rozdíl mezi human-in-the-loop, human-on-the-loop a human-in-command?
Rozdíl je v tom, kde člověk zasahuje. Expertní skupina EU říká, že HITL je zásah v každém rozhodovacím cyklu. Human-on-the-loop (HOTL) je zásah během cyklu návrhu a sledování provozu. Human-in-command (HIC) je dohled nad celkovou činností systému se schopností rozhodnout, kdy a jak jej použít.
Definuje EASA pojem human-in-the-loop?
Ne. EASA uvádí human-in-the-loop, human-on-the-loop a human-in-command jako způsoby dohledu nad systémem založeným na umělé inteligenci. Její koncept z oblasti AI (vydání 02) tyto pojmy nedefinuje. Pokud žadatel popisuje dohled těmito pojmy, EASA uvádí, že by měl objasnit použité definice.
Používá nařízení EU o umělé inteligenci pojem human-in-the-loop?
Ne. Článek 14 nařízení EU o umělé inteligenci používá pojem lidský dohled. Vztahuje se na systémy umělé inteligence s vysokým rizikem. Tyto systémy musí být navrženy tak, aby je fyzické osoby mohly během používání kontrolovat. Článek 26 uvádí, že nasazovatel přiděluje tento dohled osobám s potřebnou kompetencí, školením a pravomocí.
Vztahuje se nařízení EU o umělé inteligenci na každý nástroj AI pro inspekci?
Ne. Článek 14 se vztahuje na systémy AI s vysokým rizikem. Článek 6 a příloha III určují, které systémy jsou vysoce rizikové. Příloha III uvádí bezpečnostní součásti v kritické digitální infrastruktuře, silniční dopravě a dodávkách vody, plynu, tepla a elektřiny. Letiště neuvádí. To, zda je daný nástroj vysoce rizikový, závisí na jeho zamýšleném použití.
Vyžadují pravidla pro letiště lidskou kontrolu výsledků inspekce pomocí AI?
V pramenech, které TarmacView zkontroloval, takové pravidlo není. Nařízení EU 139/2014 uvádí, že provozovatel letiště musí provádět pravidelné kontroly pohybové plochy. ICAO Annex 14 vyžaduje denní kontroly. Přečtené pasáže nezmiňují AI ani human-in-the-loop.
Co je automatizační zkreslení?
Automatizační zkreslení je sklon příliš se spoléhat na výstup automatizovaného systému. Článek 14 odst. 4 písm. b) nařízení EU o umělé inteligenci říká, že systém AI s vysokým rizikem musí umožnit osobě, která jej kontroluje, zůstat si tohoto sklonu vědom.
Co EASA od systému AI očekává, že ukáže člověku?
Koncept EASA žádá, aby systém u každého výstupu umělé inteligence uváděl míru důvěry. Žádá také, aby si člověk mohl vyžádat vysvětlení. Pokud rozhodnutí vyžaduje ověření podle postupu, měl by systém být schopen požádat koncového uživatele o křížovou kontrolu. Jde o cíle pro žadatele, zatím ne o formální pravidla.

Reference

eu-ai-act
Regulation (EU) 2024/1689 (Artificial Intelligence Act) European Union, Official Journal of 12 July 2024
ai-hleg-ethics-guidelines
Ethics Guidelines for Trustworthy AI High-Level Expert Group on AI, set up by the European Commission (8 April 2019)
icao-annex-14-vol-1
Annex 14 to the Convention on International Civil Aviation, Aerodromes, Volume I, 9th edition (July 2022) ICAO, copy hosted by the Swiss Federal Office of Civil Aviation

Toto je referenční položka. TarmacView poskytuje služby inspekce drony a neprodává zařízení ani materiály popsané v tomto slovníku.

Začněte Potřebujete ověřit osvětlení vašeho letiště? TarmacView kontroluje PAPI, dráhu a přibližovací osvětlení dronem mezi pohyby letadel a dodává zprávu o shodě určenou pro vašeho regulátora. Inspekce vozovky a překážek jsou ve vývoji.
Pokračovat ve čtení

Zjistit více

03 STRÁNKY
Vysokointenzivní světlo
glossary

Vysokointenzivní světlo

Vysokointenzivní světlo je letištní světlo nejvyšší třídy intenzity. Co znamenají HIRL, ALSF-2 a překážková světla typu A podle pravidel FAA, EASA a ICAO.

Automatizace
glossary

Automatizace

Prozkoumejte komplexní slovník automatizace, včetně pojmů jako automatický provoz, automatizované systémy, průmyslová automatizace, RPA, inteligentní automatizace, PLC, HMI, fieldbus, AI, ML, hyperautomatizace, senzory, akční členy a klíčová rozlišení relevantní pro letectví a průmysl.

Narušení dráhy
glossary

Narušení dráhy

Narušení dráhy je událost na letišti, kdy je letadlo, vozidlo nebo osoba nesprávně v prostoru dráhy. Definice, kategorie závažnosti A až D, typy, příčiny a světla, značení a znaky, které mu brání.