Co je Human-in-the-Loop (HITL)?
Human-in-the-Loop (HITL) je způsob provozu systému umělé inteligence, při němž člověk může zkontrolovat, přepsat nebo zvrátit jeho výstup.
Systém umělé inteligence navrhne řešení, například rozhodnutí nebo označení. Člověk zůstává v procesu a může návrh přijmout, změnit nebo odmítnout. Tato stránka ukazuje, odkud pojem pochází. Ukazuje také, co o stejné myšlence říkají texty EU.
Co pojem znamená
V roce 2019 definovala expertní skupina EU na vysoké úrovni pro umělou inteligenci HITL jako schopnost lidského zásahu v každém rozhodovacím cyklu. Skupina dodává, že to je v mnoha případech ani nemožné, ani žádoucí.
Nařízení EU o umělé inteligenci popisuje stejnou myšlenku jiným pojmem. Článek 14 odst. 4 říká, že člověk se může rozhodnout systém nepoužít, nebo může výstup ignorovat, přepsat nebo zvrátit. Nařízení tomu říká lidský dohled. Termín HITL nepoužívá.
HITL, HOTL a HIC
Expertní skupina uvádí tři způsoby dohledu nad systémem umělé inteligence.
| Pojem | Co může člověk dělat |
|---|---|
| Human-in-the-loop (HITL) | Zasáhnout v každém rozhodovacím cyklu systému |
| Human-on-the-loop (HOTL) | Zasáhnout během cyklu návrhu a sledovat provoz |
| Human-in-command (HIC) | Dohlížet na celkovou činnost a rozhodnout, kdy a jak systém použít |
Skupina říká, že potřebný dohled závisí na oblasti použití a na riziku. Čím menší dohled může člověk vykonávat, tím rozsáhlejší testování a přísnější řízení systém vyžaduje.
Jak EASA pojem používá
EASA uvádí human-in-the-loop, human-on-the-loop a human-in-command jako způsoby dohledu nad systémem založeným na umělé inteligenci. Její koncept tyto pojmy nedefinuje. Pokud žadatel popisuje dohled těmito pojmy, EASA uvádí, že by měl objasnit použité definice. Zdroj, který říká „HITL znamená X“, tedy uvádí vlastní definici.
Koncept je první sada cílů pro AI v leteckých aplikacích souvisejících s bezpečností. EASA uvádí, že zatím nejde o závazné pokyny. Jeho rozsah jsou oblasti základního nařízení EASA, nařízení (EU) 2018/1139.
EASA třídí aplikace AI do úrovní. Úrovně sledují, co AI dělá, a jakou pravomoc si koncový uživatel ponechává (tabulka 2 konceptu).
| Úroveň | Funkce přidělená systému AI | Pravomoc koncového uživatele |
|---|---|---|
| 1A, rozšíření lidských schopností | Podpora získávání a analýzy informací | Plná |
| 1B, pomoc člověku | Podpora rozhodování | Plná |
| 2A, kooperace člověka a AI | Řízené rozhodnutí a automatické provedení akce | Plná |
| 2B, kolaborace člověka a AI | Dohlížené automatické rozhodnutí a provedení akce | Částečná |
| 3A, zabezpečená pokročilá automatizace | Zabezpečené automatické rozhodnutí a provedení akce | Omezená, po upozornění |
| 3B, nedohlížená pokročilá automatizace | Nedohlížené automatické rozhodnutí a provedení akce | Neuplatňuje se |
Na úrovni 1 koncový uživatel rozhoduje a provádí všechny akce. Na úrovni 2 může systém vybírat a provádět akce, a koncový uživatel si ponechává dohled a může kdykoli zasáhnout. Koncept pokrývá úrovně 1 a 2. Pro úroveň 3 zatím pokyny nedává.
Co EASA požaduje od systému
U AI související s bezpečností koncept uvádí cíle, které umožňují kontrolu člověkem. Jde o cíle pro žadatele.
- Důvěra. Systém by měl u každého výstupu uvádět míru důvěry (cíl EXP-04). Měl by sledovat, že důvěra zůstává v určené úrovni (EXP-07).
- Vysvětlení. Koncový uživatel může v případě potřeby získat vysvětlení nebo podrobnosti (EXP-16).
- Křížová kontrola. Pokud rozhodnutí vyžaduje ověření podle postupu, měl by systém být schopen požádat koncového uživatele o křížovou kontrolu (HF-04).
- Školení. Koncept se opírá o licencování a školení, aby lidé, kteří AI dohlížejí, ji obsluhovali přiměřeně (ustanovení ORG-08).
Co zákon o umělé inteligenci žádá od člověka
U systémů AI s vysokým rizikem článek 14 odst. 4 říká, že systém musí člověku umožnit tyto úkony:
- Chápat možnosti a meze systému a sledovat jeho provoz.
- Být si vědom automatizačního zkreslení, tedy sklonu spoléhat se na výstup systému příliš.
- Správně interpretovat výstup.
- Rozhodnout se systém nepoužít, nebo ignorovat, přepsat či zvrátit výstup.
- Přerušit systém tlačítkem „stop“ nebo podobným postupem. Systém pak přejde do bezpečného stavu.
Článek 26 odst. 2 ukládá povinnost nasazovateli. Nasazovatel přiděluje lidský dohled osobám, které mají potřebnou kompetenci, školení, pravomoc a potřebnou podporu.
Článek 14 se vztahuje jen na systémy s vysokým rizikem. Článek 6 a příloha III určují, které systémy jsou vysoce rizikové. Příloha III uvádí bezpečnostní součásti v kritické digitální infrastruktuře, silniční dopravě a dodávkách vody, plynu, tepla a elektřiny. Letiště neuvádí. To, zda je daný nástroj pro kontrolu vysoce rizikový, závisí na jeho zamýšleném použití. Nařízení (EU) 2018/1139 o civilním letectví je v příloze I oddílu B. Uvažujte systém AI s vysokým rizikem podle článku 6 odst. 1, který se vztahuje na produkt uvedený v oddílu B. Pro takový systém článek 2 odst. 2 říká, že použijí se pouze články 6 odst. 1, 102 až 109 a 112. Článek 14 mezi nimi není.
Inspekce letiště
Odpovědnost za inspekci nese provozovatel letiště. ADR.OPS.B.015(b) uvádí, že provozovatel musí provádět pravidelné kontroly pohybové plochy a s ní souvisejících zařízení. ICAO Annex 14 v 2.9.3 vyžaduje kontroly pohybové plochy každý den. Počet závisí na kódovém čísle.
AMC1 ADR.OPS.B.015 uvádí, že provozovatel by měl mít program inspekcí a vést záznamy. AMC2 uvádí, že provozovatel by měl určit osoby, které inspekci provádějí. Tyto osoby by měly být vyškoleny v technikách inspekce a v hlášení výsledků. AMC je přijatelný způsob plnění, nikoli požadavek.
Přečtené pasáže nezmiňují AI ani HITL. Neuvádějí, kdo musí kontrolovat výsledky nástroje AI.
Příklad ukazuje, kde člověk do procesu zapadá. Nástroj AI označí kandidátní nález na snímcích z dronu, například nesvítící světlo nebo prasklinu. Inspektor přijme nebo odmítne každé označení dřív, než se dostane do protokolu. V terminologii EASA AI podporuje analýzu informací a člověk si ponechává plnou pravomoc, což odpovídá úrovni 1A. Koncept se k inspekci dronem nevyjadřuje. Jde o použití jeho tabulky.
Často kladené otázky
- Co znamená human-in-the-loop?
- Znamená to, že člověk může zasáhnout do toho, co systém umělé inteligence dělá. Podle formulace expertní skupiny EU je human-in-the-loop (HITL) schopnost lidského zásahu v každém rozhodovacím cyklu systému. V běžném použití termín často znamená, že člověk může zkontrolovat, změnit nebo odmítnout výstup AI.
- Jaký je rozdíl mezi human-in-the-loop, human-on-the-loop a human-in-command?
- Rozdíl je v tom, kde člověk zasahuje. Expertní skupina EU říká, že HITL je zásah v každém rozhodovacím cyklu. Human-on-the-loop (HOTL) je zásah během cyklu návrhu a sledování provozu. Human-in-command (HIC) je dohled nad celkovou činností systému se schopností rozhodnout, kdy a jak jej použít.
- Definuje EASA pojem human-in-the-loop?
- Ne. EASA uvádí human-in-the-loop, human-on-the-loop a human-in-command jako způsoby dohledu nad systémem založeným na umělé inteligenci. Její koncept z oblasti AI (vydání 02) tyto pojmy nedefinuje. Pokud žadatel popisuje dohled těmito pojmy, EASA uvádí, že by měl objasnit použité definice.
- Používá nařízení EU o umělé inteligenci pojem human-in-the-loop?
- Ne. Článek 14 nařízení EU o umělé inteligenci používá pojem lidský dohled. Vztahuje se na systémy umělé inteligence s vysokým rizikem. Tyto systémy musí být navrženy tak, aby je fyzické osoby mohly během používání kontrolovat. Článek 26 uvádí, že nasazovatel přiděluje tento dohled osobám s potřebnou kompetencí, školením a pravomocí.
- Vztahuje se nařízení EU o umělé inteligenci na každý nástroj AI pro inspekci?
- Ne. Článek 14 se vztahuje na systémy AI s vysokým rizikem. Článek 6 a příloha III určují, které systémy jsou vysoce rizikové. Příloha III uvádí bezpečnostní součásti v kritické digitální infrastruktuře, silniční dopravě a dodávkách vody, plynu, tepla a elektřiny. Letiště neuvádí. To, zda je daný nástroj vysoce rizikový, závisí na jeho zamýšleném použití.
- Vyžadují pravidla pro letiště lidskou kontrolu výsledků inspekce pomocí AI?
- V pramenech, které TarmacView zkontroloval, takové pravidlo není. Nařízení EU 139/2014 uvádí, že provozovatel letiště musí provádět pravidelné kontroly pohybové plochy. ICAO Annex 14 vyžaduje denní kontroly. Přečtené pasáže nezmiňují AI ani human-in-the-loop.
- Co je automatizační zkreslení?
- Automatizační zkreslení je sklon příliš se spoléhat na výstup automatizovaného systému. Článek 14 odst. 4 písm. b) nařízení EU o umělé inteligenci říká, že systém AI s vysokým rizikem musí umožnit osobě, která jej kontroluje, zůstat si tohoto sklonu vědom.
- Co EASA od systému AI očekává, že ukáže člověku?
- Koncept EASA žádá, aby systém u každého výstupu umělé inteligence uváděl míru důvěry. Žádá také, aby si člověk mohl vyžádat vysvětlení. Pokud rozhodnutí vyžaduje ověření podle postupu, měl by systém být schopen požádat koncového uživatele o křížovou kontrolu. Jde o cíle pro žadatele, zatím ne o formální pravidla.
Reference
- eu-ai-act
- Regulation (EU) 2024/1689 (Artificial Intelligence Act) European Union, Official Journal of 12 July 2024
- ai-hleg-ethics-guidelines
- Ethics Guidelines for Trustworthy AI High-Level Expert Group on AI, set up by the European Commission (8 April 2019)
- easa-ai-concept-paper-2
- EASA Concept Paper: guidance for Level 1 & 2 machine learning applications, Issue 02 EASA
- icao-annex-14-vol-1
- Annex 14 to the Convention on International Civil Aviation, Aerodromes, Volume I, 9th edition (July 2022) ICAO, copy hosted by the Swiss Federal Office of Civil Aviation
- easa-ear-aerodromes
- Easy Access Rules for Aerodromes (Regulation (EU) No 139/2014), revision of March 2026 EASA
Toto je referenční položka. TarmacView poskytuje služby inspekce drony a neprodává zařízení ani materiály popsané v tomto slovníku.