Mi a precision, recall és F1 score?
Precision, Recall és F1 Score – Gépi tanulási osztályozási mutatók: Részletes útmutató
A precision, recall és F1 score meghatározása
A precision, recall és F1 score alapvető teljesítménymutatók az osztályozási és objektumfelismerő modellek értékeléséhez. Ezeket egy konfúziós mátrixból számítják ki, amely a prediktált címkéket hasonlítja össze a valósággal. Ez a három mutató különböző szempontból írja le a modell teljesítményét, és a közülük való választás attól függ, hogy az alkalmazásban milyen költségekkel járnak a különböző típusú hibák.
A precision arra a kérdésre válaszol: „Amikor a modell hibát jelez, milyen gyakran helyes?" Matematikailag: precision = TP / (TP + FP), ahol a TP a valódi pozitív felismerések (helyes felismerések) száma, az FP pedig a téves pozitív felismerések (helytelen felismerések) száma. A precision az összes pozitív előrejelzés azon hányadát méri, amely valóban helyes. A 0,95-ös precision azt jelenti, hogy a modell által felismert hibák 95 százaléka valódi.
A recall (más néven érzékenység) arra válaszol: „Az összes tényleges hiba közül hányat talál meg a modell?" A képlet: recall = TP / (TP + FN), ahol az FN a téves negatív felismerések (a modell által kihagyott hibák) száma. A recall az összes tényleges hiba azon hányadát méri, amelyet a modell sikeresen felismer. A 0,90-es recall azt jelenti, hogy a modell a jelenetben lévő valós hibák 90 százalékát észleli.
Az F1 score a precision és recall harmonikus közepe: F1 = 2 * (Precision * Recall) / (Precision + Recall). Ez az egyetlen szám 0 és 1 között mozog, ahol az 1 a tökéletes felismerést jelenti. Az F1 kiegyensúlyozott mutatót ad, ha mind a téves pozitív, mind a téves negatív eredmények költségesek. Bünteti a precision és recall közötti szélsőséges egyensúlyhiányt, így egy modell nem érhet el magas F1-et azzal, hogy az egyik mutatót a másik rovására áldozza fel.
A konfúziós mátrix és a belőle származtatott mutatók
Mindhárom mutató egy egyszerű kétszer kettes táblázatból, az úgynevezett konfúziós mátrixból származik:
| Előrejelzés | Valójában hiba | Valójában rendben |
|---|---|---|
| A modell szerint „hiba" | TP (valódi pozitív) | FP (téves pozitív) |
| A modell szerint „rendben" | FN (téves negatív) | TN (valódi negatív) |
Ebből a mátrixból a precision és a recall közvetlenül következik:
| Mutató | Képlet | Mit jelent | A tévedés költsége |
|---|---|---|---|
| Precision | TP / (TP + FP) | A felismerések hányada helyes | A téves riasztások az ellenőr idejét veszik el |
| Recall | TP / (TP + FN) | A tényleges hibák hányadát találja meg | A kihagyott hibák veszélyeztetik a biztonságot |
| F1 score | 2 * P * R / (P + R) | Mindkettő kiegyensúlyozott harmonikus közepe | Bünteti a szélsőséges kompromisszumokat |
A magas precision-nel és alacsony recall-lal rendelkező modell csak a nyilvánvaló hibákat észleli, és ritkán ad téves riasztást. A magas recall-lal és alacsony precision-nel rendelkező modell szinte minden hibát észlel, de sok nem hibát is megjelöl, ami elárasztja az ellenőröket kézi ellenőrzési munkával. Az ideális modell mindkettőt eléri, de a gyakorlatban a küszöbértéket (a döntési határt, amely elválasztja a pozitív és negatív előrejelzéseket) hangolni kell, hogy egyensúlyba hozza ezeket a versengő igényeket.
A precision-recall kompromisszum a biztonságkritikus ellenőrzésben
A repülőtéri burkolat- és világításellenőrzésben a precision és recall közötti választás valós biztonsági következményekkel jár. Tekintsünk két forgatókönyvet:
1. forgatókönyv: Futópályán található idegen tárgyak (FOD) felismerése
A FOD egy aktív futópályán kritikus veszélyt jelent. Egy repülőgép, amely törmeléknek ütközik, súlyos károkat szenvedhet. Ebben az összefüggésben egy kihagyott hiba (téves negatív) súlyos kockázatot jelent, ezért a recall elsődleges fontosságú. Az ellenőr hajlandó lehet téves riasztásokat elfogadni, és extra időt fordítani annak ellenőrzésére, hogy bizonyos észlelt objektumok valóban idegen anyagok-e, mert a valódi FOD kihagyásának költsége elfogadhatatlan. A 0,98-as recall előnyösebb, mint a 0,80-as recall, még akkor is, ha közben a precision 0,95-ről 0,85-re csökken. A többlet téves pozitív eredmények kis működési terhet jelentenek egy kihagyott biztonsági kockázathoz képest.
2. forgatókönyv: Rutinszerű burkolati hibák rögzítése
A burkolati felületi hibák (repedések, nyomvályúk, kipattogzás) rutinszerű ellenőrzésekor a hiba módja megváltozik. A téves pozitív eredmények azt jelentik, hogy az ellenőrzési jelentés olyan bejegyzéseket tartalmaz, amelyeket a karbantartó csapatoknak ki kell vizsgálniuk, majd végül nem létező problémaként el kell vetniük. Egy olyan rendszer, amely 1000 felületi anomáliát jelez, amikor csak 500 valódi hiba van, költséges kézi szűrést tesz szükségessé. Itt a precision fontosabbá válik a recall-hoz képest. A 0,90-es precision (a megjelölt hibák 90 százaléka valódi) értékesebb, mint a 0,99-es recall 0,50-es precision-nel.
Ez a kompromisszum nem szimmetrikus az egyes területek között ugyanazon a repülőtéren belül. A világításellenőrzés (PAPI kalibráció, megközelítési lámpák állapota, fényerősség-egyenletesség) más precision-recall működési pontokat igényelhet, mint a burkolati felületvizsgálat vagy az akadálymentesítési értékelés.
Alkalmazások a burkolat- és infrastruktúra-ellenőrzésben
A gyakorlatban a repülőtéri ellenőrzésre szolgáló számítógépes látásmodellek felismerési megbízhatósági pontszámokat adnak ki, nem pedig bináris előrejelzéseket. Egy modell 0,72-es megbízhatósággal jelezhet egy lehetséges repedést, egy másikat 0,55-ös, egy harmadikat pedig 0,92-es megbízhatósággal. A döntési küszöbérték (például „a 0,7 feletti megbízhatóságú felismerések megjelölése") közvetlenül szabályozza a precision-recall kompromisszumot.
A küszöbérték 0,7-ről 0,5-re csökkentése több hibát észlel (magasabb recall), mert a határesetek most már bekerülnek. Ugyanakkor több téves pozitív eredményt is jelez (alacsonyabb precision), mert a határesetnek számító nem hibák most átlépik a küszöböt. A küszöbérték 0,9-re emelése ennek az ellenkezőjét teszi: összességében kevesebb felismerés, de azok, amelyek átmennek, nagyobb valószínűséggel helyesek.
Egy új hibafelismerő modell értékelésekor a szakemberek gyakran kiszámítják a precision-recall értékeket az összes lehetséges küszöbértékre, és az eredményt precision-recall görbeként ábrázolják. A görbe alatti terület (AUC-PR) összegző mutatóként szolgál. Az a modell, amely a legtöbb küszöbértéknél magas precision-t és recall-t is elér, jobb pontszámot kap, mint az, amelyik kénytelen választani közöttük.
Mikor részesítsük előnyben a precision-t a recall-lal szemben
A működési környezet határozza meg az optimális egyensúlyt:
A recall előnyben részesítése (magas érzékenység), ha egy kihagyott hiba költsége súlyos: FOD-felismerés, kritikus szerkezeti károk vagy a megközelítési navigációt befolyásoló világítási hibák. Egy 0,95-ös recall-lal és 0,70-es precision-nel rendelkező automatizált rendszer elfogadható, mert a kihagyott hibák elfogadhatatlanok.
A precision előnyben részesítése (alacsony téves riasztási arány), ha a téves riasztások költségesek: rutinszerű hibamonitoring, amely kézi ellenőrzést igényel, vagy ha az ellenőrző rendszer olyan szűrési sorba táplál, ahol a téves pozitív eredmények értékes szakértői időt emésztenek fel.
Egyensúly az F1-gyel (közepes precision és recall), ha mind a téves pozitív, mind a téves negatív eredmények jelentős költséggel járnak, és nincs erős okunk az egyik előnyben részesítésére a másikkal szemben. Az F1 score biztosítja, hogy a modell ne az egyik mutatóban jeleskedjen, miközben a másikban összeomlik.
Számos repülőtéri ellenőrzési munkafolyamat kétlépcsős folyamatban működik: egy magas recall-lal rendelkező automatizált AI-rendszer (amely szinte minden jelöltet észlel) egy emberi felülvizsgálati lépésbe táplál, amely kiszűri a téves pozitív eredményeket. A teljes rendszer így eléri a magas recall biztonsági előnyeit anélkül, hogy a túlzott téves riasztások működési terhét viselné. Az AI precision értéke mérsékelt lehet. A végső ellenőrzést az emberi szakértő végzi.
Összehasonlítás és összefoglalás
Az alábbi táblázat azt mutatja be, hogyan reagálnak ezek a mutatók a modell viselkedésére:
| Forgatókönyv | Precision | Recall | F1 | Legjobb felhasználási eset |
|---|---|---|---|---|
| Mindent észlel, sok téves riasztás | Alacsony | Magas | Közepes | Magas kockázatú helyzetek, ahol a hibák kihagyása elfogadhatatlan |
| Csak bizonyos hibákat észlel, kevés téves riasztás | Magas | Alacsony | Alacsony | Alacsony sürgősségű szűrés, ahol a téves riasztások időt pazarolnak |
| Kiegyensúlyozott, mindkettőben közepes | Közepes | Közepes | Magas | Általános célú értékelés szélsőséges költségaszimmetria nélkül |
Következtetés
A precision, recall és F1 score nem a modellminőség abszolút mércéi. Ezek eszközök a modell viselkedésének megértéséhez és a telepítésre vonatkozó megalapozott döntések meghozatalához. A repülőtéri világítás- és burkolatellenőrzésben a precision és recall különböző valós költségekkel jár. A magas recall-lal és közepes precision-nel rendelkező rendszer lehet a megfelelő választás a biztonságkritikus hibafelismeréshez, különösen egy kétlépcsős ellenőrzési munkafolyamat első szakaszában. Ezzel szemben a magas precision-nel rendelkező rendszer a rutinszerű jelentéstételhez illik, ahol bőséges emberi felülvizsgálat áll rendelkezésre. Az F1 score kiegyensúlyozott összegzést ad, ha egyetlen költségtényező sem dominál. Ezen mutatók és az őket alátámasztó konfúziós mátrix megértése elengedhetetlen olyan AI-rendszerek építéséhez és értékeléséhez, amelyek növelik a repülőtéri biztonságot és működési hatékonyságot.