A konfúziós mátrix a modell előrejelzéseit veti össze a valós adatokkal: a sorok a tényleges osztályokat, az oszlopok az előrejelzett osztályokat jelölik. Az átló a helyes előrejelzéseket mutatja; az átlón kívüli elemek a hibák típusait jelzik. Infrastruktúra-ellenőrző modellek esetén a konfúziós mátrix feltárja, mely hibafajták vagy minőségi osztályok keverednek – például ha a kivirágzást tévesen korróziónak gondolja a modell. Kiterjed a mátrix értelmezésére, a többosztályos konfúzióra, valamint az osztályonkénti precizitás és visszahívás származtatására.
{
A konfúziós mátrix, más néven hibamátrix, egy speciális táblázat, amely lehetővé teszi egy osztályozó algoritmus teljesítményének részletes vizualizálását. Ez a gépi tanulási modellértékelés egyik legalapvetőbb és leginformatívabb eszköze, amely teljes képet nyújt arról, hol sikeres a modell, és ami még fontosabb, hol hibázik. A mátrix a tényleges osztálycímkéket (valós adatok) veti össze a modell által előrejelzett osztálycímkékkel, ahol minden cella az adott kombinációba eső példányok számát tartalmazza.
A szabványos konvenció szerint a valós osztályok a sorokban, az előrejelzett osztályok pedig az oszlopokban helyezkednek el. Egy K különböző osztályt tartalmazó osztályozási probléma esetén a konfúziós mátrix mérete K×K. A C[i][j] pozícióban lévő elem a valós i osztályba tartozó, de a modell által j osztályként előrejelzett példányok számát jelöli. Az átló C[i][i] elemei ezért a helyes osztályozásokat jelentik – azokat a példányokat, ahol az előrejelzett osztály megegyezik a valós osztállyal. Az átlón kívüli elemek különböző típusú és súlyosságú téves osztályozásokat jelentenek.
A konfúziós mátrix onnan kapta a nevét, hogy betekintést nyújt abba, mely osztályokat “keveri össze” a modell egymással. Egy olyan modell, amely megbízhatóan megkülönbözteti az aszfaltot és a betont, de gyakran összetéveszti a kompozit burkolatot az aszfalttal, magas értékeket mutat az aszfalt-aszfalt és beton-beton átlók mentén, de jelentős átlón kívüli koncentrációt a kompozit-aszfalt metszéspontnál. Ez a mintázat pontosan megmutatja a modellfejlesztőnek, hova kell összpontosítania a fejlesztési erőfeszítéseket.
A konfúziós mátrix matematikai alapja a kontingencia táblázat elemzésében gyökerezik, amely Karl Pearson 20. század eleji munkájáig nyúlik vissza a kategorikus adatok khí-négyzet tesztjein. Gépi tanulási kontextusban a mátrixot az 1960-as években formalizálták szabványos értékelő eszközként az automatikus mintafelismerő rendszerek fejlesztésével. Napjainkban minden jelentős gépi tanulási keretrendszer tartalmaz konfúziós mátrix számítást – a scikit-learn biztosítja a sklearn.metrics.confusion_matrix függvényt, a TensorFlow a tf.math.confusion_matrix függvényt, a PyTorch pedig a torchmetrics.ConfusionMatrix segítségével számíthat mátrixokat. A scikit-learn implementáció a legszélesebb körben használt Python-alapú infrastruktúra-ellenőrzési folyamatokban, amely elfogadja a valós és előrejelzett címkék tömbjeit, és visszaadja a K×K mátrixot konfigurálható normalizálási opciókkal.
A bináris konfúziós mátrix a legegyszerűbb és legszélesebb körben tanított forma, amely akkor alkalmazható, ha az osztályozási probléma pontosan két osztályt tartalmaz – hagyományosan pozitív és negatív jelöléssel. Infrastruktúra-ellenőrzés esetén egy bináris probléma lehet: “tartalmaz-e ez a burkolati kép repedést?” (pozitív = repedés jelen van) vagy “ép-e ez a hídelem?” (pozitív = hiba észlelve).
A 2×2-es bináris konfúziós mátrix pontosan négy cellát tartalmaz:
| Pozitívnak előrejelzett | Negatívnak előrejelzett | |
|---|---|---|
| Ténylegesen pozitív | Valódi Pozitív (TP) | Hamis Negatív (FN) |
| Ténylegesen negatív | Hamis Pozitív (FP) | Valódi Negatív (TN) |
Valódi Pozitívok (TP) – A pozitív osztályba tartozóként helyesen azonosított példányok. Egy repedésérzékelő modell esetén a TP a repedést tartalmazó képek száma, amelyeket a modell helyesen repedésesnek jelölt. Minden valódi pozitív egy helyesen azonosított hibát jelent, lehetővé téve az időben történő karbantartási intézkedést. A magas TP szám magas szenzitivitást vagy visszahívást jelez – a modell megtalálja a hibákat, amelyek észlelésére tervezték.
Hamis Pozitívok (FP) – Negatív példányok, amelyeket helytelenül pozitívként osztályoztak. Ezeket statisztikai hipotézisvizsgálatban I. típusú hibáknak is nevezik. Egy hamis pozitív a repedésérzékelésben azt jelenti, hogy a modell egy ép burkolatot repedésesnek jelölt. Bár a hamis pozitívok nem okoznak szerkezeti biztonsági problémákat (egy hiba sem marad észrevétlen), téves riasztásokat generálnak, amelyek pazarlóan használják az ellenőrzési erőforrásokat – a nem létező hibák kivizsgálására kiküldött csapatok, a szükségtelen javításokra elkülönített karbantartási költségvetések és a MI-rendszerbe vetett bizalom általános eróziója. Az ICAO Annex 14 megfelelőséget igénylő repülőtéri műveletekben, ahol dokumentált ellenőrzési megállapítások szükségesek, a túlzott hamis pozitívok megterhelik a jelentési munkafolyamatot.
Hamis Negatívok (FN) – Pozitív példányok, amelyeket helytelenül negatívként osztályoztak. Ezek II. típusú hibák, és általában veszélyesebb hibatípusnak tekintik őket az infrastruktúra-ellenőrzésben. Egy hamis negatív azt jelenti, hogy egy valódi hiba – repedés, kipattogzás, korróziós folt – észrevétlen marad. A repülőgép-terhelésnek kitett repülőtéri burkolatoknál egy észrevétlen repedés továbbterjedhet az ismétlődő gumiabroncs-terhelés hatására, ami felgyorsult burkolatromláshoz és potenciális idegen tárgyak (FOD) keletkezéséhez vezethet. A hamis negatívok elmulasztott biztonságkritikus hibákat jelentenek, és minimalizálni kell őket, akár több hamis pozitív elfogadása árán is.
Valódi Negatívok (TN) – Azok a példányok, amelyeket helyesen nem a pozitív osztályba tartozóként azonosítottak. Ezek a helyesen azonosított ép burkolati területeket jelentik. Bár a valódi negatívok nem járulnak közvetlenül a hibák felfedezéséhez, elengedhetetlenek a modell általános pontosságának validálásához és olyan mutatók kiszámításához, mint a specificitás (valódi negatív arány).
A négy érték közötti kapcsolat határozza meg az összes származtatott mutatót:
Pontosság = (TP + TN) / (TP + TN + FP + FN) – Az összes előrejelzés azon aránya, amely helyes.
Precizitás (Pozitív Prediktív Érték) = TP / (TP + FP) – Az összes pozitívnak előrejelzett példány közül mekkora arány valóban pozitív. A magas precizitás kevés téves riasztást jelent.
Visszahívás (Szenzitivitás, Valódi Pozitív Arány) = TP / (TP + FN) – Az összes tényleges pozitív példány közül mekkora arányt fogott el a modell. A magas visszahívás kevés elmulasztott hibát jelent.
Specificitás (Valódi Negatív Arány) = TN / (TN + FP) – Az összes tényleges negatív példány közül mekkora arányt azonosítottak helyesen negatívként.
F1-Pontszám = 2 × (Precizitás × Visszahívás) / (Precizitás + Visszahívás) – A precizitás és a visszahívás harmonikus közepe, egyetlen kiegyensúlyozott mutatót biztosítva.
Infrastruktúra-ellenőrzés esetén a precizitás-visszahívás kompromisszumot a modell döntési küszöbértékével kezeljük. Egy repedésérzékelő modell valószínűségi pontszámot adhat 0 és 1 között minden képhez. A küszöbérték 0,5-re állítása szabványos precizitás-visszahívás egyensúlyt ad. A küszöb 0,3-ra csökkentése növeli a visszahívást (kevesebb elmulasztott repedés), de csökkenti a precizitást (több téves riasztás). A küszöb 0,8-ra emelése javítja a precizitást, de kockáztatja a finom repedések elmulasztását. Az optimális küszöb a műveleti környezettől függ: kritikus repülőtéri burkolatoknál, ahol egy repedés elmulasztása FOD képződéshez vezethet, az alacsonyabb, visszahívást előnyben részesítő küszöb megfelelő. Rutin vizuális ellenőrzéseknél, ahol a téves riasztások pazarlóan használják a korlátozott karbantartási költségvetést, a magasabb, precizitást előnyben részesítő küszöb lehet előnyösebb.
Amikor az osztályozási feladat három vagy több osztályt érint, a konfúziós mátrix K×K méretűvé bővül, ahol K az osztályok száma. A többosztályos osztályozás az uralkodó paradigma az infrastruktúra-ellenőrző MI-ben, ahol a modelleknek egyszerre kell megkülönböztetniük több felülettípust, több hibakategóriát vagy több minőségi fokozatot.
Egy 3 osztályos példa a repülőtéri burkolatok felülettípus-osztályozására a következő osztályokat tartalmazhatja: Aszfalt (A), Beton (B) és Kompozit (K). Egy hipotetikus konfúziós mátrix 1 000 validációs képre:
| Valós \ Előrejelzett | Aszfalt | Beton | Kompozit | Összesen |
|---|---|---|---|---|
| Aszfalt | 420 | 15 | 15 | 450 |
| Beton | 10 | 280 | 10 | 300 |
| Kompozit | 30 | 20 | 200 | 250 |
| Összesen | 460 | 315 | 225 | 1000 |
Az átló a helyes előrejelzéseket mutatja: 420 aszfalt, 280 beton, 200 kompozit – összesen 900 helyes az 1 000-ből, ami 90%-os teljes pontosságot ad. Az átlón kívüli cellák felfedik a hiba szerkezetét: Az aszfaltot közel egyenlő mértékben keverték össze betonnal (15 eset) és kompozittal (15 eset). A betont egyenlő mértékben keverték össze aszfalttal (10) és kompozittal (10). A kompozitot leggyakrabban aszfalttal keverték össze (30 eset) – majdnem kétszer annyiszor, mint betonnal (20). Ez a mintázat azt mondja a modellfejlesztőnek, hogy a kompozit felületek a legnagyobb kihívást jelentő osztály, különösen amikor vizuálisan hasonlítanak a tiszta aszfalthoz.
Többosztályos konfúziós mátrixok esetén az egy-minden-ellenben megközelítés a K osztályos problémát K bináris részproblémává alakítja a mutatók kiszámításához. Egy adott i osztályra:
A fenti példában a Kompozit osztályra:
A többosztályos konfúziós mátrix tetszőleges számú osztályra méretezhető. A 10-15 hibafajtát tartalmazó infrastruktúra-ellenőrző modelleknél a mátrix gazdag információs forrássá válik, amely nemcsak azt mutatja meg, mely osztályok teljesítenek gyengén, hanem azt is, hogy pontosan mely osztálypárok okoznak problémát. Ez alapvetően informatívabb, mint egyetlen pontossági szám.
A konfúziós mátrix az a forrás, amelyből az összes osztályonkénti osztályozási mutató származik. A származtatás megértése lehetővé teszi a szakemberek számára, hogy helyesen értelmezzék a modell teljesítményét, és azonosítsák, mely osztályok szorulnak fejlesztésre.
Minden i osztályra egy K osztályos osztályozási problémában:
Precizitás_i = C[i][i] / összeg(C[:][i]) = TP / (TP + FP)
A precizitás azt a kérdést válaszolja meg: “Amikor a modell i osztályt jósol, milyen gyakran helyes?” Ezt pozitív prediktív értéknek is nevezik. Hibafelismerés esetén a “kritikus szerkezeti repedés” osztály magas precizitása azt jelenti, hogy amikor a modell súlyos repedést jelez, az ellenőrök megbízhatnak a megállapításban.
Visszahívás_i = C[i][i] / összeg(C[i][:]) = TP / (TP + FN)
A visszahívás azt a kérdést válaszolja meg: “Az i osztály összes tényleges példánya közül hányat talált meg a modell?” Ezt szenzitivitásnak vagy valódi pozitív aránynak is nevezik. Hibafelismerés esetén a “kipattogzás” magas visszahívása azt jelenti, hogy a legtöbb tényleges kipattogzás észlelésre kerül, minimalizálva az elmulasztott károsodást.
F1_i = 2 × (Precizitás_i × Visszahívás_i) / (Precizitás_i + Visszahívás_i)
Az F1 a harmonikus közép, amely mindig a precizitás és a visszahívás között helyezkedik el. Az F1-et előnyben részesítik a számtani középpel szemben, mert bünteti a szélsőséges egyensúlytalanságot – egy precizitás=1,0 és visszahívás=0,0 paraméterű modell F1=0,0 értékkel rendelkezik, helyesen jelezve, hogy a modell használhatatlan a 0,5-ös számtani közép ellenére.
A modellek összehasonlításához az összes osztály között három átlagolási módszer létezik:
Makró-átlag függetlenül számítja ki a mutatót minden osztályra, és egyenlő súllyal átlagolja őket: Makró-Precizitás = (1/K) × összeg(Precizitás_i). Ez minden osztályt egyenlően kezel, függetlenül azok gyakoriságától. A 3 osztályos felület példában: Makró-Precizitás = (420/460 + 280/315 + 200/225) / 3 = (0,913 + 0,889 + 0,889) / 3 = 0,897. A makró-átlag akkor megfelelő, ha minden osztály egyformán fontos – például a burkolati károsodási típusok osztályozásánál, ahol még a ritka hibák is számítanak a biztonság szempontjából.
Mikró-átlag összesíti a számlálókat az összes osztály között a mutató kiszámítása előtt: Mikró-Precizitás = összeg(TP_i) / összeg(TP_i + FP_i). A példában: Mikró-Precizitás = (420+280+200) / (420+280+200+15+15+10+10+30+20) = 900 / 1000 = 0,900. Figyelemre méltó, hogy a mikró-átlag precizitás egyenlő a pontossággal az egycímkés osztályozásnál. A mikró-átlagot a leggyakoribb osztályok vezérlik, és akkor megfelelő, ha az általános helyesség az elsődleges szempont.
Súlyozott átlag osztályonként számítja ki a mutatót, és súlyozza az osztályonkénti valós példányok számával: Súlyozott-Precizitás = összeg(Precizitás_i × n_i) / összeg(n_i), ahol n_i az i osztály valós száma. A példában: Súlyozott-Precizitás = (0,913 × 450 + 0,889 × 300 + 0,889 × 250) / 1000 = (410,85 + 266,70 + 222,25) / 1000 = 0,900. A súlyozott átlag az ajánlott alapértelmezés kiegyensúlyozatlan adathalmazokhoz, mert figyelembe veszi az osztályok gyakoriságát anélkül, hogy elrejtené a kisebb osztályok gyenge teljesítményét.
| Átlagolási Módszer | Képlet | Legjobb Használat |
|---|---|---|
| Makró | (1/K) × Σ Mutató_i | Egyenlő osztályfontosság, ritka hibák is számítanak |
| Mikró | Σ TP / (Σ TP + Σ FP) | Teljes adathalmaz helyessége |
| Súlyozott | Σ (MUTATÓ_i × n_i) / Σ n_i | Kiegyensúlyozatlan osztályok, gyakorlati alapértelmezett |
Az MCC a konfúziós mátrixból származik, és egyetlen mutatót biztosít, amely az egész mátrixot összefoglalja az osztályegyensúlytalanságra érzéketlen módon. Többosztályos osztályozásnál az MCC -1 és +1 között mozog, ahol a +1 tökéletes előrejelzést, a 0 véletlenszerű előrejelzést, a -1 pedig teljes egyet nem értést jelez. Az MCC a következőképpen van definiálva:
MCC = [összeg(összeg(C[k][l] × C[m][n] - C[k][n] × C[m][l]))] / négyzetgyök( [összeg(összeg(C[p][q] × C[p][r]))] × [összeg(összeg(C[s][t] × C[u][t]))] )
ahol az összegek a megfelelő index tartományokon értendők a Gorodkin (2004) által meghatározottak szerint. Az MCC-t széles körben a leginformatívabb egyetlen mutatónak tartják az osztályozók értékeléséhez, mert a konfúziós mátrix mind a négy kvadránsát (binárisban) vagy mind a K² celláját (többosztályosban) használja, ellentétben a pontossággal, amely csak az átlót használja.
A teljes pontosság a leginkább intuitív módon érthető mutató, amely a konfúziós mátrixból származik: az átló összege (helyes előrejelzések) osztva a minták teljes számával. Bármely konfúziós mátrix esetén a teljes pontosságot a következőképpen számítjuk:
Pontosság = Σ C[i][i] / Σ C[i][j] minden i, j-re
A pontosság az összes előrejelzés azon arányát jelenti, amelyet a modell helyesen adott. Bár intuitív, a pontosságnak vannak kritikus korlátai, amelyeket maga a konfúziós mátrix segít diagnosztizálni.
A pontossági paradoxon azokat a helyzeteket írja le, amikor a magas pontosság nem jelez jó modellteljesítményt az osztályegyensúlytalanság miatt. Tekintsünk egy burkolati hibamodellt, amelyet egy olyan adathalmazon értékelünk, ahol a képek 95%-a ép burkolatot (negatív) és 5%-a repedést (pozitív) mutat. Egy triviális modell, amely minden képre “ép”-et jósol, 95%-os pontosságot ér el – mégis nulla repedést észlel. A konfúziós mátrix azonnal feltárja ezt a kudarcot: a modell TP=0, FP=0, FN=500 (minden repedés elmulasztva), TN=9 500 (minden ép helyesen azonosítva). A 95%-os teljes pontosság ellenére a repedés osztály visszahívása 0%.
A konfúziós mátrix láthatóvá teszi a pontossági paradoxont. A pontosság önmagában nem képes megkülönböztetni:
Infrastruktúra-ellenőrzés esetén ez a megkülönböztetés biztonságkritikus. Az ICAO Annex 14 előírja, hogy a futópálya felületi ellenőrzéseinek azonosítaniuk kell minden olyan hibát, amely veszélyeztetheti a repülőgép-műveleteket. Egy 99%-os pontosságú modell, amely egy ritka, de veszélyes hibafajta (pl. egy mély szerkezeti repedés a futópályán) 100%-át elmulasztja, olyan biztonsági kockázatot jelent, amelyet a pontosság önmagában elfedne.
A konfúziós mátrixból a szakemberek kiszámíthatják az osztályonkénti pontosságot (amelyet visszahívásnak vagy szenzitivitásnak is neveznek a pozitív osztályra bináris környezetben):
Osztály_i Pontosság = C[i][i] / összeg(C[i][:])
Ez megmutatja a tényleges i osztályba tartozó példányok azon arányát, amelyeket a modell helyesen osztályozott. Kiegyensúlyozatlan adathalmazok esetén az osztályonkénti pontosság sokkal informatívabb, mint a teljes pontosság. Egy hasznos jelentési megközelítés a teljes pontosság bemutatása a minimális osztályonkénti pontossággal együtt – a legalacsonyabb egyedi pontosságú osztály lesz a modell gyenge pontja, amely figyelmet igényel.
A kiegyensúlyozott pontosság az osztályegyensúlytalanságot kezeli a visszahívás átlagolásával az összes osztály között:
Kiegyensúlyozott Pontosság = (1/K) × Σ (C[i][i] / összeg(C[i][:]))
A 95% ép / 5% repedés példában egy triviális, mindig ép modell esetén: Kiegyensúlyozott Pontosság = (Visszahívás_ép + Visszahívás_repedés) / 2 = (9500/9500 + 0/500) / 2 = (1,0 + 0,0) / 2 = 0,50. A kiegyensúlyozott pontosság helyesen azonosítja ezt a modellt a véletlenszerűnél nem jobbnak (0,50), míg a teljes pontosság (0,95) félrevezetően magas.
A konfúziós mátrix legerőteljesebb diagnosztikai képessége, hogy képes feltárni, mely konkrét osztályokat mivel keveri össze a modell – az átlón kívüli hibák mintázatát. Ez az információ közvetlenül irányítja a modellfejlesztési stratégiákat.
Az infrastruktúra-ellenőrző modellekben gyakori összetévesztési mintázatok:
Kategórián belüli összetévesztés – Két vizuálisan hasonló hibafajtát gyakran összetévesztenek egymással. A kivirágzás (fehér kristályos sólerakódás betonon) és a korai stádiumú korrózió (rozsdaszínű elszíneződés) gyakran összetéveszthető, mert mindkettő felületi elszíneződésként jelenik meg. Az aszfaltburkolatokon belül a hálós repedés (fáradásból eredő összekapcsolódó sokszögek) néha összetéveszthető a tömbös repedéssel (zsugorodásból eredő téglalap alakú blokkok), ha a repedésháló sűrűsége mérsékelt.
Hierarchikus összetévesztés – A modell helyesen azonosítja az általános kategóriát, de összetéveszti az altípust. Egy modell helyesen észlelheti, hogy egy felület “repedezett”, de összetévesztheti a “keresztirányú repedést” a “hosszirányú repedéssel” – mindkettő lineáris repedés, amelyek csak a burkolat középvonalához vagy a forgalom irányához viszonyított tájolásban különböznek.
Kategóriák közötti összetévesztés – Egy felületi állapotot alapvetően más állapottal tévesztenek össze. Az árnyékélek a burkolaton összetéveszthetők repedésélekkel a hasonló kontrasztgradiensek miatt. A hézagtömítő anyag összetéveszthető repedéskitöltő anyaggal. A gumiabroncs-csúszásnyomok a futópálya érintkezési zónáiban összetéveszthetők felületi károsodással.
Az összetévesztési hányad egy (i, j) osztálypárra:
Összetévesztés(i → j) = C[i][j] / összeg(C[i][:])
Ez megmutatja, hogy az i osztály tényleges példányai közül mekkora arányt osztályoztak tévesen j osztályként. Egy 0,15-ös összetévesztési hányad a kompozit (valós) és aszfalt (előrejelzett) között azt jelenti, hogy a kompozit felületek 15%-át tévesztik össze aszfalttal – ez az osztály elsődleges meghibásodási módja.
Hasonlóképpen, a normalizált konfúziós mátrix soronkénti normalizálással minden sort 1,0-ra állít, közvetlenül megmutatva az egyes valós osztályok eloszlását az előrejelzett osztályok között. Ez a leggyakoribb vizualizációs formátum a többosztályos konfúziós mátrixokhoz, mert az összetévesztési mintázatok az osztályok mintaméreteitől függetlenül azonnal láthatóvá válnak.
A normalizált konfúziós mátrixot jellemzően hőtérképként jelenítik meg divergáló színsémával. Az átlót (helyes előrejelzések) zölddel vagy kékkel jelölik, létrehozva egy látható “helyes gerincet”, amelynek a domináns vizuális jellemzőnek kell lennie. Az átlón kívüli cellákat pirossal vagy meleg színekkel jelölik, az intenzitás arányos az összetévesztési hányaddal. Ez a vizuális kódolás lehetővé teszi a következők azonnali azonosítását:
Miután az összetévesztett osztálypárokat azonosították, a következő célzott stratégiák alkalmazhatók:
A felülettípus-osztályozás alapvető feladat az infrastruktúra-ellenőrzésben. Repülőtéri burkolatok esetén a Nemzetközi Polgári Repülési Szervezet (ICAO) és a Szövetségi Légügyi Hatóság (FAA) pontos felülettípus-azonosítást ír elő a repülőgép-teljesítmény számításokhoz.
Egy tipikus repülőtéri burkolat felülettípus-osztályozó modellnek meg kell különböztetnie:
Egy 4 osztályos felülettípus-modell konfúziós mátrixa 2 000 validációs képen tesztelve a következőképpen nézhet ki:
| Valós \ Előrejelzett | Aszfalt | Beton | Kompozit | Kavics |
|---|---|---|---|---|
| Aszfalt (n=600) | 564 | 6 | 24 | 6 |
| Beton (n=500) | 10 | 465 | 20 | 5 |
| Kompozit (n=400) | 48 | 28 | 312 | 12 |
| Kavics (n=500) | 5 | 10 | 5 | 480 |
Ez a mátrix a következőket tárja fel:
Aszfalt (94,0% visszahívás): 600 aszfalt képből 24-et tévesen kompozitként osztályoztak – a legjelentősebb összetévesztés ebben az osztályban. Ez akkor fordul elő, amikor az aszfalt felületek tükröződő repedési mintázatokkal rendelkeznek, amelyek vizuálisan hasonlítanak a kompozit burkolatra (aszfalt beton felett repedéstükrözéssel). A 6 téves osztályozás betonként világos színű oxidált aszfalt esetén fordulhat elő, amely hasonlít az öreg betonra.
Beton (93,0% visszahívás): Az elsődleges összetévesztés 20 kép tévesen kompozitként osztályozva – jellemzően olyan betonfelületek, amelyeken vékony aszfaltfoltok vagy ráhordási csíkok kompozitszerű megjelenést keltenek.
Kompozit (78,0% visszahívás): Ez a problémás osztály. 400 kompozit képből 48-at (12%) tiszta aszfaltként osztályoztak. Ez akkor történik, amikor az aszfalt ráhordás elég vastag ahhoz, hogy az alatta lévő beton textúrája és hézagjai ne legyenek láthatóak a felvett képeken. További 28-at (7%) tiszta betonként osztályoztak – jellemzően akkor, amikor az aszfalt ráhordás elvékonyodott a forgalmi területeken, feltárva a beton aljzatot. A modell azért küzd, mert a kompozit burkolat megjelenése a tiszta aszfalt és a tiszta beton közötti tartományt fedi le.
Kavics (96,0% visszahívás): A kavics a legkülönállóbb osztály vizuálisan, és ez éri el a legmagasabb visszahívást.
Az ICAO-megfelelőség szempontjából a kompozit és a tiszta aszfalt közötti összetévesztés a műveletileg legjelentősebb. A repülőgép-teljesítmény számítások – különösen a felszállási és leszállási távolságok – függnek a felülettípustól. A kompozit burkolat tiszta aszfaltként való összetévesztése helytelen fékezési együttható becslésekhez vezethet, ami befolyásolja a biztonsági tartalékokat.
A kompozit osztály célzott fejlesztései közé tartozik: tanítási képek készítése több ráhordási korban (új vastag ráhordás vs. elhasználódott vékony ráhordás), a kompozit szerkezetre jellemző tükröződő repedési mintázatokat mutató képek hozzáadása, valamint egy dedikált bináris megkülönböztető tanítása a tiszta aszfalt és a kompozit ráhordás között.
A minőségi osztályok osztályozása kategorikus állapotbesorolást rendel az infrastruktúra felületeihez. Repülőtéri burkolatok esetén a gyakori osztályozási rendszerek közé tartozik a Burkolatállapot Index (PCI) az ASTM D5340 szabvány szerint és az ICAO által hivatkozott repülőtéri burkolatállapot-osztályozás a repülőtéri burkolatgazdálkodási rendszerekben.
A minőségi osztályok jellemzően 4 vagy 5 szintű skálát követnek:
| Osztály | PCI Tartomány | Leírás | Vizuális Jelzők |
|---|---|---|---|
| Jó | 86-100 | Kisebb vagy semmilyen károsodás | Kevés repedés, nincs kipattogzás, ép hézagok |
| Elfogadható | 71-85 | Mérsékelt károsodás | Némi repedés, kisebb kipattogzás, enyhe időjárási hatások |
| Gyenge | 56-70 | Jelentős károsodás | Kiterjedt repedés, mérsékelt kipattogzás, látható felületi kopás |
| Súlyos/Meghibásodott | 0-55 | Súlyos károsodás | Kiterjedt összekapcsolódó repedés, súlyos kipattogzás, szerkezeti hibák |
Egy minőségi osztályok osztályozására szolgáló konfúziós mátrix 1 000 futópálya burkolati szakaszon:
| Valós \ Előrejelzett | Jó | Elfogadható | Gyenge | Meghibásodott |
|---|---|---|---|---|
| Jó (n=350) | 315 | 28 | 7 | 0 |
| Elfogadható (n=300) | 36 | 237 | 24 | 3 |
| Gyenge (n=200) | 0 | 30 | 152 | 18 |
| Meghibásodott (n=150) | 0 | 0 | 16 | 134 |
Ez a mátrix feltárja az ordális osztályozási összetévesztés jellegzetes mintázatát: a hibák a szomszédos osztályokra koncentrálódnak. A modell ritkán téveszti össze a Jót a Meghibásodottal (0 eset) vagy a Meghibásodottat a Jóval (0 eset), mert ezek az osztályok vizuálisan nagyon különböznek. Azonban a szomszédos osztályok közötti összetévesztés gyakori:
Jó ↔ Elfogadható (28 + 36 = 64 összetévesztés): Ez a két osztály a leggyakrabban összetévesztett pár, ami olyan határeseteket képvisel, ahol kisebb repedés jelen van, de a teljes állapot a Jó-Elfogadható határ közelében van (PCI ≈ 85). A Jóként osztályozott 28 Elfogadható szakaszon lehetnek olyan korai hajszálrepedések, amelyeket a modell jelentősnek értelmez; a Jóként osztályozott 36 Elfogadható szakaszon nagyon finom repedések lehetnek a modell érzékelési küszöbe alatt.
Elfogadható ↔ Gyenge (24 + 30 = 54 összetévesztés): A mérsékelt károsodás osztályozása még emberi ellenőrök között is szubjektív. A Gyengének osztályozott 24 Elfogadható szakaszon valószínűleg az Elfogadható-Gyenge határhoz közeli repedéssűrűség van; az Elfogadhatónak osztályozott 30 Gyenge szakasz olyan eseteket képviselhet, ahol a repedés súlyossága határeset.
Gyenge ↔ Meghibásodott (18 + 16 = 34 összetévesztés): A súlyos végén a Gyenge (kiterjedt repedés) és a Meghibásodott (szerkezeti károsodás) közötti összetévesztés viszonylag alacsony, mert a meghibásodott burkolat minőségileg eltérő károsodást mutat – kipattogzást, vetődést és felületi szétesést, ami túlmutat az egyszerű repedésen.
A mátrix aszimmetrikus: a Jó→Elfogadható összetévesztés (28) alacsonyabb, mint az Elfogadható→Jó összetévesztés (36). Ez azt jelenti, hogy a modell konzervatívabb az Elfogadható szakaszok esetében (hajlamos a Jó szakaszokat Elfogadhatóvá minősíteni), mint a Jó szakaszok esetében (hajlamos az Elfogadható szakaszokat Jóvá minősíteni). Ez az aszimmetria releváns a karbantartástervezés szempontjából – a konzervatív téves osztályozások (a jobb burkolat rosszabbnak értékelése) műveletileg biztonságosabbak, mert korábbi karbantartási beavatkozáshoz vezetnek a késleltetett intézkedés helyett.
Cohen súlyozott Kappája különösen alkalmas a minőségi osztályok konfúziós mátrixaihoz, mert figyelembe veszi az osztályok sorrendjét. A szomszédos osztályok hibáit (Elfogadható Gyengeként osztályozva) kevésbé súlyosan büntetik, mint a távoli hibákat (Jó Meghibásodottként osztályozva). A lineáris súlyozás arányosan büntet az osztálykülönbség függvényében, míg a négyzetes súlyozás az osztálykülönbség négyzetével büntet – ez megfelelőbb, ha az osztálykülönbségek nemlineáris biztonsági következményekkel járnak.
A fenti mátrix esetében a súlyozott Kappa (lineáris) körülbelül 0,78 lehet, ami jelentős, a véletlenen túli egyezést jelez, míg a súlyozatlan Kappa alacsonyabb, körülbelül 0,72 lenne, mert minden átlón kívüli hibát egyformán kezel a súlyosságtól függetlenül.
A hibafelismerés a legösszetettebb és legbiztonságkritikusabb feladat az infrastruktúra-ellenőrző MI-modellek számára. Beton hídelemek vagy repülőtéri burkolatok esetén egy modellnek akár 10-15 különböző hibafajtát kell egyszerre felismernie.
A beton infrastruktúra-ellenőrzés tipikus hibafajtái a következők:
Egy részleges konfúziós mátrix a leggyakrabban összetévesztett hibapárokra összpontosítva egy beton hídpálya-ellenőrző modell esetében:
| Valós \ Előrejelzett | Hajszálrepedés | Szerkezeti Repedés | Kipattogzás | Kivirágzás | Korróziós Elszíneződés | Ép |
|---|---|---|---|---|---|---|
| Hajszálrepedés | 820 | 30 | 5 | 40 | 10 | 95 |
| Szerkezeti Repedés | 15 | 440 | 20 | 5 | 15 | 5 |
| Kipattogzás | 0 | 10 | 285 | 5 | 20 | 0 |
| Kivirágzás | 25 | 0 | 5 | 145 | 60 | 15 |
| Korróziós Elszíneződés | 5 | 5 | 15 | 35 | 180 | 10 |
| Ép | 65 | 0 | 0 | 10 | 15 | 1910 |
Kivirágzás ↔ Korróziós Elszíneződés (60 + 35 = 95 összetévesztés): A legjelentősebb összetévesztési pár a betonhiba-felismerésben. Mindkettő felületi elszíneződésként jelenik meg – a kivirágzás fehér kristályos lerakódásként, a korróziós elszíneződés rozsdaszínű foltokként. Amikor a kivirágzás szennyeződést tartalmaz, vagy amikor a korróziós elszíneződés korai stádiumban van (rozsdaszínű, de még nem mintázott), a kettő vizuálisan megkülönböztethetetlen. Ennek az összetévesztésnek anyagi következményei vannak: a kivirágzás vízvándorlást jelez (karbantartási probléma), míg a korróziós elszíneződés aktív acélbetét-korróziót (szerkezeti biztonsági probléma). Az egyik összetévesztése a másikkal drámaian helytelen karbantartási prioritásokhoz vezethet.
Hajszálrepedés ↔ Ép (95 + 65 = 160 összetévesztés): A modell felbontási határához közeli hajszálrepedések (körülbelül 0,2 mm 0,5 mm/pixel felbontás mellett) gyakran észrevétlenek maradnak. 95 hajszálrepedést osztályoztak épként (hamis negatív), ami elmulasztott korai stádiumú károsodást jelent. 65 ép felületet osztályoztak hajszálrepedésesnek (hamis pozitív), ami téves riasztásokat jelent. Ez a klasszikus érzékelési érzékenységi kompromisszum az észlelési határon.
Kipattogzás ↔ Korróziós Elszíneződés (20 + 15 = 35 összetévesztés): A korrodált acélbetéteket feltáró kipattogzott területeken gyakran rozsdaszínű elszíneződés van a kipattogzás szélein, ami a két osztály közötti összetévesztéshez vezet. Sok esetben mindkét hiba együtt létezik – egy kipattogzás, amelyet az alatta lévő korrózió okoz –, ami az egycímkés osztályozási feladatot eredendően kétértelművé teszi.
Szerkezeti Repedés ↔ Hajszálrepedés (30 + 15 = 45 összetévesztés): A hajszálrepedés-szerkezeti repedés határhoz (körülbelül 0,3 mm szélesség) közeli repedéseket az érzékelt szélesség alapján keverik össze. Precíz szubmilliméteres mérési képesség hiányában a szabványos ellenőrzési képeken ez az összetévesztés várható és elfogadható lehet, ha mindkét repedéstípus megjelölésre kerül az ellenőrzéshez.
Az összetévesztési mintázatok alapján a következő konkrét javítási stratégiák alkalmazhatók:
Kivirágzás vs. Korróziós Elszíneződés: Adjunk hozzá tanítási adatokat, amelyek szennyeződést tartalmazó kivirágzást (sárgás árnyalat) és látható rozsda nélküli korai korróziót (zöldes árnyalat) mutatnak. Alkalmazzunk színbővítést, amely hangsúlyozza ezeket a finom spektrális különbségeket. Fontoljuk meg közeli infravörös vagy multispektrális csatornák hozzáadását, amelyek érzékelik a kémiai összetételbeli különbségeket.
Hajszálrepedés vs. Ép: Javítsuk a felvételi felbontást, vagy alkalmazzunk szuperfelbontású előfeldolgozást. Alkalmazzunk célzott adatbővítést, amely hajszálrepedéseket szimulál különböző felületi textúrákon. Fontoljuk meg a határeset előrejelzések elutasítását és emberi felülvizsgálatra jelölését.
Kipattogzás vs. Korróziós Elszíneződés: A modell tanítása használjon többcímkés annotációt, ahol a kipattogzás és a korrózió együtt létezhet. Alternatívaként hozzunk létre egy hierarchikus osztályozót, amely először érzékeli a “károsodási területet”, majd a második szinten megkülönbözteti a kipattogzást az elszíneződéstől.
Szerkezeti vs. Hajszálrepedés: Integráljuk a repedésszélesség becslését regressziós fejként az osztályozás helyett. Használjuk a folytonos szélességbecslést a súlyossági küszöbértékek beállításához, amelyek ellenőrzési szabványonként hangolhatók.
A hatékony konfúziós mátrix vizualizáció és jelentéskészítés elengedhetetlen a modell teljesítményének kommunikálásához az érdekelt felek felé – az adattudósoktól a repülőtéri karbantartási vezetőkön át a szabályozó hatóságokig.
A konfúziós mátrix szabványos vizualizációs formátuma egy hőtérkép a következő konvenciókkal:
Publikációminőségű ábrákhoz a szabványos megközelítés a matplotlib használata seaborn.heatmap-pal Pythonban:
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_true, y_pred, labels=class_names)
cm_normalized = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
fig, ax = plt.subplots(figsize=(10, 8))
sns.heatmap(cm_normalized, annot=True, fmt='.2f',
xticklabels=class_names, yticklabels=class_names,
cmap='RdYlGn', vmin=0, vmax=1, ax=ax)
ax.set_xlabel('Előrejelzett Osztály')
ax.set_ylabel('Valós Osztály')
ax.set_title(f'Konfúziós Mátrix (Teljes Pontosság: {accuracy:.2%})')
plt.tight_layout()
A normalizálás megválasztása jelentősen befolyásolja az értelmezést:
Sor-normalizált (normalize=‘true’): Minden sor 1,0-ra (100%) összegződik. Az átló értékei az osztályonkénti visszahívást mutatják. A sorokon átívelő értékek azt mutatják: “amikor a valós osztály X, mekkora arányt előrejeleztek az egyes osztályokként?” Ez a leggyakoribb normalizálás diagnosztikai elemzéshez.
Oszlop-normalizált (normalize=‘pred’): Minden oszlop 1,0-ra (100%) összegződik. Az átló értékei az osztályonkénti precizitást mutatják. Az oszlopokon lefelé haladó értékek azt mutatják: “amikor a modell X-et jósolt, mekkora arány tartozott valójában az egyes valós osztályokba?” Ez hasznos a hamis pozitív eloszlások megértéséhez.
Nincs normalizálás: A nyers számok jelennek meg. Elengedhetetlen a mintaméretek ellenőrzéséhez, de megnehezíti az összehasonlítást, ha az osztályok különböző gyakoriságúak.
Háromértékű cellaformátum: Minden cella három értéket mutat: nyers szám, sor %, és oszlop %. Ez teljes információt nyújt egyetlen vizualizációban, de nagy mátrixok esetén vizuálisan zsúfolt lehet.
Infrastruktúra-ellenőrző modell jelentésekhez az ajánlott sablon a következőket tartalmazza:
Modellfejlesztési nyomonkövetéshez a konfúziós mátrixokat rendszeres tanítási ellenőrzőpontokon (minden 10-20 epoch után) kell generálni és naplózni. A mátrixok összehasonlítása az ellenőrzőpontok között feltárja:
Az Arena platform és az MLflow konfúziós mátrix nyomonkövetést biztosítanak a kísérletkezelés részeként, automatikusan generálva és verziókövetve a mátrixokat minden tanítási futtatáshoz.
A mátrixban lévő összetévesztések nem egyenlők. A szakterület szakértőinek át kell tekinteniük az összetévesztési mintázatokat, hogy minden átlón kívüli párt az alábbiak szerint osztályozzanak:
Elkerülhető összetévesztés: A két osztály vizuálisan elkülöníthető egy emberi szakértő számára, és a modell összetévesztése hiányosságot jelez a tanítási adatokban, a modell architektúrájában vagy a jellemzőtanulásban. A kivirágzás vs. korróziós elszíneződés egyértelmű színkülönbségekkel rendelkező képeken ebbe a kategóriába tartozik.
Elkerülhetetlen összetévesztés: A két osztály valóban nehezen megkülönböztethető még emberi szakértők számára is, vagy a megkülönböztetés olyan információt igényel, amely nem áll rendelkezésre a bemenetben (pl. időbeli fejlődési adatok, felszín alatti érzékelés). A hajszálrepedés vs. felületi karcolás, ahol mindkettő finom lineáris jellemzőként jelenik meg, elkerülhetetlenül összetéveszthető lehet pusztán vizuális képek alapján.
Kétértelmű valós adatok: Maga a valós osztály is bizonytalan az annotátorok közötti egyet nem értés miatt. Ha két emberi ellenőr 15%-os gyakorisággal nem ért egyet abban, hogy egy felület “elfogadható” vagy “gyenge” minőségű, a modelltől nem várható el, hogy meghaladja ezt az egyezési plafont. A konfúziós mátrixot az emberi egyezés alapvonalához viszonyítva kell értelmezni – egy olyan modell, amely 90%-os egyezést ér el egy referenciaszabvánnyal, kiváló lehet, ha az emberi értékelők közötti megbízhatóság csak 85%.
A szabályozási megfelelőségi kontextusban használt infrastruktúra-ellenőrző modellek esetében – mint az ICAO Annex 14 repülőtéri tanúsítás vagy az FAA AC 150/5320-5D burkolatgazdálkodás – a konfúziós mátrix alapvető validációs dokumentumként szolgál. A szabályozási jelentésnek tartalmaznia kell:
A konfúziós mátrix, ha megfelelően építik fel és értelmezik, átalakítja a modellértékelést egyetlen pontossági számból egy gazdag diagnosztikai eszközzé, amely feltárja egy osztályozó rendszer teljes hibaszerkezetét. Infrastruktúra-ellenőrzési alkalmazásoknál, ahol a különböző hibatípusok költsége drámaian eltér – egy elmulasztott szerkezeti hiba sokkal többe kerül, mint egy téves riasztás ép burkolaton –, ez a részletes megértés lehetővé teszi a szakemberek számára, hogy a repülésbiztonság specifikus megbízhatósági követelményeinek megfelelő modelleket hangoljanak, validáljanak és telepítsenek.
A TarmacView konfúziós mátrix elemzést használ az infrastruktúra-ellenőrző MI-modellek validálásához felülettípus-, minőségi osztály- és hibafelismerési feladatok esetén. Győződjön meg róla, hogy modelljei megbízhatóan teljesítenek az átfogó konfúziós mátrixokból származtatott osztályonkénti értékelési mutatókkal.
A hibaszűrés egy olyan kiértékelési stratégia, amely a prediktált hibacímkéket felülettípus és szerkezeti tartomány alapján szűri a hamis pozitívok visszaszorít...
A beágyazási tér egy magas dimenziójú matematikai tér, amelyben objektumok – például képek, szövegek vagy érzékelőadatok – vektorokként vannak reprezentálva, le...
A kompozit anyagok két vagy több különböző anyag ötvözésével egyedi tulajdonságokat érnek el a repülőgépiparban, autógyártásban, építőiparban és más területeken...