Čo je matica zámen?
Matica zámen je tabuľka, ktorá počíta, koľko položiek každej skutočnej triedy klasifikačný model zaradil do každej predpovedanej triedy. Nazýva sa tiež chybová matica.
Ako ju čítať
V scikit-learn je každý riadok skutočná trieda a každý stĺpec predpovedaná trieda. Bunka v riadku i a stĺpci j počíta pozorovania skutočnej triedy i, ktoré model zaradil do triedy j. Iné texty zamieňajú osi, preto najprv skontrolujte označenia.
Bunky na diagonále sú správne predpovede. Bunky mimo diagonály sú chyby a každá ukazuje, s ktorou triedou model zamenil ktorú.
Binárny prípad
Model s dvoma triedami, pozitívnou a negatívnou, dáva štyri bunky.
| Predpovedaná pozitívna | Predpovedaná negatívna | |
|---|---|---|
| Skutočne pozitívna | skutočne pozitívny (TP) | falošne negatívny (FN) |
| Skutočne negatívna | falošne pozitívny (FP) | skutočne negatívny (TN) |
Falošne negatívny prípad je skutočne pozitívna položka, ktorú model označil ako negatívnu. Falošne pozitívny prípad je skutočne negatívna položka, ktorú model označil ako pozitívnu.
Metriky z buniek
- Správnosť = (TP + TN) / všetky pozorovania.
- Presnosť = TP / (TP + FP).
- Recall = TP / (TP + FN).
- F1 = 2TP / (2TP + FP + FN).
Príklad z dokumentácie scikit-learn: 8 pozorovaní dáva TN = 2, FP = 1, FN = 2 a TP = 3. Správnosť je 5/8 = 0,625, presnosť je 3/4 = 0,75, recall je 3/5 = 0,6 a F1 je 6/9 = 0,67.
Pre viac ako dve triedy vypočítajte presnosť a recall pre každú triedu. Vyvážená správnosť je priemer recall všetkých tried. Cohenova kappa a Matthewsov korelačný koeficient (MCC) tiež využívajú celú maticu. Kappa leží medzi -1 a 1. MCC má maximum +1 a pri viac ako dvoch triedach je jeho minimum medzi -1 a 0.
Prečo nestačí samotná správnosť
Pri nevyvážených dátach môže správnosť skryť model, ktorý nič nenájde. Matica ukazuje skutočne pozitívne prípady a to, kam sa dostali, takže to odhalí hneď.
Často kladené otázky
- Sú riadky skutočná trieda alebo predpovedaná trieda?
- Závisí to od zdroja. V scikit-learn je každý riadok skutočná trieda a každý stĺpec predpovedaná trieda. Iné texty osi zamieňajú. Pred čítaním čísel si prečítajte označenia osí.
- Aký je rozdiel medzi presnosťou a recall?
- Presnosť je podiel pozitívnych predpovedí, ktoré sú správne: TP / (TP + FP). Recall je podiel skutočne pozitívnych prípadov, ktoré model nájde: TP / (TP + FN). Recall sa tiež nazýva citlivosť.
- Prečo na posúdenie modelu nestačí správnosť?
- Celková správnosť môže byť vysoká aj pri nepoužiteľnom modeli. Ak je 99 zo 100 položiek negatívnych, model, ktorý vždy predpovedá negatívnu triedu, dosiahne 99 %. Matica to odhalí, pretože každý skutočne pozitívny prípad je falošne negatívny.
- Čo ukazuje normalizovaná matica zámen?
- Ukazuje podiely namiesto počtov. V scikit-learn normalize='true' delí každý riadok jeho súčtom, takže bunka na diagonále je recall danej triedy. normalize='pred' delí každý stĺpec a normalize='all' delí počtom pozorovaní.
Referencie
- sklearn-model-evaluation
- scikit-learn User Guide, 3.4 Metrics and scoring: quantifying the quality of predictions scikit-learn
- sklearn-confusion-matrix-api
- sklearn.metrics.confusion_matrix scikit-learn
- google-ml-crash-course-metrics
- Machine Learning Crash Course: Classification, accuracy, precision and recall Google for Developers
- wikipedia-confusion-matrix
- Confusion matrix Wikipedia
Toto je referenčný záznam. TarmacView poskytuje služby dronovej inšpekcie a nepredáva vybavenie ani materiály opísané v tomto slovníku.