¿Qué es una matriz de confusión?
Una matriz de confusión es una tabla que cuenta cuántos elementos de cada clase real asignó un modelo de clasificación a cada clase predicha. También se llama matriz de error.
Cómo leerla
En scikit-learn, cada fila es una clase real y cada columna es una clase predicha. La celda de la fila i y la columna j cuenta las observaciones de la clase real i que el modelo puso en la clase j. Otros textos intercambian los ejes, así que revise primero las etiquetas.
Las celdas de la diagonal son predicciones correctas. Las celdas fuera de la diagonal son errores, y cada una muestra qué clase confundió el modelo con cuál.
El caso binario
Un modelo con dos clases, positiva y negativa, da cuatro celdas.
| Predicción positiva | Predicción negativa | |
|---|---|---|
| Positivo real | verdadero positivo (TP) | falso negativo (FN) |
| Negativo real | falso positivo (FP) | verdadero negativo (TN) |
Un falso negativo es un positivo real que el modelo clasificó como negativo. Un falso positivo es un negativo real que el modelo clasificó como positivo.
Métricas a partir de las celdas
- Exactitud = (TP + TN) / todas las observaciones.
- Precisión = TP / (TP + FP).
- Exhaustividad = TP / (TP + FN).
- F1 = 2TP / (2TP + FP + FN).
Ejemplo de la documentación de scikit-learn: 8 observaciones dan TN = 2, FP = 1, FN = 2 y TP = 3. La exactitud es 5/8 = 0,625, la precisión es 3/4 = 0,75, la exhaustividad es 3/5 = 0,6 y F1 es 6/9 = 0,67.
Para más de dos clases, calcule la precisión y la exhaustividad de cada clase. La exactitud equilibrada es el promedio de la exhaustividad de todas las clases. El kappa de Cohen y el coeficiente de correlación de Matthews (MCC) también usan toda la matriz. El kappa está entre -1 y 1. El MCC tiene un máximo de +1, y con más de dos clases su mínimo está entre -1 y 0.
Por qué no basta la exactitud
Con datos desequilibrados, la exactitud puede ocultar un modelo que no encuentra nada. La matriz muestra los positivos reales y adónde fueron, así que lo expone de inmediato.
Preguntas Frecuentes
- ¿Las filas son la clase real o la clase predicha?
- Depende de la fuente. En scikit-learn, cada fila es la clase real y cada columna es la clase predicha. Otros textos intercambian los ejes. Lea las etiquetas de los ejes antes de leer los números.
- ¿Cuál es la diferencia entre precisión y exhaustividad?
- La precisión es la proporción de predicciones positivas que son correctas: TP / (TP + FP). La exhaustividad es la proporción de positivos reales que el modelo encuentra: TP / (TP + FN). La exhaustividad también se llama sensibilidad.
- ¿Por qué la exactitud no basta para juzgar un modelo?
- La exactitud puede ser alta en un modelo inútil. Si 99 de 100 elementos son negativos, un modelo que siempre predice negativo obtiene un 99 por ciento. La matriz muestra el problema, porque cada positivo real es un falso negativo.
- ¿Qué muestra una matriz de confusión normalizada?
- Muestra proporciones en lugar de conteos. En scikit-learn, normalize='true' divide cada fila entre su total, de modo que la celda de la diagonal es la exhaustividad de esa clase. normalize='pred' divide cada columna, y normalize='all' divide entre el número de observaciones.
Referencias
- sklearn-model-evaluation
- scikit-learn User Guide, 3.4 Metrics and scoring: quantifying the quality of predictions scikit-learn
- sklearn-confusion-matrix-api
- sklearn.metrics.confusion_matrix scikit-learn
- google-ml-crash-course-metrics
- Machine Learning Crash Course: Classification, accuracy, precision and recall Google for Developers
- wikipedia-confusion-matrix
- Confusion matrix Wikipedia
Esta es una entrada de referencia. TarmacView proporciona servicios de inspección con drones y no vende los equipos ni materiales descritos en este glosario.