Análisis de Datos. Validación de clasificadores. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Validación de clasificadores Profesor: Dr. Wilfrido Gómez Flores 1

2 Introducción La mayoría de los clasificadores que se han visto requieren de uno o más parámetros definidos libremente, por ejemplo: El número de vecinos en el clasificador knn. Los valoresc y γ de la SVM. El número de neuronas ocultas en la RBFN. Se deben abordar dos problemas: Selección del modelo: Cómo seleccionar los parámetros óptimos para un problema de clasificación? Validación: Una vez seleccionado el modelo, cómo estimar su error verdadero? Si se tuviera acceso a un número ilimitado de patrones, estas preguntas se responden directamente: Seleccionar el modelo con el menor error sobre la población entera. El error encontrado corresponde con el error verdadero. 2

3 Introducción Sin embargo, en situaciones reales solo se tiene un conjunto finito de patrones disponibles. Usar el conjunto completo de datos para seleccionar el modelo óptimo y después estimar el error con el mismo conjunto de entrenamiento tiene dos problemas fundamentales: El modelo final está sobreentrenado, es decir, no es capaz de generalizar nuevos patrones. El error estimado es muy optimista, es decir, menor al error verdadero. Se deben considerar técnicas para el entrenamiento, selección del modelo y estimación del desempeño de clasificación. 3

4 Bias y varianza El error de clasificación está definido por la suma de bias (desvío) y varianza: Bias es el desvío con respecto al error verdadero. Un desvío alto indica que la distribución verdadera de los datos no se modela adecuadamente y no depende del número de muestras de entrenamiento. Un desvío alto indica subentrenamiento. Varianza es la variabilidad que presenta el clasificador para diferentes muestras. A mayor número de muestras de entrenamiento la varianza disminuye. Una varianza alta indica sobreentrenamiento. Desvío bajo Desvío alto Varianza 4

5 Método hold-out Se divide aleatoriamente el conjunto de datos en dos grupos, preservando las probabilidades a priori de cada clase: Conjunto de entrenamiento: usado para entrenar el clasificador Conjunto de prueba: usado para estimar el error de clasificación Número total de patrones Conjunto de entrenamiento Conjunto de prueba Se ejecuta un sólo experimento de entrenamiento-prueba, de modo que el error estimado podría ser muy alto si se genera una desafortunada división de los datos. Esta desventaja puede superarse con diferentes métodos de remuestreo como validación cruzada (submuestreo aleatorio, K- dobleces, dejando-uno-fuera) y bootstrap. 5

6 Submuestreo aleatorio El submuestreo aleatorio ejecuta K divisiones del conjunto de datos completo: En cada división se selecciona aleatoriamente un número fijo de muestras sin reemplazo. La muestras seleccionadas se usan para entrenar el clasificador y el restante para estimar el error de clasificación. Experimento 1 Experimento 2 Número total de patrones Patrón de prueba Experimento K El error estimado se obtiene promediando los errores de los K experimentos. 6

7 Validación cruzada con K-dobleces Divide aleatoriamente el conjunto de datos en K conjuntos, para cada uno de los K experimentos, usar K 1 conjuntos para entrenar y el restante para estimar el error. Preservar las probabilidades a priori de cada clase en los K conjuntos. K=4 Número total de patrones Experimento 1 Experimento 2 Experimento 3 Experimento 4 Patrones de prueba Todos los datos eventualmente se usan para entrenar y probar el clasificador. El error estimado se obtiene promediando los K errores de todos los experimentos. 7

8 Validación cruzada dejando-uno-fuera La validación cruzada dejando uno fuera es un caso particular de la validación cruzada con K-dobleces, donde K es igual al número total de patrones disponibles. Para un conjunto de datos con N muestras, se ejecutan N experimentos. En cada experimento se usan N 1 muestras para entrenar y la restante para probar. Número total de patrones Experimento 1 Experimento 2 Experimento 3 Patrón de prueba Experimento N El error estimado se obtiene promediando los N errores de todos los experimentos. 8

9 Número de dobleces Con un número grande de dobleces: El desvío del error verdadero será pequeño, es decir, el estimador es muy exacto. La varianza del error verdadero será grande. El tiempo de cómputo será muy grande debido a que se ejecutan muchos experimentos. Con un número pequeño de dobleces: El número de experimentos es pequeño y, por tanto, se reduce el tiempo de cómputo. La varianza del estimador será pequeña. El desvío del estimador será grande. En la práctica, la selección del valor de K depende del conjunto de datos: Para conjuntos de datos grandes se suelen usar pocos dobleces. Para conjuntos de datos dispersos se recomienda usar K=N. Valores típicos son K=5 y K=10. 9

10 El método bootstrap El método bootstrap es una técnica de remuestreo con reemplazo: Para un conjunto de datos con N muestras: - Seleccionar aleatoriamente N muestras con reemplazo, las cuales formarán el conjunto de entrenamiento. - La muestras restantes que no fueron seleccionadas constituyen el conjunto de prueba. Este proceso de división se repite K veces. El error estimado es el promedio de los K experimentos. Conjunto original Experimento 1 Experimento 2 Experimento 3 x 3 x 4 x 5 x 3 x 3 x 3 x 5 x 5 x 5 x 3 x 5 x 5 x 4 x 4 x 3 x 4 Experimento K x 4 x 4 x 4 x 4 x 3 x 5 Entrenamiento Prueba 10

11 El método bootstrap Comparado en el método de validación cruzada, el método bootstrap incrementa la varianza que ocurre en cada conjunto de entrenamiento. Esta es una propiedad deseable, ya que es una simulación realista del experimento en la vida real a partir del cual se obtuvieron los patrones. Debido al muestreo con reemplazo, se preservan las probabilidades a priori de las clases a través del proceso de selección aleatoria. 11

12 Separación de datos en tres direcciones Si la selección del modelo y el error verdadero deben ser calculados simultáneamente, el conjunto de datos se divide en tres conjuntos disjuntos: Conjunto de entrenamiento: se usa para ajustar los parámetros del clasificador, por ejemplo, los pesos de una RNA. Conjunto de validación: se usa para seleccionar un clasificador de entre varios que han sido entrenados, por ejemplo, encontrar el número óptimo de neuronas ocultas de una RNA. Conjunto de prueba: se usa solamente para evaluar el desempeño de clasificación final de un clasificador completamente entrenado. 12

13 Separación de datos en tres direcciones Procedimiento de entrenamiento y prueba de un clasificador: 1. Dividir el conjunto de datos disponibles en entrenamiento, validación y prueba. 2. Seleccionar un clasificador y sus parámetros de entrenamiento. 3. Entrenar el modelo usando el conjunto de entrenamiento. 4. Evaluar el modelo usando el conjunto de validación. 5. Repetir los pasos 2 al 4 usando diferentes parámetros de entrenamiento. 6. Seleccionar el mejor modelo y entrenarlo usando los datos de los conjuntos de entrenamiento y validación. 7. Evaluar el desempeño final del modelo usando el conjunto de prueba. Si se usa validación cruzada o bootstrap, los pasos 3 y 4 se repiten de acuerdo al número K de conjuntos de entrenamiento. 13

14 Índices de desempeño Un índice de desempeño es una función que provee una medida de calidad de un clasificador y generalmente se calculan a partir de la matriz de confusión. Dado un problema con c clases {1,,c}, la correspondiente matriz de confusión C es una matriz cuadrada de tamaño c c cuya ij-ésima entrada C ij es el número de elementos de la clase verdadera i que fueron asignados por el clasificador a la clase j: C = a 11 e 12! e 1c e 21 a 22! e 2c!! "! e c1 e c2! a cc donde a ii es un acierto para la clase i y e ij es un error donde el clasificador confundió la clase i con la clase j. (1) 14

15 Índices de desempeño En el caso particular de una matriz de confusión para un problema de dos clases { 1,1}: donde: C = TP FP FN TN (2) Verdaderos positivos (TP) es el número de aciertos para la clase positiva. Verdaderos negativos (TN) es el número de aciertos para la clase negativa. Falsos positivos (FP) es el número de errores resultado de asignar la clase negativa a la clase positiva. Falso negativos (FN) es el número de errores resultado de asignar la clase positiva a la clase negativa. 15

16 Índices de desempeño Índices típicos de clasificación binaria: Índice Ecuación Evaluación Rango Exactitud Precisión TP + TN TP + FP + TN + FN TP TP + FP Efectividad global de un clasificador. No se recomienda para clases muy desbalanceadas. Concordancia entre las etiquetas de clase con las etiquetas positivas dadas por el clasificador. [0,1] [0,1] Sensibilidad TP TP + FN Efectividad del clasificador para identificar la clase positiva. [0,1] Especificidad TN TN + FP Efectividad del clasificador para identificar la clase negativa. [0,1] Área bajo la curva 1 2 TP TP + FN + TN TN + FP Capacidad del clasificador para evitar falsas clasificaciones. [0,1] Coeficiente de correlación de Matthews TP TN FP FN (TP + FP)(TP + FN)(TN + FP)(TN + FN) Efectividad global de un clasificador recomendado para clases desbalanceadas. [ 1,1] 16

17 Índices de desempeño Evaluación de un clasificador que diagnóstica alguna enfermedad. Enfermo Sano c c + φ Índice Valor Exactitud Presición Sensibilidad Especificidad Area bajo la curva MCC Predicción c + c Total Real c + c Total

18 Índices de desempeño Algunos índices de clasificación binaria pueden extenderse al caso multiclase tomando como casos positivos a todos los elementos de la i-ésima clase y como casos negativos las clases restantes (one-versus-all). φ c 2 φ Clase 2 c 3 c 1 Predicción Clases 1 y 3 Matriz de confusión para la clase 2 c + c Total Clase 1 Clase 2 Clase 3 c + c Real c + c Total

19 Índices de desempeño Índices clasificación multiclase: Índice Ecuación Evaluación Rango Exactitud 1 c c i=1 TP i + TN i TP i + FP i + TN i + FN i Efectividad promedio del clasificador por cada clase. [0,1] 1 c c Tasa de error Error promedio del clasificador. [0,1] i=1 FP i + FN i TP i + FP i + TN i + FN i Precisión 1 c c i=1 TP i TP i + FP i Promedio de la concordancia por clase de las etiquetas verdaderas con aquellas asignadas por el clasificador. [0,1] Sensibilidad 1 c c i=1 TP i TP i + FN i Efectividad promedio del clasificador por cada clase para identificar las etiquetas de clase verdaderas. [0,1] 19

20 Índices de desempeño El coeficiente de correlación de Matthews también está generalizado para el clase multiclase como: MCC = N 2 N tr(c) kl C k C l C k (C T ) l N 2 (C T ) k C l kl kl (3) donde N es el número de patrones, C k es el k-ésimo renglón de C, C l es la l-ésima columna de C, C T es la transpuesta de C, y tr(c) denota la traza de C. El rango de MCC está entre [ 1,1] y debe tender a la unidad para indicar buena clasificación. 20