Reconocimiento de Patrones

Transcripción

1 Reconocimiento de Patrones Técnicas de validación (Clasificación Supervisada) Jesús Ariel Carrasco Ochoa Instituto Nacional de Astrofísica, Óptica y Electrónica

2 Clasificación Supervisada Para qué evaluar un clasificador? Para seleccionar cuál clasificador usar ( saber cuál es mejor ) Para estimar el error esperado ( qué tan confiable es )

3 Técnicas de validación Cómo evaluar un clasificador? Midiendo la calidad ( accuracy ) La mediremos como: accuracy = # aciertos # objetosclasificados

4 Técnicas de validación Sobre cuál conjunto de objetos evaluar? Dividir la muestra en 2 (entrenamiento y control) Validación cruzada de k particiones Leave one out Bootstrap

5 Dividir la muestra en 2 Muestra Entrenamiento Control Muestra de Control Clasificada Clasificador accuracy

6 Dividir la muestra en 2 Cómo dividir la muestra? Separarla en 2 manualmente Separarla aleatoriamente

7 Dividir la muestra en 2 Problemas En algunos casos la muestra inicial puede ser muy pequeña de modo que no conviene dividirla se reduce aún más la información para entrenar la muestra de control puede ser muy pequeña con lo cual no da información confiable Si se tiene una mala división los resultados no son confiables

8 Dividir la muestra en 2 Para el segundo problema Repetir la división aleatoria varias veces Calcular el accuracy para cada forma de dividir Promediar los resultados

9 Validación cruzada Dividir la muestra en k partes (validación cruzada con k pliegues) (k-fold cross validation) Formar el conjunto de entrenamiento con k-1 particiones y el de control con la partición restante Repetir el proceso dejando como control cada una de las particiones Promediar los resultados de todas las pruebas

10 Validación cruzada Muestra Entrenamiento Control accuracy Entrenamiento Control accuracy Entrenamiento Control accuracy

11 Validación cruzada Cuantas particiones hacer? Si se hacen 2 particiones dividir la muestra en 2 El máximo valor de k es el número de objetos de la muestra original Usualmente se toma k=10, si la muestra es muy grande se toma k=3, si es muy pequeña se toma el máximo valor de k

12 Leave one out Tomar un objeto de la muestra como control y los demás como muestra de entrenamiento Repetir el proceso dejando como control cada uno de los objetos de la muestra Promediar los resultados de todas las pruebas

13 Leave one out Muestra Entrenamiento Control accuracy Entrenamiento : Control accuracy : Entrenamiento Control accuracy

14 Bootstrap Si la muestra tiene N objetos, seleccionar aleatoriamente con reemplazo (los objetos seleccionados se pueden repetir) un conjunto de entrenamiento de N objetos Formar la muestra de control con los objetos que no hayan sido seleccionados Repetir el proceso k veces Promediar los resultados de todas las pruebas

15 Técnicas de validación La medida de accuracy es útil si todos los errores son igualmente graves Si esto no es así existen otras medidas de calidad Consideremos la matriz de confusión

16 Matriz de Confusión C 1 C 2 C r C 1 C 2.. C r n 11 n 12.. n 1r n 21 n 22.. n 2r n 11 n 12.. n 1r n ij = numero de objetos de la muestra que estando en la clase C i fueron puestos en la clase C j

17 Matriz de Confusión 2 clases C 1 C 2 C 1 TP FN C 2 FP TN TP = verdaderos positivos TN = verdaderos negativos FP = falsos positivos FN = falsos negativos

18 Otras medidas de calidad accuracy = TP TP + TN + TN + FP + FN error = TP FP + FN + TN + FP + FN sensibilidad = TP TP + FN especificidad = TN FP + TN

19 Otras medidas de calidad presición = TP TP + FP recuerdo = TP TP + FN Fmeasure = 2 presición recuerdo presición + recuerdo

20 Significancia Estadística Se utilizan para comparar los resultados de un clasificador contra los de otro clasificador Tiene como objetivo validar que los resultados obtenidos no son debidos al azar Se busca decidir si ambos clasificadores obtienen resultados equivalentes (son competitivos uno con otro) o si uno es mejor que el otro Se utilizan técnicas estadísticas de prueba de hipótesis

21 Significancia Estadística Comparar dos clasificadores Sobre un solo conjunto de datos Decidir cuál es el mejor para este conjunto de datos Sobre varios conjuntos de datos Decidir cuál es el mejor de manera general

22 Comparación sobre un solo conjunto de datos Se requiere tener una serie de resultados para cada clasificador sobre los mismos datos Comúnmente estas pruebas se hacen sobre la validación cruzada (particiones iguales para ambos clasificadores) Usualmente la hipótesis que se prueba es que los resultados son equivalentes Si se rechaza la hipótesis se infiere que el clasificador que obtiene mejores resultados es realmente mejor y no se debe al azar.

23 Significancia Estadística Existen diversas pruebas de significancia estadística. prueba t de Student prueba de los signos de Wilcoxon

24 Prueba t de student Se calcula donde n es el número de pruebas las µ y σ 2 son las medias y varianzas de los resultados para cada clasificador (1,2) n S S T ˆ ˆ σ σ µ µ µ µ µ µ + = =

25 Prueba t de student Se supone que T sigue la distribución t de student con 2n-2 grados de libertad Se selecciona un nivel de confianza y se compara con el valor esperado (tabla) Si el valor obtenido es mayor que el de la tabla se rechaza la hipótesis de que son equivalentes Se aplica cuando la población estudiada sigue una distribución normal y la desviación estándar puede aproximarse con los datos.

26 Prueba t de student

27 Prueba de los signos de Wilcoxon Supóngase que se tienen n resultados a i y b i con i=1,,n para dos clasificadores A y B El objetivo es comprobar si los clasificadores son equivalentes o no

28 Prueba de los signos de Wilcoxon Se calcula z i =a i -b i para i=1,,n Se ordenan los z i de acuerdo a su valor absoluto y se calcula su posición p i Se calcula: < > + = = 0 z i 0 z i i i p T p T

29 Prueba de los signos de Wilcoxon Claramente si no hay valores iguales T + + T = n(n + 1) 2 Se Busca en la tabla si los valores T+ y T- están fuera del intervalo para el nivel de confianza deseado y de ser así se rechaza la hipótesis de que son equivalentes.

30 Prueba de los signos de Wilcoxon Se aplica a muestras pequeñas, de tamaño entre 6 y 25. Supone que los valores de z i son independientes y siguen una distribución continua y simétrica

31 Comparación sobre varios conjuntos de datos Comparar promedio de resultados para todos los conjuntos de datos Comparar para cada conjunto de datos y hacer una tabla W/T/L