EVALUACIÓN EN APRENDIZAJE. Eduardo Morales y Jesús González

Transcripción

1 EVALUACIÓN EN APRENDIZAJE Eduardo Morales y Jesús González

2 Significancia Estadística 2 En estadística, se dice que un resultado es estadísticamente significante, cuando no es posible que se presente por mera casualidad No se refiere a que se trata de algo importante La cantidad de evidencia requerida para aceptar que un evento no ocurrió por mera casualidad se conoce como nivel de significancia o p-value 24/02/13 6:18 pm

3 Significancia Estadística 3 Hipótesis Nula Una hipótesis que se puede falsificar utilizando una prueba con datos observados n Se establece una hipótesis nula n Recolectamos datos n Calculamos una medida de qué tan probables son los datos asumiendo que la hipótesis nula es verdadera n Si los datos son muy improbables n Generalmente datos que se observan menos del 5% de las veces que se hace el experimento n Se concluye que la hipótesis nula es falsa 24/02/13 6:18 pm

4 Significancia Estadística 4 Ejemplo Si creemos que cierta medicina reduce la posibilidad de tener un ataque cardiaco Hipótesis nula n Esta medicina no reduce la posibilidad de tener un ataque cardiaco 24/02/13 6:18 pm

5 Significancia Estadística 5 Prueba estadística de hipótesis de Fisher (enfoque tradicional) p-value Es la probabilidad condicional sobre la hipótesis nula de los datos observados (o los datos más extremos) n Si p-value es pequeño n La hipótesis nula es falsa ó pudo ocurrir un evento no común 24/02/13 6:18 pm

6 Significancia Estadística 6 Prueba estadística de hipótesis de Neyman Pearson (enfoque frecuentista) Requiere definir una hipótesis nula y otra alternativa Estudia las propiedades de muestreo repetido del proceso n La probabilidad de decidir rechazar la hipótesis nula cuando en realidad es verdadera y no debería ser rechazada n Falso Positivo ó Error Tipo I n La probabilidad de decidir aceptar la hipótesis nula cuando en realidad es falsa n Falso Negativo ó Error Tipo II 24/02/13 6:18 pm

7 Significancia Estadística 7 El nivel de significancia de una prueba lo definimos como La probabilidad de erróneamente rechazar la hipótesis nula no sea mayor que la probabilidad establecida 24/02/13 6:18 pm

8 Intervalos de Confianza 8 Es un estimado de un intervalo para un parámetro de población En lugar de estimar el parámetro con un solo valor Se estima un intervalo que incluya al parámetro Los intervalos de confianza se utilizan para indicar la certeza que podemos tener de un estimado El qué tan posible es que el intervalo contenga al parámetro que se determina por el nivel de confianza o coeficiente de confianza n Al incrementar el nivel de confianza deseado se amplía el intervalo de confianza 24/02/13 6:18 pm

9 Motivación 9 Evaluación de hipótesis Podemos usar la hipótesis? La evaluación de hipótesis es parte del aprendizaje en varios métodos Post-pruning en árboles de decisión para evitar el sobre-ajuste 24/02/13 6:18 pm

10 Motivación 10 Cómo determinar qué hipótesis (método) usar con un problema en particular? Diagnóstico médico Evaluar diferentes métodos Comparar métodos La evaluación no es tan fácil 24/02/13 6:18 pm

11 Motivación 11 Evaluación sencilla con datos suficientes Evaluación difícil con pocos datos Sesgo en la estimación n Sobreajuste n Optimista para nuevos casos n Probar con casos independientes al conjunto de entrenamiento Varianza en la estimación n Aún si la evaluación se hace con un conjunto de prueba no sesgado n Precisión medida varía de la precisión real n Depende del conjunto particular de ejemplos n Mientras más pequeño es el conjunto de ejemplos de prueba n Más grande la varianza 24/02/13 6:18 pm

12 Estimando la Precisión de una Hipótesis 12 Queremos estimar la precisión para clasificar nuevas instancias También el error asociado a la estimación 24/02/13 6:18 pm

13 Problema de aprendizaje (1) 13 Espacio de posibles instancias X Se definen funciones objetivo sobre X Diferentes instancias tienen dif. frecuencias Modelo Distribución de probabilidad desconocida D de encontrar cada instancia en X D no dice nada acerca de si x es positivo o negativo 24/02/13 6:18 pm

14 Problema de aprendizaje (2) 14 Tarea de aprendizaje Aprender el concepto objetivo o función objetivo considerando un espacio de hipótesis H. Conjunto de entrenamiento n Obtener instancias independientemente, de acuerdo a la distribución D, junto con su valor objetivo correcto f(x) 24/02/13 6:18 pm

15 Problema de aprendizaje (3) 15 Ejemplo Función objetivo: Personas proponsas a ser hospitalizadas para una cirugía de apéndice (Gente que llega a la sala de urgencias en un hospital) Espacio de instancias X: toda la gente, descrita por un conjunto de atributos Distribución de probabilidad D n Para cada persona x, D dice la probabilidad de que x llegue a la sala de urgencias Función objetivo: f : X à {0, 1} n Clasifica a cada persona, entra a cirugía de apéndice o no 24/02/13 6:18 pm

16 Problema de aprendizaje (4) 16 Preguntas 1. Dada la hipótesis h y una muestra de datos con n ejemplos tomados aleatoriamente de acuerdo a D 1. Cuál es el mejor estimado de la precisión de h sobre futuras instancias tomadas bajo la misma distribución? 2. Cuál es el error probable en este estimado de precisión? 24/02/13 6:18 pm

17 Error de muestra y error verdadero (1) 17 Error de muestra error s (h) 1 n Error verdadero x S δ( f (x), h(x)) error D (h) Pr [ f (x) h(x)] x D 24/02/13 6:18 pm

18 Error de muestra y error verdadero (2) 18 Queremos conocer error D (h) pero solo podemos obtener error S (h) Pregunta Qué tan buen estimador de error D (h) es error S (h)? 24/02/13 6:18 pm

19 Intervalos de confianza para hipótesis con valores discretos (1) 19 Estimar el error verdadero de una hipótesis con valores discretos h, con base al error observado sobre la muestra S S contiene n ejemplos tomados independientemente uno de otro e independientes de h de acuerdo a D n 30 Hipótesis h comete r errores sobre estos n ejemplos n i.e., error S (h) = r / n 24/02/13 6:18 pm

20 Intervalos de confianza para hipótesis 20 con valores discretos (2) Bajo estas condiciones, y basados en teoría de la estadística 1. Dado que no se cuenta con más inf., el valor más probable para error D (h) es error S (h) 2. Con aprox. 95% de probabilidad, el error verdadero error D (h) cae en el intervalo error S (h)±1.96 error S(h)(1 error S (h)) n 24/02/13 6:18 pm

21 Intervalos de confianza para hipótesis 21 con valores discretos (3) Ejemplo n = 40, r = 12, error S (h) = 12 / 40 = 0.3 Pero error S (h) no es un estimador perfecto de error D (h) n Dif. resultados en dif. experimentos n Aprox. para 95% de los experimentos, el intervalo calculado contiene al error verdadero Intervalo de confianza del 95% n 0.30 ± (1.96 * 0.07) = 0.30 ± 0.14

22 Intervalos de confianza para hipótesis 22 con valores discretos (4) Para otros niveles de confianza error S (h)± z N error S (h)(1 error S (h)) n Valores de Z N para intervalos de confianza de dos lados N% Nivel de Confianza N% 50% 68% 80% 90% 95% 98% 99% Constante Z N : Regla de cuándo aplica la fórmula, n 30: n error S (h)(1 error S (h)) 5

23 Diferencia de error de dos hipótesis (1) 23 Hipótesis h 1, S 1, n 1 ejemplos tomados aleatoriamente bajo D Hipótesis h 2, S 2 (indep. de S 1 ), n 2 ejemplos tomados aleatoriamente bajo D Estimar diferencia entre errores verdaderos entre h 1 y h 2 Estimador: d error D (h 1 ) error D (h 2 ) ˆd error S1 (h 1 ) error S2 (h 2 )

24 Diferencia de error de dos hipótesis (2) 24 Para n 1 y n 2 30, error S (h 1 ) y error S (h 2 ) siguen distribuciones aprox. normal La dif. de 2 dist. normales también es una dist. normal à ˆd también sigue una distribución aprox. normal con media d La varianza de la distribución es la suma de las varianzas de error S (h 1 ) y error S (h 2 ) σ ˆd 2 error S 1 (h 1 )(1 error S1 (h 1 )) n 1 + error S 2 (h 2 )(1 error S2 (h 2 )) n 2

25 Diferencia de error de dos hipótesis (3) 25 Utilizando la varianza aproximada, un estimado del N% intervalo de confianza para d es: ˆd ± Z N error S1 (h 1 )(1 error S1 (h 1 )) n 1 + error S 2 (h 2 )(1 error S2 (h 2 )) n 2 Si se trabaja con la misma muestra S: ˆd error S (h 1 ) error S (h 2 )

26 Comparación de Algoritmos de Aprendizaje (1) 26 Comparar los algoritmos L A y L B en lugar de 2 hipótesis específicas Qué prueba hacemos? Cómo sabemos que la diferencia es estadísticamente significativa?

27 Comparación de Algoritmos de 27 Aprendizaje (2) Cuál de los 2 métodos es mejor en promedio para una función objetivo en particular? Sobre los conjuntos de entrenamiento de tamaño n tomados bajo D Valor esperado de la diferencia de los errores entre los algoritmos L A y L B E [error D(L A (S)) error D (L B (S))] S D

28 Comparación de Algoritmos de 28 Aprendizaje (3) En realidad solo se cuenta con un conjunto limitado de ejemplos D 0 Dividir D 0 en un conjunto de entrenamiento S 0 y un conjunto de prueba T 0 Entonces medimos: error T0 (L A (S 0 )) error T0 (L B (S 0 )) Podemos mejorar esta medida creando particiones disjuntas (k-fold CV) y estimar: E [error D (L A (S)) error D (L B (S))] S D 0 S es una muestra de D 0 de tamaño k 1 k D 0

29 Comparación de Algoritmos de 29 Aprendizaje (4) Procedimiento 1. Particionar los datos D 0 en k subconjuntos disjuntos T 1, T 2,, T k del mismo tamaño, tamaño al menos de Para i de 1 a k 1. Usar T i como conjunto de prueba y el resto para el conjunto de entrenamiento S i 1. S i ß {D0 - T i } 2. h A ß L A (S i ) 3. h B ß L B (S i ) 4. δ i ß error Ti (h A ) error Ti (h B ) 3. Regresar el valor, donde δ δ 1 k k i=1 δ i

30 Comparación de Algoritmos de 30 Aprendizaje (5) El intervalo de confianza del N% aprox. para estimar E [error D L A (S)) error D (L B (S))] S D 0 Usando δ está dado por (prueba t-test) δ ± t N,k 1 S δ S δ 1 k(k 1) k i=1 (δ i δ ) 2

31 Comparación de Algoritmos de 31 Aprendizaje (6) Constante t N,k-1 tiene 2 parámetros N, nivel de confianza k-1, número de grados de libertad n Número de eventos aleatorios v, independientes para producir el valor de δ n Grados de libertad es k-1 n Si k à, t N,k-1 se acerca a z N

32 Comparación de Algoritmos de Aprendizaje (7) 32 La comparación se hace con conjuntos de prueba idénticos Al comparar hipótesis no es necesario Se denominan pruebas apareadas (paired tests) Producen intervalos de confianza más ajustados n Diferencias entre errores en prueba apareada se deben a diferencias entre hipótesis n Al usar conjuntos de prueba separados, diferencias en los errores de muestra parcialmente se atribuyen a diferencias en la elección de las dos muestras

33 Comparación de Algoritmos de 33 Aprendizaje (8)

34 Prueba t-test (1) 34 t-test Las medias de 2 grupos son estadísticamente diferentes una de la otra? La diferencia se debe a errores de muestreo o casualidad? Para comparar las medias de 2 grupos

35 Prueba t-test (2) 35 Factores para determinar si una dif. entre 2 grupos se debe a verdadera dif. o a un error debido a la casualidad Mientras más grande sea la muestra, es menos posible que la dif. se deba a errores de muestreo o casualidad A más grande sea la dif. entre las 2 medidas, menos posible que la dif. se deba a errores de muestreo Mientras más pequeña sea la varianza entre los participantes, es menos posible que la dif. haya sido creada por errores de muestreo

36 Prueba t-test (3) 36 A. Hipótesis nula H 0 : μ 1 =μ 2 B. Hipótesis alternativa H A : μ 1 μ 2 C. Las medias son iguales que en el caso B. Pareciera que: H A : μ 1 μ 2 Pero sería un error H 0 : μ 1 =μ 2 es lo correcto Cuantas veces de 100 estaríamos de acuerdo en equivocarnos?

37 Prueba t-test (4) /02/13 6:30 pm

38 Prueba t-test (5) 38 Nivel Alfa (α) Representa el número de veces de 100 que aceptamos rechazar la hipotesís nula aún cuando es correcta. Si α es 0.05, 5 veces de 100 rechazaremos la hipótesis nula de manera incorrecta n Esas 5 veces, ambas medias vendrán de la misma población (Caso III) n Pero 95 veces de 100, tendremos resultados correctos porque es más probable que vengan de poblaciones diferentes (Caso II)

39 Prueba t-test (6) 39 t-critical value, se encuentra en la tabla t-statistic value, el valor final Si t-statistic > t-critical, se rechaza la hipótesis nula, se acepta la hipótesis alterna Si t-statistic < t-critical, se retiene la hipótesis nula

40 Prueba t-test (7) 40 p-vales En lugar de comparar los valores t-critical y t-statistical para determinar la diferencia significativa Se pueden comparar nivel αy p-values En la figura, el nivel αes el área bajo la curva a la derecha del punto t-critical positivo y a la izquierda del punto t-critical negativo (todo lo gris y azul claro). Esto junto es el nivel alfa, 0.05 El p-value es el área bajo la curva a la derecha del t- statistic púrpura más el área a la izquierda del t- statistic púrpura (solo el azul claro).

41 Prueba t-test (8) 41 Si p-value < α, se acepta la hipótesis alterna Si p-value >α, se retiene la hipótesis nula

42 Prueba t-test (9) 42 Evaluación de significancia Obtener el t-value Calcular los grados de libertad n DF = N 1 Checar en la tabla n Nivel de significancia (0.05, 0.01, 0.001) n à Valor crítico de t n Si valor observado > valor crítico à rechazar H 0 n Si valor observado < valor crítico à no rechazar H 0 n Si la tabla no tiene el número de grados de libertad n Usar el siguiente número menor al real (para 32 usar 30)

43 Prueba t-test (10) 43 Cálculo en algunas herramientas Weka

44 ANOVA (1) 44 Analysis Of Variance (ANOVA) Conocida también como f-test Relacionada con la t-test t-test mide la diferencia entre las medias de 2 grupos ANOVA prueba la dif. entre las medias de 2 o mas grupos

45 ANOVA (2) 45 ANOVA de 1-lado o de factor simple Prueba dif. entre grupos que se clasifican solo sobre una variable independiente También hay una prueba ANOVA para múltiples variables independientes Ventaja de ANOVA sobre t-test n Reduce probabilidad de un error tipo-i n Muchas comparaciones entre 2 grupos Desventaja de ANOVA n Se pierde especificidad n f dice que hay dif. significante entre grupos, no dice cuáles grupos son significativamente diferentes entre sí

46 ANOVA (3) 46 Hipótesis Nula Asunción de que no hay real diferencia entre grupos y cualquier diferencia (estadística) se debe a errores de muestreo. Un investigador trata de probar que esto no es cierto Error tipo I n Cuando el investigador rechaza la hipótesis nula aún cuando era cierta

47 ANOVA (4) 47 Material de Referencia