Aplicaciones de apoyo al diagnóstico médico. Identificación de objetos amigos y enemigos. Identificación de zonas afectadas por un desastre natural.

Transcripción

1 Capítulo 5 Evaluación En muchas ocasiones requerimos hacer una evaluación muy precisa de nuestros algoritmos de aprendizaje computacional porque los vamos a utilizar en algún tipo de aplicación que así lo requiere. Algunos ejemplos de este tipo de aplicaciones son: Aplicaciones de apoyo al diagnóstico médico. Identificación de objetos amigos y enemigos. Identificación de zonas afectadas por un desastre natural. Algunas otras veces diseñamos un algoritmo y queremos probar qué tan bueno es. Para esto, lo queremos comparar con otros algoritmos que ya han demostrado ser buenos y en el mejor de los casos que nuestro algoritmo obtenga precisiones superiores a las de aquel otro algoritmo. Lo anterior se refiere a: Calcular la tasa de error esperado de un algoritmo de clasificación. Comparar las tasas de error esperado de dos algoritmos de clasificación para poder decir cuál es mejor. 88

2 Necesitamos saber si la diferencia en precisión de los algoritmos es significativa o no lo es. Estos son algunos ejemplos de porqué necesitamos evaluar o comparar algoritmos de aprendizaje computacional. A continuación veremos como hacer esta evaluación. Es importante señalar que evaluar una hipótesis cuando contamos con un conjunto de datos grande no es problemático, sin embargo, cuando tenemos pocos datos tenemos dos dificultades principales. Sesgo en la estimación. La precisión observada en la muestra no es un buen estimador de la precisión sobre futuras instancias. El estimador será optimista, más aún cuando se tiene un espacio de hipótesis grande y hay un sobreajuste de los datos. Es por esto que probamos con datos que no usamos para entrenar. Varianza en la estimación. Aún cuando la precisión de la hipótesis se mide con un conjunto de prueba independiente del conjunto de entrenamiento, la precisión medida puede variar de la precisión verdadera y esto depende de los ejemplos de prueba utilizados. Mientras más pequeña es la muestra, más grande es la varianza esperada. Recordemos también que la evaluación de hipótesis es parte del proceso de aprendizaje en varios métodos. Post-pruning en árboles de decisión para evitar el sobre-ajuste 5.1 Estimando la Precisión de Hipótesis Queremos evaluar la precisión de la hipótesis para nuevas instancias. Además queremos saber cuál es el error probable en la estimación de esta 89

3 precisión. Recordando el Problema de Aprendizaje: Dado un espacio de posibles instancias X sobre el que podemos definir diferentes funciones objetivo X toda la gente Asumimos que diferentes instancias de X se pueden encontrar con diferentes frecuencias más gente de 20 años que de 90 Para modelar esto asumimos que hay alguna distribución de probabilidad D que define la probabilidad de encontrar cada instancia en X D no dice nada respecto a la clase del ejemplo, sólo determina la probabilidad de encontrarlo La tarea de aprendizaje consiste en aprender el concepto objetivo (o función objetivo) f considerando un espacio H de posibles hipótesis. Tomamos ejemplos de entrenamiento bajo la distribución D (atributos y clase) Error de Muestra y Error Verdadero En esta sección queremos contestar estas preguntas: Dada una hipótesis h y una muestra de datos con n ejemplos tomados aleatoriamente siguiendo la distribución de probabilidad D, Cuál es el mejor estimado de la precisión de h sobre instancias futuras tomadas con la misma distribución? Cuál es el error probable en este estimado de precisión? Necesitamos entender dos nociones de precisión o error: Tasa de error de la hipótesis sobre la muestra disponible, que es lo que podemos calcular 90

4 Tasa de error de la hipótesis sobre toda la distribución desconocida D de ejemplos, que es lo que quisiéramos calcular El error de muestra para la hipótesis h con respecto a la función f se define como: error S (h) = 1 n x S δ(f(x), h(x)) n es el número de ejemplos en S δ(f(x), h(x)) es 1 si f(x) h(x) y 0 de otro modo El error verdadero de una hipótesis es la probabilidad de que se equivoque para una instancia tomada aleatoriamente con la distribución D y se define como: error D (h) Pr x D [f(x) h(x)] Pr x D denota que la probabilidad se toma sobre la instancia de distribución D Lo que quisieramos conocer es el error verdadero error D (h) de la hipótesis. Sin embargo, lo que podemos medir es el error de muestra error S (h) porque sólo tenemos una muestra de los datos disponible. Ahora surge la pregunta: Qué tan buen estimador es error S (h) de error D (h)? Para saberlo, vamos a utilizar el concepto de intervalos de confianza pruebas de hipótesis Intervalos de Confianza para Hipótesis con Valores Discretos Dada una hipótesis con valores discretos 91

5 Queremos estimar el error verdadero para una hipótesis h basándonos en el error sobre la muestra S La muestra S tiene n ejemplos, tomados cada uno independientemente de h, de acuerdo a D n > 30 h tiene r errores sobre los n ejemplos error S (h) = r n Utilizando teoría estadística podemos establecer lo siguiente Dado que no tenemos más información, el valor más probable para error D (h) es error S (h) Con aproximadamente 95% de probabilidad, el error error D (h) cae en el intervalo error S (h) ± 1.96 errors (h)(1 error S (h)) Ahora podemos saber el intervalo en el que caerá el error de muestra calculado. Ejemplo n Dada la muestra de datos S n = 40 ejemplos La hipótesis h comete r = 12 errores sobre estos datos error S (h) = = 0.30 Sabemos que éste no es un estimador perfecto del eror verdadero Si probamos con otra muestra el error podría variar un poco Estas diferencias se deben a las diferencias entre las muestras Si repetimos el experimento muchas veces, encontraríamos que el 95% de las veces el error verdadero cae en el intervalo de confianza 92

6 Por eso se llama el intervalo estimado del 95% de confianza para error D (h) El intervalo es 0.30 ±( )=0.30 ± La fórmula general para calcular intervalos de confianza es: error S (h) ± Z N errors (h)(1 error S (h)) n Los valores de Z N para intervalos de confianza de dos-lados N% son: Confidence level N% 50% 68% 80% 90% 95% 98% 99% Constant Z N Tabla 5.1: Valores de Z N Usamos esta fórmula para calcular los intervalos de confianza para estimados de error S (h) Recordemos que se utiliza para hipótesis con valores discretos Asumimos que la muestra S se toma aleatoriamente utilizando la misma distribución con que se tomarán futuros ejemplos Asumimos que los datos son independientes de la hipótesis que estamos probando Proporciona sólo una aproximación buena para más de 30 ejemplos y si error S (h) no esta tan cerca de 0 o 1. Otra regla para saber si la aproximación sera buena es: n error S (h)(1 error S (h)) Método General para Derivar Intervalos de Confianza Podemos ver de manera general el problema de estimar la media (valor esperado) de una población con base a la media de una muestra tomada aleatoriamente de tamaño n. 93

7 1. Identificar el parámetro de la población p a estimar, por ejemplo: error D (h) 2. Definir el estimador Y, por ejemplo error S (h). Es deseable elegir un estimador de mínima varianza y sin sesgos. 3. Determinar la distribución de probabilidad D Y que gobierna al estimador Y, incluyendo su media y varianza. 4. Determinar el intervalo de confianza N% para encontrar los umbrales L y U tal que N% de la masa de la distribución de probabilidad D Y cae entre L y U Teorema del Límite Central El teorema del límite central simplifica el cálculo de intervalos de confianza. Dados n valores de variables aleatorias independientes Y 1,..., Y n que siguen la misma distribución de probabilidad. µ denota la media de la distribución que gobierna cada Y i y σ su desviación estandar. Decimos que las variables Y i son variables aleatorias independientes e idénticamente distribuídas porque describen experimentos independientes, y cada uno sigue la misma distribución de probabilidad. Para estimar µ de la distribución que gobierna Y i utilizamos la media de la muestra Ȳn n i=1 Y i. El teorema del límite central dice que la distribución de probabilidad que gobierna Ȳn se aproxima a una distribución Normal conforme n, sin importar la distribución que gobierna a las variables aleatorias en cuestión Y i. Más aún, la media de Ȳn se aproxima a µ y la desviación estandar a σ n. 94

8 Si definimos un estimador que es la media de una muestra (como error S (h)), la distribución que gobierna este estimador se puede aproximar con una distribución Normal para una n suficientemente grande Si conocemos también la varianza, podemos usar la ecuación µ ± z N σ para calcular el intervalo de confianza Comunmente utilizamos como regla que podemos utilizar una aproximación Normal cuando n Diferencia en Error de Dos Hipótesis Si tenemos dos hipótesis h 1 y h 2 para una función objetivo con valores discretos. Tenemos que h 1 se probó con S 1 que tiene n 1 ejemplos aleatorios Tenemos que h 2 se probó con S 2 que tiene n 2 ejemplos aleatorios tomados con la misma distribución Queremos estimar la diferencia d entre los errores verdaderos de las dos hipótesis d error D (h 1 ) error D (h 2 ) Utilizando el procedimiento general para obtener intervalos de confianza: Identificamos a d como el parámetro a estimar Ahora definimos el estimador: la diferencia entre los errores de muestra ˆd error S1 (h 1 ) error S2 (h 2 ) Se puede probar que ˆd es un estimador no sesgado de d Para n 1, n 2 30, error S1 (h 1 ) y error S2 (h 2 ) siguen distribuciones que se aproximan a la Normal La diferencia de 2 distribuciones Normal también es una distribución Normal, ˆd seguira una Normal con media d 95

9 La varianza de la distribución es la suma de las varianzas de la distribuciones error S1 (h 1 ) y error S2 (h 2 ) La aproximación de la varianza de las distribuciones es: σ 2ˆd error S 1 (h 1 )(1 error S1 (h 1 )) n 1 + error S2 (h 2 )(1 error S2 (h 2 )) n 2 Ya determinamos la distribución de probabilidad que gobierna al estimador ˆd Ahora generamos el intervalo de confianza Para una variable aleatoria ˆd que sigue una distribución Normal con media µ y varianza σ 2 el estimado del intervalo de confianza N% para d es ˆd ± z N σ Utilizando la varianza estimada σ 2ˆd, el intervalo de confianza para d es: ˆd ± z N error S1 (h 1 )(1 error S1 (h 1 )) n 1 + error S 2 (h 2 )(1 error S2 (h 2 )) n 2 También es válido utilizar la misma muestra para probar, es decir; que h 1 y h 2 se prueben con la misma muestra S y S es independiente de h 1 y h 2, entonces ˆd error S (h 1 ) error S (h 2 ) Pruebas de Hipótesis Cuando queremos probar que una conjetura en específico es cierta en lugar de calcular un intervalo de confianza Cuál es la probabilidad de que error D (h 1 ) > error D (h 2 )? Podemos medir la diferencia de error error S1 (h 1 ) = 0.30 error S2 (h 2 ) = 0.20 ˆd = 0.1 Note que es posible que observemos esta diferencia aún cuando error D (h 1 ) error D (h 2 ) debido a la variación aleatoria en los datos de la muestra La pregunta entonces es: Cuál es la probabilidad de que error D (h 1 ) > error D (h 2 ), dado que observamos la diferencia en errores de muestra ˆd = 0.1? Dicho de otra manera, cuál es la probabilidad de que d > 0 dado que observamos ˆd = 0.1? 96

10 Pr(d > 0) es la probabilidad de que ˆd no sobre-estime d en más de 0.1, esto es lo mismo que la probabilidad de que ˆd caiga en el intervalo de un solo lado ˆd < d y esto se puede expresar como ˆd < σˆd Podemos determinar la probabilidad de que ˆd caiga en este intervalo de un solo lado calculando probabilidad de masa de la distribución ˆd dentro de este intervalo Re-expresamos el intervalo ˆd < µ ˆd en términos del número de desviaciones estandar que permite desviarse de la media, σˆd El intervalo se re-expresa como ˆd < µ ˆd σˆd Cuál es el nivel de confianza asociado con este intervalo de un lado para una distribución Normal? Consultamos la tabla 5.1 y vemos que 1.64 desviaciones estandar de la media corresponde a un intervalo de dos lados con un nivel de confianza de 90%. Esto corresponde a un nivel de confianza del 95% en un intervalo de un lado. Dado ˆ 0.1, la probabilidad de que error D (h 1 ) > error D (h 2 ) es aprox En términos estadísticos decimos que aceptamos la hipótesis de que error D (h 1 ) > error D (h 2 ) con una confianza de 0.95 También podemos decir que rechazamos la hipótesis opuesta (o nula) con un nivel de significancia de (1-0.95) = Comparando Algoritmos de Aprendizaje Muchas veces queremos comparar dos algoritmos de aprendizaje L A y L B en lugar de dos hipótesis en específico. Cómo determinamos que la diferencia observada entre los algoritmos es estadísticamente significativa? Iniciamos especificando el parámetro que deseamos estimar 97

11 Queremos determinar cual de L A y L B es mejor método en promedio para una función objetivo particular f Para definir en promedio consideramos la precisión relativa de los algoritmos promediada sobre todos los conjuntos de tamaño n que se puedan tomar de la instancia de distribución D En otras palabras queremos determinar el valor esperado de la diferencia de errores E S D [error D (L A (S)) error D (L B (S))] L(S) es la hipótesis de salida del algoritmo L dada la muestra S de datos de entrenamiento y S D significa que el valor esperado se toma sobre las muestras S tomadas bajo la instancia de distribución D Pero en la práctica la muestra es de tamaño limitado D 0 En este caso dividimos los datos en conjuntos disjuntos de entrenamiento S 0 y prueba T 0 Usamos S 0 para entrenar y T 0 para comparar la precisión Medimos la cantidad error T0 (L A (S 0 )) error T0 (L B (S 0 )) Para obtener una mejor medida, podemos particionar repetidamente el conjunto D 0 en conjuntos disjuntos de entrenamiento y prueba y calcular la media de los errores del conjunto de prueba para todos los experimentos Esto es lo que conocemos como el k-fold cross validation que usamos cuando tenemos al menos 30 ejemplos de entrenamiento Obtenemos ˆδ 1 k δ k i i=1 ˆδ error Ti (h A ) error Ti (h B ) Entonces ˆδ estima E S D0 [error D (L A (S)) error D (L B (S))] S representa una muestra aleatoria de tamaño k 1 k D 0 tomada uniformemente de D 0 En esta expresión se toma el valor esperado sobre subconjuntos de los datos disponibles D 0 en lugar de sobre todos los subconjuntos tomados de toda la instancia de distribución D 98

12 El intervalo de confianza aproximado del N% para estimar E S D0 [error D (L A (S)) error D (L B (S))] usando ˆδ esta dado por: ˆδ ± t N,k 1 Sˆδ donde t N,k 1 es una constante análoga a z N sˆδ es un estimado de la desviación estandar que gobierna ˆδ k (δ i ˆδ) 2 sˆδ 1 k(k 1) i=1 t N,k 1 tiene dos sub-índices, el primero indica el nivel de confianza y el segundo los grados de libertad, denotado por v v se refiere al número de eventos aleatorios independientes que tienen que ver para producir el valor para la variable aleatoria ˆδ, en este caso k 1 Conforme k, el valor de t N,k 1 se acerca a la constante z N Note que las muestras con que probamos a los 2 algoritmos son idénticas, a estas pruebas se les llama apareadas Puebas apareadas producen intervalos de confianza más ajustados porque las diferencias en errores se deben a los algoritmos y no a las diferencias de las muestras que se dan cuando no usamos muestras idénticas para los algoritmos Esta es la prueba t apareada, en la tabla 5.2 se muestran los valores para t N,v. La prueba t, t-test, utilizada para comparar las diferencias de resultados para dos grupos, verifica la diferencia entre las medias en relación con que tanto varían los resultados individuales Valores de t N,v para intervalos de confianza de dos lados: Evaluación de Significancia con t-test El proceso para evaluar significancia estadística con t-test es: 99

13 Confidence level 90% 95% 98% 99% v= v= v= v= v= v= v = Tabla 5.2: Valores de t N,v Obtener el valor t, como la razón Calcular los grados de libertad (DF = N-1) dif entre medias variabilidad en experimentos = ˆδ sˆδ Elegir el nivel de α, (o nivel de riesgo), que generalmente se elige 0.05 (cinco veces de un total de cien se encontrará una diferencia significativa entre las medias aún cuando no la hay (la diferencia resultante fue producto de la suerte). Verificar en la tabla el valor crítico de t. Si el valor observado es mayor que el valor crítico, entonces se rechaza la hipótesis nula. Si el valor observado es menor que el valor crítico, entonces no se puede rechazar la hipótesis nula. Si la tabla no tiene el número de grados de libertad, se usa el siguiente número menor al real (para 32 usar 30). Ejemplo Suponga que se realizó una prueba de 10-FCV con dos clasificadores y queremos saber si la diferencia entre sus promedios es significativa. Para estos datos tenemos los siguientes cálculos: La diferencia de error medio, ˆδ = La variabilidad entre experimentos, Sˆδ = 0.42 El valor de t calculado es, t =

14 Prueba ALG-1 ALG Tabla 5.3: Valores de Precisión para los Algoritmos ALG-1 y ALG-2 El valor crítico encontrado en la tabla para 95% de confianza con 9 grados de libertad es aprox. de t N,v = 2.3 Como el valor observado es mayor que el criítico, entonces se rechaza la hipótesis nula La hipótesis nula dice que no hay diferencia entre las medias Por tanto, al rechazar la hipótesis nula, se concluye que sí hay una diferencia significativa entre las medias. En caso de que el valor observado fuera menor al crítico, no se podría rechazar la hipótesis nula y entonces se concluiría que no hay diferencia significativa entre las medias Análisis de Varianza ANalysis Of VAriance (ANOVA) A esta prueba también se le conoce como la prueba f-test y esta relacionada con la t-test La prueba t-test mide la diferencia entre las medias de 2 grupos 101

15 ANOVA prueba la diferencia entre las medias de 2 o más grupos La ANOVA de 1-lado ó de factor simple prueba la diferencia entre grupos que se clasifican solo sobre una variable independiente También hay una prueba ANOVA para múltiples variables independientes La ANOVA tiene como ventaja sobre la t-test que reduce la probabilidad de un error tipo 1, hay muchas comparaciones entre 2 grupos La desventaja de ANOVA es que se pierde especificidad porque F dice que hay diferencia significante entre grupos pero no dice cuáles grupos son significativamente diferentes entre sí La hipótesis nula asume que no hay diferencia real entre grupos y cualquier diferencia (estadística) se debe a errores de muestreo. Un investigador trata de probar que ésto no es cierto Un error de tipo 1 ocurre cuando el investigador rechaza la hipótesis nula aún cuando era cierta Receiver Operating Characteristics (ROC) Analysis 102