Evaluando las Hipótesis Inductivas. Tomás Arredondo Vidal 8/9/2011

Transcripción

1 Evaluando las Hipótesis Inductivas Tomás Arredondo Vidal 8/9/2011

2 Evaluando las Hipótesis Inductivas Contenidos Estimando la Precisión Comparando Hipótesis Comparando Algoritmos de Clasificación

3 Evaluando las Hipótesis Inductivas La precisión (accuracy) de la hipótesis h sobre los datos de entrenamiento esta sesgada dado que h fue construida para calzar esos datos (e.g. bias en la estimación y posible sobreajuste). La precisión debe ser evaluada en un conjunto de pruebas independiente (generalmente disjunto) de los datos de entrenamiento. Mientras mayor es el conjunto de prueba, mejor la precisión medida y menor es la varianza observada en distintos conjuntos de prueba. Definición: X es un conjunto de posibles instancias (e.g. el conjunto de todas las personas con varios atributos como edad, ocupacion, veces que han esquiado,...) sobre la cual se puede definir una función objetivo f: X -> {0, 1} (e.g. las personas que van a comprar esquís este año). X se puede encontrar con distintas frecuencias dada una distribución D de probabilidades (e.g. D puede asignar mayor probabilidad a los de 19 años que a la gente de 100 años).

4 Error de Muestra vs Error Verdadero Definición: El error de muestra (sample error) de la hipótesis h con respecto a la función objetivo f( ) dado una muestra S es error S ( h)= 1 n x S δ ( f ( x),h( x )) δ ( f ( x ),h( x ))=1 si f ( x ) h( x ), 0 de otra forma. Definición: El error verdadero (true error) es el error de la hipótesis h con respecto a la función objetivo f( ) dado la distribución D. Es la probabilidad que h mis-clasifique una instancia elegida de acuerdo a D. [ f ( x ) h ( x)]

5 Relación con la Distribución Binomial Como es que la desviación entre el error de muestreo y el error verdadero depende del tamaño de la muestra? La respuesta tiene que ver con que cuando medimos el error de la muestra S estamos haciendo un experimento aleatorio con un resultado aleatorio. Tomemos una muestra S i de n instancias independientes de la distribución D y midamos el error Si (h). Si repetimos este experimento k veces {S i : S 1, S 2.,..., S k } esperaríamos distintos números de errores cada vez. Decimos que error Si (h) es una variable aleatoria y si graficamos un histograma mostrando la frecuencia de obtener cada posible valor de error a medida que k creciera esta distribución seria una Binomial.

6 Relación con la Distribución Binomial (cont) Ej: En la distribución Binomial la probabilidad de observar r caras (X = r ) en una muestra de n tiros independientes de una moneda, cuando la probabilidad de sacar cara en un tiro individual es p esta dada por: n! P( X=r )=P(r )= r!(n r )! pr (1 p ) n r Estimar p de una muestra aleatoria es equivalente a estimar error D (h) al probar la hipótesis h en una muestra aleatoria S i. Un tiro de la moneda corresponde a sacar una muestra de D y determinar si esta mal clasificada por h. La probabilidad p corresponde a error D (h), r corresponde al numero de misclasificaciones y r / n a error Si (h). error D (h)=p error Si (h )= r n (1)

7 Relación con la Distribución Binomial (cont) Si una variable aleatoria X sigue una distribución Binomial entonces: La probabilidad Pr (X = r) = P(r) El promedio (mean) de X es E(X) = Σx i Pr(X=x i ) = np La varianza de X, Var(X) es Var(X) = E[(X-E[X]) 2 ] = np(1 p) La desviación std de X, σ X es P(r )= n! r!(n r )! pr (1 p) n r σ X = Var(X) 1/2 = (np(1 p)) 1/2 n=40, p=0.3

8 Bias y Varianza en el Estimador Se puede considerar error S (h) como un estimador del error verdadero error D (h). Definición: El sesgo de estimación (estimation bias) de un estimador Y para un parámetro arbitrario p es estimation Bias = E[ Y ] - p error S (h) = E(r / n) = p indica un estimador sin sesgo (unbiased) Definición: La desviación std de error S (h) dado nuestro estimador de p con r errores en n muestras (constante) es σ errors ( h) = σ r n = p(1 p) error S (h)(1 error S (h)) n n Dada la posible elección entre distintos estimadores es mejor uno sin estimation bias y con la varianza mas pequeña. (2)

9 La Distribución Normal como Aproximación error S (h) es el porcentaje de ejemplos en un conjunto de prueba S muestreada independientemente de tamaño n que son clasificados erróneamente por h. error D (h) es el error verdadero para la distribución general de datos D (la que se puede esperar cuando se aplica la hipótesis a ejemplos futuros). Cuando n es al menos 30, el teorema del limite central (Central Limit Theorem) garantiza que la distribución de error S (h) para una muestra aleatoria S va a ser aproximada de manera cercana por una distribución Normal (Gausiana). P(error S(h)) error D (h) error S (h)

10 La Distribución Normal como Aproximación (cont) Teorema: Teorema del limite central. Considerando un conjunto de variables aleatorias independientes (Y i ), idénticamente distribuidas gobernadas por una distribución arbitraria con promedio µ y varianza finita σ 2. Se define el promedio de muestra como: n Ȳ n =(1/n ) i=1 A medida que n ->, independiente de la distribución que gobierna las variables aleatorias subyacentes Y i, esta muestra se acerca a una distribución Normal con: Y i Ȳ n =μ Ȳ n =σ /n

11 Intervalos de Confianza Lo que se quiere saber es error D (h) de la hipótesis porque este es el error que se puede esperar cuando se aplica la hipótesis a ejemplos futuros... Pero lo único que podemos medir es error S (h) para los datos que tenemos disponibles... La pregunta entonces es: Cuan buena es la estimación de error D (h) dada por error S (h)?

12 Intervalos de Confianza Si una variable aleatoria Y obedece una distribución Normal con promedio µ y una desviación std σ entonces el valor medido de Y va a estar en el siguiente intervalo un N% del tiempo y N = µ ± z N σ (3) Int. conf. N%: 50% 68% 80% 90% 95% 98% 99% Const. z N : Ej: una Normal con µ = 0, σ = 1 Con un 80% de confianza el valor de la la variable aleatoria Y va a estar entre [-1.28, 1.28]. Con 90% de confianza Y va a estar en el intervalo [-, 1.28].

13 Intervalos de Confianza Asumiendo que: la muestra S contiene n ejemplos independientes, independientes de h y de acuerdo a la distribución D, n 30, h comete r errores sobre estas n muestras (error S (h) = r / n). Bajo estas condiciones la estadística nos permite decir que: el valor mas probable de error D (h) es el error promedio error S (h), el verdadero error con una probabilidad N% esta en el intervalo: poniendo (1) y (2) -> (3): error D,N ( h)=error S (h )±z N error S (h )(1 error S (h)) n La constante z N da la distancia desde la media en desviaciones std en cualquiera de las dos direcciones.

14 Evaluando las Hipótesis Inductivas Contenidos Estimando la Precisión Comparando Hipótesis Comparando Algoritmos de Clasificación

15 Comparando Dos Hipótesis Aprendidas Cuando se evalúan dos hipótesis distintas, su ordenamiento observado con respecto a precisión puede o no reflejar el orden de sus precisiones individuales reales. Se asume que h 1 es probado en el set S 1 de tamaño n 1 h 2 es probado en un conjunto S 2 de tamaño n 2 P(error S(h)) error S1 (h 1 ) error S2 (h 2 ) error S (h) Se observa h 1 mas precisa que h 2

16 Comparando Dos Hipótesis Aprendidas Cuando se evalúan dos hipótesis distintas, su ordenamiento observado con respecto a precisión puede o no reflejar el orden de sus precisiones individuales reales. Se asume que h 1 es probado en el set S 1 de tamaño n 1 h 2 es probado en un conjunto S 2 de tamaño n 2 P(error S(h)) error S1 (h 1 ) error S2 (h 2 ) error S (h) Se observa h 1 menos precisa que h 2

17 Pruebas Estadísticas de Hipótesis Como determinar si la probabilidad que una diferencia observada empíricamente entre dos variables es aleatoria sin diferencias estadísticas subyacentes? Como determinar lo significativo de dos promedios calculados de dos muestras distintas bajo distintas condiciones? Es común usar la hipótesis nula, que es la probabilidad de que ambas muestras fueron sacadas de la misma distribución subyacente. Por convención científica rechazamos la hipótesis nula y decimos que la diferencia es estadísticamente significativa si la probabilidad de la hipótesis nula es menor que el 5% (p < 0.05) o alternativamente podemos aceptar que la diferencia esta dada por una causa subyacente con confianza de (1 p).

18 Tests de uno o dos lados Tests usando un lado (one sided tests) asumen que uno espera una diferencia en una dirección (e.g. A es mejor que B) y que la diferencia es consistente con esa suposición Tests de dos lados no asumen una diferencia en una u otra dirección. Tests de dos lados (i.e. two-sided tests) son mas conservativos dado que requieren una mayor diferencia para concluir que la diferencia es significativa.

19 Test Z-Score para Comparar Hipótesis Aprendidas Se asume que h 1 es probado en un test set S 1 de tamaño n 1 y h 2 en un test set S 2 de tamaño n 2. Se calcula la diferencia entre la precisión de h 1 y h 2 : d= error S1 (h 1 ) error S2 (h 2 ) Se calcula la desviación estándar de la estimación muestreada de la diferencia: = σ error S 1 (h 1 ) (1 error S1 ( h 1 )) d + error S 2 ( h 2 ) (1 error S2 ( h 2 )) n 1 n 2 Se calcula el z-score de la diferencia (viene de (3)): z= d σ d

20 Test Z-Score para Comparar Hipótesis Aprendidas (cont) Se determina la confianza de la diferencia al buscar la confianza mas alta C, para el z-score calculado usando una tabla. confidence level 50% 68% 80% 90% 95% 98% 99% z-score Esto da la confianza para un test de dos lados (twotailed test), para un test de un lado incremente la confianza una mitad hacia 100%. C ' =(100 (100 C ) 2 )

21 Ejemplo 1 Z-Score Test Asumir que probamos dos hipótesis en sets de prueba de tamaño 100 y se observa: error S1 (h 1 )=0.20 error S2 ( h 2 )=0.30 d= error S1 (h 1 ) error S2 (h 2 ) = =0.1 σ d = error S 1 ( h 1 ) (1 error S1 (h 1 )) n 1 + error S 2 (h 2 ) (1 error S2 (h 2 )) n 2 = 0.2 (1 0. 2) 100 z= d = 0.1 = σ d (1 0. 3) + = Confianza para z-test de dos colas: 90% Confianza para z-test de una cola: (100 (100 90)/2) = 95%

22 Ejemplo 2 Z-Score Test Asumir que probamos dos hipótesis en sets de prueba de tamaño 100 y se observa: error S1 (h 1 )=0.20 error S2 ( h 2 )=0.25 d= error S1 (h 1 ) error S2 (h 2 ) = =0.05 σ d = error S 1 ( h 1 ) (1 error S1 (h 1 )) n 1 + error S 2 (h 2 ) (1 error S2 (h 2 )) n 2 = 0.2 (1 0. 2) (1 0.25) = z= d = =0.848 σ d Confianza para test de dos colas: 50% Confianza para test de una cola: (100 (100 50)/2) = 75%

23 Suposiciones del Test Z-Score Hipótesis pueden ser probadas en distintos sets de prueba. Si se usa el mismo set de prueba se podrían justificar conclusiones mas fuertes. Sets de prueba deben tener por lo menos 30 ejemplos elegidos independientes. Hipótesis son construidas desde sets de entrenamiento independientes. Solo compara dos hipótesis especificas independiente de los métodos usados para construirlos. No compara los métodos de aprendizaje subyacentes en general.

24 Evaluando las Hipótesis Inductivas Contenidos Estimando la Precisión Comparando Hipótesis Comparando Algoritmos de Clasificación

25 Comparando Algoritmos de Aprendizaje Comparando la precisión promedio de hipótesis producidas por dos métodos distintos de aprendizaje es mas difícil dado que se debe promediar sobre múltiples casos de entrenamiento. Idealmente queremos medir: E S D (error D ( L A ( S )) error D ( L B ( S))) en el cual L X (S) representa la hipótesis aprendida por el método L X usando los datos S. Para estimar precisamente esto necesitamos promediar sobre múltiples sets independientes de entrenamiento y prueba. Dado que los datos etiquetados son limitados, generalmente se debe promediar usando múltiples divisiones de los datos de entrenamiento y prueba.

26 Validación Cruzada K-Fold Aleatoriamente dividir datos D en k dsets disjuntos de igual tamaño P 1 P k For i from 1 to k do: Usar P i de test set y el resto como sets de entrenamiento S i = (D P i ) h A = L A (S i ) h B = L B (S i ) δ i = error Pi (h A ) error Pi (h B ) Retornar el error promedio de la diferencia: k δ= 1 k i= 1 δ i

27 Validación Cruzada K-Fold (cont) Cada set se usa como set de prueba una vez y como set de entrenamiento k 1 veces. Todo los sets de prueba son independientes pero los sets de entrenamiento se sobrelapan. Mediciones de precisión de hipótesis se generan para [(k 1)/k] D datos de entrenamiento. Método standard es 10-fold. Si k es bajo, no hay suficiente numero de sets de entrenamiento/test; si k es alto, el test set es pequeño, la varianza en el test es alto y el tiempo de ejecución se incrementa. Si k = D, método de validacion cruzada se llama deja-unoafuera (leave-one-out).

28 Test de Relevancia (significance tests) Típicamente si k<30, no son suficientes muestras para un z test. Se puede usar un t-test apareado (paired), que puede determinar diferencias mas pequeñas dado que los sets de entrenamiento/prueba son los mismos para ambas hipótesis siendo comparadas. Puede usarse un (Student s) t-test, que es mas preciso cuando el numero de muestras es bajo. Los tests z y t asumen que las muestras son independientes.no es asi para validación cruzada k-fold: Conjuntos de prueba son independientes Conjuntos de entrenamiento no son independientes Otros tests estadísticos han sido propuestos (e.g. McNemar s test) A pesar de que ningún test es perfecto, cuando los datos son limitados y no hay muestras independientes, algunos tests que consideran varianzas son deseables.

29 Ejemplo de Resultados Experimentales Cual experimento provee mejor evidencia que el sistema A es mejor que B? Experimento 1 Experimento 2 Syst. A Syst. B Diff Syst. A Syst. B Diff Trial 1 87% 82% +5% Trial 1 90% 82% +8% Trail 2 83% 78% +5% Trail 2 93% 76% +17% Trial 3 88% 83% +5% Trial 3 80% 85% 5% Trial 4 82% 77% +5% Trial 4 85% 75% +10% Trial 5 85% 80% +5% Trial 5 77% 82% 5% Average 85% 80% +5% Average 85% 80% +5%

30 Curvas de Aprendizaje Grafico precisión vs tamaño de set de entrenamiento. La máxima precisión (Bayes Optimal) se ha logrado o podría mejorar con mas ejemplos? La mayoría de métodos (i.e. learners) eventualmente convergen al optimo de Bayes dado suficientes ejemplos de entrenamiento. 100% Test Accuracy Bayes optimal Random guessing # Training examples

31 Validación Cruzada de Aprendizaje Divide data in k partitions of equal size For trial i = 1 to k do: Use partition i for testing and the union of the other partitions for training. For each desired point p on the learning curve do: For each learning system L Train L on the first p examples of the training set and record training time, training accuracy, and learned concept complexity. Test L on the test set, recording testing time and test accuracy. Compute average for each performance statistic across k trials. Plot curves for any desired performance statistic versus training set size. Use a paired t-test to determine significance of any differences between any two systems for a given training set size.

32 Curvas de Ruido Graficar precisión versus el nivel de ruido para determinar la resistencia relativa a datos de entrenamiento ruidosos. Artificialmente se agrega ruido en las categorías o características al remplazar alguna fracción de estos con valores aleatorios. 100% Test Accuracy % noise added

33 Conclusiones de Evaluación Experimental Una buena metodología experimental es clave para poder evaluar métodos experimentales de aprendizaje. Es importante probar en una variedad de problemas para demostrar una utilidad para una variedad de problemas. Probar en 20 o + sets de datos es común. Variedad de fuentes de datos disponibles: UCI Machine Learning Repository KDD Cup (large data sets for data mining) CoNLL Shared Task (natural language problems) Datos de problemas reales son preferidos a datos artificiales.

34 Evaluando las Hipótesis Referencias: [1] Mitchel, T., Machine Learning, McGraw Hill, 1997 [2] Mooney, R., Machine Learning Slides, University of Texas