Comparación de varios métodos de aprendizaje sobre varios problemas

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Comparación de varios métodos de aprendizaje sobre varios problemas"

César González Benítez
hace 6 años
Vistas:

1 Comparación de varios métodos de aprendizaje sobre varios problemas Carlos Alonso González Grupo de Sistemas Inteligentes Departamento de Informática Universidad de Valladolid

2 Contenido 1. Motivación 2. Test de hipótesis 3. Varios métodos y varios conjuntos: rankings 4. Test sobre los rankings 2

3 1. Motivación Suponer varios conjuntos de datos, de distintos problemas, y varios métodos de aprendizaje Pregunta habitual: Alguno de los métodos de aprendizaje es preferible a los demás sobre los conjuntos de datos proporcionados? La respuesta no es sencilla, ni siquiera atendiendo al criterio de la tasa de error. 3

4 2. Test de hipótesis Hipótesis nula: no hay diferencias significativas entre los algoritmos para los conjuntos de datos considerados 4

5 Dificultades con la tasa de error Una aproximación simplista al problema es estimar la tasa de error de cada método sobre cada conjunto de datos A continuación, promediar la tasa de error de cada algoritmo sobre los conjuntos de datos Elegir el algoritmo con menor tasa de error media sobre los conjuntos de datos Las tasas de error sobre diferentes conjuntos no son directamente comparables Naturaleza de la hipótesis, naturaleza del conjunto 5

6 Dificultades con la tasa de error Una forma de evitar comparar errores sobre distintos conjuntos de datos es fijarse en el número de veces que un algoritmo gana o pierde sobre cada conjunto Ahora el experimento base no es determinar la tasa de error de un conjunto, sino determinar qué algoritmo vence sobre cada conjunto El número de experimentos, N, es el número de conjuntos sobre el que se compara 6

7 3. Comparación de varios métodos sobre varios conjuntos: rankings Los test diseñados para comparar pares de clasificadores no deben utilizarse para comparar grupos de clasificadores Se realizan muchos test y la hipótesis nula se puede rechazar por motivos aleatorios Evitar el test de Student, pareado o no, en cualquiera de sus planteamientos Método más popular en al comunidad de aprendizaje y minería de datos: test sobre los rankings 7

8 Rankings Para cada conjunto de datos, ordenar los métodos de mejor a peor Tasa de error: primero al método con menor tasa de error A cada método se le asigna un número con su posición 1 al mejor, 2 al segundo, etc. Si hay empates, se asignan valores promedios Si 4 métodos quedan los primeros, se les asigna 2,5 ( ) 4 Para cada método, se promedian sus resultados Ordenar de acuerdo a este ranking promedio Los rankings, por si mismos, proporcionan una comparación razonable de los algoritmos A partir de estos rankings se pueden establecer diversos test estadísticos 8

9 Ejemplo rankings J. Demšar. Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7:1 30,

10 Test sobre los rankings: Test de Friedman Hipótesis nula: los métodos son equivalentes Bajo la hipótesis nula, los rankings promedios deberían ser equivalentes (e iguales al ranking promedio si todos empatan siempre) El estadístico de Friedmam (N conjuntos de datos, k métodos, R j ranking promedio del método j eeeee X F 2 = 12N k(k + 1) R j 2 j 2 k k Se comporta como una distribución X 2 con k 2 grados de libertad Si X F 2 es mayor que el valor crítico de X 2 con k 2, rechazar la hipótesis nula (test de una cola) 10

11 Test de Friedman sobre el ejemplo N = 14 conjuntos de datos K = 4 algoritmos Valor crítico X 2, con 2 grados de libertad, α = 0,05: 5,591 Luego se rechaza la hipótesis nula: los rankings son significativamente distintos 11

12 Rankings: test de Iman and Davenport El test de Friedman es muy exigente El estadístico F F = 2 (N 1)X F 2 N(k 1) X F Se comporta según al distribución F con k 1 y (k 1)(N 1) grados de libertad Si el valor de F F es mayor que el valor crítico de F, se rechaza la hipótesis nula (test de una cola) 12

13 Test de Iman y Davenport sobre el ejemplo Con los datos del ejemplo, Distribución F con (k 1) = 3 y k 1 N 1 = 39 grados de libertad Valor crítico para α = 0,05: 2,845 También rechaza la hipótesis nula htm Hoja Excel =DISTR.F.INV(0,05;3;39) o DISTR.F.CD(3,69;3;39) <0,05 13

14 Test sobre los rankings (II) Si se rechaza la hipótesis nula, qué algoritmos son diferentes? Test post-hoc Si comparamos todos con todos: test de Nemenyi (dos colas) Dos métodos son significativamente diferentes si sus rankings promedios difieren al menos en la distancia crítica de Nemenyi, CC = q α k(k 1) 6N 14

15 Test de Nemenyi sobre el ejemplo CC = 1,25 (α = 0,05; q 0,05 = 2,569 pppp 4 cccccccccccccc) ó CC = 1,12 (α = 0,10) Representación gráfica: se unen los clasificadores que no son significativamente diferentes (con α = 0,10) 15

16 Comparación frente a un método A veces sólo interesa comparar un método frente e los demás: método de control Test más poderoso: menos comparaciones Test de Bonferroni-Dunn Nueva distancia crítica: misma expresión Nemenyi, distinto q α 16

17 Test de Bonferroni-Dunn sobre el ejemplo Si sólo comparamos con C4.5, CC = 1,16 (α = 0,05) 17

18 Discusión de los rankings Evitan ponderar errores no comparables Pero conservan información cualitativa de los rankings El ranking promedio es un buen indicador de las diferencias entre los algoritmos sobre los conjuntos Ranking significativamente diferentes: test de Nemenyi N > 10, k > 4, N > k Qué métodos son diferentes?: test post-hoc Uno frente a los demás: Bonferroni-Dunn Todos frente a todos: Nemenyi 18

19 Bibliografía Thomas G. Dietterich. Approximate statistical test for comparing supervised classification learning algorithms. Neural Computation, 10(7): , Claude Nadeau and Yoshua Bengio. Inference for the generalization error. Machine Learning, 52( ), J. Demšar. Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7:1 30, Salvador Garcia and Francisco Herrera. An extension on statistical comparisons of classifiers over multiple data sets for all pairwise comparisons. Journal of Machine Learning Research, 9: , December

Documentos relacionados

Pruebas de Hipótesis Multiples

Pruebas de Hipótesis Multiples Cuando queremos hacer comparaciones de mas de dos poblaciones, una alternativa es comparar todos los grupos a la vez con el método de Análisis de Varianza (ANOVA) H o : µ