Comparación de métodos de aprendizaje sobre el mismo problema

Transcripción

1 Comparación de métodos de aprendizaje sobre el mismo problema Carlos Alonso González Grupo de Sistemas Inteligentes Departamento de Informática Universidad de Valladolid

2 Contenido 1. Motivación. Test de hipótesis 3. Test de student 4. Test de student remuestreado corregido Comparación métodos de aprendizaje

3 Motivación Suponer un problema y dos métodos de aprendizaje Pregunta habitual: Cuál de los dos métodos de aprendizaje es preferible utilizar? La respuesta no es sencilla pues depende del criterio utilizado Simplificación: preferir el método con menor tasa de error Comparación métodos de aprendizaje 3

4 Primera aproximación Estimar la tasa de error mediante validación cruzada Suficiente en muchas aplicaciones Para disminuir la varianza debida a la elección de la partición: validación cruzada repetida Insuficiente si Aplicación crítica Investigación Comparación métodos de aprendizaje 4

5 Test de hipótesis Demostrar de forma convincente que un método es mejor que otro Desde un punto de vista estadístico: las diferencias observadas no se deben al azar. Hipótesis nula: las diferencias entre las tasas de error no son significativamente diferentes Comparación métodos de aprendizaje 5

6 Situación ideal: datos ilimitados Para cada tamaño de conjunto de entrenamiento Seleccionar suficientes conjuntos de entrenamiento y prueba de forma independiente Estimar tasas de error media Calcular intervalos de confianza para la diferencia (si suficientes conjuntos independientes, normal) Si el intervalo de confianza contiene el cero, no se puede rechazar la hipótesis nula: las diferencias no son significativas Comparación métodos de aprendizaje 6

7 En la realidad: datos limitados Pequeño número de estimaciones para obtener la media Peor aún: mala estimación de la varianza (varianza muestral) Test t-student: permite determinar si la media de dos muestras con varianza desconocida son significativamente distintas. Comparación métodos de aprendizaje 7

8 Estimación de las medias (I) Disponemos de k conjuntos de datos independientes del mismo tamaño x 1, x,,x k e y 1, y,,y k estimaciones de la tasas de error obtenidas Validación cruzada Pareada: ambos métodos usan la misma partición de cada conjunto y Estimación de las medias: x e Valores verdaderos de las medias: µ y µ x y Estimación de las varianzas de las medias: σ k y x σ y k Comparación métodos de aprendizaje 8

9 Estimación de las medias (II) x µ y µ x y y siguen una distribución de Student con σ k σ k x k-1 grados de libertad (9 si utilizamos 10 validaciones cruzadas) Intervalos de confianza y De acuerdo a la distribución de Student Similar a la normal para >100 grados de confianza Comparación métodos de aprendizaje 9

10 Distribución de las medias d i =x i -y i, observaciones pareadas d = x y también sigue una distribución de Student con (k 1) grados de libertad Variable t-estadístico: Hipótesis nula: las medias son iguales, la diferencia es cero (el intervalo de confianza de µ contiene al 0 ) d σ d k d Comparación métodos de aprendizaje 10

11 Realización del test de Student Estimar d y calcular el t-estadístico mediante validación cruzada pareada sobre k conjuntos de datos independientes, del mismo tamaño Determinar el nivel de confianza (habitualmente 5%) Si la diferencia es significativa con un nivel α%, hay una probabilidad (100- α)% de que las medias difieran Si se usan tablas de una cola, dividir por dos porque el test es de dos colas Buscar en las tablas de (k-1) grados de libertad el valor de z para α/ Si t -z o t z, rechazar la hipótesis nula: la diferencia es significativa Comparación métodos de aprendizaje 11

12 Estimaciones dependientes Si se dispone de pocos datos: reutilización Por ejemplo, validación cruzada repetida (pareada) Las estimaciones no son independientes Diferencias no significativas pueden convertirse en significativas Test heurístico: test t remuestreado corregido t = 1 k Con k: número de experimentos, n 1 : instancias de entrenamiento, n instancias de prueba d n + n 1 σ Para 10 validaciones cruzadas de 10 particiones: 100, 90, 10 respectivamente Comparación métodos de aprendizaje 1 d