Conjuntos de Clasificadores (Ensemble Learning)

Transcripción

1 Aprendizaje Automático Segundo Cuatrimestre de 2016 Conjuntos de Clasificadores (Ensemble Learning) Gracias a Ramiro Gálvez por la ayuda y los materiales para esta clase. Bibliografía: S. Fortmann-Roe, "Understanding the Bias-Variance Tradeoff". Artículo online. G. James et al., "An Introduction to Statistical Learning With Applications in R", Springer. Capítulos 2 y 8.

2 Sesgo Inductivo El sesgo inductivo de un algoritmo de aprendizaje es el conjunto de afirmaciones que el algoritmo utiliza para clasificar instancias nuevas. B incluye la forma de las hipótesis y características de funcionamiento del algoritmo. Si un algoritmo de aprendizaje tiene sesgo fuerte: Mayores restricciones al poder expresivo de las hipótesis. Menores chances de ajustar bien los datos. Menor variabilidad ante distintos conjuntos de datos de entrenamiento. 2

3 Función objetivo (desconocida) Posibles conjuntos de datos de entrenamiento Función discriminante: parábola. Bajo sesgo: el modelo se ajusta mejor a los datos. Alta varianza: el modelo varía mucho con los datos. Función discriminante: recta (constante en y). Alto sesgo: el modelo se ajusta peor a los datos. Baja varianza: el modelo varía poco con los datos.

4 Sesgo vs. Varianza Varianza baja Varianza alta Sesgo bajo Sesgo alto

5 Definiciones Matemáticas (Las veremos en mejor detalle después de introducir Regresión.) datos observados ruido en los datos función objetivo error² del modelo

6 Sesgo vs. Varianza

7 Repaso de Estadística Sea X 1,..., X n una muestra de n observaciones independientes tomadas de una población con media μ y varianza σ 2. Media muestral: Esperanza de la media muestral: Varianza de la media muestral:

8 Conjuntos de Clasificadores Entrenar un modelo, permitir el sobreajuste: Por ejemplo: árboles muy profundos. Bajo sesgo; alta varianza. Entrenar varios modelos, c/u sobre datos distintos. Cada modelo sobreajusta de manera diferente. Cada modelo: bajo sesgo, alta varianza. Votación: Para una nueva instancia, devolver la clase más elegida. Esta votación reduce la varianza de la clasificación. Magia! Si los modelos individuales devuelven probabilidades, se puede hacer una votación ponderada. En regresión, se puede devolver el promedio de los valores devueltos por los modelos individuales.

9 salida 2 Conjuntos de Clasificadores Datos Partición del dataset Conjunto 1 Conjunto 2... Conjunto B Entrenamiento de B modelos distintos Nueva instancia... Clasificación de una nueva instancia salida 1 Votación Salida final salida B Poco práctico: los datos son caros. Veamos cómo refinar esta idea. Es importante que los modelos no estén muy correlacionados.

10 salida 2 Bagging (Bootstrap Aggregating) Construir nuevos conjuntos de entrenamiento usando bootstrap: muestreo con reemplazo de las instancias. Datos Conjuntos generados mediante bootstrap Conjunto 1 Conjunto 2... Conjunto B Entrenamiento de B modelos distintos Nueva instancia... salida 1 salida B Clasificación de una nueva instancia Votación Salida final

11 Random Forest Problema de bagging con árboles: Si pocos atributos son predictores fuertes, todos los árboles se van a parecer entre sí. Esos atributos terminarán cerca de la raíz, para todos los conjuntos generados con bootstrap. Random Forest: Igual a bagging, pero en cada nodo, considerar sólo un subconjunto de atributos elegidos al azar. Algo muy positivo de bagging y random forest es que no sobreajustan a medida que se agregan modelos al ensemble.

12 Bagging vs. Random Forest

13 Conjuntos de Clasificadores Boosting Comenzar con un modelo (simple) entrenado sobre todos los datos: h 0 En cada iteración i, entrenar h i dando (gradualmente) mayor importancia a los datos mal clasificados por las iteraciones anteriores. Terminar al conseguir cierto cubrimiento, o luego de un número de iteraciones. Clasificar nuevas instancias usando una votación ponderada (p.ej.) de todos los clasificadores construidos.

14 salida 2 Conjuntos de Clasificadores Stacking Entrenar diferentes modelos (modelos base) y un modelo más, que decide, dada una instancia nueva, qué modelo usar. Nueva instancia Datos Datos... Datos salida 1... Modelo Modelo Modelo salida B Entrenamiento de B modelos distintos Clasificación de una nueva instancia Modelo Salida final

15 Resumen Sesgo vs. varianza Conjuntos de clasificadores: Bagging Random Forest Boosting Stacking