Overfit, cross validation y bootstrap

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Overfit, cross validation y bootstrap"

Marta Martín Díaz
hace 5 años
Vistas:

1 Universisad de San Andrés y CONICET

2 Cueestiones preliminares Sea z n una sucesion de variables aleatorias escalares. Consideremos la siguiente sucesion z n = n i=1 z i n Ley de grandes numeros (Kolmogorov): {z n } iid con E(z i ) = µ finita. Entonces z n p µ.

3 Funcion de distribucion acumulada (FDA): Y una variable aleatoria. F (y) = P r(y y) Funcion de distribucion acumulada empirica: Y 1, Y 2,..., Y n una muestra aleatoria iid de la poblacion Y, con fda F (y). F n (y) 1 n n 1 [Y i y] i=1

4 Teorema Fundamental de la Estadistica Para cualquier y dado (y = y 0 ) F n (y 0 ) 1 n n 1 [Y i y 0 ] i=1 es un promedio. Entonces por la LGN: F n (y 0 ) p E (1 [Y y 0 ]) = P (Y y 0 ) = F (y 0 ) Teorema Fundamental de la Estadistica (Glivenko-Cantelli): version fuerte y uniforme de F n (y) F (y).

5 Preludio

6 Preludio

8 Preludio Y = Xβ + u Recordar Omision de variables relevantes: sesgos, menor varianza. Inclusion de variables irrelevantes: evita sesgos, mas varianza. R 2 = SCE/SCT = 1 SCR/SCT no decreciente en K. n = K : SCE = 0, R 2 = 1 Complejidad: numero de variables? En un sentido generalizado, si.

9 Caso simple Preludio y = f(x, β) + u f(x, β) polinomio de grado finito pero desconocido. Supuestos clasicos para u. X = matriz n (p + 1), columnas (1, x, x 2,..., x p ) ˆβ = (X X) 1 X Y, Ŷ X ˆβ, e Y Ŷ ECM(Ŷ (x 0)) = E(Y (x 0 ) Ŷ (x 0)) 2 Y (x 0 ) = f(x 0, β) + u, Ŷ (x 0) = x 0 ˆβ ECM(Ŷ (x 0)) cuando p aumenta y n constante?

10 ] ECM(Ŷ ) = Sesgo2 (Ŷ [Y ) + V (x 0 ) Ŷ (x 0) ( ) 2 [ + V = E = E Cuando p aumenta... f(x 0, β) x 0 ˆβ ( f(x 0, β) x 0 ˆβ Sesgo: eventualmente cero. Varianza: no decreciente (Gauss Markov). R 2 no decreciente. ] f(x 0, β) + u x 0 ˆβ ] ) 2 + [ σ 2 + x 0 V ( ˆβ)x 0

11 Overfit: modelos complejo: reduce error de estimacion y sesgo pero aumenta la varianza del error de pronostico en un punto x 0 dado. SCE y R 2 no funciona como guia para elegir modelos para prediccion fuera de la muestra. Trade off sesgo-varianza: simple (algo sesgo, baja varianza) vs. complejo (bajo sesgo, alta varianza). Complejidad: numero de variables (mucho mas general de lo que parece). Necesitamos una forma de evaluar modelos de acuerdo a su performance fuera de la muestra.

12 Conceptos Preludio Perdida: L(Y, Ŷ ) Regresion: L(Y, Ŷ ) = (Y Ŷ )2 Clasificacion: L(Y, Ŷ ) = 1(Y Ŷ ) Error de prediccion esperado: Err = E[L(Y, Ŷ )]. Error de prediccion esperado en la muestra de test: Err T = E[L(Y, Ŷ ) T ] Error promedio en la muestra de entrenamiento: Problema: como elegir T? ˆ err = 1 n n L(Y i, Ŷi) i=1

13 K-fold cross validation 1 Partir los datos al azar en K partes. 2 Ajustar el modelo dejando afuera una de las particiones. 3 Computar el error de prediccion para los datos no utilizados. 4 Repetir para k = 1,..., K. La estimacion por cross-validation del error de prediccion es CV ( ˆf) = 1 ) (Y N L i Ŷ k(x i ) Ŷ k (x i ) es la prediccion hecha cuando la observacion no fue usada para estimar.

14 Cada observacion es usada en dos roles: entrenamiento y test. K = 1: no test data K = N: leave one out. Ir dejando de lado una obseracion por vez. Estima el modelo n veces con n 1 datos. K: estima el modelo K veces con n K datos.

15 Por qué funciona? Ley de los grandes numeros. CV ( ˆf) = 1 N = 1 K n i=1 K err ˆ j j=1 ( ) L Y i Ŷ k(x i ) Computamos err ˆ j para cada particion y luego promediamos. Para cualquier K finito, n implica que dentro de cada sumando hay infinita informacion. K = n la suma es infinita.

16 Eleccion de K K chico: maximiza datos para estimar, sensible a los valore particulares. K grande: maximiza datos para evaluar, modelo estimado menos precisamente. Regla: 5 o 10 (ver Kohavi (1995)

17 Cross validation para eleccion de modelos Supongamos que α parametriza la complejidad de un modelo. Ejemplo: α = grado de polinomio en nuestro caso inicial Cross validation para un modelo indizado por α: CV ( ˆf, α) = 1 ) (Y N L i Ŷ k(x i, α) Idea: computar CV ( ˆf, α) para una grilla de valores de α y minimizar. Ejemplo: error de CV para distintos grados de polinomio, elegir el que minimiza CV ( ˆf, α)

18 Ejemplo: polinomio en regresion del ejemplo de polinomios: roja K=10.

19 Ejemplo: eleccion de grado de un polinomio Vinos: Vinos malos. Potencias de volatile.acidity. Metodo de estimacion: logit. K=10-fold Cross validation.

20 Bootstrap Preludio Ejemplo: vinos malos en logits Y 1, Y 2,..., Y n iid Y (µ, σ 2 ), ambas finitas. Queremos estimar V (Ȳ ) = σ2 /n (varianza de la media muestral) Formula: ˆσ 2 /n con ˆσ 2 = 1 (Y i n Ȳ )2 i=1

21 Metodo alternativo sin formula : 1 De los n datos originales y 1, y 2,..., y n, tomar una muestra con reemplazo, de tamaño n. 2 Computar la media muestral con esta pseudomuestra 3 Repetir B veces. Al finalizar tendremos B estimaciones de la media. 4 Computar la varianza de las B medias.

22 En terminos generales Y i, i = 1,..., n y θ es una magnitud de interes. 1 Muestra de tamaño n con reemplazo de la mueestra original (muestra bootstrap). 2 Computar ˆθ j, j = 1,..., B. 3 Repetir B veces. 4 ˆV (ˆθ) B = 1 B B (ˆθ j ˆθ) 2 j=1

23 Ideas Por que?: en la mayoria de los casos NO hay una formula para la varianza. Mucho mas que la varianza: desvio estandar, mediana, coeficiente de Gini,... Regresion?

24 ln Y = βx + u X es una variable binaria. Recordar que β e β 1. Supongamos que realmente nos interesa e β 1. Podemos estimar β por MCO de ln Y en X y su varianza por boostrap: 1 Tomar una muestra de (X i, Y i )i = 1,..., n de tamaño n con reemplazo. 2 Estimar ˆβ j 3 Computar ˆθ j = e ˆβ j) 1, j = 1,..., B 4 Computar la varianza muestral de los ˆθ j

25 Por que funciona? Muestra de la muestra n es grande: es como si estuviesemos tomando una muestra de la poblacion. Teorema fundamental de la estadistica (estamos reemplazando F (y) por F n (y).

Documentos relacionados

Regularizacion y eleccion de modelos

Regularizacion y eleccion de modelos Universisad de San Andrés y CONICET Trade off-sesgo varianza Preludio Y = X 1 β 1 + X 2 β 2 + u Trade off: modelos mas complejos tienden a ser menos sesgados pero con mayor varianza. Preferencia lexicografica