Regularizacion y eleccion de modelos

Transcripción

1 Universisad de San Andrés y CONICET

2 Trade off-sesgo varianza Preludio Y = X 1 β 1 + X 2 β 2 + u Trade off: modelos mas complejos tienden a ser menos sesgados pero con mayor varianza. Preferencia lexicografica por la insesgadez: minimizar ECM es minimizar varianza. Desafio: tolerar sesgos para bajar considerablemente la varianza.

3 Best subset selection Preludio Y = Xβ + u, X n p 1 Estimar todos los posibles modelos con k = 1, 2,..., p predictores. 2 p modelos. 2 Para cada modelo computar el error de prediccion por cross validation. 3 Elegir el que minimiza CV. Problema: computacionalmente inviable para p moderado (p = 20, modelos)

4 Stepwise selection Preludio Forward selection: Empezar sin ningun predictor Probar todos los modelos con 1 predictor. Elegir el que minimiza CV. Agregar de a 1, sin quitar los ya incorporados. p(p + 1)/2 modelos. De los p modelos elegidos, elegir el que minimiza CV. Backward selection: empieza con el modelo completo. Busqueda no exhaustiva. Los incoporados no salen. Forward tiene una ventaja en modelos de alta dimension (mas adelante).

5 No vale empezar con el modelo general y tachar los coeficientes no significativos? Backward selection aproxima esa idea (no exactamente ya que el criterio es de ajuste/prediccion. Tachar variables/coeficientes es una forma extrema de achicarlos. Lasso: una manera formal y algoritmica de realizar esa tarea. Regularizar: utilizar informacion de afuera del modelo para simplificarlo. Recuerden que el objetivo es minimizar ECM fuera de la muestra de entrenamiento.

6 Preludio Para λ 0 dado, consideremos la siguiente funcion objetivo (a minimizar): R l (β) = n (y i x iβ) 2 + λ i=1 p β s s=2 (el primer coeficiente corresponde al intercepto). Si λ = 0? Si λ =? n i=1 (y i x i β)2 penaliza falta de ajuste. p s=2 β s?

7 R l (β) = n p (y i x iβ) 2 + λ β s i=1 s=2 magic: automaticamente elige que variables entran (β s 0) y cuales no (β s = 0) Por que? Coeficientes anulados como soluciones de esquina R l (β) es una funcion no diferenciable.

8 Soluciones de esquina Preludio Caso extremo (facil de generalizar) R l (β) = n (y i x i β) 2 + λ β i=1 Un solo predictor, un solo coeficiente. Predictor estandarizado. De modo que x 2 = 1. En este caso, el estimador MCO es ˆβ = xi y i x 2 i = x i y i

9 R l (β) = n (y i x i β) 2 + λ β i=1 n i=1 (y i x i β) 2 + λβ, si β 0 R l (β) = n i=1 (y i x i β) 2 λβ, si β 0 No diferenciable en β = 0. Cuadratica y diferenciable para β 0.

10 Graficamente ( ˆβ > 0): dr l (0) + dβ > 0, solucion de esquina ˆβ l = 0, caso contrario, solucion interior.

11 dr l (β) + dβ = 2 y i x i + 2β x 2 i + λ = 2 y i x i + 2β + λ Entonces, si dr l (0) + dβ = 2 y i x i + λ λ 2 y i x i, ˆβl = 0

12 Si λ < 2 y i x i, la solucion es interior. FOC: 2 y i x i + 2 ˆβ l + λ = 0 ˆβ l = x i y i λ/2 = ˆβ λ/2 Shrinkage: la solucion esta corrida hacia cero con respecto a ˆβ (MCO). El caso ˆβ < 0 es completamente simetrico.

13 Intuiciones para economistas 0 si λ 2 y i x i ˆβ l = ˆβ λ/2 si λ 2 y i x i Intuicion? En 0 el costo por λ sube y el de ajuste baja. Si uno sube mas rapido que lo que el otro baja: conviene quedarse en cero. En caso contrario conviene moverse afuera de cero. Moverse de cero si la relacion es lo suficientemente fuerte, sino evitar la penalizacion.

14 Preludio Para λ 0 dado, consideremos la siguiente funcion objetivo (a minimizar): R r (β) = n (y i x iβ) 2 + λ i=1 p (β s ) 2 s=2 (el primer coeficiente corresponde al intercepto). Las intuiciones coinciden con, pero el problema es completamente diferente.

15 Consideremos el caso simple (un predictor, normalizado) FOC: R r (β) = n (y i x iβ) 2 + λβ 2 i=1 y i x i + 2β + 2λβ = 0 Despejando ˆβ r = yi x i 1 + λ = ˆβ 1 + λ La solucion es siempre interior (comparar intuicion con ) Nuevamente, la solucion esta corrida hacia cero con respecto a ˆβ (shrinkage).

16 vs. MCO Preludio Bajo los supuestos clasicos y en el caso simple: E( ˆβ) = β (insesgado) V ( ˆβ) = σ 2 / x 2 i = σ2 ECM( ˆβ) = σ 2. E( ˆβ r ) = β/(1 + λ) (sesgado) V ( ˆβ r ) = σ 2 /(1 + λ) 2 (menor varianza) ECM( ˆβ) = [ β β ] λ σ 2 (1 + λ) 2

17 ECM( ˆβ) ECM( ˆβ r ) = σ 2 β2 λ 2 + σ 2 Es suficiente que λ < 2σ 2 /β 2 para que ECM( ˆβ) ECM( ˆβ r ) > 0 (1 + λ) 2 = λ(2σ2 β 2 λ + λσ 2 ) (1 + λ 2 ) Para todo β y σ 2 existe λ de modo que ridge le gana a MCO. En este caso es posible derivar una condicion necesaria y suficiente. Pero no es generalizable al caso de p variables (Theobald, 1974).

18 Comentarios tecnicos 1 No es posible derivar un resultado exacto similar para. 2 muchas veces aproxima a. 3 Muchas variables y no normalizadas? Hiper simple (usando el teorema de FWL: maestria). 4 El argumento de solucion de esquina en es un tanto informal. Formal? Subgradientes, analisis convexo (Rockafellar, 1996, p. 264, muy intuitivo). 5 Usar con datos previamente estandarizados.

19 Ejemplo: Hitters Preludio

20 Ejemplo: Hitters Preludio Puntos: OLS, rojo:, azul: ridge

21 Ejemplo: Hitters Preludio Puntos: OLS, rojo:, azul: ridge

22 Ejemplo: Hitters Preludio

23 y como optimizacion restringida Consideremos el problema de. Minimizar R r (β) = n (y i x i β) 2 + λ β 2 i=1 Llamemos ˆβ(λ) a la solucion, para un λ dado. Resultado: existe C 0 tal que ˆβ(λ) es la solucion a mín β n (y i x i β) 2 s.a. β 2 C i=1

24 Recordar que las FOC para es R r (β) = n (y i x iβ) 2 + λβ 2 i=1 ( ) 2 (yi βx i )x i + 2λβ = 0 y la solucion es ˆβ(λ) = yi x i 1 + λ

25 La funcion de Lagrange para el problema de optimizacion restringida L(β, α) = n (y i x i β) 2 + α (β 2 C) i=1 CPO (Karush-Kuhn-Tucker) ( n ) 2 (y i x i β)x i + 2αβ = 0 i=1 α(β 2 C) = 0

26 Notar que si C = ˆβ(λ) 2, α = λ y ˆβ(λ) satisfacen las condiciones de KKT. puede ser visto como un problema de optimizacion restringida. Problema original: λ dado, restriccion determinada por λ. Problema restringido: restriccion dada, multiplicador determinado por la restriccion. Dualidad. La formalizacion de es virtualmente identica (usando subgradientes)

27 Fuente: James, Witten, Hastie y Tibshirani (2013, pp. 222)