2. El Modelo de Regresión Lineal Simple

Transcripción

1 Tema 2 El Modelo de Regresión Lineal Simple El Modelo de Regresión Lineal Simple Problema de mínimos cuadrados. Estimadores mínimos cuadrados ˆβ 0, ˆβ 1, y s 2. Estimadores de máxima verosimilitud y propiedades. Inferencia: pruebas de hipótesis e intervalos de confianza. Bondad de ajuste: ANOVA, R 2. Transformaciones de la línea recta. Transformaciones potencia de Box-Cox y Box-Tidwell. Modelos no lineales. Error puro y falta de ajuste. Revisión de los supuestos del modelo de regresión: Análisis de residuales.

2 Tema 2 El Modelo de Regresión Lineal Simple Modelo generador teórico presión (kg/cm^2) y y obs e = y obs y (no observado) y = β 0 + β 1 x (teórica) altura (cm)

3 Tema 2 El Modelo de Regresión Lineal Simple 2-3 Regresión Lineal Simple y i = β 0 + β 1 x i + ɛ i, i = 1,..., n Donde, y i : variable de respuesta, variable dependiente. x i : variable de control, regresor, variable independiente. β 0, β 1 : coeficientes del modelo. β 0 : es el nivel de la respuesta cuando x = 0. β 1 : es el incremento en la respuesta cuando aumento al regresor x en una unidad. (tasa de cambio) ɛ i : error aleatorio (no observado), diferencia entre el modelo generador y el valor observado.

4 Tema 2 El Modelo de Regresión Lineal Simple 2-4 Regresión Lineal Simple Si suponemos que el error ɛ es tal que E[ɛ] = 0, var(ɛ) = σ 2, cov(ɛ, ɛ ) = 0 la respuesta y es aleatoria, pero para el nivel x = x 0, Esto es, E[y x = x 0 ] = β 0 + β 1 x 0 var(y x = x 0 ) = var(ɛ) = σ 2 cov(y, y ) = 0 El nivel medio de y depende del nivel de x. La variabilidad de la respuesta y no depende de x. cov(y, y ) = cov(ɛ, ɛ ) = 0. β 0 es la respuesta media para x = 0. β 1 es el incremento de la respuesta debido a un cambio unitario del regresor x. Es decir, para x = 1, se tiene que y = β 1.

5 Tema 2 El Modelo de Regresión Lineal Simple Modelo ajustado presión (kg/cm^2) modelo generador ~ y y obs ~ ~ y = β 0 + β~ 1 x (ajustada) ~ r = yobs ~ y (residual) altura (cm)

6 Tema 2 El Modelo de Regresión Lineal Simple 2-6 Criterios para determinar la mejor línea recta Problema: Elegir la mejor línea recta (β 0, β 1 ). 1. Elija ( β 0, β 1 ), de modo que (y i ỹ i ) = (y i β 0 β 1 x i ) = 0 Impráctico!!! i i 2. Criterio L 1 : Mínima Desviación Absoluta mín y i β 0 β 1 x i β 3. Criterio L 2 : Mínimos Cuadrados mín (y i β 0 β 1 x i ) 2 β 4. Criterio L : Mínima Desviación Máxima { mín máx y i β 0 β } 1 x i β i i i

7 Tema 2 El Modelo de Regresión Lineal Simple 2-7 El Problema de Mínimos Cuadrados Considere la suma de cuadrados: S(β) =. n i=1 (y i β 0 β 1 x i ) 2 Criterio: mín β ds dβ 0 = n S(β) mín (y i β 0 β 1 x i ) 2 β 0, β 1 i=1 Ecuaciones normales (ortogonales) : nβ 0 + β 1 xi = yi β 0 xi + β 1 x 2 i = Solución: Estimadores Mínimos Cuadrados xi y i ˆβ 1 = (xi x)(y i ȳ) (xi x) 2 = S xy S xx ˆβ 0 = ȳ ˆβ 1 x

8 Tema 2 El Modelo de Regresión Lineal Simple Recta ajustada por mínimos cuadrados presión (kg/cm^2) y y^ = β^0 + β^1 x 0 x La recta ajustada pasa por el centroide de los datos (X, Y ) altura (cm)

9 Tema 2 El Modelo de Regresión Lineal Simple 2-9 Ejemplo Propelente Se considera un motor de cohete estudiando el propelente de encendido dentro de un depósito de metal. La fuerza para separar la unión entre las componentes del combustible es la respuesta, que depende de la edad de propelente. Propelente Datos: obs fuerza edad obs fuerza edad fuerza (psi) edad (semanas) Montgomery et al. (2001)

10 Tema 2 El Modelo de Regresión Lineal Simple 2-10 Ejemplo Propelente (cont.) Propelente fuerza (psi) y = x y^ r^ = y edad (semanas)

11 Tema 2 El Modelo de Regresión Lineal Simple 2-11 Ejemplo Propelente (cont.) Ajuste: Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 edad e-10 Residual standard error: on 18 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 18 DF, p-value: 1.643e-10 Analysis of Variance Table Response: fuerza Df Sum Sq Mean Sq F value Pr(>F) edad e-10 Residuals

12 Tema 2 El Modelo de Regresión Lineal Simple 2-12 Ejemplo Propelente (cont.) Datos ajustados y residuales: obs yobs yhat res obs yobs yhat res Observe que n i=1 res i = 0.

13 Tema 2 El Modelo de Regresión Lineal Simple 2-13 Ejemplo Propelente (cont.) Residuales vs. Respuesta Ajustada residual respuesta ajustada

14 Tema 2 El Modelo de Regresión Lineal Simple 2-14 Propiedades de los estimadores de mínimos cuadrados ˆβ 1 = (xi x)(y i ȳ) (xi x) 2 ˆβ 0 = ȳ ˆβ 1 x E[ ˆβ 1 ] = β 1 var( ˆβ 1 ) = σ 2 1 S xx E[ ˆβ 0 ] = β 0 ( ) var( ˆβ 1 0 ) = σ 2 n + x2 S xx Nota: Los resultados anteriores se siguen del hecho que (x i x) = 0 y por lo mismo S xy = (x i x)y i. Luego ˆβ 1 = c i y i, donde c i = (x i x)/s xx. Teorema Gauss-Markov Bajo los supuestos E[ɛ i ] = 0, var(ɛ i ) = σ 2, cov(ɛ i, ɛ j ) = 0 los estimadores de mínimos cuadrados son los mejores estimadores lineales insesgados, en el sentido de que tienen varianza mínima.

15 Tema 2 El Modelo de Regresión Lineal Simple 2-15 Propiedades de los estimadores de mínimos cuadrados Se tiene que, ˆr i = y i ŷ i = y i ( ˆβ 0 + ˆβ 1 x i ) 1. ˆri = (y i ŷ i ) = 0 2. ŷi = y i 3. ȳ = ˆβ 0 + ˆβ 1 x 4. xiˆr i = 0 5. ŷiˆr i = 0

16 Tema 2 El Modelo de Regresión Lineal Simple 2-16 Estimación de σ 2 Suma de Cuadrados: SC Res = n (y i ŷ i ) 2 = S yy ˆβ 1 S xy Si se supone además que ɛ N(0, σ 2 ), se puede mostrar que i=1 SC Res σ 2 χ 2 n 2 Luego, [ SCRes ] [ SCRes ] E σ 2 = n 2, var σ 2 = 2(n 2) Cuadrados Medios: s 2 = CM Res = 1 n 2 SC Res = 1 n 2 (yi ŷ i ) 2 Entonces, E [ s 2] = E [ SCRes n 2 ] = σ 2, var [ s 2] = var [ SCRes n 2 ] = 2σ4 n 2 Error Estándar de la Regresión: s = SC Res CM Res = n 2 = 1 n 2 (yi ŷ i ) 2

17 Tema 2 El Modelo de Regresión Lineal Simple 2-17 Inferencia Estimación por Máxima Verosimilitud y i β 0 β 1 x i N(0, σ 2 ) i.i.d. Función de verosimilitud del modelo de regresión: n L(β 0, β 1, σ 2 ; x, y) = f ɛ (x i, y i ; β 0, β 1, σ 2 ) = i=1 n i=1 l = log L = n 2 { 1 exp 1 } 2πσ 2σ 2(y i β 0 β 1 x i ) 2 = (2π) n/2 σ n exp { 1 2σ 2 } n (y i β 0 β 1 x i ) 2 i=1 log(2π) n log(σ) 1 2σ 2 n (y i β 0 β 1 x i ) 2 i=1

18 Tema 2 El Modelo de Regresión Lineal Simple 2-18 Estimación por Máxima Verosimilitud Maximizar la función de verosimilitud equivale a minimizar la suma de cuadrados: Además, log L β 0 = 0 log L β 1 = 0 log L σ La solución del sistema da lugar a los Estimadores de Máxima Verosimilitud (EMV). = 0 = ˆσ 2 = 1 n n (y i ˆβ 0 ˆβ 1 x i ) 2 Por lo tanto, los EMV son los mismos que los EMC, y s 2 = i=1 n n 2 ˆσ2, ˆσ 2 = n 2 n s2 ˆβ 1 = S xy S xx ˆβ 0 = ȳ ˆβ 1 x Nota: El hecho que los EMC coincidan con los EMV, añade las propiedades de estos últimos (consistencia, suficiencia) a la mínima varianza (eficiencia) de los EMC (Teorema Gauss-Markov).

19 Tema 2 El Modelo de Regresión Lineal Simple 2-19 Observaciones: El supuesto de normalidad de los errores es necesario para hacer inferencia pero no para que se cumplan las condiciones de Gauss-Markov. El supuesto ɛ N(0, σ 2 ) hace que los EMV y los EMC coincidan. (A excepción del estimador de la varianza muestral) Teorema de Gauss-Markov. Dentro de la clase de estimadores insesgados para β 0 y β 1, los estimadores de mínimos cuadrados tienen varianza mínima. Se tiene que si β0 es tal que E( β 0 ) = β 0 : Var( β 0 ) Var( ˆβ 0 ) Análogamente, si β1 es tal que E( β 1 ) = β 1 : Var( β 1 ) Var( ˆβ 1 ) Donde ˆβ 0, ˆβ 1 son los estimadores de mínimos cuadrados (EMC).

20 Tema 2 El Modelo de Regresión Lineal Simple 2-20 Distribuciones Podemos escribir los EMC como funciones lineales de y N(β 0 + β 1 x, σ 2 ) Luego, ˆβ 1 = S xy S xx = c i y i, ˆβ0 = ȳ ˆβ 1 x = d i y i c i, d i R ˆβ 1 N(β 1, σ 2 1 S xx ), [ 1n ˆβ0 N (β 0, σ 2 + x2 S xx ]) e independientemente, s 2 σ2 n 2 χ2 n 2 Respuesta media ajustada ŷ(x): ( ŷ(x) = ˆβ 0 + ˆβ 1n 1 x N (β 0 + β 1 x, σ 2 Nueva observación ẏ(x): ẏ(x) = ˆβ 0 + ˆβ 1 x + ɛ N (β 0 + β 1 x, σ (1 2 + )) (x x)2 + S xx )) 1n (x x)2 + S xx

21 Tema 2 El Modelo de Regresión Lineal Simple 2-21 Pruebas de Hipótesis sobre los coeficientes Suponiendo σ 2 conocida Recta que pasa por β0 0 al origen: H 0 : β 0 = β0 0 vs. H 1 : β 0 β z 0 = ˆβ 0 β0 0 de( ˆβ 0 ) = ˆβ 0 β0 0 N(0, 1) 1 σ n + x2 S xx Recta de pendiente β1: 0 densidad p valor = p 1 + p 2 H 0 : β 1 = β 0 1 vs. H 1 : β 1 β p 1 z obs z obs p 2 z 1 = ˆβ 1 β1 0 de( ˆβ 1 ) = ˆβ 1 β1 0 N(0, 1) 1 σ S xx z

22 Tema 2 El Modelo de Regresión Lineal Simple 2-22 Pruebas de Hipótesis sobre los coeficientes Suponiendo σ 2 desconocida Recta que pasa por β0 0 al origen: H 0 : β 0 = β0 0 vs. H 1 : β 0 β ˆt 0 = ˆβ 0 β0 0 ee( ˆβ 0 ) = ˆβ 0 β0 0 1 s n + x2 S xx Recta de pendiente β 0 1: t n 2 densidad p value = p 1 + p 2 H 0 : β 1 = β 0 1 vs. H 1 : β 1 β p 1 t^obs t^obs p 2 ˆt 1 = ˆβ 1 β1 0 ee( ˆβ 1 ) = ˆβ 1 β1 0 1 s S xx t n ^ t

23 Tema 2 El Modelo de Regresión Lineal Simple 2-23 Pruebas de Hipótesis sobre los coeficientes Casos particulares Recta que pasa por el origen: Significancia de la regresión: H 0 : β 0 = 0 vs. H 1 : β 0 0 H 0 : β 1 = 0 vs. H 1 : β 1 0 y y x x

24 Tema 2 El Modelo de Regresión Lineal Simple 2-24 Intervalos de Confianza Ordenada al origen β 0 : Pendiente β 1 : 1 ˆβ 0 ± t (1 α/2;n 2) s n + x2 S xx ˆβ 1 ± t (1 α/2;n 2) s 1 S xx Varianza σ 2 : ( (n 2)s 2 χ 2, (1 α/2,n 2) Respuesta media ŷ x, al nivel x: 1 ŷ x ± t (1 α/2;n 2) s n ) (n 2)s2 χ 2 (α/2,n 2) Intervalos de predicción nueva observación ẏ x : ẏ x ± t (1 α/2;n 2) s n + (x x)2 S xx + (x x)2 S xx

25 Tema 2 El Modelo de Regresión Lineal Simple 2-25 Bandas de Confianza y Bandas de Predicción respuesta media nueva observación y x ^ ^ y^ = β 0 + β1x Recta Ajustada x

26 Tema 2 El Modelo de Regresión Lineal Simple 2-26 Regiones de Confianza para (β 0, β 1 ): Consideremos la reparametrización del modelo de regresión y = β 0 + β 1 x + ɛ = β 0 + β 1 (x x) + ɛ Entonces, ˆβ 0 = ȳ y var( ˆβ 0) = σ 2 /n ( ) 2 ˆβ 0 β 0 σ/ n = n( ˆβ 0 β 0) 2 σ χ ( ) Independientes 2 ˆβ1 β 1 σ/ S = S xx ( ˆβ 1 β 1 ) 2 xx σ χ Luego, Y por otro lado, n( ˆβ 0 β 0) 2 σ 2 + S xx( ˆβ 1 β 1 ) 2 σ 2 χ 2 2 (n 2)s 2 /σ 2 χ 2 n 2 independientemente de ˆβ 0 y ˆβ 1. Entonces, n( ˆβ 0 β 0) 2 + S xx ( ˆβ 1 β 1 ) 2 2s 2 F 2,n 2 Por lo que una región del (1 α) nivel de confianza para (β 0, β 1 ) es: RC (1 α) = {(β 0, β 1 ) : n( ˆβ 0 β 0 ) x i ( ˆβ 0 β 0 )( ˆβ 1 β 1 ) + x 2 i ( ˆβ 1 β 1 ) 2 2s 2 F (1 α;2,n 2) }

27 Tema 2 El Modelo de Regresión Lineal Simple 2-27 Regiones de Confianza Intervalos de Confianza y Método de Bonferroni Sea IC j el intervalo de 1 α nivel de confianza para el parámetro β j (j = 0, 1). Sea I j el evento el intervalo IC j efectivamente contiene el parámetro de interés β j. Luego, P(I j ) = 1 α, y P(I 0 I 1 ) = 1 P((I 0 I 1 ) c ) = 1 P(I c 0 I c 1) = 1 [P(I c 0) + P(I c 1) P(I c 0 I c 1)] = 1 2α + P(I c 0 I c 1) 1 2α Entonces, para garantizar un nivel de (1 α) confianza conjunto, construya marginalmente los intervalos IC j con un nivel (1 α/2) de confianza. Para garantizar la confianza conjunta de k intervalos marginales con niveles de confianza (1 α/k).

28 Tema 2 El Modelo de Regresión Lineal Simple 2-28 Intervalos y Regiones de Confianza para (β 0, β 1 ): 0.20 TV por cable Bonferroni Marginales 0.15 β 1 1 α 2 1 α α 1 α β 0

29 Tema 2 El Modelo de Regresión Lineal Simple 2-29 Coeficiente de Determinación R 2 El coeficiente de determinación es el porcentaje de variabilidad debido a la regresión; es decir, el porcentaje de la variabilidad de los datos explicado por el modelo. R 2 = SC Debido a la regresión SCTotal corregidos = (ŷi ȳ) 2 (yi ȳ) 2 = SC Reg SCT corr = 1 SC Res SCT corr Notas: 1. R 2 = [corr(y, ŷ)] 2, de ahí que también se le conozca como Coeficiente De Correlación Cuadrada. 2. corr(x, Y ) = signo( ˆβ 1 ) R 3. En la definición de R 2, se considera siempre un modelo base, que en el caso de la RLM es el modelo trivial: y = ȳ + ɛ. Evite el uso de R 2 en modelos sin ordenada al origen R 2 1. Sin embargo, si se tienen réplicas puras, (varios y(x) s para el mismo X = x), se tiene error puro y no hay modelo que capture la variación debida a este error. En este caso: R 2 < 1.

30 Tema 2 El Modelo de Regresión Lineal Simple 2-30 Prueba de Hipótesis Análisis de Varianza Fuente gl Suma de Cuadrados (SC) Cuadrados Medios (CM) F Debido regresión 1 SC Reg = (ŷ i ȳ) 2 CM Reg = SC Reg 1 Residuales n 2 SC Res = (y i ŷ i ) 2 CM Res = SC Res n 2 Total (Corregido) n 1 SC Total = (y i ȳ) 2 CM Reg CM Res Análisis de Varianza y Suma Extra de Cuadrados Fuente GL Suma de Cuadrados Cuadrados Medios F β 0 1 nȳ 2 β 1 β 0 1 S 2 xy/s xx CM Reg CM Reg /s 2 Residuales n 2 Por diferencia s 2 Total n y 2 i

31 Tema 2 El Modelo de Regresión Lineal Simple 2-31 Coeficiente de Determinación R 2 Notas:(cont.) 5. R 2 cercanas a 1 indican buen ajuste. Recuerde sin embargo que buen ajuste y mal ajuste depende del contexto. 6. En el caso de RLS, se puede mostrar que E[R 2 ] = ˆβ 2 1S xx σ 2 + ˆβ 2 1 S xx por lo que es posible incrementar R 2 aumentando el rango del regresor X. 7. Una R 2 alta no implica un buen modelo de predicción. 8. En RLM, siempre se puede incrementar R 2 aumentando el número de regresores.

32 Tema 2 El Modelo de Regresión Lineal Simple 2-32 Coeficiente de Correlación (Muestral) r = (yi ȳ)(x i x) [ (xi x) 2 (y i ȳ) 2 ] 1/2 = S XY [S XX S Y Y ] 1/2 Entonces, se puede mostrar que ˆβ 1 = r ( SY Y S XX ) 1/2 y que r 2 es el Coeficiente de Determinación. Es decir, r 2 = R 2.

33 Tema 2 El Modelo de Regresión Lineal Simple 2-33 Regresión Simple por el Origen El modelo de una línea recta que pasa por el origen es: y i = βx i + ɛ i, tiene los siguientes estimadores (insesgados) de mínimos cuadrados: y Regresión por el Origen y ˆβ = xi y i x 2 i s 2 = 1 n 1 = S xy S xx (yi ŷ i ) Los estimadores ˆβ y s 2 tiene propiedades similares a las correspondientes en los modelos con ordenada al origen. A saber, ˆβ N(β, σ 2 1 S xx ) y s 2 σ2 n 1 χ2 n 1 Recuerde que en este caso la R 2 no tiene sentido. x

34 Tema 2 El Modelo de Regresión Lineal Simple 2-34 Transformaciones a una Línea Recta Ejemplo: Generación de Electricidad Mediante Molino de Viento Un ingeniero investiga la posibilidad de generar electricidad mediante un molino de viento. Después de un tiempo ha registrado la corriente eléctrica que sale del molino y la velocidad del viento. Datos: obs. velocidad voltaje obs. velocidad voltaje mph. kv. mph. kv Montgomery and Peck (1992) voltaje (kv.) velocidad (mph.)

35 Tema 2 El Modelo de Regresión Lineal Simple 2-35 Ejemplo: Generación de Electricidad (cont.) Ajuste del Modelo: y = β 0 + β 1 x + ɛ Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) velocidad e-12 Residual standard error: on 23 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 23 DF, p-value: 7.546e-12 Analysis of Variance Table Response: voltaje Df Sum Sq Mean Sq F value Pr(>F) velocidad e-12 Residuals

36 Tema 2 El Modelo de Regresión Lineal Simple 2-36 Ejemplo: Generación de Electricidad (cont.) Validación del Modelo Análisis de Residuales Voltaje ajustado vs. Residuales Gráfica Normal de Residuales residuals fitted values normal scores residuals

37 Tema 2 El Modelo de Regresión Lineal Simple 2-37 Ejemplo: Generación de Electricidad (cont.) Identificación del Modelo Transformación X = 1/x voltaje (kv.) /velocidad

38 Tema 2 El Modelo de Regresión Lineal Simple 2-38 Ejemplo: Generación de Electricidad (cont.) Ajuste del Modelo: y = β 0 + β 1 /x + ɛ Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 invx <2e-16 Residual standard error: on 23 degrees of freedom Multiple R-Squared: 0.98, Adjusted R-squared: F-statistic: 1128 on 1 and 23 DF, p-value: < 2.2e-16 Analysis of Variance Table Response: voltaje Df Sum Sq Mean Sq F value Pr(>F) invx < 2.2e-16 Residuals

39 Tema 2 El Modelo de Regresión Lineal Simple 2-39 Ejemplo: Generación de Electricidad Mediante Molino de Viento Validación del Modelo Análisis de Residuales Voltaje ajustado vs. Residuales Gráfica Normal de Residuales residuals normal scores fitted values residuals

40 Tema 2 El Modelo de Regresión Lineal Simple 2-40 Transformaciones a una Línea Recta Funciones Linealizables y Formas Lineales Función Transformación Forma Linealizable Lineal y = β 0 x β 1 Y = log y, X = log x Y = log β 0 + β 1 X y = β 0 e β 1x Y = log y Y = log β 0 + β 1 x y = β 0 + β 1 log x X = log x y = β 0 + β 1 X y = x β 0 x+β 1 Y = 1 y, X = 1 x Y = β 0 + β 1 X

41 Tema 2 El Modelo de Regresión Lineal Simple 2-41 Transformaciones a una Línea Recta Modelo: y = β 0 x β 1 β 0 > 0, β 1 > 0 ; x > 0 β 0 > 0, β 1 < 0 ; x > 0 β 1 = 1 β 1 < 1 β 1 > β 1 = 1 β 1 > 1 β 1 <

42 Tema 2 El Modelo de Regresión Lineal Simple 2-42 Transformaciones a una Línea Recta Modelo: y = β 0 e β 1x β 0 > 0, β 1 > 0 ; x > 0 β 0 > 0, β 1 < 0 ; x > 0 0 β 0 β 1 = 1 β 1 > 1 β 1 < 1 0 β 0 β 1 = 1 β 1 < 1 β 1 > 1

43 Tema 2 El Modelo de Regresión Lineal Simple 2-43 Transformaciones a una Línea Recta Modelo: y = β 0 + β 1 log(x) β 0 > 0, β 1 > 0 ; x > 0 β 0 > 0, β 1 < 0 ; x > 0 β 1 = 1 β 1 > 1 β 1 < 1 β 1 = 1 β 1 > 1 β 1 < 1 0 β 0 0 β

44 Tema 2 El Modelo de Regresión Lineal Simple 2-44 Transformaciones a una Línea Recta Modelo: y = x β 0 x + β 1 β 0 > 0, β 1 > 0 ; x > 0 β 1 = 1 β 1 > 1 β 1 < 1 β 0 β 0 > 0, β 1 < 0 ; x > 0 β 1 = 1 β 1 < 1 β 1 > 1 β 0 0 0

45 Tema 2 El Modelo de Regresión Lineal Simple 2-45 Transformaciones Estabilizadoras de la Varianza Relación Transformación Notas σ 2 k Y = y Sin transformación σ 2 E(y) Y = y Raíz cuadrada (datos Poisson) σ 2 E(y)[1 E(y)] Y = arcsin y Arco seno (proporciones binomiales) 0 y i 1 σ 2 [E(y)] 2 Y = log y Logaritmo σ 2 [E(y)] 3 Y = 1/ y Recíproco raíz cuadrada σ 2 [E(y)] 4 Y = 1/y Recíproco

46 Tema 2 El Modelo de Regresión Lineal Simple 2-46 Fórmula de Transmisión de Error - Método Delta Método Delta: Sea Y v. a. con al menos sus primeros 2 momentos finitos (E[Y ] = µ Y < y var(y ) = σy 2 < ), y sea h( ) una función suave, al menos 2 veces diferenciable. Entonces E[h(Y )] h(µ Y ) + h (2) (µ Y ) σ2 Y ( 2 2 var(h(y )) h (1) (µ Y )) σ 2 Y Ejemplo: Sea Y v. a. con varianza σy 2 µ2 Y. Entonces W = log(y ) tiene varianza constante. Solución: Sea W = h(y ) = log(y ). Entonces h (y) = 1/y, y Esto es, σ 2 W k. σ 2 W [h (µ Y )] 2 σ 2 Y = [ 1 µ Y ] 2 σ 2 Y 1 µ 2 Y µ 2 Y 1 Dudewicz and Mishra (1988), Casella and Berger (2002)

47 Tema 2 El Modelo de Regresión Lineal Simple 2-47 Ejemplo: Demanda de energía y uso de energía Una compañía generadora de electricidad está interesada en modelar la demanda en horas pico (y) como función del uso mensual total (x). obs. x y obs. x y (kwh) (kw) (kwh) (kw) demanda de energia (kw) uso de energia (kwh) Montgomery and Peck (1992)

48 Tema 2 El Modelo de Regresión Lineal Simple 2-48 Ejemplo: Demanda de energía (cont.) Ajuste del Modelo: y = β 0 + β 1 x + ɛ Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x e-15 Residual standard error: on 51 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 51 DF, p-value: 4.106e-15 Analysis of Variance Table Response: y Df Sum Sq Mean Sq F value Pr(>F) x e-15 Residuals

49 Tema 2 El Modelo de Regresión Lineal Simple 2-49 Ejemplo: Demanda de energía (cont.) Validacion del Modelo: Análisis de Residuales Voltaje ajustado vs. Residuales Gráfica Normal de Residuales residuals normal scores fitted values residuals

50 Tema 2 El Modelo de Regresión Lineal Simple 2-50 Ejemplo: Demanda de energía (cont.) Identificación del Modelo Transformación Y = y y uso de energia (kwh)

51 Tema 2 El Modelo de Regresión Lineal Simple 2-51 Ejemplo: Demanda de energía (cont.) Ajuste del Modelo: Y = y = β 0 + β 1 x + ɛ Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 5.822e e e-05 x 9.529e e e-13 Residual standard error: on 51 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 51 DF, p-value: 3.614e-13 Analysis of Variance Table Response: Y Df Sum Sq Mean Sq F value Pr(>F) x e-13 Residuals

52 Tema 2 El Modelo de Regresión Lineal Simple 2-52 Ejemplo: Demanda de energía (cont.) Validación del Modelo: residuals Análisis de Residuales Voltaje ajustado vs. Residuales Gráfica Normal de Residuales normal scores fitted values residuals

53 Tema 2 El Modelo de Regresión Lineal Simple 2-53 Determinación Analítica de Transformaciones Transformación estabilizadora de la varianza: Box-Cox Ajuste el modelo de regresión lineal simple a la respuesta Y = { y λ, λ 0 log y, λ = 0 Para determinar qué λ utilizar, considere y (λ) = { y λ 1, λẏ λ 1 λ 0 ẏ log y, λ = 0 donde, ẏ = (Π n i=1y i ) 1/n, es el promedio geométrico de las respuestas y i. Esto es, ajuste y (λ) = β 0 + β 1 x + ɛ y elija ˆλ que minimice la suma de cuadrados de los residuales SC Res (λ). Box and Cox (1964)

54 Tema 2 El Modelo de Regresión Lineal Simple 2-54 Determinación Analítica de Transformaciones Transformación estabilizadora de la varianza: Box-Cox (Cont.) Intervalo (aproximado) del 100(1 α) % de confianza para λ: ( ) SC = SC Res (ˆλ) 1 + t2 (1 α/2,ν) ν donde ν (= n 2) son los grados de libertad de los residuales. Observaciones: Cuando el error tiene varianza constante se llama homoscedástico; si no es constante, heteroscedástico. Cómo saber qué función proponer para estabilizar la varianza? Si el intervalo de confianza incluye al cero, el modelo es multiplicativo. Si el intervalo incluye al uno, indica que no hay que hacer una transformación.

55 Tema 2 El Modelo de Regresión Lineal Simple 2-55 Transformación estabilizadora de la varianza Transformaciones Potencia de Box-Cox Ejemplo: Demanda de energía y uso de energía Variable respuesta: y (λ) λ SC Res (λ) log[sc Res (λ)] log(sc Res (λ)) % conf SC = 96.9 ( ) = λ^ 1 2 λ

56 Tema 2 El Modelo de Regresión Lineal Simple 2-56 Transformaciones Estabilizadoras de la Varianza Transformaciones Potencia de Box-Cox Notas: 1. La transformación de Box-Cox ayuda a estabilizar la varianza y normalizar los datos. 2. La transformación de Box-Cox es continua en λ = En la práctica utilice valores de λ fáciles de interpretar. Por ejemplo, λ = 0.45 λ 0.5 = y λ = y λ = 0.10 λ 0.0 = y λ = log(y) 4. El método de estimación de ˆλ es el mismo en el caso de la regresión lineal múltiple. 5. Transformación utilizada en varias áreas estadísticas, no solamente en modelos lineales. 6. Box y Cox (1964) es de los artículos más referenciados en la literatura estadística. Es la transformación más usada pero no la única.

57 Tema 2 El Modelo de Regresión Lineal Simple 2-57 Transformaciones Estabilizadoras de la Varianza Transformaciones Potencia de Box-Cox Notas 2: 1. Box y Cox sugieren la estimación de λ, β 0 y β 1 de manera conjunta y por máxima verosimilitud. 2. En la práctica, se utiliza el perfil de la verosimilitud: para distintos valores de λ, se obtienen ˆβ 0 y ˆβ 1 y se elige ˆλ tal que minimice la SC error. 3. Una partición del intervalo [ 2, 2] de longitud 0.25 es apropiada. 4. Hay otras familias de transformaciones o procedimientos utilizados en la regresión. Vea por ejemplo Carroll and Ruppert (1988).

58 Tema 2 El Modelo de Regresión Lineal Simple 2-58 Determinación Analítica de Transformaciones Transformación de los regresores: Box-Tidwell 1 Supone que la variable respuesta y está relacionada con una potencia del regresor x, digamos ξ = x α, E[y] = f(β 0, β 1 ; ξ) = β 0 + β 1 ξ + ɛ donde ξ = { x α, α 0 ln x, α = 0 Aproximación por Taylor y métodos iterativos para estimar α. 1 Box and Tidwell (1962)

59 Tema 2 El Modelo de Regresión Lineal Simple 2-59 Transformaciones a una Línea Recta Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacción como función de la concentración El modelo de Michaelis-Menten es utilizado en química cinética para modelar la velocidad inicial y de una reacción enzimática con la concentración x del substrato. El modelo está dado por: y = f(x, θ) + ɛ = θ 1x θ 2 + x + ɛ Que se puede linealizar de la siguiente manera: donde, Y = 1 f(x, θ) = β 0 + β 1 X Y = 1 y ; X = 1 x ; β 0 = 1 θ 1 ; β 1 = θ 2 θ 1 Bates and Watts (1988)

60 Tema 2 El Modelo de Regresión Lineal Simple 2-60 Transformaciones a una Línea Recta Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacción (cont.) Velocidad de Reacción obs. concentración velocidad (x) (y) velocidad [cuentas/min^2] concentración [ppm]

61 Tema 2 El Modelo de Regresión Lineal Simple 2-61 Transformaciones a una Línea Recta Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacción (cont.) Y = β 0 + β 1 X + ɛ Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-05 X e-05 Residual standard error: on 10 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 59.3 on 1 and 10 DF, p-value: 1.642e-05 Analysis of Variance Table Response: Y Df Sum Sq Mean Sq F value Pr(>F) X e e e-05 Residuals e e-06

62 Tema 2 El Modelo de Regresión Lineal Simple 2-62 Transformaciones a una Línea Recta Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacción (cont.) Ŷ = ˆβ 0 + ˆβ 1 X ŷ = ˆθ 1 x ˆθ 2 + x a) Ajuste Modelo Transformado b) Modelo Ajustado en Escala Original / velocidad velocidad [cuentas/min^2] / concentración concentración [ppm]

63 Tema 2 El Modelo de Regresión Lineal Simple 2-63 Transformaciones a una Línea Recta Ejemplo: Velocidad de reacción (cont.) Gráficas de Residuales (a) Residuals vs. Fitted Values (b) Normal plot of residuals std residuals normal scores fitted values (c) Histogram of residuals std residuals (d) Residuals in experimental order Frequency std residuals std residuals order

64 Tema 2 El Modelo de Regresión Lineal Simple 2-64 Modelación Estadística a I Postule la clase general de los modelos Identifique el modelo que será tentativamente utilizado Estime los parámetros del modelo utilizado tentativamente Verificación del modelo NO Es el modelo adecuado? SÍ Utilice el modelo F a Box and Jenkins, 1970, p. 19.

65 Tema 2 El Modelo de Regresión Lineal Simple 2-65 Validación del Modelo Modelo: y i = β 0 + β 1 x i + ɛ i, i = 1,..., n Supuestos: ɛ N(0, σ 2 ) i.i.d. Validación: Modelo Correcto. Bondad (Falta) de Ajuste Análisis de Residuales Varianza constante Normalidad Correlación

66 Tema 2 El Modelo de Regresión Lineal Simple 2-66 Validación del Modelo Modelo Correcto: Error Puro y Falta de Ajuste y 2u Falta de ajuste Error puro y 2u y 2 y 2 y y 2 y^2 y^3 y 3 y^3 y^2 y 3 y^1 y 1 y 1 y^1 y 1u y 1 y 1u y 3u y 3 y 3u x 1 x 2 x 3 x

67 Tema 2 El Modelo de Regresión Lineal Simple 2-67 Modelo Correcto: Error Puro y Falta de Ajuste Considere los datos: y iu ; u = 1,..., n i ; i = 1,..., m la u-ésima observación de la respuesta al nivel X = x i. Hay en total n = m i=1 n i observaciones. La Suma de Cuadrados Debida al Error Puro: m n i SC Error Puro = SC EP = (y iu ȳ i ) 2 con m i=1 (n i 1) = n m grados de libertad, y donde ȳ i = 1 n i ni u=1 y iu es la respuesta promedio al nivel X = x i. El Cuadrado Medio Debido al Error Puro: CM EP = SC EP /n m es un estimador de σ 2, independientemente del modelo. Note que SC EP es parte de la SC Resid pues i=1 u=1 (y iu ŷ i ) = (y iu ȳ i ) + (ȳ i ŷ i ) Residual = Error Puro + Falta de Ajuste

68 Tema 2 El Modelo de Regresión Lineal Simple 2-68 Modelo Correcto: Error Puro y Falta de Ajuste En la presencia de réplicas puras la Suma de Cuadrados de los Residuales se puede descomponer como m ni i=1 u=1 (y iu ŷ i ) 2 = m ni i=1 u=1 (y iu ȳ i ) 2 + m i=1 n i(ȳ i ŷ i ) 2 g.l. SC Residuales = SC Error Puro + SC Falta de Ajuste (n 2) = (n m) + (m 2) Bajo los supuestos del modelo, CM EP = SC EP /(n m) y CM FA = SC FA /m 2 son estimaciones independientes de σ 2, y su cociente sería aproximadamente 1. De hecho, bajo los supuestos del modelo: Entonces, si ˆF = CM FA CM EP F (m 2,n m) ˆF > F (1 α;m 2,n m) = El modelo no es correcto

69 Tema 2 El Modelo de Regresión Lineal Simple 2-69 Modelo Correcto: Error Puro y Falta de Ajuste Ejemplo Simulado Datos: i x i y i ȳ i ŷ 1i ŷ 2i i x i y i ȳ i ŷ 1i ŷ 2i donde x i es el nivel del regresor; y i la respuesta observada; ȳ i la respuesta media observada; ŷ 1i la respuesta media ajustada por el modelo 1; y ŷ 2i la respuesta media ajustada por el modelo 2.

70 Tema 2 El Modelo de Regresión Lineal Simple 2-70 Modelo Correcto: Error Puro y Falta de Ajuste Ejemplo Simulado a) Datos b) Modelos Ajustados y y Modelo lineal cuadrático x x

71 Tema 2 El Modelo de Regresión Lineal Simple 2-71 Modelo Correcto: Error Puro y Falta de Ajuste Ejemplo Simulado Ajuste modelo lineal Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-07 x < 2e-16 Residual standard error: on 37 degrees of freedom Multiple R-squared: 0.917, Adjusted R-squared: F-statistic: 409 on 1 and 37 DF, p-value: < 2.2e-16 Analysis of Variance Table Response: y Df Sum Sq Mean Sq F value Pr(>F) x < 2.2e-16 Residuals SCRes SCEP SCFA F p e e e e e-06

72 Tema 2 El Modelo de Regresión Lineal Simple 2-72 Modelo Correcto: Error Puro y Falta de Ajuste Ejemplo Simulado Análisis de Residuales 20 a) Modelo lineal b) Modelo cuadrático r^ 0 r^ y^ y^

73 Tema 2 El Modelo de Regresión Lineal Simple 2-73 Modelo Correcto: Error Puro y Falta de Ajuste Ejemplo Simulado Ajuste modelo cuadrático Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x x e-10 Residual standard error: on 36 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 36 DF, p-value: < 2.2e-16 Analysis of Variance Table Response: y Df Sum Sq Mean Sq F value Pr(>F) x < 2.2e-16 x e-10 Residuals SCRes SCEP SCFA F p

74 Tema 2 El Modelo de Regresión Lineal Simple 2-74 Error Puro y Falta de Ajuste η i = E[y i ] = E[y x = x i ] es el valor esperado de la respuesta y al nivel del regresor x = x i. Y sea ŷ i = ˆβ 0 + ˆβ 1 x i el valor ajustado del modelo al mismo nivel. ˆɛ i = (y i ŷ i ) = (y i ŷ i ) + E[y i ŷ i ] + E[y i ŷ i ] donde b i es el sesgo al nivel x = x i. = [(y i ŷ i ) (η i E[ŷ i ])] + (η } {{ } i E[ŷ i ]) } {{ } q i Si el modelo es correcto E[ŷ i ] = η i = b i = 0 Por otro lado, E[q i ] = 0 independientemente del modelo. Se puede mostrar que los q i son correlacionados y E[ q i ] = (n 2)σ 2. De donde, si el modelo es correcto E[s 2 ] = E [ 1 n 2 (yi ŷ i ) 2 ] = σ 2 σ n 2 b 2 i si el modelo no es correcto b i

75 Tema 2 El Modelo de Regresión Lineal Simple 2-75 Análisis de Residuales Mediante los residuales tratamos de verificar si los supuestos del modelo se satisfacen. y i = β 0 + β 1 x i + ɛ i, i = 1,..., n ɛ N(0, σ 2 ), v.a.i.i.d. ˆɛ i = y i ŷ i = y i ( ˆβ 0 + ˆβ 1 x i ) Los residuales son errores observados si el modelo es correcto. Pero por las ecuaciones normales se tiene dependencia entre ellos. Sugieren los residuales que los supuestos no se satisfacen? Análisis más sofisticados: pruebas estadísticas formales. Definición de otros residuales.

76 Tema 2 El Modelo de Regresión Lineal Simple 2-76 Validación del Modelo Análisis de Residuales Varianza constante Prueba de Barttlet. Prueba de Levene. Gráficas de residuales: (ˆɛ i vs. ŷ i ); (ˆɛ i vs. i); (ˆɛ i vs. x j i ). (ˆɛ i vs. y i ) no se grafican por estar correlacionados. Normalidad Pruebas de Bondad de Ajuste: χ 2 ; Kolmogorov-Smirnov; Anderson- Darling; Jarque-Bera, Cramér-Von Mises, Lilliefors, etc. Gráficas de residuales ˆɛ en papel de probabilidad normal. Correlación Significancia de la autocorrelación de residuales r l. Correlogramas. Prueba de Durbin-Watson. Gráficas de residuales: (ˆɛ i 1 vs. ˆɛ i ).

77 Tema 2 El Modelo de Regresión Lineal Simple 2-77 Análisis de Residuales Varianza constante 20 e^i vs. y^i 20 ~ e i vs. ~ y i residual 0 residual respuesta ajustada respuesta ajustada

78 Tema 2 El Modelo de Regresión Lineal Simple 2-78 Análisis de Residuales Varianza constante residual e^i vs. x i residual e^i vs. i regresor tiempo

79 Tema 2 El Modelo de Regresión Lineal Simple 2-79 Análisis de Residuales Normalidad Probabilidad Acumulada Probabilidad escale normal 0 1 2σ σ σ µ 3σ µ 2σ µ σ µ µ + σ µ + 2σ µ + 3σ µ 3σ µ 2σ µ σ µ µ + σ µ + 2σ µ + 3σ µ 3σ µ 2σ µ σ µ µ + σ µ + 2σ µ + 3σ a) Histograma b) Gráfica Cuantil Cuantil Ejemplo simulado: 100 observaciones normales normal scores x x

80 Tema 2 El Modelo de Regresión Lineal Simple 2-80 Análisis de Residuales Papel de probabilidad Normal 1. Ordene la muestra {z 1,..., z n }: x 1 = z (1),..., x n = z (n) 2. Calcule la probabilidad empírica acumulada: y i = F n (x i ) = i 1/2 n 3. Grafique (x i, y i ), i = 1,..., n en papel de probabilidad normal. i z i ord. x i F n (x i ) F n (z i ) Papel de Probabilidad Normal (gráfica cuantil cuantil) escala normal 1 2 z i

81 Tema 2 El Modelo de Regresión Lineal Simple 2-81 Análisis de Residuales Autocorrelación e^t e^t vs. e^t e^t

82 Tema 2 El Modelo de Regresión Lineal Simple 2-82 Análisis de Residuales Posibles remedios cuando residuales insatisfactorios a) embudo b) creciente c) curvo Patrón: a) Embudo indicando varianza no constante b) Banda ascendente o descendente c) Banda curva Gráfica de ê i versus: Orden temporal Respuesta ajustada ŷ i Valores x ji Uso de Mínimos Cuadrados Ponderados Considere incluir un término lineal en el tiempo Considere incluir términos lineal y cuadrático en el tiempo Uso de Mínimos Cuadrados Ponderados o transformación de la y i Uso de Mínimos Cuadrados Ponderados o transformación de la y i Error en el análisis u omisión de β 0 Efecto de primer orden Error en los cálculos. de X j no eliminado Considere añadir términos extra al modelo o transformar la respuesta y i Considere añadir términos extra al modelo o transformar la respuesta y i Draper and Smith (1998) p. 64