Regresión múltiple. Demostraciones. Elisa Mª Molanes López

Transcripción

1 Regresión múltiple Demostraciones Elisa Mª Molanes López

2 El modelo de regresión múltiple El modelo que se plantea en regresión múltiple es el siguiente: y i = β 0 + β 1 x 1i + β 2 x 2i β k x ki + u i donde x 1,x 2,...,x k son las variables independientes o explicativas. La variable respuesta depende de las variables explicativas y de una componente de error que se distribuye según una normal: u i = N(0, σ 2 ) El ajuste del modelo se realiza por el método de máxima verosimilitud o el método de mínimos cuadrados. En el caso de distribución normal de errores, ambos métodos coinciden, como ya se vió en regresión simple.

3 El modelo de regresión múltiple El valor que el modelo estimado predice para la observación i-ésima es: ŷ i = ˆβ 0 + ˆβ 1 x 1i + ˆβ 2 x 2i ˆβ k x ki y el error cometido en esa predicción es: e i = y i ŷ i = y i ( ˆβ 0 + ˆβ 1 x 1i + ˆβ 2 x 2i +... ˆβ k x ki ) donde ˆβ 0, ˆβ 1,..., ˆβ k son los valores estimados del modelo. El criterio de mínimos cuadrados asigna a ˆβ 0, ˆβ 1,..., ˆβ k el valor que minimiza la suma de errores al cuadrado de todas las observaciones.

4 Notación Y = y 1 y 2. y n Ŷ = ŷ 1 ŷ 2. ŷ n β = β 0 β 1. β k ˆβ = ˆβ 0 ˆβ 1. ˆβ k e = e 1 e 2. e n X es la denominada matriz de diseño, de dimensión n x (k+1) X = 1 x 11 x 21 x k1 1 x 12 x 22 x k ³ = ~ 1, ~X 1, ~X 2,..., ~X k, siendo X ~ j = x j1 x j2.. 1 x 1n x 2n x kn x jn

5 Forma matricial del modelo La expresión matricial del modelo de regresión múltiple es la siguiente: Y = Xβ + U El modelo estimado también puede expresarse en forma matricial: Ŷ = X ˆβ Y Ŷ = e

6 Ajuste por mínimos cuadrados e i = y i ŷ i = y i ( ˆβ 0 + ˆβ 1 x 1i + ˆβ 2 x 2i +... ˆβ k x ki ) Son los parámetros estimados del modelo Como en regresión simple, el criterio de mínimos cuadrados asigna a los parámetros del modelo el valor que minimiza la suma de errores al cuadrado de todas las observaciones. La suma de errores al cuadrado es S: S = P n i=1 e2 i = P ³ n i=1 y i ( ˆβ 0 + ˆβ 1 x 1i + ˆβ 2 x 2i ˆβ 2 k x ki )

7 Ajuste por mínimos cuadrados Al igual que en regresión simple, la estrategia que seguimos para calcular el mínimo de S es: derivar S con respecto a los parámetros, igualar a cero cada derivada, y resolver el sistema de ecuaciones que resulta (y en el que las incógnitas vienen dadas por los k+1 parámetros que queremos estimar). Denota traspuesta de una matriz Teniendo en cuenta que: xt a a = x at Xa a En términos matriciales, resulta que: =2Xa S β = XT Y X T Y +2(X T X)β X T Y =(X T X)β Así que, ˆβ =(X T X) 1 X T Y Es una matriz simétrica, de dimensión (k+1)x(k+1) Su rango debe ser máximo para ser invertible, es decir: rango(x T X)=k +1

8 Ajuste por mínimos cuadrados Que el rango(x T X)=k +1es equivalente a pedir que ninguna de las variables explicativas se pueda escribir como combinación lineal de las demás. Son las ecuaciones normales de la regresión S β = 2XT Y +2(X T X)β = ~0 De ellas se deduce que: P n i=1 e i =0 P n i=1 e ix ij =0,j =1,...,k Los errores de predicción suman cero La covarianza entre los errores de predicción y cada variable explicativa es cero

9 Ajuste por mínimos cuadrados Al igual que en regresión simple, ahora necesitamos estimar la varianza, σ 2, del error aleatorio U Un estimador razonable es, en principio, la varianza de los errores de predicción (también conocidos con el nombre de residuos del modelo): ˆσ 2 = 1 n et e = 1 n P n i=1 e2 i Sin embargo, este estimador es sesgado para E(ˆσ 2 )=σ 2 σ 2, lo que significa que: El sesgo se define como la diferencia entre la media del estimador y el verdadero valor del parámetro que se quiere estimar. Usaremos, por tanto, la varianza residual para estimar insesgado de σ 2, es decir, centrado en torno a σ 2 ŝ 2 R = 1 n (k+1) P n i=1 e2 i σ 2, que sí es un estimador

10 Relaciones entre las variables ˆβ =(X T X) 1 X T Y Ŷ = X ˆβ = X(X T X) 1 X T Y = HY A esta matriz le vamos a llamar H y se le conoce con el nombre de matriz de proyección. Este nombre quedará justificado una vez veamos la interpretación geométrica de la estimación. Las propiedades de la matriz H son las siguientes: Es idempotente: Es simétrica: H T = H HH = H Tiene el mismo rango que X: (k+1)

11 Relaciones entre las variables Es sencillo ver que el error de predicción se puede escribir en forma matricial en términos de H Ŷ = HY e = Y Ŷ = Y HY =(I H)Y La expresión, indica que la matriz H (la cual es idempotente), transforma el vector de observaciones Y en el vector de valores ajustados (o predicciones) Ŷ Una matriz idempotente realiza una proyección, por lo que la regresión va a ser una proyección. Para entender mejor cómo es esa proyección, vamos a estudiar las relaciones existentes entre e, Y e Ŷ.

12 Relaciones entre las variables El vector de residuos es perpendicular al vector de valores ajustados y a la matriz de diseño. Veámoslo: e Ŷ e T Ŷ =[(I H)Y ] T HY = Y T (I H)HY = Y T HY Y T HHY =0 e X e T X =[(I H)Y ] T X = Y T (I H)X = Y T (X X(X T X) 1 X T X)=0 Así que el modelo de regresión Ŷ = HY proyecta el vector de observaciones sobre el subespacio vectorial de las columnas de la matriz X (es decir el subespacio de las variables independientes). El vector de residuos es perpendicular a cada columna de X y al vector de predicción Ŷ

13 Interpretación geométrica En el espacio formado por las variables, el método de mínimos cuadrados equivale a encontrar un vector en dicho espacio que esté lo más próximo posible al vector de observaciones. Ŷ es la proyección ortogonal de Y sobre dicho espacio Vector de observaciones Y e Vector de residuos Esp(X) Ŷ Vector de valores ajustados. Está en Esp(X) Subespacio vectorial generado por la columnas de X. Es decir, por los vectores columna de las variables explicativas

14 Distribución de ˆβ ˆβ =(X T X) 1 X T Y Le llamaremos matriz A Sabemos que el vector de observaciones Y multivariante de media Xβ y de matriz de varianzas covarianzas σ 2 I n se distribuye según una normal Y N n (Xβ, σ 2 I n ) ˆβ es una combinación lineal de las componentes del vector Y, así que ˆβ también se distribuye según una variable aleatoria normal. A continuación, calcularemos su media y matriz de varianzas y covarianzas

15 Distribución de ˆβ ³ E ˆβ = E (X T X) 1 X T Y =(X T X) 1 X T E(Y )=(X T X) 1 X T Xβ = β ˆβ es un estimador centrado de β Var( ˆβ) =Var(AY )=A Var(Y ) A T =(X T X) 1 X T Var(Y )X(X T X) 1 =(X T X) 1 X T σ 2 X(X T X) 1 = σ 2 (X T X) 1 ˆβ N k+1 (β, σ 2 (X T X) 1 ) ˆβ i N(β i, σ 2 q ii ) q ii es el elemento i-ésimo de la diagonal de la matriz (X T X) 1

16 Distribución de ˆβ La estimación de σ 2 la hacíamos a través de la varianza residual ŝ 2 R = 1 n (k+1) P n i=1 e2 i De manera que, estimaremos la varianza de ˆβ i N(β i, σ 2 q ii ) mediante ŝ 2 R q ii La raíz cuadrada de ŝ 2 nos da el error estándar de R q ii ˆβ i SE( ˆβ i )= p ŝ 2 R q ii =ŝ R qii Se puede demostrar que: (n k 1)ŝ 2 R σ 2 χ 2 n k 1

17 Contraste t Hemos visto que: ˆβi N(β i, σ 2 q ii ). Por tanto, estandarizando, se obtiene que: ˆβ i β i σ q ii N(0, 1) Una variable t de Student con k grados de libertad se define así: t k = N(0,1) 1 k χ2 k t = r 1 n k 1 ˆβ i β i σ q ii = (n k 1)ŝ 2 R σ 2 ˆβ i β i ŝ R qii t n k 1 El valor de t va a contrastar si β i =0, (hipóteis nula, H 0 ) frente a la hipótesis alternativa ( β i =0 ), es decir si el valor de este parámetro en la población es realmente cero o no. De ser cierta esta hipótesis, entonces la variable X i no influiría sobra la variable respuesta Y.

18 Contraste t Sabemos que: t = ˆβ i β i ŝ R qii t n k 1 Ahora, bajo la hipótesis nula (H 0 ), sabemos que β i =0 t = ˆβ i ŝ R qii = ˆβ i SE( ˆβ 1 ) t n k 1 bajo H 0 Así que, si se cumple H 0, el valor de t debe provenir de una t n-k-1. Para n>30 la distribución t n-k-1 deja una probabilidad del 95% en el intervalo [-2,2]. Si t >2, se rechaza la hipótesis nula y diremos que la variable i-ésima influye en la respuesta.

19 Intervalos de confianza Sabemos que: t = ˆβ i β i SE( ˆβ i ) t n k 1 Así que, podemos afirmar que: P ( t α/2 ˆβ i β i SE( ˆβ i ) t α/2) =1 α P ( ˆβ i t α/2 SE( ˆβ i ) β i ˆβ i + t α/2 SE( ˆβ i )) = 1 α Con confianza 1 α, β i ˆβ i ± t α/2 SE( ˆβ i ) Cuando n>30 y α =0.05 el intervalo se convierte en: β i ˆβ i ± 2SE( ˆβ i )

20 Descomposición de variabilidad Vamos a comenzar descomponiendo la variabilidad total de Y: VT = P n i=1 (y i ȳ) 2 y i =ŷ i + e i (y i ȳ) 2 =((ŷ i ȳ)+e i ) 2 =(ŷ i ȳ) 2 + e 2 i +2(ŷ i ȳ)e i VT = P n i=1 (y i ȳ) 2 = P n i=1 (ŷ i ȳ) 2 + P n i=1 e2 i + P n i=1 2(ŷ i ȳ)e i VT = VE+ VNE Por las ecuaciones normales, este término vale cero.

21 Coef. de determinación y coef. de determinación corregido por g.l. R 2 = VE VT R 2 x100 proporciona el porcentaje de variabilidad de Y que explica el modelo de regresión ajustado. El coef. de determinación así definido presenta el inconveniente de que al incluir nuevas variables en el modelo aumenta su valor, incluso cuando éstas no resultan significativas. Este problema hace que R 2 no sea un válido como criterio para decidir qué variables explicativas deben ser incluidas o excluidas en el modelo final. Definimos, el coef. de determinación corregido por grados de libertad para evitar este problema R 2 =1 (1 R 2 ) n 1 n k 1 =1 ( VNE VT ) n 1 n k 1 =1 VNE/(n k 1) VT/(n 1)

22 Contraste de regresión F Este contraste, sirve en regresión múltiple para comprobar si el modelo explica una parte significativa de la variabilidad de Y Se puede demostrar que si β 1 = β 2 =...= β k =0 el cociente Pn VE/k VNE/n k 1 = i=1 (ŷ i ȳ)2 P k ni=1 e 2 i n k 1 F k,n k 1 se distribuye según una distribución F de Snedecor con (k, n-k-1) g.l.

23 Tabla ANOVA En dicha tabla se descompone la variabilidad de la respuesta en función de la variabilidad explicada y no explicada por la regresión ajustada. También se obtiene el valor del estadístico de contraste F Cuadrado medio = SC/g.l. Fuentes de variación Suma de Cuadrados (SC) Grados de Libertad (g.l) Varianza (cuadrado medio) Test F Explicada por los regresores VE P n i=1 (ŷ i ȳ) 2 k ŝ 2 e ŝ 2 e ŝ 2 R Residual VNE P n i=1 (y i ŷ i ) 2 n-k-1 ŝ 2 R Total P n i=1 (y i ȳ) 2 n-1 Ŝ 2 y

24 Contraste de regresión F H 0 : β 1 = β 2 =...= β k =0 H 1 : β j =0 para al menos un j No rechazo Rechazo F k,n k 1 = ŝ 2 e ŝ 2 R