TEMA 4 Modelo de regresión múltiple

Transcripción

1 TEMA 4 Modelo de regresión múltiple José R. Berrendero Departamento de Matemáticas Universidad Autónoma de Madrid Análisis de Datos - Grado en Biología

2 Estructura de este tema Modelo de regresión múltiple. Ejemplos. Estimación e inferencia sobre los parámetros del modelo. Tabla ANOVA y contraste de la regresión. Regresión polinómica. Variables regresoras dicotómicas. Multicolinealidad. Diagnóstico del modelo.

3 Ejemplo Se estudia Y = la tasa de respiración (moles O 2 /(g min)) del liquen Parmelia saxatilis bajo puntos de goteo con un recubrimiento galvanizado. El agua que cae sobre el liquen contiene zinc y potasio, que utilizamos como variables explicativas. (Fuente de datos: Wainwright (1993), J. Biol. Educ..) Tasa de respiración Potasio (ppm) Zinc (ppm)

4 Ejemplo 4.2 (cont.): Tasa respiración Zinc Potasio 600 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 6

5 Zinc Potasio Tasa_resp Tasa_resp Potasio Correlaciones Tasa_resp Correlación de Pearson 1 Sig. (bilateral) N 9 Correlación de Pearson,686 Sig. (bilateral),041 Potasio,686, Zinc,653,057 9,443,232 N Zinc Correlación de Pearson,653,443 1 Tasa_resp Potasio Zinc Sig. (bilateral) N,057 9,

6 Modelo de regresión lineal múltiple En la regresión lineal múltiple de Y sobre X 1,..., X k se supone que la función de regresión tiene la expresión Y β 0 + β 1 x β k x k. Cuando k = 2 la función de regresión es un plano Ejemplo 4.2: Plano de regresión Tasa respiración Zinc Potasio 600

7 Modelo de regresión lineal múltiple Tenemos una muestra de n individuos en los que observamos las variables Y y X 1,..., X k. Para el individuo i, tenemos el vector de datos (Y i, x i1, x i2,..., x ik ). El modelo de regresión lineal múltiple supone que Y i = β 0 + β 1 x i β K x ik + u i, i = 1,..., n, donde las variables de error U i verifican a) u i tiene media cero, para todo i. b) Var(u i ) = σ 2, para todo i (homocedasticidad). c) Los errores son variables independientes. d) u i tiene distribución normal, para todo i. e) n k + 2 (hay más observaciones que parámetros). f) Las variables X i son linealmente independientes entre sí (no hay colinealidad).

8 Modelo de regresión lineal múltiple Las hipótesis (a)-(d) se pueden reexpresar así: las observaciones Y i son independientes entre con distribución normal: Y i N(β 0 + β 1 x i β k x ik, σ). El modelo admite una expresión equivalente en forma matricial: Y 1 1 x x 1k β 0 u 1 Y 2 1 x x 2k β 1 u 2. Y n =.. 1 x n1... x nk. β k +. u n

9 Estimación de los parámetros del modelo Parámetros desconocidos: β 0, β 1,..., β k, σ 2. Estimamos β 0, β 1,..., β K por el método de mínimos cuadrados, es decir, los estimadores son los valores para los que se minimiza la suma: n [Y i (β 0 + β 1 x i β k x ik )] 2. i=1 Cada coeficiente β i mide el efecto que tiene sobre la respuesta un aumento de una unidad de la variable regresora x i cuando el resto de las variables permanece constante.

10 Estimación de los parámetros del modelo Al derivar la suma anterior respecto a β 0, β 1,..., β k e igualar las derivadas a 0 obtenemos k + 1 restricciones sobre los residuos: n e i = 0, i=1 n e i x i1 = 0,..., i=1 n e i x ik = 0. i=1 A partir de este sistema de k + 1 ecuaciones es posible despejar los estimadores de mínimos cuadrados de β 0, β 1,..., β k. Las hipótesis (e) y (f) hacen falta para que el sistema tenga una solución única. Llamamos ˆβ 0, ˆβ 1,..., ˆβ k a los estimadores. Le media de los residuos es cero. La correlación entre los residuos y cada una de las k variables regresoras es cero. Los residuos tienen n k 1 grados de libertad.

11 Estimación de los parámetros del modelo Ejemplo 4.2: Plano de regresión Tasa respiración Zinc Potasio 600

12 Estimación de la varianza Un estimador insesgado de σ 2 es la varianza residual S 2 R. Como en los modelos anteriores, SR 2 se define como la suma de los residuos al cuadrado, corregida por los gl apropiados: S 2 R = 1 n k 1 n ei 2. i=1 Siempre se verifica ȳ = ˆβ 0 + ˆβ 1 x ˆβ k x k, siendo ȳ = 1 n n y i, i=1 x 1 = 1 n n x i1,..., x k = 1 n i=1 n x ik. i=1 Por ejemplo, si k = 2, el plano de regresión pasa por el punto de medias muestrales ( x 1, x 2, ȳ).

13 Inferencia sobre los parámetros del modelo Distribución de los estimadores de los coeficientes: Todos los estimadores ˆβ j verifican: ˆβ j β j error típico de ˆβ j t n k 1, donde el error típico de ˆβ j es un valor que se calcula con SPSS. Intervalos de confianza para los coeficientes: Para cualquier j = 0, 1,..., k, ( ) IC 1 α (β j ) = ˆβ j t n k 1;α/2 error típico de ˆβ j.

14 Contrastes de hipótesis individuales sobre los coeficientes Estamos interesados en determinar qué variables X j son significativas para explicar Y. H 0 : β j = 0 (X j no influye sobre Y ) H 1 : β j 0 (X j influye sobre Y ) La región crítica de cada H 0 al nivel de significación α es { } β j R = > t n k 1;α/2. error típico de ˆβ j El cociente ˆβ j /(error típico de ˆβ j ) se llama estadístico t asociado a β j.

15 Salida SPSS Resumen del modelo Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,789 a,622,496 12,907 a. Variables predictoras: (Constante), Zinc, Potasio ANOVA b Modelo 1 Regresión Residual Total Suma de cuadrados 1644, , ,000 gl Media cuadrática 822, ,602 F 4,935 Sig.,054 a a. Variables predictoras: (Constante), Zinc, Potasio b. Variable dependiente: Tasa_resp Modelo 1 (Constante) Potasio Zinc Coeficientes no estandarizados Coeficientes tipificados B Error típ. Beta t Sig. 15,978 15,304 1,044,337,053,013 a. Variable dependiente: Tasa_resp Coeficientes a,030,009,494,434 1,763 1,549,128,172

16 Descomposición de la variabilidad Como en modelos anteriores: Y i = Ŷ i + e i Y i Ȳ = (Ŷ i Ȳ ) + e i n (Y i Ȳ ) 2 = n (Ŷ i Ȳ ) 2 + i=1 i=1 SCT = SCE + SCR n i=1 e 2 i SCT mide la variabilidad total (tiene n 1 gl) SCE mide la variabilidad explicada por el modelo (tiene k gl) SCR mide la variabilidad no explicada o residual (tiene n k 1 gl)

17 El contraste de la regresión H 0 : β 1 =... = β k = 0 (el modelo no es explicativo: ninguna de las variables explicativas influye en la respuesta) H 1 : β j 0 para algún j = 1,..., k (el modelo es explicativo: al menos una de las variables X j influye en la respuesta) Comparamos la variabilidad explicada con la no explicada mediante el estadístico F : SCE/k F = SCR/(n k 1). Bajo H 0 el estadístico F sigue una distribución F k,n k 1. La región de rechazo de H 0 al nivel de significación α es R = {F > F k,n k 1;α }

18 El coeficiente de determinación Es una medida de la bondad del ajuste en el modelo de regresión múltiple R 2 = SCE SCT. Propiedades: 0 R 2 1. Cuando R 2 = 1 existe una relación exacta entre la respuesta y las k variables regresoras. Cuando R 2 = 0, sucede que ˆβ 0 = ȳ y ˆβ 1 =... = ˆβ k = 0. No existe relación lineal entre Y y las X i. Podemos interpretar R 2 o como un coeficiente de correlación múltiple entre Y y las k variables regresoras. Se verifica que F = R2 n k 1 1 R 2. k

19 El coeficiente de determinación ajustado El coeficiente de determinación para comparar distintos modelos de regresión entre sí tiene el siguiente inconveniente: Siempre que se añade una nueva variable regresora al modelo, R 2 aumenta, aunque el efecto de la variable regresora sobre la respuesta no sea significativo. Por ello se define el coeficiente de determinación ajustado o corregido por grados de libertad R 2 = 1 SCE/(n k 1) SCT/(n 1) = 1 S 2 R SCT/(n 1) R 2 sólo disminuye al introducir una nueva variable en el modelo si la varianza residual disminuye.

20 Regresión polinómica Podemos utilizar el modelo de regresión múltiple para ajustar un polinomio: Y β 0 + β 1 x + β 2 x β k x k. Basta considerar las k variables regresoras x, x 2,..., x k x y

21 Regresión polinómica Resumen del modelo R cuadrado Error típ. de la Modelo R R cuadrado corregida estimación 1,926 a,858,857 19,04222 a. Variables predictoras: (Constante), x Modelo 1 (Constante) x a. Variable dependiente: y Coeficientes no estandarizados Coeficientes tipificados B Error típ. Beta t Sig. -14,376 3,762-3,822,000 15,904 Resumen del modelo Coeficientes a,650 R cuadrado Error típ. de la Modelo R R cuadrado corregida estimación 1,947 a,896,894 16,36427 a. Variables predictoras: (Constante), x2, x Modelo 1 (Constante) x x2 a. Variable dependiente: y Coeficientes no estandarizados,926 Coeficientes tipificados 24,472,000 B Error típ. Beta t Sig. 6,846 4,790 1,429,156 3,042 1,286 Coeficientes a 2,214,214,177,774 1,374 6,004,172,000

22 y Regresión polinómica Estimación curvilínea Variable dependiente:y Ecuación Lineal R cuadrado,858 Resumen del modelo y estimaciones de los parámetros Resumen del modelo F 598,866 gl1 gl2 Sig.,000 Cuadrático, , ,000 La variable independiente esx. Variable dependiente:y Ecuación Lineal Estimaciones de los parámetros Constante -14,376 b1 15,904 Cuadrático 6,846 3,042 1,286 La variable independiente esx. b2 1 Resumen del modelo y estimaciones de los parámetros 99 y 200,00 150,00 100, Observado Lineal Cuadrático 50,00 0, x

23 Regresión polinómica ajustados1 residuos ajustados2 residuos2

24 Regresión polinómica: rentas y fracaso escolar Resumen del modelo y estimaciones de los parámetros Variable dependiente:fracaso Ecuación Lineal Cuadrático R cuadrado,550,586 Resumen del modelo F 25,658 14,183 gl1 1 2 gl2 21 Sig.,000 Constante 38,494 Estimaciones de los parámetros 61,088 b1-1,347-4,614 Potencia,610 32, , ,923-1,066 La variable independiente esrenta. 20,000 b2,109 Fracaso 40,0 30,0 Observado Lineal Cuadrático Potencia 20,0 10,0 0,0 8,000 10,000 12,000 14,000 16,000 18,000 20,000 22,000 Renta

25 Regresión polinómica y sobreajuste y y y y y Radj 2 = 0.88 R 2 = Radj 2 = 0.87 R 2 = Radj 2 = 0.85 R 2 = Radj 2 = 0.83 R 2 = Radj 2 = 0.85 R 2 = 0.92 y y y y y Radj 2 = 0.83 R 2 = Radj 2 = 0.81 R 2 = Radj 2 = 0.72 R 2 = Radj 2 = 0.67 R 2 = Radj 2 = NaN R 2 = 1

26 Curvas estimadas a partir de 50 muestras de 10 datos Mucho sesgo y poca varianza z z Polinomio de grado k=9 300 k=2 (reg. cuadrática) 300 k=2 (reg. simple) Modelo verdadero Poco sesgo y mucha varianza 5 10

27 Variables regresoras dicotómicas Mezclar subpoblaciones en regresión no es adecuado x1 y x2 y2 En qué se diferencian los dos ejemplos anteriores?

28 Modelo aditivo Resumen del modelo Modelo R R cuadrado R cuadrado corregida 1,963 a,928,923 a. Variables predictoras: (Constante), x1z1, z1, x1 Error típ. de la estimación ANOVA b Modelo 1 Regresión Residual Total Suma de cuadrados 438,063 34, ,104 gl Media cuadrática 146,021,740 F 197,319 Sig.,000 a a. Variables predictoras: (Constante), x1z1, z1, x1 b. Variable dependiente: y1 Modelo 1 (Constante) x1 z1 x1z1 a. Variable dependiente: y1 Coeficientes no estandarizados Coeficientes tipificados B Error típ. Beta t Sig.,277,177 1,560,126,927 3,620,142 Coeficientes a,080,247,114,647,589,068 11,632 14,649 1,241,000,000,221

29 Modelo con interacciones Resumen del modelo Modelo R R cuadrado R cuadrado corregida 1,987 a,975,973 a. Variables predictoras: (Constante), x2z2, z2, x2 Error típ. de la estimación ANOVA b Modelo 1 Regresión Residual Total Suma de cuadrados 1533,096 39, ,700 gl Media cuadrática 511,032,861 F 593,559 Sig.,000 a a. Variables predictoras: (Constante), x2z2, z2, x2 b. Variable dependiente: y2 Modelo 1 (Constante) x2 z2 x2z2 a. Variable dependiente: y2 Coeficientes no estandarizados Coeficientes tipificados B Error típ. Beta t Sig. -,235,189-1,243,220,796 3,025 3,288 Coeficientes a,115,267,152,247,270,781 6,902 11,320 21,599,000,000,000

30 Multicolinealidad El cálculo de los estimadores de los parámetros en regresión múltiple requiere resolver un sistema de k + 1 ecuaciones con k + 1 incógnitas. Cuando una de las X j es combinación lineal de las restantes variables regresoras, el sistema es indeterminado. Entonces diremos que las variables explicativas son colineales. En la práctica esto nunca pasa de manera exacta, aunque sí es posible que en un conjunto de datos algunas de las variables regresoras se puedan describir muy bien como función lineal de las restantes variables. Este problema, llamado multicolinealidad, hace que los estimadores de los parámetros ˆβ i tengan alta variabilidad (errores típicos muy grandes) y sean muy dependientes entre sí.

31 Multicolinealidad y x1 x Y X1 X2 X1 Y Y Correlaciones Y Correlación de Pearson 1 Sig. (bilateral) N 20 Correlación de Pearson,906 X1 X1,906, X2,902,000 20,987 X2 Sig. (bilateral),000,000 N X2 Correlación de Pearson,902,987 1 Sig. (bilateral),000,000 N

32 Multicolinealidad Resumen del modelo Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,907 a,823,803,84071 a. Variables predictoras: (Constante), X2, X1 ANOVA b Modelo 1 Regresión Residual Total Suma de cuadrados 56,049 12,015 68,065 gl Media cuadrática 28,025,707 F 39,651 Sig.,000 a a. Variables predictoras: (Constante), X2, X1 b. Variable dependiente: Y Modelo 1 (Constante) X1 X2 a. Variable dependiente: Y Coeficientes no estandarizados Coeficientes tipificados B Error típ. Beta t Sig. -,041,202 -,205,840 1,360,648 Coeficientes a 1,426 1,319,601,309,954,491,354,630