Tema 4. Modelo de regresión múltiple. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 1

Transcripción

1 Tema 4. Modelo de regresión múltiple Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 1

2 Objetivos del tema Construir un modelo que represente la dependencia lineal de una variable respuesta cuantitativa Y simultáneamente respecto de varias variables explicativas cuantitativas X 1,..., X K. Determinar la función de regresión lineal óptima. Partiendo de un conjunto de regresores X 1,..., X K, estudiar cuáles son significativos para explicar la respuesta. Estimar el valor esperado de la respuesta y predecir un valor futuro de ésta para unos valores prefijados de las variables explicativas. Determinar la precisión de la estimación y la predicción. Analizando los residuos, estudiar si se verifican las hipótesis básicas del modelo. Proponer alternativas si no es así. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 2

3 Ejemplo 4.1: Variable respuesta Y = Temperatura (en o F) máxima promedio durante el mes de enero en la estación meteorológica de un condado de Texas. Variables explicativas: X 1 = Latitud, X 2 = Altitud (en pies) y X 3 = Longitud de la estación. Condado Temperatura Latitud Altitud Longitud Harris Dallas Kennedy Midland Deaf Smith Knox Maverick Nolan El Paso Collington Pecos Sherman Travis Zapata Lasalle Cameron Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 3

4 Ejemplo 4.1 (cont.): Temperaturas máximas promedio en enero (Texas) 60 Temperatura Latitud Altitud 4000 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 4

5 Ejemplo 4.2: Se estudia Y = la tasa de respiración (n o moles O 2 /(g min)) del liquen Parmelia saxatilis bajo puntos de goteo con un recubrimiento galvanizado. El agua que cae sobre el liquen contiene zinc y potasio, que utilizamos como variables explicativas. (Fuente de datos: Wainwright (1993), J. Biol. Educ..) Tasa de respiración Potasio (ppm) Zinc (ppm) Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 5

6 Ejemplo 4.2 (cont.): Tasa respiración Zinc Potasio 600 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 6

7 El modelo de regresión lineal múltiple En la regresión lineal múltiple de Y sobre X 1,..., X K se supone que la función de regresión tiene la expresión E(Y X 1 = x 1,..., X K = x K ) = β 0 + β 1 x β K x K. Cuando K = 2 la función de regresión es un plano E(Y X 1 =x 1,X 2 =x 2 ) = 2+x 1 0.5x y x x Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 7

8 Tenemos una muestra de n individuos en los que observamos las variables Y y X = (X 1,..., X K ) obteniendo (x i, y i ), i = 1,..., n, donde x i = (x i1, x i2,..., x ik ). El modelo de regresión lineal múltiple supone que Y i = β 0 + β 1 x i β K x ik + U i, i = 1,..., n, donde las perturbaciones U i verifican las hipótesis a) E(U i ) = 0, para cada i = 1,..., n. b) Var(U i ) = σ 2, para cada i = 1,..., n. c) E(U i U j ) = 0, para todo i j. d) U i Normal, para todo i. e) n K + 2 f) Las variables X i son linealmente independientes entre sí (no hay colinealidad). Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 8

9 Las hipótesis (a)-(d) se pueden reexpresar así: los individuos de la muestra son independientes entre sí con Y i Normal(β 0 + β 1 x i β K x ik, σ 2 ). El modelo admite una expresión equivalente en forma matricial: Y 1 1 x x 1K β 0 U 1 Y 2 1 x x 2K β 1 U 2 o. Y n =.. 1 x n1... x nk donde X es la matriz del diseño. Y = Xβ + U,. β K +. U n Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 9

10 Cada coeficiente β i (i 1) mide el efecto marginal que, sobre la variable respuesta Y, tiene un aumento de una unidad de la variable explicativa x i cuando el resto de las variables x j, con j i, permanece constante. Ejemplo 4.1 (cont.): Ejemplo 4.2 (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 10

11 Estimación de los parámetros del modelo Parámetros desconocidos: β 0, β 1,..., β K, σ 2. Estimamos β 0, β 1,..., β K por el método de mínimos cuadrados: minimizamos la suma de los residuos al cuadrado VNE = n i=1 e2 i, donde e i = y i ŷ i e ŷ i = ˆβ 0 + ˆβ 1 x i ˆβ K x ik. Para K = 2, cada residuo e i es la distancia en vertical entre el (x i, y i ) observado y (x i, ŷ i ). y (x i1,x i2,y i ) e i x 2 x 1 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 11

12 Al derivar la VNE respecto a β 0, β 1,..., β K e igualar las derivadas a 0 obtenemos K + 1 ecuaciones de restricción sobre los residuos: n e i = 0, i=1 n e i x i1 = 0,..., i=1 n e i x ik = 0. i=1 Los residuos tienen n K 1 grados de libertad. A partir de estas ecuaciones despejamos los estimadores mínimo-cuadráticos de β 0, β 1,..., β K : ˆβ = ˆβ 0 ˆβ 1. ˆβ K = (X X) 1 X y. Podemos asegurar que la matriz X X es invertible si se cumplen las hipótesis básicas (e) y (f). Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 12

13 Ejemplo 4.2 (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 13

14 Ejemplo 4.2: Plano de regresión Tasa respiración Zinc Potasio 600 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 14

15 Tasa de respiración Potasio (ppm) Zinc (ppm) Resumen Estadísticas de la regresión Coeficiente de correlación múltiple 0, Coeficiente de determinación R^2 0, R^2 ajustado 0, Error típico 8, Observaciones ANÁLISIS DE VARIANZA Grados de libertad Suma de cuadrados Promedio de los cuadradosf Valor crítico de F Regresión , , , , Residuos 6 400, , Total Coeficientes Error típico Estadístico t Probabilidad Inferior 95% Superior 95% Inferior 95,0%Superior 95,0% Intercepción 101, , , , , , , , Variable X 1-0, , , , , , , , Variable X 2-0, , , , , , , , Análisis de los residuales Observación Pronóstico para Y ResiduosResiduos estándares 1 76, , , , , , , , , , , , , , , , , , , , , , , , , , , Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 15

16 Ejemplo 4.1 (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 16

17 Un estimador insesgado de σ 2 es la varianza residual Ejemplo 4.1 (cont.): s 2 R = 1 n K 1 n ei 2. i=1 Ejemplo 4.2 (cont.): Observación: Se cumple que ȳ = ˆβ 0 + ˆβ 1 x ˆβ K x K, siendo ȳ = 1 n n y i, i=1 x 1 = 1 n n x i1,..., x K = 1 n i=1 n x ik. i=1 Por tanto, si K = 2, el plano de regresión pasa por el punto de medias muestrales ( x 1, x 2, ȳ). Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 17

18 Inferencia sobre los parámetros del modelo Propiedades de los estimadores de los parámetros Para j = 0, 1,..., K, donde ˆβ j β j error típico de ˆβ j t n K 1, (error típico de ˆβ j ) 2 = s 2 R q jj y q jj es el elemento j + 1 de la diagonal de (X X) 1. Ejemplo 4.2 (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 18

19 Por tanto, para cualquier j = 0, 1,..., K, ( ) IC 1 α (β j ) = ˆβj t n K 1;α/2 s R qjj. Ejemplo 4.1 (cont.): Sabiendo que (X X) 1 = calcular intervalos de confianza para los parámetros β j de la función de regresión., Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 19

20 Contrastes de hipótesis individuales sobre los coeficientes Suponiendo que E(Y X = x) = β 0 + β 1 x β K x K (se cumple el modelo de regresión lineal múltiple), estamos interesados en determinar qué variables X j son significativas para explicar Y. H 0 : β j = 0 (X j no influye sobre Y ) H 1 : β j 0 (X j influye sobre Y ) La región de rechazo de H 0 al nivel de significación α es R j = { t(β j ) > t n K 1;α/2 }, siendo t(β j ) = ˆβ j /error típico de ˆβ j. Ejemplo 4.2. (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 20

21 O también Ejemplo 4.1. (cont.): R j = {0 / IC 1 α (β j )} Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 21

22 El contraste de la regresión Suponiendo que se cumple el modelo de regresión lineal múltiple, queremos contrastar H 0 : β 1 =... = β K = 0 (el modelo no es explicativo: ninguna de las variables explicativas influye en la respuesta) H 1 : β j 0 para algún j = 1,..., K (el modelo es explicativo: al menos una de las variables X j influye en la respuesta) Hacemos un análisis de la varianza: examinamos qué proporción de n la variabilidad total VT = (y i ȳ) 2 es explicada por el modelo i=1 regresión Y = β 0 + β 1 x β K x K + U. Se verifica que n VT = VE + VNE, donde VE = (ŷ i ȳ) 2. i=1 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 22

23 Tabla ANOVA para el contraste de la regresión: FV SC gl CM F Explicada VE K se 2 = VE F = s2 e K sr 2 Residual VNE n K 1 sr 2 Total VT n 1 Bajo H 0 : β 1 =... = β K = 0 el estadístico F sigue una distribución F K,n K 1. Por tanto, la región de rechazo de H 0 a nivel de significación α será R = {F > F K,n K 1,α }. Ejemplo 4.1. (cont.): ANÁLISIS DE VARIANZA SC gl CM F p-valor Regresión 934, , , ,1236E-13 Residuos 7, , Total 941, Ejemplo 4.2. (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 23

24 Interpretación de los contrastes Contraste global (F ) Modelo explicativo Modelo explicativo Modelo explicativo Modelo no explicativo Modelo no explicativo Modelo no explicativo Contrastes individuales (t) Todas las X i explicativas Algunas X i explicativas Ninguna X i explicativa Todas las X i explicativas Algunas X i explicativas Ninguna X i explicativa Conclusión Nos quedamos con todas las X i Nos quedamos con las X i explicativas Colinealidad Colinealidad Colinealidad Modelo no adecuado para describir la relación entre Y y X 1,..., X K. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 24

25 El coeficiente de determinación Es una medida de la bondad del ajuste en el modelo de regresión múltiple R 2 = VE VT. A R se le denomina coeficiente de correlación múltiple. Propiedades: (i) 0 R 2 1. Cuando R 2 = 1 existe una relación lineal exacta entre la respuesta y las variables predictivas. Cuando R 2 = 0, sucede que ˆβ 0 = ȳ y ˆβ 1 =... = ˆβ K = 0 y no existe relación lineal aparente entre Y y las X i. (ii) El coeficiente de regresión múltiple es el coeficiente de regresión simple entre la respuesta Y y el valor previsto Ŷ. (iii) Se verifica que F = R2 n K 1 1 R 2. K Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 25

26 No conviene utilizar el coeficiente de determinación para comparar distintos modelos de regresión entre sí: siempre que introduzcamos un nuevo regresor en el modelo, R 2 aumentará, aunque el efecto del regresor sobre la respuesta no sea significativo. Por ello se define el coeficiente de determinación ajustado o corregido por grados de libertad R 2 = 1 s2 R sy 2, siendo s 2 y = VT/(n 1). R 2 sólo disminuye al introducir una nueva variable explicativa en el modelo, si la varianza residual disminuye. Se cumple que R 2 = R 2 (1 R 2 K ). Por tanto, n K 1 R 2 R 2. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 26

27 Contrastes de grupos de coeficientes Queremos contrastar que un subconjunto (β 1,..., β i ), con i < K, del total de coeficientes β 1,..., β K son cero: H 0 : β 1 =... = β i = 0 H 1 : Alguno de los β j 0, j = 1,..., i. Primero efectuamos la regresión con todos los regresores ŷ = ˆβ 0 + ˆβ 1 x ˆβ K x K. Denotamos por VE(K) y VNE(K) la variabilidad explicada y residual con este modelo. Luego planteamos el modelo de regresión bajo H 0 ŷ = ˆβ 0 + ˆβ i+1x i ˆβ K x K y llamamos VE(K i) a la variabilidad explicada por este modelo. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 27

28 Definiremos la variabilidad incremental explicada por las variables X 1,..., X i como VE(i) = VE(K) VE(K i) > 0 Rechazaremos H 0, al nivel de significación α, cuando F = VE(i)/i s 2 R > F i,n K 1,α. Ejemplo 4.1. (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 28

29 Estimación y predicción Supongamos que queremos estimar E(Y 0 ) o predecir Y 0, siendo Y 0 = (Y X = x 0 ) = β 0 + β 1 x β K x K0 + U. Entonces una estimación/predicción puntual es ŷ 0 = ˆβ 0 + ˆβ 1 x ˆβ K x K0. Ejemplo 4.2. (cont.): Estimar la tasa media de respiración del Parmelia saxatilis cuando el agua que cae sobre el liquen tiene una concentración de Potasio de 300 p.p.m. y una concentración de Zinc de p.p.m. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 29

30 Colinealidad La estimación ˆβ de los parámetros en regresión múltiple requiere invertir la matriz X X. Cuando una de las X j es combinación lineal de los restantes regresores, X 1,..., X j 1, X j+1,..., X K, entonces X X = 0. Entonces diremos que las variables explicativas son colineales. En la práctica esto nunca se dará de manera exacta, aunque sí es posible que en un conjunto de datos algunas de las variables se puedan describir muy bien como función lineal de las restantes variables. En ese caso, X X es casi cero. Este problema, llamado multicolinealidad, hace que los estimadores de los parámetros ˆβ i tengan alta variabilidad y sean muy dependientes entre sí. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 30

31 Para identificar las variables colineales primero se examina la matriz de correlación R entre las variables explicativas. Si existen correlaciones altas entre parejas de regresores, tenemos una situación clara de multicolinealidad. Sin embargo, es posible que una de las variables explicativas X i se pueda expresar como combinación lineal de las restantes y que su correlación con cada una de éstas otras sea baja (ver Peña 2002). Ejemplo 4.1. (cont.): R = Ejemplo 4.2. (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 31

32 Diagnosis del modelo Se realiza igual que en regresión simple: mediante el análisis de los e i residuos estandarizados ẽ i =, donde h i = x s R 1 i (X X) 1 x i. hi Bajo las hipótesis del modelo de regresión múltiple, los ẽ i siguen aproximadamente una N(0,1). Ejemplo 4.1. (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 32

33 Las hipótesis de linealidad y homocedasticidad se comprueban con un gráfico de residuos estandarizados ẽ i frente a valores previstos ŷ i. Este gráfico también sirve para detectar datos atípicos. Ejemplo 4.1. (cont.): Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 33

34 Transformación de los datos Ejemplo 4.3: Harrison y Rubinfeld (1978), Hedonic Housing Prices and the Demand for Clean Air, Journal of Environmental Economics and Management, observaron las siguientes variables para n = 506 secciones censales del área metropolitana de Boston. Su objetivo era estudiar si los precios de las casas dependían de la contaminación en la zona (regresión hedónica). MEDV Mediana del precio de las casas (en miles de $) DIS Media ponderada de distancias a 5 centros de trabajo RAD Accesibilidad a autopistas radiales INDUS Proporción de superficie de la zona dedicada a empresas e industria CHAS 1 junto al río Charles, 0 si no NOX Concentración de óxido nítrico (p.p.10 9 ) RM Número medio de habitaciones en las casas AGE proporción de casas construidas antes de 1940 CRIM Tasa de delincuencia per capita ZN Proporción de superficie residencial dividida en parcelas de más de pies 2 TAX Tasa de impuestos de las propiedades por cada $10,000 PT N o de estudiantes por profesor B 1000(p B 0.63) 2, siendo p B la proporción de habitantes de raza negra LSTAT Porcentaje de población con bajo nivel adquisitivo Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 34

35 Los datos están disponibles en Estudiemos MEDV en función de NOX, RM y LSTAT. Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 35

36 Regresión lineal de MEDV en función de NOX, RM y LSTAT: Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,799 a,639,637 5,54310 a. Variables predictoras: (Constante), RM, NOX, LSTAT b. Variable dependiente: MEDV Modelo 1 Regresión Residual Total ANOVA b Suma de Media cuadrados gl cuadrática F Sig , , ,079,000 a 15424, , , a. Variables predictoras: (Constante), LSTAT, NOX, RM b. Variable dependiente: MEDV Modelo 1 (Constante) RM NOX LSTAT a. Variable dependiente: MEDV Coeficientes a Coeficientes no estandarizados Coeficientes estandarizado s B Error típ. Beta t Sig. -,767 3,286 -,233,816 5,124,447,391 11,471,000-1,846 2,651 -,023 -,696,487 -,623,052 -,484-11,994,000 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 36

37 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 37

38 Ahora estudiemos log(medv) en función de NOX 2, RM 2 y Resumen del modelo b log(lstat). Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,835 a,698,696,22536 a. Variables predictoras: (Constante), LOG_LSTAT, NOX2, RM2 b. Variable dependiente: LOG_MEDV ANOVA b Modelo 1 Regresión Residual Total Suma de Media cuadrados gl cuadrática F Sig. 58, , ,467,000 a 25, ,051 84, a. Variables predictoras: (Constante), LOG_LSTAT, NOX2, RM2 b. Variable dependiente: LOG_MEDV Modelo 1 (Constante) NOX2 RM2 LOG_LSTAT a. Variable dependiente: LOG_MEDV Coeficientes a Coeficientes no estandarizados Coeficientes estandarizado s B Error típ. Beta t Sig. 3,841,104 37,054,000 -,243,087 -,083-2,776,006,008,001,183 5,493,000 -,446,026 -,656-17,116,000 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 38

39 Estadística (CC. Ambientales). Profesora: Amparo Baíllo Tema 4: Regresión múltiple 39