T3. El modelo lineal básico

Transcripción

1 T3. El modelo lineal básico Ana J. López y Rigoberto Pérez Dpto Economía Aplicada. Universidad de Oviedo Curso Curso / 41

2 Índice 1 Regresión lineal múltiple Planteamiento Hipótesis 2 Estimación de los parámetros MCO EMV 3 Propiedades y características de los estimadores 4 Contrastes asociados al modelo Contraste global Análisis de bondad Contrastes individuales Contrastes de restricciones lineales 5 Predicción Curso / 41

3 El modelo lineal básico Competencias El análisis del modelo lineal básico sigue el mismo esquema descrito para el modelo lineal simple, si bien en este caso todos los desarrollos se presentan en notación matricial. Este tema constituye el nucleo central de la asignatura y su objetivo es capacitar a los estudiantes para: Especificar un modelo lineal y sus hipótesis de trabajo en forma matricial. Deducir e interpretar los estimadores mínimo cuadráticos y máximo verosímiles. Analizar la capacidad explicativa del modelo estimado, comparándolo con otras alternativas. Realizar e interpretar los contrastes de significación individual. Enunciar y contrastar restricciones sobre los parámetros del modelo. Realizar predicciones ex post y llevar a cabo su evaluación. Manejar las opciones de Gretl relativas a estimación, contraste y predicción, interpretando adecuadamente las salidas correspondientes. Curso / 41

4 Regresión lineal múltiple Planteamiento Modelo lineal básico Y 1 = β 1 + β 2 X β k X k1 + u 1 Y 2 = β 1 + β 2 X β k X k2 + u Y n = β 1 + β 2 X 2n + + β k X kn + u n y (n 1) = X β (n k) (k 1) + u (n 1) Y 1 1 X 21 X k1 β 1 u 1 Y 2 y =. ; X = 1 X 22 X k ; β = β 2. ; u = u 2. Y n 1 X 2n X kn β k u n Curso / 41

5 Regresión lineal múltiple Hipótesis Modelo lineal básico: hipótesis y = Xβ + u Hipótesis sobre u Vector de perturbaciones aleatorias Normal con esperanza nula y matriz de varianzas-covarianzas escalar Hipótesis sobre X Matriz de regresores no estocástica y de rango k Hipótesis sobre β Vector de parámetros estructurales Curso / 41

6 Regresión lineal múltiple Hipótesis Hipótesis básicas sobre u E(u) = 0 Cov(u) = E(uu ) = σ 2 I n E(u1) 2 E(u 1u 2) E(u 1u n) σ Cov(u) = E(uu E(u 2u 1) E(u2) ) = 2 E(u 2u n) = 0 σ E(u nu 1) E(u nu 2) E(un) σ 2 Var(u i ) = E(ui 2) = σ2 Homocedasticidad Cov(u i, u j ) = E(u i u j ) = 0 No autocorrelación Hipótesis de normalidad u sigue una distribución normal multivariante: u N (0, σ 2 I n ) y sigue una distribución normal multivariante: y N (Xβ, σ 2 I n ) Curso / 41

7 Regresión lineal múltiple Hipótesis Hipótesis básicas Hipótesis sobre los regresores La matriz de regresores X es no estocástica La matriz de los regresores tiene rango k, ρ(x) = k Las columnas de X son linealmente independientes n > k Hpótesis sobre los parámetros β es un vector fijo Curso / 41

8 Estimación de los parámetros Estimación de los parámetros Modelo teórico: Vector de estimadores de los parámetros: Vector de valores estimados: Vector de residuos: y = Xβ + u ˆβ ŷ = X ˆβ û = y ŷ = y X ˆβ Suma de cuadrados de residuos n ûi 2 = û û = ( ) û 2 û 1, û 2,..., û n. û n i=1 û 1 Curso / 41

9 Estimación de los parámetros MCO Estimadores mínimo cuadráticos (MCO) Función a minimizar: ( ) ( ) û û = y X ˆβ y X ˆβ = y y ˆβ X y y X ˆβ + ˆβ X X ˆβ = y y 2 ˆβ X y + ˆβ X X ˆβ Condición necesaria de extremo: (û û) ˆβ = 0 ( ) y y 2 ˆβ X y + ˆβ X X ˆβ ˆβ 2X y + 2X X ˆβ = 0 = 0 Estimadores de mínimos cuadrados ordinarios (MCO): ˆβ = (X X) 1 X y Curso / 41

10 Estimación de los parámetros MCO Estimadores MCO ˆβ = (X X) 1 X y X 21 X k1 X X 21 X 22 X 2n 1 X 22 X k2 X = = X k1 X k2 X kn 1 X 2n X kn n n i=1 X 2i n i=1 X ki n i=1 = X n 2i i=1 X 2i 2 n i=1 X 2iX ki n i=1 X n ki i=1 X kix 2i n i=1 X ki 2 Curso / 41

11 Estimación de los parámetros EMV Estimadores máximo verosímiles Hipótesis de normalidad u N (0, σ 2 I), y N (Xβ, σ 2 I) L(y 1, y 2,, y n, σ 2, β) = 1 (2πσ 2 ) n 2 e 1 2σ 2 [(y Xβ) (y Xβ)] ln L(y 1, y 2,, y n, σ 2, β) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 (y Xβ) (y Xβ) ln L β = 1 2σ 2 ( 2X y + 2X Xβ) = 0 X Xβ = X y ˆβ = (X X ) 1 X y Curso / 41

12 Estimación de los parámetros EMV Estimadores máximo verosímiles ˆβ = (X X) 1 X y EMV=EMC ln L σ 2 = n 2σ 2 + (y Xˆβ) (y Xˆβ) 2σ 4 = 0 û û 2σ 4 = ˆσ 2 es un estimador sesgado de σ 2 n 2σ 2 ˆσ2 = û û n Curso / 41

13 Estimación de los parámetros EMV Estimación de parámetros con Gretl demanda = β 1 }{{} const +β 2 renta + β 3 precio + u Modelo 1: MCO, usando las observaciones 1--25\Variable dependiente: demand Coeficiente Desv. Típica Estadístico t Valor p const renta precio En forma matricial matrix y=demanda matrix X=const renta precio matrix b=inv(x X)*X *y Curso / 41

14 Propiedades y características de los estimadores Propiedades descriptivas de los estimadores MCO y MV La suma de los residuos es nula: n û i = 0 Las medias de valores estimados y observados coinciden: Ȳ = Ŷ i=1 El hiperplano de regresión pasa por el punto denominado centro de gravedad : ( X 2,..., X k, Ȳ ) Los momentos de segundo orden entre regresores y residuos son nulos: X û = 0 Los momentos de segundo orden entre valores estimados y residuos son nulos: ŷ û = 0 Curso / 41

15 Propiedades y características de los estimadores Características de los estimadores MCO y MV Linealidad ˆβ = Ay ; A = (X X) 1 X ˆβ = (X X) 1 X (Xβ + u) = β + (X X) 1 X u Esperanza ( ) E ˆβ = β + (X X) 1 X E(u) = β Matriz de Varianzas-Covarianzas ( ) Cov ˆβ = σ 2 (X X) 1 Curso / 41

16 Propiedades y características de los estimadores Matriz de Varianzas-Covarianzas de los estimadores ( ) [ ( ) ( ] Cov ˆβ = E ˆβ β ˆβ β) [ ( ( ) ] = E (X X) 1 X u) (X X) 1 X u = (X X) 1 X E(uu )X(X X) 1 = σ 2 (X X) 1 σ 2ˆβ1 σ ˆβ1 σ ˆβ2 ˆβ1 ˆβk σ Cov( ˆβ) = ˆβ2 σ ˆβ1 2ˆβ2 σ ˆβ2 ˆβk σ ˆβk σ ˆβ1 ˆβk σ 2ˆβ ˆβ2 k Curso / 41

17 Propiedades y características de los estimadores Matriz de Varianzas-Covarianzas de los estimadores ( ) [ ( ) ( ] Cov ˆβ = E ˆβ β ˆβ β) ˆβ 1 β 1 ˆβ 2 β 2 ( ) = E ˆβ1 β 1 ˆβ2 β 2 ˆβk β. k ˆβ k β k = E ( ˆβ1 β 1 ) 2 ( ˆβ1 β 1 ) ( ˆβ2 β 2 ) ( ˆβ 2 β 2 ) ( ˆβ 1 β 1 ) ( ˆβ 2 β 2 ) 2.. ( ) ( ) ( ) ( ) ˆβk β k ˆβ1 β 1 ˆβk β k ˆβ2 β 2 ( ˆβ1 β 1 ) ( ˆβk β k ) ( ˆβ 2 β 2 ) ( ˆβ k β k ) ( ) 2 ˆβk β k Curso / 41

18 Propiedades y características de los estimadores Matriz de Varianzas-Covarianzas de los estimadores ( ) Cov ˆβ [ ] 2 [( ) ( )] E ˆβ 1 β 1 E ˆβ 1 β 1 ˆβ 2 β 2 [( ) ( )] E ˆβ2 β 2 ˆβ1 β 1 =. [( ) ( )] E ˆβ k β k ˆβ 1 β 1 [ ] 2 E ˆβ2 β 2 E. [( ) ( )] E ˆβ k β k ˆβ 2 β 2 [( ) ( )] E ˆβ 1 β 1 ˆβ k β k [( ) ( )] ˆβ 2 β 2 ˆβ k β k [ ] 2 E ˆβ k β k σ 2ˆβ1 σ ˆβ1 σ ˆβ2 ˆβ1 ˆβk σ Cov( ˆβ) = ˆβ2 σ ˆβ1 2ˆβ2 σ ˆβ2 ˆβk σ ˆβ k ˆβ 1 σ ˆβ k ˆβ 2 σ 2ˆβ k Curso / 41

19 Propiedades y características de los estimadores Propiedades de los estimadores MCO y MV Ausencia de sesgo ( ) E ˆβ = β + (X X) 1 X E(u) = β Consistencia: ˆβ β n ( ) ĺım n P ˆβ n β ɛ = 0 ( ) ĺım n Cov ˆβ n = 0 Eficiencia: Los estimadores son óptimos ( ) ( ) Var β Var ˆβ, β lineal e insesgado [Teorema de Gauss-Markov] ( ) ( ) Var β Var ˆβ, β insesgado, u N (0, σ 2 I) [Teorema de Rao] Curso / 41

20 Propiedades y características de los estimadores Estimación de la matriz de Varianzas-Covarianzas Estimador insesgado de la varianza S 2 = û û n k Estimador de la matriz de varianzas-covarianzas S 2ˆβ1 S ˆβ 1 ˆβ 2 S ˆβ 1 ˆβ k S 2 ( ˆβ) = S 2 (X X) 1 S = ˆβ2 S ˆβ1 2ˆβ2 S ˆβ2 ˆβk S ˆβk S ˆβ1 ˆβk S 2ˆβ ˆβ2 k Curso / 41

21 Contrastes asociados al modelo Inferencias sobre el modelo lineal Distribuciones probabiĺısticas Inferencias sobre β u N(0, σ 2 I) y N(Xβ, σ 2 I) } ˆβ N ( β, σ 2 (X X) 1) d ˆβj = ˆβ j β ( ) j t n k S ˆβj Inferencias sobre σ 2 u N(0, σ 2 I) ; S 2 = û û n k (n k)s 2 σ 2 = û û σ 2 χ2 n k Curso / 41

22 Contrastes asociados al modelo Intervalos de confianza para los coeficientes en Gretl Gretl. Salida del modelo: Análisis Matriz de covarianzas de los coeficientes Análisis Intervalos de confianza para los coeficientes Matriz de covarianzas de los coeficientes de regresión: const renta precio const renta precio Para cada coeficiente β j, el intervalo de confianza se obtiene como: [ ˆβ j k α S ˆβj, ˆβ j + k α S ˆβj ] VARIABLE COEFICIENTE INTERVALO DE CONFIANZA 95 % const renta precio Curso / 41

23 Contrastes asociados al modelo Contrastes asociados a un modelo Y = β 1 + β 2 X 2 + β 3 X 3 + β 4 X 4 + β 5 X 5 + u Contraste global Tiene sentido el modelo planteado para Y? H 0 : β 2 = β 3 = β 4 = β 5 = 0 Contrastes individuales Explica la variable X el comportamiento de Y? H 0 : β 2 = 0 Contrastes parciales Son admisibles ciertas restricciones sobre el modelo? H 0 : β 1 + β 2 = 4, β 3 = 2β 5 Curso / 41

24 Contrastes asociados al modelo Contraste global de significación Hipótesis: H 0 : β 2 = β 3 = = β k = 0 H 1 : j = 2,, k, β j 0 Bajo la hipótesis nula el modelo no tiene sentido Supuesto de trabajo: u N(0, σ 2 I) ˆβ N(β, σ 2 (X X) 1 ) Discrepancia: ( ) ˆβ X y nȳ 2 Nivel crítico: d (k 1) = û û (n k) ( p = P F k 1 n k F ) F k 1 n k CONCLUSIÓN: Para discrepancias muestrales elevadas y p bajos se rechaza la hipótesis y se concluye que hay alguna variable significativa en el modelo propuesto na J. López y Rigoberto Pérez (Dpto Economía Aplicada. T3. ElUniversidad modelo lineal de básico Oviedo) Curso / 41

25 Contrastes asociados al modelo Contraste global Análisis de varianza Varianza total (VT) n ( Yi Ȳ ) n 2 = Yi 2 nȳ 2 = y y nȳ 2 i=1 i=1 Varianza explicada (VE) n ) 2 (Ŷi Ȳ = n i=1 i=1 Ŷ 2 i nȳ 2 = ŷ ŷ nȳ 2 = ˆβ X X ˆβ nȳ 2 = ˆβ X X(X X) 1 X y nȳ 2 = ˆβ X y nȳ 2 Varianza no explicada (VNE) n (ûi û ) 2 = i=1 n i=1 û 2 i = û û Curso / 41

26 Contrastes asociados al modelo Contraste global Contraste F de significación global Variación Expresión g.l. Ratio Explicada ˆβ X y nȳ 2 k-1 No explicada û û n-k Total y y nȳ 2 n-1 ˆβ X y nȳ 2 k 1 û û n k y y nȳ 2 n 1 Contraste global F: ˆβ X y nȳ 2 k 1 û û n k F k 1 n k Curso / 41

27 Contrastes asociados al modelo Contraste global Análisis de la varianza con Gretl Gretl. Salida del modelo: Análisis ANOVA Análisis de Varianza Suma de cuadrados gl Media de cuadrados Regresión e e+07 Residuo e Total e e+06 R 2 = 2,51818e ,18864e + 07 = 0, F (2, 22) = 1,25909e = 41,3145 [Valor p = 3,55e 08] Curso / 41

28 Contrastes asociados al modelo Análisis de bondad Análisis de bondad de un modelo Coeficiente de determinación: R 2 û û = 1 y y nȳ 2 = ˆβ X ŷ nȳ 2 y y nȳ 2 ( ) ( ) Se cumple: 0 R 2 1; F k 1 n k = R 2 n k 1 R 2 k 1 Coeficiente de determinación corregido (o ajustado): R 2 û û = 1 n k y y nȳ 2 = 1 n 1 = 1 ( ( ) 1 R 2) n 1 n k ( ) ( n 1 n k û û y y nȳ 2 ) Se cumple: R 2 R 2 El coeficiente de determinación ajustado permite comparar varios modelos teniendo en cuenta el número de parámetros que contienen Curso / 41

29 Contrastes asociados al modelo Análisis de bondad Salida de modelo Gretl. Modelo Mínimos cuadrados ordinarios... Modelo 1: MCO, usando las observaciones (T = 25) Variable dependiente: demanda Coeficiente Desv. Típica Estadístico t Valor p const renta precio Media de la vble. dep D.T. de la vble. dep Suma de cuad. residuos D.T. de la regresión R R 2 corregido F(2, 22) Valor p (de F ) Log-verosimilitud Criterio de Akaike Criterio de Schwarz Hannan--Quinn ˆρ Durbin--Watson Curso / 41

30 Contrastes asociados al modelo Análisis de bondad Análisis de bondad de un modelo Maximizar Verosimilitud y minimizar las medidas de información Logaritmo de ln L = n 2 Verosimilitud [ ( )] 1 + ln 2π û û n Criterio de Akaike ) (û û AIC = n ln + 2k + n[1 + ln(2π)] n Cirterio de Schwart SIC = 2 ln L + k ln(n) Criterio de Hannan-kinn HQC = 2 ln L + 2k ln(ln(n)) Curso / 41

31 Contrastes asociados al modelo Análisis de bondad Comparación de modelos Gretl. Salida del modelo: Archivo Guardar como icono Vista de iconos: Modelo j Añadir a la tabla de modelos Vista de iconos: Tabla de modelos Estimaciones de MCO Variable dependiente: demanda (1) (2) (3) const 410,2 470,3 276,6 (63.47) (58.73) (64.39) renta 33, (16.98) (19.69) precio 0,5679 0,4608 (0.1552) (0.1537) n R l Desviaciones típicas entre paréntesis * indica significativo al nivel del 10 por ciento ** indica significativo al nivel del 5 por ciento Curso / 41

32 Contrastes asociados al modelo Contrastes individuales Contraste de significación individual Hipótesis: H 0 : β j = 0 H 1 : β j 0 Bajo la hipótesis nula la variable X j no tiene sentido Supuesto de trabajo: u N(0, σ 2 I) ˆβ N(β, σ 2 (X X) 1 ) Discrepancia: Nivel crítico: p = P d ˆβj = ˆβ j β j t n k S ˆβj ( ) t n k > d ˆβj CONCLUSIÓN: Si p es bajo (discrepancias muestrales elevadas) rechazamos la hipótesis y concluimos que la variable asociada al parámetro es significativa Curso / 41

33 Contrastes asociados al modelo Contrastes individuales Contraste de significación individual con Gretl Coeficiente Desv. Típica Estadístico t Valor p const *** renta * precio *** Los asteriscos representan el nivel de significatividad de los coeficientes: *** El coeficiente de la variable es significativo al 1 % ** El coeficiente de la variable es significativo al 5 % * El coeficiente de la variable es significativo al 10 % El coeficiente de la variable no es significativo al 10 % demanda = 410, ,0688 renta 0, precio (63,465) (16,977) (0,15521) T = 25 R2 = 0,3310 F (2, 22) = 6,9359 ˆσ = 111,93 (Desviaciones típicas entre paréntesis) Curso / 41

34 Contrastes asociados al modelo Contrastes de restricciones lineales Contraste sobre subconjuntos de parámetros Hipótesis: H 0 : Rβ = β H 1 : Rβ β Discrepancia: (û R û R û ) ( ) û n k û Fn k r û r Bajo la hipótesis nula se imponen ciertas restricciones R: Matriz de r filas (restricciones) y k columnas (parámetros) û R : Residuos modelo restringido û: Residuos modelo sin restricciones Nivel crítico: p = P ( F r n k F ) CONCLUSIÓN: Si p es bajo se rechaza la hipótesis y se concluye que las restricciones no son admisibles Curso / 41

35 Contrastes asociados al modelo Contrastes de restricciones lineales Contrastes sobre parámetros. Ilustración Modelo: Y = β 1 + β 2 X 2 + β 3 X 3 + β 4 X 4 + β 5 X 5 + u Hipótesis: H 0 : β 2 + β 4 = 4, β 3 = 2β 5 H 0 : Rβ = β R = ( ) β = ( ) 4 0 Modelo libre: Ŷ = ˆβ 1 + ˆβ 2 X 2 + ˆβ 3 X 3 + ˆβ 4 X 4 + ˆβ 5 X 5 Modelo restringido: Ŷ = ˆβ 1 + ˆβ 2 X ˆβ 5 X 3 + (4 ˆβ 2 )X 4 + ˆβ 5 X 5 Discrepancia: (û R û R û ) ( ) û n 5 û û 2 F 2 n 5 Curso / 41

36 Contrastes asociados al modelo Contrastes de restricciones lineales Test de restricciones. Ilustración Modelo libre Hipótesis Demanda = ˆβ 1 + ˆβ 2 Renta + ˆβ 3 Precio La demanda autónoma es de 400 unidades El efecto marginal de renta sobre la demanda es 60 veces mayor y de signo contrario al del precio β 1 = 400 ; β β 3 = 0 Modelo restringido Demanda = ˆβ 3 Renta + ˆβ 3 Precio Curso / 41

37 Contrastes asociados al modelo Contrastes de restricciones lineales Test de restricciones. Ilustración Gretl Gretl. Salida del modelo: Contrastes Restricciones lineales Conjunto de restricciones 1 : b[const] = : b[renta] + 60*b[precio] = 0 Estadístico de contraste: F(2, 22) = , con valor p = Estimaciones restringidas: Coeficiente Desv. Típica Estadístico t Valor p const e e e-194 *** renta e-06 *** precio e-06 *** Desviación típica de la regresión = Curso / 41

38 Predicción Predicción estática y dinámica Horizonte h=1 Predicción estática con horizonte 1, basada en los datos registrados (one-step-ahead forecast) Horizonte cambiante Predicción dinámica con horizonte cambiante basada en valores previstos (multi-step forecast) Curso / 41

39 Predicción Elaboración de predicciones Para elaborar predicciones a partir de un modelo y = Xβ + u será necesario asignar valores a las variables explicativas, mediante el vector: x 0 = (1, X 20, X 30,..., X k0 ) Predicción puntual La predicción de Y vendrá entonces dada por: Error de predicción Varianza del error de predicción Ŷ 0 = x 0 ˆβ eŷ0 = Y 0 Ŷ 0 ) Var = σ (eŷ0 [ ] x 0 (X X ) 1 x 0 Curso / 41

40 Predicción Elaboración de predicciones Intervalo de confianza para la predicción Intervalo de confianza al nivel 1 α para la predicción de Y condicionada al vector x 0 [ ] Ŷ 0 ks 1 + x 0 (X X) 1 x 0, Ŷ 0 + ks 1 + x 0 (X X) 1 x 0 siendo k el valor tal que P ( t n k > k) = 1 α Riesgo de predicción El riesgo de la predicción dependerá de factores como: La bondad del modelo en el que se basa El tamaño muestral del modelo estimado (al aumentar n disminuye el riesgo, ya que afecta a S y (X X) 1 ) El horizonte de predicción h (las predicciones dinámicas se basan en predicciones anteriores, y por tanto el riesgo aumenta con el horizonte temporal) Curso / 41

41 Predicción Riesgo de predicción Las predicciones pueden ir referidas al valor esperado de Y o al valor observado de esta variable. En ambos casos la predicción puntual es la misma, pero en cambio el riesgo es mayor si la predicción va referida al valor observado. Más concretamente las bandas de confianza serían: Para Y/x 0 [ ] Ŷ 0 ks 1 + x 0 (X X) 1 x 0, Ŷ 0 + ks 1 + x 0 (X X) 1 x 0 Para E(Y/x 0 ) [ ] Ŷ 0 ks x 0 (X X) 1 x 0, Ŷ 0 + ks x 0 (X X) 1 x 0 Curso / 41