Regresión con heterocedasticidad y autocorrelación Tema 6
Regresión con heterocedasticidad La heterocedasticidad significa que var( i ) cte Es la norma, no la excepción, en especial con datos transversales Hay diversas circunstancias que justifican su aparición: En modelos de aprendizaje, los agentes reducen sus errores en el tiempo Hay variables explicativas que justifican una mayor variabilidad de los agentes Mejora en la recogida de datos reduce los errores Existencia de atípicos severos Mala especificación (omisión de variables, forma funcional, datos incorrectos ) La heterocedasticidad afecta a la eficiencia, pero los estimadores MCO siguen siendo insesgados y consistentes
Consecuencias de la heterocedasticidad El estimador MCO es Puesto que, Se mantiene la insesgadez La varianza será, ˆ ( ) 1 βmco β X'X X'ε E ˆ E E 1 1 ( β) [ β ( X'X) X'ε] β [( X'X) X'ε] β (por la exogeneidad) 1 1 1 1 E[( βˆ β)( βˆ β)'] ( X'X) X' εε ' X( X'X) E[( X'X) X' Σ ' X( X'X) ] Pero ahora 2 I y por tanto la expresión anterior no será igual a 2 (X X) -1 El estimador MCO ya no es eficiente
Estimación eficiente con heterocedasticidad Supongamos que conociésemos la forma de la heterocedasticidad var( X ) h( X ) Entonces el modelo transformado, tiene errores homocedásticos: i i i Yi 1 X1 i X ki i 0 1... k h( X ) h( X ) h( X ) h( X ) h( X ) i i i i i i 1 1 var var( i) hx ( i) 1 hx ( ) h( Xi) h( Xi) i Por tanto podemos estimar por MCO el modelo transformado. Este procedimiento se denomina MCP y es una caso particular de MCG
Estimación eficiente con heterocedasticidad Por ejemplo si en Y i = 0 + 1 X i + i,var( i ) = X i,en el modelo, Tendremos, Análogamente Yi 1 Xi i 0 1 X X X X i i i i i 1 var X i 1 cte. X i X i Yi 1 Xi i 0 1 X X X X i i i i 2 i 1 var X i cte X i X i 2
Estimación eficiente con heterocedasticidad Cuando no se conoce la forma de la heterocedasticidad hay que estimarla para poder aplicar el método anterior: MCPF Una forma bastante flexible de modelizar la heteroscedasticidad es, var( X) exp X... X h( X ) 2 2 i 0 1 1i k ki Si u i es una v.a. independiente de X y con media unitaria, tenemos, 2 2 2 2 i exp X... X ui pues E( i ) exp X... X 0 1 1i k ki 0 1 1i k ki 2 ln( i ) 0 0 1X1 i... k X ki ei ˆ( ) que podemos estimar para obtener hx y aplicar el método
Estimación eficiente con heterocedasticidad También podemos usar estimadores robustos ( 4.3.1.2) var ˆ ( ˆ ) 1 2 1 1i i 1 1 2 2 n n ( X1 i X ) A la hora de decidirse por MCP o el estimador robusto, debemos tener en cuenta que, Si conocemos la forma de la heterocedasticidad, MCP es más eficiente que el estimador robusto Pero MCG exige exogeneidad estricta ( n 2) [( X X ) ˆ ] En general el estimador robusto es mejor si hemos de emplear MCPF y es fácil de obtener al venir incorporado en todos los programas Considerando pros y contras junto con el hecho de que no se suele conocer la forma de la heterocedasticidad, no es extraño que hoy lo habitual sea emplear estimadores robustos
Contraste de Breusch Pagan Contrastes de heterocedasticidad Para contrastar si la varianza del error se relaciona con las variables explicativas, estimamos el modelo 2 ˆ X... X e i 0 1 1i k ki i A continuación contrastamos H 0 : 1 = k = 0. El estadístico de contraste nr 2 se distribuye como una 2 (k) Contraste de White Más potente y más empleado, es similar al anterior incluyendo como regresores potencias y productos cruzados de las X El estadístico de contraste y su distribución son idénticos, nr 2 se distribuye como una 2 (k)
Ejemplo contraste heteroscedasticidad Test de Breusch-Pagan Dependent Variable: VOTEA Method: Least Squares Date: 01/14/16 Time: 17:26 Sample: 1 173 Included observations: 173 Variable Coefficient Std. Error t-statistic Prob. C 37.66141 4.736036 7.952097 0.0000 PRTYSTRA 0.251918 0.071293 3.533575 0.0005 DEMOCA 3.792943 1.406520 2.696687 0.0077 LEXPENDA 5.779294 0.391820 14.74988 0.0000 LEXPENDB -6.237836 0.397460-15.69427 0.0000 R-squared 0.801163 Mean dependent var 50.50289 Adjusted R-squared 0.796429 S.D. dependent var 16.78476 S.E. of regression 7.573085 Akaike info criterion 6.915554 Sum squared resid 9635.072 Schwarz criterion 7.006690 Log likelihood -593.1954 Hannan-Quinn criter. 6.952527 F-statistic 169.2288 Durbin-Watson stat 1.524816 Prob(F-statistic) 0.000000 Dependent Variable: U2 Method: Least Squares Date: 01/14/16 Time: 17:25 Sample: 1 173 Included observations: 173 Variable Coefficient Std. Error t-statistic Prob. C 113.9635 50.81503 2.242712 0.0262 PRTYSTRA -0.299264 0.764929-0.391231 0.6961 DEMOCA 15.61921 15.09117 1.034990 0.3022 LEXPENDA -10.30573 4.204008-2.451405 0.0153 LEXPENDB -0.051404 4.264520-0.012054 0.9904 R-squared 0.052563 Mean dependent var 55.69406 Adjusted R-squared 0.030005 S.D. dependent var 82.50214 S.E. of regression 81.25499 Akaike info criterion 11.66154 Sum squared resid 1109199. Schwarz criterion 11.75267 Log likelihood -1003.723 Hannan-Quinn criter. 11.69851 F-statistic 2.330112 Durbin-Watson stat 1.912911 Prob(F-statistic) 0.058058 2 (4)= nr 2 = 173 0.05256 = 9.093; (vc (5%) = 9,49) Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Ejemplo contraste heteroscedasticidad Dependent Variable: VOTEA Method: Least Squares Date: 01/14/16 Time: 17:26 Sample: 1 173 Included observations: 173 Test de White Variable Coefficient Std. Error t-statistic Prob. C 37.66141 4.736036 7.952097 0.0000 PRTYSTRA 0.251918 0.071293 3.533575 0.0005 DEMOCA 3.792943 1.406520 2.696687 0.0077 LEXPENDA 5.779294 0.391820 14.74988 0.0000 LEXPENDB -6.237836 0.397460-15.69427 0.0000 R-squared 0.801163 Mean dependent var 50.50289 Adjusted R-squared 0.796429 S.D. dependent var 16.78476 S.E. of regression 7.573085 Akaike info criterion 6.915554 Sum squared resid 9635.072 Schwarz criterion 7.006690 Log likelihood -593.1954 Hannan-Quinn criter. 6.952527 F-statistic 169.2288 Durbin-Watson stat 1.524816 Prob(F-statistic) 0.000000 Test Equation: Dependent variable U2 Variable Coefficient Std. Error t-statistic Prob. C 55.74236 284.6372 0.195837 0.8450 PRTYSTRA^2-0.054980 0.060446-0.909564 0.3644 PRTYSTRA*DEMOCA 1.029412 2.156386 0.477378 0.6337 PRTYSTRA*LEXPEND... -0.458714 0.555609-0.825605 0.4103 PRTYSTRA*LEXPEND... -0.104149 0.581220-0.179189 0.8580 PRTYSTRA 6.761675 6.942492 0.973955 0.3316 DEMOCA^2 65.80657 130.9924 0.502369 0.6161 DEMOCA*LEXPENDA -31.23212 11.47446-2.721881 0.0072 DEMOCA*LEXPENDB 8.778460 12.56600 0.698588 0.4858 LEXPENDA^2 6.656256 1.971641 3.375997 0.0009 LEXPENDA*LEXPEND... 5.071447 4.881279 1.038959 0.3004 LEXPENDA -51.87069 39.47324-1.314072 0.1907 LEXPENDB^2-4.480707 2.427131-1.846092 0.0667 LEXPENDB 4.518940 49.35734 0.091556 0.9272 R-squared 0.179778 Mean dependent var 55.69406 Adjusted R-squared 0.112715 S.D. dependent var 82.50214 S.E. of regression 77.71354 Akaike info criterion 11.62140 Sum squared resid 960263.7 Schwarz criterion 11.87658 Log likelihood -991.2510 Hannan-Quinn criter. 11.72492 F-statistic 2.680758 Durbin-Watson stat 1.996983 Prob(F-statistic) 0.001973 2 (13)= nr 2 = 173 0.1798 = 31,10; (vc (5%) = 22,4) Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Problemas de heteroscedasticidad Estimador robusto Dependent Variable: VOTEA Method: Least Squares Date: 01/14/16 Time: 17:26 Sample: 1 173 Included observations: 173 Variable Coefficient Std. Error t-statistic Prob. C 37.66141 4.736036 7.952097 0.0000 PRTYSTRA 0.251918 0.071293 3.533575 0.0005 DEMOCA 3.792943 1.406520 2.696687 0.0077 LEXPENDA 5.779294 0.391820 14.74988 0.0000 LEXPENDB -6.237836 0.397460-15.69427 0.0000 R-squared 0.801163 Mean dependent var 50.50289 Adjusted R-squared 0.796429 S.D. dependent var 16.78476 S.E. of regression 7.573085 Akaike info criterion 6.915554 Sum squared resid 9635.072 Schwarz criterion 7.006690 Log likelihood -593.1954 Hannan-Quinn criter. 6.952527 F-statistic 169.2288 Durbin-Watson stat 1.524816 Prob(F-statistic) 0.000000 Dependent Variable: VOTEA Method: Least Squares Date: 01/14/16 Time: 18:00 Sample: 1 173 Included observations: 173 HAC standard errors & covariance (Bartlett kernel, Newey-West fixed bandwidth = 5.0000) Variable Coefficient Std. Error t-statistic Prob. C 37.66141 4.989690 7.547847 0.0000 PRTYSTRA 0.251918 0.077275 3.260001 0.0013 DEMOCA 3.792943 1.511932 2.508674 0.0131 LEXPENDA 5.779294 0.619492 9.329079 0.0000 LEXPENDB -6.237836 0.421132-14.81208 0.0000 R-squared 0.801163 Mean dependent var 50.50289 Adjusted R-squared 0.796429 S.D. dependent var 16.78476 S.E. of regression 7.573085 Akaike info criterion 6.915554 Sum squared resid 9635.072 Schwarz criterion 7.006690 Log likelihood -593.1954 Hannan-Quinn criter. 6.952527 F-statistic 169.2288 Durbin-Watson stat 1.524816 Prob(F-statistic) 0.000000 Wald F-statistic 148.7644 Prob(Wald F-statistic) 0.000000 Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Regresión con autocorrelación Hay autocorrelación serial si corr( t s ) 0 para t s Esta circunstancia afecta a la eficiencia de los estimadores MCO La autocorrelación es mucho más frecuente en series temporales (en series transversales se conoce como autocorrelación espacial) Entre los motivos por los que puede surgir el problema cabe señalar: Omisión de variables que por naturaleza están autocorrelacionadas Inercia propia de las series temporales Utilización de variables retardadas Manipulación de los datos
Regresión con autocorrelación Hay autocorrelación serial si corr( t s )0 Esta circunstancia afecta a la eficiencia de los estimadores MCO Si las perturbaciones están correlacionadas, es una matriz en la que todos los elementos fuera de la diagonal principal no son nulos En estas condiciones, Σ ' E( ' X) var( βˆ X) ( X'X) X' Σ X( X'X) 1 1 ' Expresión diferente de la habitual. El estimador MCO ya no es eficiente
Regresión con autocorrelación En un modelo de regresión simple con autocorrelación, la varianza del estimador de la pendiente puede descomponerse en, var ˆ 1 var[( X ) ] f t X t 1 2 2 T ( x ) Entre corchetes la varianza del estimador MCO sin autocorrelación, mientras que f T =1+2T 1 (T1) 1 + +2T 1 (TT+1) T1. Sin autocorrelación f T =1, pero con ella la expresión típica de la varianza del estimador deja de ser válida Como en el caso de la heterocedasticidad, si se conoce la forma de la autocorrelación podemos aplicar una transformación que conduce a un modelo con residuos no autocorrelacionados (MCG) T
Regresión con autocorrelación Así, supongamos que en el modelo Y t = 0 + 1 X t + t el patrón de la autocorrelación de t es un AR(1), t = t +u t, con <1 Retardando un periodo y multiplicando por, se tiene Y t-1 = 0 + 1 X t-1 + t-1, y restando del modelo original o bien, Y Y X X ( ) t t1 0 0 1 t 1 t1 t t1 (1 ) ( X X ) u 0 1 t t1 t Y X u * * * t 0 1 t t donde, por definición, no hay autocorrelación y puede estimarse por MCO. El modelo recibe el nombre de MCG, pero exige conocer o estimarlo (MCG factibles)
Regresión con autocorrelación El método anterior implica la pérdida de la primera observación, lo que puede ser relevante si la muestra es pequeña. Prais y Winstein idearon un método para recuperarla, Y Y 1 * 2 1 1 X X 1 * 2 1 1 Todo el desarrollo anterior está basado en el supuesto concreto de que la autocorrelación sigue un proceso AR(1) Si fuese otro, la transformación sería también diferente. Para un AR(2), Y Y Y Y, X X X X * * t t 1 t1 2 t2 t t 1 t1 2 t2
Regresión con autocorrelación Como en la regresión con heterocedasticidad, suele recurrirse a un estimador robusto para solucionar el problema (estimador HAC) Este viene dado por la expresión general ˆ 2 2 1 1 ft 2 donde ˆ 1 es el estimador de la varianza sin autocorrelación y la función f debe conocerse o estimarse. En la econometría actual hay diversos estimadores robustos, aunque en nuestro programa solo mencionamos uno de ellos
Contrastes de autocorrelación Contraste de Durbin y Watson. Se basa en el supuesto de que la autocorrelación es AR(1) y responde a la expresión, DW T 2 ( ˆ ˆ t t 1) t2 T 2 ˆ t t1 2(1 ˆ ) En ausencia de autocorrelación ( = 0), DW = 2 Los valores críticos dependen del nº de parámetros (k) A pesar de su popularidad tiene algunas limitaciones: Regiones de indeterminación si DW está en (d i, d s ) o (4-d s, 4-d i ) No aplicable si entre las X figuran retardos de la endógena Las variables explicativas deben ser no estocásticas
Zonas del contraste DW Contrastes de autocorrelación Autocorrelación (+) Indetermi nación NO AUTOCORRELACIÓN Indetermi nación Autocorrelación () 0 d L d U 2 4d U 4d L 4 Problemas del contraste DW Diseñado para AR(1) Exige variables explicativas no estocásticas No es aplicable si entre las explicativas hay retardos de la endógena Existencia de regiones no concluyentes
Contrastes de autocorrelación Contraste de Breusch-Godfrey. Contrasta la autocorrelación de cualquier orden. Se basa en la estimación de la ecuación ˆ X... X ˆ... ˆ e t 0 1 1t k kt 1 t1 q tq t La hipótesis nula es H 0 : 1 = = q = 0 y el estadístico de contraste (nq)r 2 se distribuye como una Ji cuadrada con q g.l. Cabe mencionar también los contrastes de Box Pierce y de Ljung Box q 2 QT ˆ j j1 Q ' T ( T 2) q j1 ˆ 2 j T j
Autocorrelación: ejemplo Dependent Variable: LC Method: Least Squares Date: 01/14/16 Time: 18:12 Sample: 1 35 Included observations: 35 Variable Coefficient Std. Error t-statistic Prob. C 0.276786 0.088541 3.126090 0.0038 LY 0.950620 0.009591 99.11417 0.0000 I3-0.002044 0.000837-2.441759 0.0203 R-squared 0.997572 Mean dependent var 9.292050 Adjusted R-squared 0.997421 S.D. dependent var 0.224470 S.E. of regression 0.011400 Akaike info criterion -6.028545 Sum squared resid 0.004159 Schwarz criterion -5.895230 Log likelihood 108.4995 Hannan-Quinn criter. -5.982525 F-statistic 6574.782 Durbin-Watson stat 0.699921 Prob(F-statistic) 0.000000 Relación entre consumo, renta dispobible y tipo de interés Para n=35 y k = 2, d L y d u son respectivamente, 1.343 y 1,584 Como 0,6999 está entre 0 y d L, rechazaríamos H 0 en favor de autocorrelación positiva El test de Breusch Godfrey para la autocorrelación de primer orden es, 2 (1) = 14,05, i.e., lleva a la misma conclusión Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Perturbaciones esféricas Decimos que las perturbaciones son esféricas cuando la matriz E( ) es de la forma, 0 0 0.1 0 0 E( ') 0 0 I 0 Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Perturbaciones no esféricas Por ejemplo, con homocedasticidad y autocorrelación, la matriz E( ) podría ser, 4 0.95 0.9025 0.1 0.95 4 0.9025 0.9025 0.8573 4 0.1 4 Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Perturbaciones no esféricas 4 0 0 0 0 5 0 0 E( εε ') 0 0 6 0 0 0 0 Heterocedasticidad y no autocorrelación Econometría y predicción Matilla, M., Pérez, P. y Sanz, B. McGraw Hill
Resumen Si las perturbaciones no son esféricas los estimadores son insesgados pero no eficientes MCG: en general si Y = X+ con E( )= entonces se busca la transformación T tal que TT = -1 y entonces, en se tiene, T'Y T'Xβ + T'ε E( ) ( ) ( ) 1-1 -1 T'εε'T T' E εε' T T' T T' HH' T = T'T' T T = I En función del incumplimiento variará T Estimador HAC: válido con heterocedasticidad y/o autocorrelación: ˆ fˆ, con f 1 2 ( T j) T, con truncamiento m, o 2 2 T 1 1 ˆ ˆ T T j1 j ˆ ˆ j ˆ ˆ ˆ m 1 1 var( ˆ β m T ) Γ (0) 1 ( j) '( j), ( j) T ˆ ˆ ' j1 Γ Γ Γ x x t j1 t t t t j