Tema 2. Heterocedasticidad. 1 El modelo de regresión lineal con errores heterocedásticos

Transcripción

1 ema 2. Heterocedasticidad. El modelo de regresión lineal con errores heterocedásticos En este tema vamos a analizar el modelo de regresión lineal Y t = X tβ + u t, donde X t = (X t, X 2t,.., X kt y β = (β, β 2,.., β k, con regresores aleatorios, errores potencialmente heterocedásticos y observaciones iid, es decir supondremos que:{(y t, X t } son vectores aleatorios independientes e idénticamente distribuidos (iid; por tanto, {u t } también es iid y que se verifican los supuestos (a y (c: (a E(u t X t = 0 E(Y t X t = X tβ (c Σ = E(X t X t es definida positiva. En ausencia del supuesto (b la varianza de u t condicionada a X t puede ser cualquier función de X t, es decir, en general tendremos que (b V ar(u t X t = E(u 2 t X t = g(x t V ar(y t X t = g(x t Notas: Nótese que el supuesto (b del ema es un caso particular de (b cuando g(x t es constante. Nótese también que puesto que las observaciones son iid la varianza marginal de u t es constante (todos los errores tienen la misma distribución y por tanto la misma varianza. Si llamamos σ 2 a la varianza marginal de u t, podemos escribir (b como(b V ar(u t X t = E(u 2 t X t = g(x t = σ 2 ω(x t V ar(y t X t = g(x t = σ 2 ω(x t de forma que el supuesto de homocedasticidad sería ω(x t = En ocasiones se utiliza la notación simplificada V ar(u t X t = g(x t = σ 2 t V ar(u t X t = g(x t = σ 2 ω(x t = σ 2 ω t pero debe recordarse que σ 2 t y ω t varían con la observación t porque son una función del vector X t. Por tanto, en la mayor parte del tema no se utilizará esta notación simplificada para enfatizar la dependencia de la varianza respecto de los regresores X t.

2 Como las observaciones son independientes, Podemos escribir (a y (b condicionando en todas las observaciones y no sólo a la t-ésima, es decir, el supuesto (a equivale a E(u t X, X 2,..X = E(u t X = 0 y (b equivale a V ar(u t X, X 2,..X = V ar(u t X = E ( u 2 t X = σ 2 ω(x t Por tanto, en notación matricial podemos escribir (a y (b como: (a E(u X = 0 E(Y X = Xβ (b V ar(u X = E(uu X = σ 2 Ω V ar(y X = σ 2 Ω, donde Ω es una matriz diagonal cuyo elemento (t, t es ω(x t. Es decir la matriz Ω es ω(x ω(x 2 0 Ω = ω(x 2 Estimación MCO en presencia de heterocedasticidad Bibliografía: Alonso et al., 9.3 y 9.7; Greene, 2.2 y.2.5; Wooldridge, 8. y Propiedades estadísticas en muestras finitas Insesgadez Como ya vimos en el tema, si se verifican los supuestos (a y (c el estimador MCO de β es insesgado (demostración en el ema. Varianza del estimador MCO Si se verifican los supuestos (a y (c V ar( β X = σ 2 (X X ( ω(x t X t X t (X X Demostración V ar( β X = E [ ] [ ] ( β E( β X( β E( β X X = E ( β β( β β X = E [ (X X X uu X(X X X ] = (X X X E(uu XX(X X = σ 2 (X X X ΩX(X X 2

3 y puesto que ω(x 0 0 X X ΩX = [ ] 0 ω(x 2 0 X 2 X, X 2,..., X ω(x X X = [ ( ] X 2 ω(x X, ω(x 2 X 2,..., ω(x X = ω(x t X t X t. X tenemos que ( V ar( β X = σ 2 (X X ω(x t X t X t (X X Nota: Puesto que V ar( β X σ 2 (X X, σ 2 (X X no es un estimador apropiado de V ar( β MCO. Como consecuencia de este resultado, cuando los errores son heterocedásticos, ni los errores estándar, ni los contrastes que vimos en Econometría I son válidos, ya que estaban basados en la matriz V ar( β MCO = σ 2 (X X. El estimador MCO no es el estimador lineal e insesgado de mínima varianza Si no se verifica el supuesto (b, el estimador MCO no es el estimador lineal e insesgado de mínima varianza 2.2 Propiedades asintóticas Consistencia Si las observaciones son iid y se cumplen los supuestos (a y (c, como ya vimos en el tema, el estimador MCO de β es consistente (demostración en el ema. Normalidad asintótica Si las observaciones son iid y se cumplen los supuestos (a y (c, entonces ( β β d N(0, Σ ( σ 2 Ψ Σ donde Ψ = E(ω(X t X t X t 3

4 Demostración ( β β = ( X t X t X t u t Consideremos la sucesión de vectores aleatorios Z t = X t u t, utilizando la ley de las esperanzas iteradas E(Z t = E(X t u t = E(E(X t u t X t = E(X t E(u t X t = 0 utilizando de nuevo la ley de las esperanzas iteradas V ar(z t = V ar(x t u t = E(X t u t u t X t = E(E(u 2 t X t X t X t = E(E(u 2 t X t X t X t = σ 2 E(ω(X t X t X t = σ 2 Ψ Puesto que los vectores Z t son iid y todos tienen media cero y varianza σ 2 Ψ, utilizando el eorema Central del Límite X t u t d N(0, σ 2 Ψ ( Por otra parte, utilizando la ley de los grandes números X t X t p Σ = E(X t X t y puesto que Σ es definida positiva, utilizando el teorema de la función continua ( X t X t p Σ (2 y por tanto, utilizando ( y (2 ( β β d N(0, Σ ( σ 2 Ψ Σ Estimación de la varianza límite del estimador MCO (Matriz de varianzas de White Se puede demostrar que, bajo condiciones muy generales, la matriz S = e 2 t X t X t p σ 2 Ψ donde e t son los residuos MCO y por tanto, ( ( X X (X e 2 t X t X t X p Σ ( σ 2 Ψ Σ 4

5 Así que, cuando los errores son heterocedásticos, la matriz V ar W ( βmco = ( ( X X (X e 2 t X t X X t = (X X ( e 2 t X t X t (X X, es un estimador apropiado de la matriz de varianzas de β MCO que se denomina estimador de White de la matriz de varianzas de β MCO. V ar W ( βmco también se denomina matriz de varianzas estimada de β MCO robusta a heterocedasticidad ya que es un estimador apropiado de la matriz de varianzas de β MCO tanto cuando los errores son heterocedásticos como cuando son homocedásticos. Los errores estándar basados en esta matriz se denominan errores estándar robustos a heterocedasticidad. Como veremos a continuación, la matriz de varianzas estimada de β MCO robusta a heterocedasticidad permite realizar inferencia utilizando el estimador MCO sin necesidad de especificar el tipo de heterocedasticidad. El estimador MCO no es asintóticamente eficiente Si no se verifica el supuesto (b, el estimador MCO no es asintóticamente eficiente. 2.3 Contraste de hipótesis Contrastes de q restricciones lineales: H 0 : Rβ = r H : Rβ r siendo R una matriz q k y r un vector q. Supondremos que las observaciones son iid y que se cumplen los supuestos (a y (c Hemos demostrado que bajo estos supuestos ( β β N(0, N(0, Σ ( σ 2 Ψ Σ Multiplicando por la izquierda por R (R β Rβ N(0, RΣ (σ 2 ΨΣ R Bajo H 0 (R β r N(0, RΣ (σ 2 ΨΣ R ( Por otra parte tenemos que ( ( X X (X e 2 t X t X t X = V ar W ( βmco p Σ (σ 2 ΨΣ 5

6 Multiplicando por la izquierda por R y por la derecha por R RV ar W ( βmco R p RΣ (σ 2 ΨΣ R (2 Utilizando (, (2 y el ejemplo 5 de convergencia en distribución (ema, el estadístico de contraste es W = (R β r ( RV ar W ( βmco R (R β r = (R β r (R V ar W ( βmco R (R β r χ 2 q Bajo H 0 y rechazaremos H 0 a nivel α si W > χ 2 q,α. Nótese que el estadístico de contraste es similar al que obtuvimos en el ema. La diferencia es que ahora la matriz de varianzas estimada del estimador MCO es la matriz de varianza de White, mientras que en el ema la varianza estimada del estimador MCO era σ 2 (X X Contrastes de una restricción lineal: (a H 0 : Rβ = r (b H 0 : Rβ = r (c H 0 : Rβ = r H : Rβ r H : Rβ > r H : Rβ < r Ahora R es un vector fila k y r es un escalar. En este caso, para el contraste (a podemos utilizar el estadístico W que acabamos de ver. Sin embargo, para los contrastes (b y (c no podemos utilizar dicho estadístico. Para los contrastes (b y (c (y también para el (a utilizando (, (2 y el ejemplo 6 de convergencia en distribución (ema podemos construir el estadístico: t = (R β r RV ar = W ( βr (R β r RV ar N(0, Bajo H 0 W ( βr En este caso rechazaremos H 0 a nivel α si En particular para contrastar (a : t > z α/2 (b : t > z α (c : t < z α. (a H 0 : β j = β 0 j (b H 0 : β j = β 0 j (c H 0 : β j = β 0 j H : β j β 0 j H : β j > β 0 j H : β j < β 0 j 6

7 todos los elementos del vector R son cero salvo el elemento j que es uno. Por tanto, RV ar W ( βr = V ar W ( β j y RV ar W ( βr = SE W ( β j. El estadístico de contraste es β j βj 0 t = SE W ( β j N(0, Bajo H 0 Nota Los estadísticos de contraste W y t que hemos obtenido en esta sección se denominan estadísticos robustos a heterocedasticidad ya que pueden utilizarse tanto cuando los errores son heterocedásticos como cuando son homocedásticos. 3 Contrastes de heterocedasticidad Bibliografía: Alonso et al., 9.4;Greene, ; Wooldridge, Contraste de Breusch-Pagan. La versión original del contraste Breusch-Pagan asumía que los errores u t seguían una distribución normal. Posteriormente se desarrolló una versión de este contraste que no requiere normalidad. Debido a su mayor aplicabilidad, la que se expone a continuación es la versión más reciente. La hipótesis nula del contraste de Breusch-Pagan es que los errores son homocedásticos, es decir H 0 : V ar(u t X t = E(u 2 t X t = σ 2 Por tanto, si la hipótesis nula no es cierta, E (u 2 t X t no será constante, sino que será función de al menos una de las variables explicativas del modelo. H : V ar(u t X t = E(u 2 t X t = g (Z t = σ 2 t donde Z t = (Z t,..., Z pt son algunas (o todas las variables explicativas del vector X t y/o funciones conocidas de ellas. Por tanto, una forma de comprobar si la media de u 2 t depende de ese subconjunto Z t = (Z t,..., Z pt de las variables explicativas es mediante la regresión u 2 t = δ 0 + δ Z t δ p Z pt + v t, donde v t es un término de error que suponemos tiene esperanza cero dadas Z t,...,z pt. La hipótesis nula de homocedasticidad es H 0 : δ =... = δ p = 0, 7

8 Si bien los errores u t, t =, 2,.., no son observables, podemos utilizar los residuos MCO e t, t =, 2,.., como estimaciones de los errores. Así, podemos estimar la ecuación e 2 t = δ 0 + δ Z t δ p Z pt + error t y contrastar la significatividad conjunta de Z,..., Z p. El contraste de significatividad conjunta puede realizarse con el estadístico de Wald, pero más generalmente se opta por el estadístico de contraste llamado Multiplicador de Lagrange, cuyo fundamento puede verse por ejemplo en Wooldridge (2006, C. 5. Los pasos para realizar el contraste Breusch-Pagan de heterocedasticidad son: ( Se estima por MCO Y t = X tβ + u t y se calculan los residuos (e t. (2 A continuación se estima por MCO la ecuación e 2 t = δ 0 + δ Z t δ p Z pt + error t. (3 El estadístico de contraste (Multiplicador de Lagrange y su distribución bajo H 0 son R 2 χ 2 p siendo R 2 el coeficiente de determinación de la regresión del paso (2 y p el número variables explicativas (excluyendo la constante en la regresión del paso ( Contraste de White. Este contraste es un caso particular del contraste de Breusch-Pagan, para contrastar homocedasticidad frente a una forma genérica de heterocedasticidad H 0 : V ar(u t X t = E(u 2 t X t = σ 2 H : V ar(u t X t = E(u 2 t X t = σ 2 ω (X t donde ω (X t es una función general no especificada. En el contexto de un modelo de regresión lineal, White probó que si u 2 t no está correlacionado con ninguna de las variables independientes del modelo (X jt, ni con sus cuadrados (Xjt, 2 ni con todos los productos cruzados (X jt X ht, j h, entonces no hay necesidad de utilizar una matriz de covarianzas robusta a heterocedasticidad en la estimación MCO. Pasos para realizar el contraste de White. ( Se estima Y t = X tβ + u t por MCO y se calculan los residuos e t. (2 Se estima por MCO la regresión de e 2 t sobre una constante, sobre los regresores del modelo original, sobre los cuadrados de estos regresores y sobre los productos cruzados de los mismos. 8

9 (3 El estadístico de contraste es R 2, donde R 2 es el coeficiente de determinación de la regresión del paso (2. Bajo H 0, R 2 χ 2 p, donde p es el número total de regresores (sin incluir la constante de la regresión del paso (2. Intuitivamente, lo que se hace es analizar si existe una heterocedasticidad del tipo ω(x t = α 0 + k k j= m=j α jmx jt X mt, puesto que la función desconocida ω (X t siempre se puede aproximar de esta forma (es una aproximación de aylor de segundo orden. Notas:. Aunque el modelo original no tenga constante, la regresión auxiliar del paso 2 siempre debe incluir una constante. 2. Se deben eliminar los elementos redundantes en la regresión auxiliar del paso 2. Poner dos ejemplos sencillos de cómo quedaría la regresión del paso 2: en un modelo con tres variables explicativas (incluida la constante, y en el modelo Y t = β + β 2 X 2t + β 3 X 2 2t + u t. 4 Estimación por Mínimos Cuadrados Generalizados Bibliografía: Alonso et al., 9.5; Greene, 2.4; Wooldridge, Heterocedasticidad conocida salvo por una constante multiplicativa. El estimador de Mínimos Cuadrados Generalizados (MCG En esta sección consideraremos el caso en el que la heterocedasticidad es conocida, es decir el caso en el que ω(x t es una función conocida del vector X t, siendo V ar(u t X t = σ 2 ω(x t. Vamos a ver que bajo este supuesto podemos transformar el modelo de forma que el modelo transformado verifique todos los supuestos básicos, y por tanto, el estimador MCO del modelo trasformado será el estimador lineal e insesgado de mínima varianza. La transformación consiste en dividir todas las variables del modelo por ω(x t. El modelo transformado es Y t ω(xt = ( ω(xt X t u t β + ω(xt = β ω(xt + β X 2t 2 ω(xt β X kt k ω(xt + u t ω(xt, t =, 2,..., 9

10 Si denotamos Yt Y = t, X ω(xt t = t y u t ω(xt t = u t ω(xt modelo transformado como Y t = X t β + u t podemos escribir el Vamos a ver ahora que efectivamente el modelo trasformado verifica todos los supuestos básicos {(Yt, Xt } son vectores aleatorios independientes e idénticamente distribuidos ya que (Yt, Xt es función de (Y t, X t y {(Y t, X t } son vectores aleatorios independientes e idénticamente distribuidos. Se verifica el supuesto (a ( E(u u t t X t = E ω(xt X t = ω(xt E (u t X t = 0 Se verifica el supuesto (b ( V ar(u u t t X t = V ar ω(xt X t = ω(x t V ar (u t X t = ω(x t σ2 ω(x t = σ 2 Se verifica el supuesto (c ya si E(X t X t tiene rango máximo entonces E(X t X t también tiene rango máximo Se define el estimador de Mínimos Cuadrados Generalizados (MCG como el estimador MCO del modelo transformado, es decir ( ( β MCG = X t Xt X t Yt Xt X t Xt Y t = ω(x t ω(x t y su matriz de varianzas es ( V ar βmcg X = σ 2 ( ( Xt Xt = σ 2 Xt X t ω(x t ambién lo podemos escribir utilizando la notación simplificada como ( ( β MCG = X t Xt X t Yt Xt X t Xt Y t = ω t ω t ( Xt X t Xt Y t = ( V ar βmcg X = σ 2 ( ( Xt Xt = σ 2 Xt X t ω t ( Xt X t = σ 2 t σ 2 t σ 2 t 0

11 Puesto que el modelo transformado verifica todos los supuestos básicos, el estimador MCG, que es el estimador MCO del modelo transformado, es el estimador lineal e insesgado de mínima varianza de β. Por la misma razón, el estimador MCG es consistente y asintóticamente normal. Para contrastar restricciones lineales utilizando el estimador MCG, podemos utilizar los contrastes asintóticos que vimos en el ema. Además, si los errores son normales podemos utilizar los contrastes exactos bajo normalidad que vimos en Econometría I. Notas: Obsérvese que se están ponderando las observaciones a la hora de construir el estimador: Las observaciones con menor varianza tienen ahora un peso mayor que las observaciones con una varianza mayor. El estimador MCG también se denomina estimador de mínimos cuadrados ponderados. El supuesto de que la heterocedasticidad es conocida es conveniente ya que nos permite corregirla mediante la trasformación que acabamos de ver, de forma que podemos trabajar con modelo transformado que verifica todos los supuestos básicos. El problema es que este supuesto es poco realista en la mayoría de las aplicaciones. Poner algunos ejemplos y explicar al menos uno de ellos con detalle: V ar(u t X t = σ 2 X jt ; o bien V ar(u t X t = σ 2 X 2 jt; etc. 4.2 Heterocedasticidad dependiente de un conjunto de parámetros desconocidos. El estimador de Mínimos Cuadrados Generalizados Factible (MCGF Bibliografía: Alonso et al., 9.6; Greene, 2.5; Wooldridge, 8.4 En esta sección vamos a considerar el caso en el que la heterocedasticidad no es completamente conocida, sino que ω es una función conocida de un número pequeño de parámetros desconocidos. Es decir supondremos que V ar(u t X t = E(u 2 t X t = g(x t, δ = σ 2 ω(x t, α, siendo ω una función conocida y α un vector de parámetros desconocidos. Veremos como podemos en ese caso estimar los parámetros desconocidos de ω(x t, α y utilizaremos los parámetros estimados para calcular una estimación de ω(x t, α que utilizaremos para trasformar el modelo de forma análoga al caso en el que ω(x t era completamente conocida. Para estimar α utilizaremos una regresión auxiliar basada en los residuos MCO del modelo original. La regresión auxiliar depende del supuesto que hagamos sobre la función ω(x t, α como ilustran los siguientes ejemplos.

12 Ejemplo : σ 2 t = E(u 2 t X t = σ 2 X α jt donde X jt es uno de los regresores del modelo. Se estima por MCO la regresión auxiliar ln (e 2 t = ln (σ 2 + α ln X jt + v t, lo que permite obtener un estimador del escalar α, y a partir de ahí se obtiene ω t = X α jt. Ejemplo 2: σ 2 t = E(u 2 t X t = α Z t donde Z t es un subconjunto de los regresores del modelo que incluye la constante. Se estima por MCO la regresión auxiliar e 2 t = α Z t + v t, lo que permite obtener un estimador del vector α, y a partir de ahí se obtiene σ 2 t = ( α Z t Ejemplo 3: σt 2 = E(u 2 t X t = (α Z t 2 donde Z t es un subconjunto de los regresores del modelo que incluye la constante. Se estima por MCO la regresión auxiliar e t = α Z t + v t, lo que permite obtener un estimador del vector α, y a partir de ahí se obtiene σ t 2 = ( α Z t 2 Ejemplo 4: σ 2 t = E(u 2 t X t = exp (α Z t donde Z t es un subconjunto de los regresores del modelo que incluye la constante. Se estima por MCO la regresión auxiliar ln (e 2 t = α Z t + v t, lo que permite obtener un estimador del vector α, y a partir de ahí se obtiene σ 2 t = exp ( α Z t Una vez que hemos calculado ω t (o σ t 2 utilizaremos estas estimaciones para transformar el modelo análogamente al caso en el que la heterocedasticidad era completamente conocida es decir dividiremos todas las variables del modelo por ω t (o bien por σ t 2. El estimador MCO del modelo transformado se denomina en este caso estimador de Mínimos Cuadrados Generalizados Factible (MCGF y su expresión es [ ] Xt X β [ ] [ t Xt Y t ] Xt X [ ] t Xt Y t MCGF = =. ω t ω t Bajo estos supuestos, el estimador MCGF tiene las mismas propiedades asintóticas que el MCG. Sin embargo, sus propiedades en muestras finitas son en general desconocidas. Para contrastar restricciones lineales utilizando el estimador MCGF, podemos utilizar los contrastes asintóticos que vimos en el ema. Nótese que aunque los errores sean normales los contrastes exactos bajo normalidad que vimos en econometría I no son válidos. σ 2 t σ 2 t 2