TEMA 2: Propiedades de los estimadores MCO

Transcripción

1 TEMA 2: Propiedades de los estimadores MCO Econometría I M. Angeles Carnero Departamento de Fundamentos del Análisis Económico Curso Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

2 Propiedades estadísticas de ˆβ 1 Es un estimador lineal. ˆβ es una función lineal de Y al ser X una matriz de constantes (dado el Supuesto 1): ˆβ = (X 0 X) 1 X 0 Y = WY 2 Bajo las hipótesis básicas 1 a 4, ˆβ es un estimador insesgado de β, es decir, E ˆβ = β ya que y por tanto bβ = (X 0 X) 1 X 0 Y = β + (X 0 X) 1 X 0 u h i E b β = β + (X 0 X) 1 X 0 E [u] = β puesto que E[u]=0 Nótese que el estimador MCO es insesgado con independencia de que se verifique o no el supuesto 5. 3 Bajo las hipótesis básicas del MRL, Var ˆβ = σ 2 (X 0 X) 1 ya que: Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

3 h i Var b β hb h h h ii 0 hb h i 0 = E β E b βii b β E b β = E β βi b β β h i h i 0 = E (X 0 X) 1 X 0 u (X 0 X) 1 X 0 u = = (X 0 X) 1 X 0 E(uu 0 )X(X 0 X) 1 = = σ 2 X 0 X 1 Ya que E(uu 0 )=σ 2 I T Teorema de Gauss-Markov: Bajo las hipótesis básicas del MRL, el estimador MCO de β es óptimo entre la familia de estimadores lineales e insesgados. Es decir, no es posible encontrar otro estimador de β que siendo lineal e insesgado tenga una varianza menor que el estimador MCO. Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

4 Estimación de σ 2 y propiedades estadísticas de ˆσ 2 1. El vector de residuos MCO es e = Y Ŷ = Y X ˆβ. Puede interpretarse como la estimación del vector de errores u. 2. El vector de residuos MCO es una transformación lineal de u: e = h Y X ˆβ = Y X (X 0 X) 1 X 0 Y = I X (X 0 X) 1 X 0i Y = MY = Mu h puesto que M es una matriz M = I X (X 0 X) 1 X 0i que cumple las siguientes propiedades: 1 M es una matriz h singular: jmj = det(m) = 0 puesto que Rg (M) = Tr (M) = Tr I T X (X 0 X) 1 X 0i h = Tr (I T ) Tr X (X 0 X) 1 X 0i = h i Tr (I T ) Tr (X 0 X) 1 X 0 X = Tr (I T ) Tr (I k ) = T k < T 2 M es una matriz simétrica: M = M 0 3 M es una matriz idempotente: M = M M 4 M es ortogonal h a X: MX = I X (X 0 X) 1 X 0i X = X X (X 0 X) 1 X 0 X = X X = 0 Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

5 3. E (e) = 0 puesto que 4. Var (e) = σ 2 M puesto que E[e] = E[Mu] = ME[u] = 0 ya que E[u]=0 Var (e) = Var(Mu) = MVar(u)M 0 = Mσ 2 IM 0 = σ 2 MM 0 = σ 2 M 5. Estimador de σ 2 : La varianza de los errores, σ 2, es un valor poblacional junto a β. Es necesario estimarlo para contrastar hipótesis acerca de β o establecer intervalos de confianza. Intuición: σ 2 = E(u 2 t ) ) σ 2 = 1 T T u 2 t t=1 ˇσ 2 = 1 T T e 2 t = 1 T e0 e t=1 + (para que sea insesgado) ˆσ 2 = 1 T K T t=1 e2 t = 1 T K e0 e Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

6 6. ˆσ 2 = 1 T T e 2 t = e0 e T k (T k son los grados de libertad) es un k t=1 estimador insesgado de σ 2 puesto que E ˆσ 2 e = 0 e E T k 7. Otra expresión de e 0 e : = 1 T k E e0 e = σ2 (T k) = σ 2 T k e 0 e = Y X ˆβ 0 Y X ˆβ = Y 0 Y ˆβ 0 X 0 Y Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

7 Matriz de varianzas estimada de ˆβ y errores estándar Hemos visto que bajo las hipótesis 1 a 5 h i Var b β = σ 2 X 0 X 1 esta matriz es desconocida ya que σ 2 es desconocido. Para saber la fiabilidad de bβ y poder hacer inferencia es importante disponer de un estimador de su varianza. Se define la matriz de varianzas estimada de bβ como \ h i Var b β = bσ 2 X 0 X 1 En el tema 3 veremos cómo contrastar hipótesis sobre el vector de parámetros β utilizando bβ y Var \ h i b β. Nótese que si no se verifica la h i hipótesis 5, Var b β 6= σ 2 (X 0 X) 1 y por tanto bσ 2 (X 0 X) 1 no sería un estimador apropiado de la varianza de bβ. Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

8 Se definen los errores estándar como las raices cuadradas de los elementos de la diagonal principal de la matriz Var \ h i b β. Es decir SE(bβ j ) = q bσ 2 (X 0 X) 1 jj j = 1,.., k donde bβ j es el elemento j del vector bβ y (X 0 X) 1 jj es el elemento (j, j) de la matrix (X 0 X) 1. SE(bβ j ) es un estimador de la desviación típica de bβ j. Nota: Si cambiamos las unidades de medida de alguna o algunas de las variables explicativas y/o de la variable dependiente cada uno de los errores estándar variará en la misma proporción que el valor estimado del parámetro correspondiente. Por ejemplo: \ Var h b β 2 SE b β 2 bβ 2 = cbβ 2 i = c 2 \ h i Var b β 2 + = cse b β 2 Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

9 Distribución de formas cuadráticas asociadas a la distribución normal Propiedad de la distribución normal multivariante Si X es un vector n 1, X N [µ, Σ], A es una matriz r n (r n) no aleatoria y b es un vector r 1 no aleatorio, entonces: (i) AX + b N [Aµ + b, AΣA 0 ] (ii) En particular Σ 1/2 (X µ) N [0, I n ] Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

10 Definición 1: Chi-cuadrado con 1 grado de libertad Si Z N(0, 1), entonces Z 2 χ 2 1. Nota: E Z 2 = 1, Var Z 2 = 2 Definición 2: Chi-cuadrado con n grados de libertad Si Z 1, Z 2,..., Z n son n variables aleatorias independientes e idénticamente distribuidas (iid) como N [0, 1], entonces n i=1 Z 2 i χ 2 n. Definición 3: t de Student con n grados de libertad Si Z y X son variables aleatorias independientes, Z N [0, 1] y X χ 2 n, entonces Z q t n X n Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

11 Definición 4: F de Snedecor con n y m grados de libertad Si X 1 y X 2 son variables aleatorias independientes X 1 χ 2 n y X 2 χ 2 m entonces X 1 n X 2 m F n,m Teorema 1: Suma de chi-cuadrados Sean X 1 y X 2 dos variables aleatorias independientes con distribución X 1 χ 2 n 1 y X 2 χ 2 n 2, entonces X 1 + X 2 χ 2 n 1 +n 2 Teorema 2: Si Z 1, Z 2,..., Z n son n variables aleatorias independientes e idénticamente distribuidas (iid) como N 0, σ 2, entonces 2 Zi σ χ 2 n. n i=1 Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

12 Teorema 3: Distribución de formas cuadráticas de matrices idempotentes en vectores normales estandarizados. Sea X N(0, I n ) de dimensión (n 1), A una matriz simétrica e idempotente de dimensión (n n), entonces X 0 AX χ 2 J donde J=rg(A) = tr(a) Teorema 4: Independencia de dos formas cuadráticas con matrices idempotentes en un mismo vector normal estandarizado. Sea X N(0, I n ) y A y B dos matrices idempotentes de dimensión (n n) tales que AB = 0, entonces las dos formas cuadráticas X 0 AX y X 0 BX son independientes. Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

13 EJEMPLO: Sea X N(0, I n ) y A y B dos matrices n n idempotentes de rango n A y n B, respectivamente. Utilizando el Teorema 3 X 0 AX χ 2 n A X 0 BX χ 2 n B Si AB = 0, utilizando el Teorema 4, X 0 AX y X 0 BX son independientes y por tanto (X 0 AX) /n A (X 0 BX) /n B F na,n B Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

14 Teorema 5: Independencia de una forma lineal y una forma cuadrática idempotente de un vector normal estandarizado. Sea X N(0, I n ) y sea L una matriz r n y A una matriz n n idempotente tales que LA = 0, entonces la función lineal LX y la forma cuadrática X 0 AX son independientes. EJEMPLO: Sea X N(0, I n ), A una matriz n n idempotente de rango n A y L un vector n 1 tal que L 0 L = 1. Como X N(0, I n ) ) L 0 X N(0, L 0 L) = N(0, 1) y X 0 AX χ 2 n A. Si L 0 A = 0, utilizando el Teorema 5, L 0 X y X 0 AX son independientes y por tanto L 0 X p (X 0 AX) /n A t na Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

15 Teorema 6: Distribución de formas cuadráticas de matrices de rango completo en vectores normales. Sea X un vector n 1, X N [µ, Σ], entonces: (i) Σ 1/2 (X µ) N [0, I n ] (ii) (X µ) 0 Σ 1 (X µ) χ 2 n Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

16 Propiedades de los estimadores MCO con errores normales Con la hipótesis adicional de normalidad de los errores, se puede calcular la distribución exacta de ˆβ y bσ 2. Nótese que la media y la varianza de ˆβ se obtuvieron previamente sin necesidad de imponer esta hipótesis aunque obviamente la distribución, sin hacer este supuesto, es desconocida. Si u N(0, σ 2 I T ) y dado que bβ = β + (X 0 X) 1 X 0 u, entonces bβ N( β, σ 2 (X 0 X) 1 ) k1 k1 kk Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

17 La distribución marginal de cada elemento del vector bβ es también normal: bβ i N(β i, σ 2 (X 0 X) 1 ii ) para i = 1,..., k donde bβ i es el elemento (i, 1) del vector bβ, β i es el elemento (i, 1) del vector β y (X 0 X) 1 ii es el elemento (i, i) de la matriz (X 0 X) 1. Del mismo modo se puede comprobar que bajo la hipótesis adicional de normalidad se tiene que: Y = Xβ + u N(Xβ, σ 2 I T ) Ŷ = Xbβ N(Xβ, σ 2 X(X 0 X) 1 X 0 ) Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

18 Distribución de bσ 2 bajo el supuesto de normalidad de los errores u Si u N(0, σ 2 I T ), entonces bσ2 (T k) σ 2 χ 2 (T k) Demostración: Dado que bσ 2 = e0 e (T k), queremos demostrar que e0 e χ 2 σ 2 (T k). Sabemos que e 0 e σ 2 = u0 Mu u 0 u u σ 2 = M y N(0, I T ). σ σ σ y M es una matriz idempotente de rango T k, entonces por el e Teorema 3, 0 e χ 2 σ 2 (T k) Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19

19 Independencia de ˆβ y bσ 2 bajo el supuesto de normalidad de los errores u Si u N(0, σ 2 I T ), entonces ˆβ y bσ 2 son independientes entre sí. Demostración: Nótese que: ( ˆβ β) σ = (X 0 X) 1 X 0 u σ!forma lineal en u σ bσ 2 (T k) = u 0 σ 2 σ M u σ!forma cuadrática de M y en Entonces, bσ 2 y ˆβ independientes() bσ2 (T k) y ( ˆβ β) σ 2 σ independientes ( Teorema 5 (X0 X) 1 X 0 M = 0 u σ Econometría I (UA) Tema 2: Pdades de los estimadores MCO Curso / 19