Econometria. 4. Modelo de Regresión Lineal Simple: Inferencia. Prof. Ma. Isabel Santana

Transcripción

1 Econometria 4. Modelo de Regresión Lineal Simple: Inferencia Prof. Ma. Isabel Santana

2 MRLS: Inferencia Hasta ahora nos hemos ocupado solamente de la estimación de los parámetros del modelo de regresión lineal simple. Pero los estimadores MICO son variables aleatorias, que cambiarán según la muestra. Nuestro objetivo no es solamente estimar la FRM, sino poder hacer inferencia respecto de la FRP. Para poder hacer inferencia sobre los estimadores, es necesario conocer sus distribuciones de probabilidad, algo que no hemos estudiado hasta ahora.

3 MRLS: Inferencia La inferencia estadística nos sirve para saber: Que tan cerca están los β estimados de los parámetros poblacionales. Que tan cerca está Yˆ i del verdaderoe ( Y / X)

4 MRLS: Inferencia Distribución de probabilidad de µ i ˆβ = k i Yi k i i = xi x ˆ ( β + β ) k i 1 X i + µ β = i Dado que las X son fijas, ˆβ es una función lineal de Y i. A su vez, k i, las betas y las X i son fijas, por lo que ˆβ es una función lineal de µ i. La distribución de probabilidad de ˆβ dependerá de la suposición que se hizo de la distribución de probabilidad de µ i.

5 MLRS: Inferencia Supuestos de Normalidad Para obtener los estimadores de β 1 y β que sean MELI, no hicimos ningún supuesto sobre la distribución de probabilidades de u. Ahora, para tener intervalos de confianza para los parámetros y probar cualquier hipótesis requerimos el supuesto: Media Varianza Covarianza E ( µ i ) = 0 E [ µ E( µ )] = E( µ ) = σ i i {[ µ E( µ )] µ E( µ ) i i i [ ]} = E( µ ) = 0 E µ ( 0 ) µ ~ N σ i, j j i j

6 Razones para suponer distribución normal 1. El argumento más común es que como u es la suma de muchos factores distintos no observados que influyen en Y, por el teorema del limite central, llegamos a la conclusión de que u tiene una distribución normal.. Una variante del teorema del límite central, establece que aunque el número de variables no sea muy grande o no sea estrictamente independiente, su suma puede ser aún normal. 3. La distribución de probabilidad de los estimadores MICO puede derivarse fácilmente. 4. La distribución normal es una distribución sencilla, con tan sólo dos parámetros: media y varianza. 5. Podemos hacer pruebas de hipótesis (t, F, X ) sobre los verdaderos parámetros

7 Críticas al Supuesto 1. Los factores que afecta u pueden tener distribuciones poblacionales muy distintas. Aunque puede sostenerse el teorema central del límite, los resultados van a depender de cuantos factores afecten a u y que tan diferentes sean sus distribuciones.. Supone además que todos los factores afectan a u en forma lineal y aditiva 3. La normalidad es un problema empírico (no teórico). Por ejemplo, como el salario siempre es mayor que cero, estrictamente hablando no tiene una distribución normal; además hay leyes de salario mínimo que hacen que una parte de la población gane exactamente el mínimo. Una solución es transformar la variable, por ejemplo utilizando logaritmos [log(salario)], lo cual puede generar una distribución que se acerque más a la normal

8 Propiedades de los estimadores MCO bajo Normalidad 1. Son insesgados. Tienen varianza mínima. Combinado con (1), son estimadores con varianza mínima, o eficientes. 3. Son consistentes. A medida que el tamaño de la muestra aumenta indefinidamente, los estimadores convergen hacia sus verdaderos valores poblacionales.

9 Propiedades de los estimadores MCO bajo Normalidad 4. 1 ˆβ y ˆβ (al ser función lineal de µ i ) están normalmente distribuidos con: Media: Varianza: Distribución normal estandarizada: Donde σ β ˆ1 E 1 ( ˆ β 1) = β1 = n ˆ β ~ N 1 σ ˆ β Z ~ N 1 ˆβ X 1 X i i ˆ β β1 Z = ( 0,1) σ ( β1, ˆ ) σ β 1 σ β E ˆ ˆβ ˆ β ~ N ( ˆ β ) = β σ = X i ( β, ˆ ) ˆ β β Z = σ ˆ β σ β

10 Propiedades de los estimadores MCO bajo Normalidad 5. n ˆ σ / σ está distribuida como la distribución (ji-cuadrada), con (n-) grados de libertad. ( )( ) ( ) 6. ˆ β1, ˆ β se distribuyen de manera independiente con respecto a. σˆ 7. 1 ˆβ y ˆβ tienen varianza mínima entre todas las clases de estimadores insesgados, lineales o no lineales. E 1 β Y i =β + X Si se supone ( ) i var( ) = σ Podemos decir Y i ( β β X ) Y ~ N + σ i 1 i,

11 Intervalos de confianza La estimación de un intervalo de confianza consiste en construir un intervalo alrededor del estimador puntual (ej. Dentro de dos o tres errores estándar a cada lado del estimador puntual), tal que el intervalo tenga un 95% de probabilidad de incluir el verdadero valor del parámetro. Ej. Suponga que deseamos encontrar que tan cerca está ˆβ de β. Con este fin se trata de encontrar dos números positivos, δ y α (este último entre 0 y 1), tal que la probabilidad de que el intervalo aleatorio ( ˆβ - δ, ˆβ + δ) contenga el verdadero β sea ˆ 1 α. Intervalo de confianza Coeficiente de confianza Nivel de Significancia Limite de confianza inferior Limite de confianza superior ( ˆ β δ β ˆ β + δ) = 1 α Pr 1 α α ˆ β δ ˆ β +δ

12 Intervalos de confianza Antes es preciso recordar que: El intervalo no dice la probabilidad de que β esté en el intervalo con una probabilidad de (1-α); sino que la probabilidad de construir un intervalo que contenga β es de (1-α). El intervalo es aleatorio; va a depender de la muestra, ya que β es aleatorio. Si se construyen intervalos de confianza, en promedio tales intervalos contendrán, en (1-α) de los casos, el valor verdadero del parámetro. Una vez obtenido un valor numérico específico de β (en base a una muestra específica), no puedo decir que el intervalo contiene al verdadero parámetro con probabilidad (1-α), sino que la probabilidad es 1ó 0. ˆ ˆ ˆ

13 Intervalos de confianza β 1 y β Se puede utilizar la distribución normal para hacer afirmaciones probabilísticas sobre β 1 y β siempre que se conozca la varianza poblacional Sin embargo, no se conoce, y en la práctica se estima con σˆ. En lugar de utilizar la distribución normal se usa la distribución t. Z = ( ˆ β β ) σ ( ˆ β β) x i t = ˆ σ σ x i Con n- g de l El intervalo de confianza se construye entonces con: Para β Para β 1 ( t t ) = 1 α Pr α / tα / ˆ β β Pr tα / tα / = α ( β ) 1 ˆ ee Pr ˆ β ( ˆ β ) β ˆ β + ( ˆ t / ee t / eeβ) = 1 ( α α ) α ( ˆ β t ee( ˆ β ) β ˆ β + t ( ˆ β ) = 1 α Pr 1 α / α / ee 1 Intervalos de confianza Para β 1 y β al 100(1-α)%: ˆ β eeβˆ α 1 ±t / ( 1) ± t ( ) ˆ β eeβˆ α / t α /,o valor crítico t, es el valor de la variable t obtenida de la distribución t para un nivel de significancia de α/ y n g de l. Entre más grande el error estándar, más amplio el intervalo de confianza, y mayor la incertidumbre de estimar el verdadero valor del parámetro.

14 Prueba de Hipótesis Se utiliza para mostrar si una observación dada es compatible o no con alguna hipótesis planteada, es decir, si la observación está lo suficientemente cerca al valor hipotético de manera que no se rechaza la hipótesis planteada. Hipótesis Planteada: hipótesis nula (H 0 ). Hipótesis contra la cual se prueba la hipótesis nula: Hipótesis alternativa (H 1 ). métodos para decidir si se rechaza o no la hipótesis nula: 1. Intervalo de confianza. Prueba de significancia

15 1. Intervalo de confianza Ej. de modelo de consumo. Supongamos que se postula: H 0 : β =0.3 H 1 : β 0.3 Hipótesis nula: La PMC=0.3 Hipótesis alterna: La PMC es menor o mayor a 0.3 H 0 es una hipótesis simple y H 1 compleja, dado que puede ser mayor o menor al valor de H 0. Se conoce también como hipótesis de dos colas. Para probar si es compatible con H 0 se utiliza la estimación de intervalos. Regla de decisión: Constrúyase un intervalo de confianza para β al 100(1 α)%. Si β bajo H 0 se encuentra dentro de este intervalo de confianza, no se rechace H 0, pero si está por fuera del intervalo, rechace H 0.

16 1. Intervalo de confianza En el ej. de consumo-ingreso estimamos que el intervalo de confianza para β era de (0.468,0.5914). Siguiendo la regla planteada, es claro que H 0 : β =0.3 está fuera del intervalo de confianza al 95%. Se rechaza la hipótesis nula de que la verdadera PMC sea 0.3 con 95% de confianza. Cuando se rechaza H 0, se dice que el hallazgo es estadísticamente significativo. Cuando no se rechaza H 0, el hallazgo no es estadísticamente significativo.

17 . Prueba de Significancia El procedimiento se basa en utilizar un estadístico de prueba (estimador) y su distribución muestral bajo la hipótesis nula. Bajo el supuesto de normalidad: ( β β ) ˆ x i t= Con n- g de l ˆ σ * ( ˆ ˆ * ˆ * Pr β t α / eeβ β β + tα / eeβ ) = 1 α; β = Valor de β bajo H 0. * β ±t ee α βˆ Bajo la hipótesis nula: ( ) ( ) Región de aceptación de H 0 : ( ) Región de rechazo: Región por fuera del intervalo de aceptación de H 0. / Bajo H 0 : ( ˆ β β) ~ t n- ˆ ˆ σ β Rechazamos H 0 : t > t c Rechazo H 0 si t < -t c t > t c Rechazo H 0 : ˆ * β β ˆ tα / eeβ No rechazo H 0 < ( ( ) ˆ * β > β + ( t ( ˆ β ) Rechazo H 0 : α / ee Como t= ( ˆ β β), Rechazo H 0 si ( ˆ β β) ˆ σ ˆ β ˆ σ ˆ β >t c

18 . Prueba de Significancia Test de una cola H H β = * 0 : β β > : β * 1

19 . Prueba de Significancia Test de dos colas H * 0 : β = β : β β 1 H * Rechazo H0 si t > tc

20 . Prueba de Significancia Reglas de decisión Tipo de Hipótesis Dos colas Cola derecha Cola izquierda H 0 : Hipótesis nula * β = β * β β β * β H 1 : Hipótesis alterna * β β β > * β β < * β Regla de decisión: rechazar H 0 si t > tα /, g. de. l t > tα, g. de. l t < t α, g. de. l Notas: -Es el valor numérico de β hipotético. - t significa valor absoluto de t. -t α o t α/ significa el valor crítico de t al nivel de significancia α o α/. -g de l: grados de libertad, (n ) para el modelo de dos variables, (n 3) para el modelo de 3 variables, y así sucesivamente. -Para probar hipótesis sobre β 1 se sigue un procedimiento similar.

21 Aceptar o Rechazar la H 0 Al momento de emitirse un dictamen sobre la hipótesis nula, este debe de emitirse como Rechazar H 0 o No Rechazar H 0. No se puede aceptar una hipótesis nula, puesto que no conocemos el verdadero valor, sino que hacemos una inferencia del mismo. Las hipótesis nulas aceptadas pueden ser muchas dependiendo de cuáles hipótesis esté planteando.

22 Hipótesis nula o cero y regla práctica -t La hipótesis nula H 0 :β =0 es usada frecuentemente en el trabajo empírico, e implica que el coeficiente de la pendiente es cero. Esta H 0 es un mecanismo para establecer si Y tiene relación con la variable X. Estas pruebas pueden abreviarse adoptando la regla de significancia -t : Regla práctica -t : Si el número de grados de libertad es 0 y si α, el nivel de significancia, se fija en 0.05, entonces la hipótesis nula β=0 puede ser rechazada si el valor ( ˆ β β) calculado excede a en valor t= absoluto. ˆ σ ˆ β

23 Error tipo I y tipo II Rechazo H 0 No Rechazo H 0 H 0 es cierto Error tipo I H 0 es falso Error tipo II Si ˆβ cae en alguna de las colas de la distribución (Rechazo H 0 ), puede ser por dos razones. La hipótesis nula es cierta, pero se ha elegido una muestra equivocada La hipótesis nula es efectivamente falsa La probabilidad de cometer un error de tipo I está dada por α, el nivel de significancia. La probabilidad de cometer un error tipo II esta dada por β, en tanto que la probabilidad de no cometer este error (1- β) se denomina potencia de la prueba. El problema relacionado con la selección del valor apropiado de α puede ser evitado si se utiliza el valor p o P-value que veremos a continuación.

24 Error tipo I y tipo II Lo deseable sería minimizar simultáneamente tanto los errores tipo I como tipo II, pero como se puede apreciar en los gráficos esto no es posible. En la práctica por lo general el error tipo I es más grave, por lo que se trata de minimizar primero este error y luego el error tipo II.

25 Valor p o P-value Nivel observado o exacto de significancia o la probabilidad exacta de cometer un error tipo I. Se define como el nivel de significancia más bajo al cual puede rechazarse una hipótesis nula.

26 Análisis de Varianza (ANOVA) Test de significancia global del modelo. Intenta medir el ajuste de la recta de regresión con el conjunto de datos provenientes de la muestra. Este test, para el caso del modelo de regresión lineal simple, tiene como hipótesis nula: Sabemos que (1) Elevando al cuadrado ()

27 También sabemos que (3) Se puede demostrar que () y (3) son independientes, por lo que: (4)

28 Simplificando tenemos que: (5) Si sustituimos la hipótesis nula en (5) (6)

29 Recordando, cuando descompusimos la suma de cuadrados teníamos: Asociado a cada suma de cuadrados existen sus respectivos grados de libertad: SCT: tiene n-1 grados de libertad, pues se pierde un grado de libertad al calcular la media de Y. SCE: un sólo grado de libertad de calcular ˆβ SCR: tiene n- grados de libertad, pues se pierden dos grados de libertad en las ecuaciones normales.

30 El numerador de (6) es la SCE y el denominador es la SCR divida por sus grados de libertad. (7) Entonces, rechazo H 0 si el valor calculado del estadístico F, es mayor que F α 1, n-

31 Otra forma alternativa de expresar (7): (8)

32 Pruebas de Normalidad Las pruebas de hipótesis e intervalos de confianza estudiados, tienen como punto de partida el supuesto de normalidad del residuo, por lo que si u no es normal, estas pruebas no son válidas. Existen diferentes test que permiten verificar si los residuos calculados para una muestra en particular (e i ) provienen de una distribución normal. Uno de ellos es el test de Jarque-Bera.

33 Test de Jarque Bera Esta es una prueba asintótica que se basa en el tercer y cuarto momento de la distribución (asimetría y curtosis respectivamente). Recordando: Coeficiente de simetría: En el caso de una distribución normal, el coeficiente de simetría es cero (S=0) y el de curtosis 3 (C=3).

34 Test de Jarque-Bera Bajo la hipótesis nula de que los residuos están normalmente distribuidos, Jarque y Bera demostraron que asintóticamente el estadístico JB sigue una distribución chicuadrado con dos grados de libertad. Es decir, si JB es mayor que una chi-cuadrado con g.l, rechazo la hipótesis nula, o sea, rechazo normalidad.

35 Qué pasa si los errores no se distribuyen normal? La normalidad exacta de los estimadores MICO depende crucialmente de la distribución del error en la población (u). Si los errores u 1, u,..., u n son elecciones aleatorias de alguna distribución que no es la normal, las β j no estarán distribuidas en forma normal, lo que significa que los estadísticos t y F no tendrán distribuciones t y F, respectivamente. Este es un problema potencialmente grave porque nuestra inferencia depende de que seamos capaces de obtener valores críticos o valores p de las distribuciones t o F. La inferencia basada en los estadísticos t y F exige el supuesto de normalidad. En caso contrario quiere decir que no debemos utilizar el estadístico t para determinar qué variables son significativas estadísticamente? La respuesta es no.

36 Qué pasa si los errores no se distribuyen normal? En resumen, si el tamaño de la muestra no es muy grande y u no se distribuye normal, debemos de tener mucho cuidado al momento de hacer inferencia sobre los estimadores.