Estadística y sus aplicaciones en Ciencias Sociales 7. El modelo de regresión simple. Facultad de Ciencias Sociales - UdelaR

Transcripción

1 Estadística y sus aplicaciones en Ciencias Sociales 7. El modelo de regresión simple Facultad de Ciencias Sociales - UdelaR

2 Índice 7.1 Introducción 7.2 Análisis de regresión 7.3 El Modelo de Regresión Lineal Simple 7.4 Métodos de estimación 7.5 Propiedades algebraicas de los estimadores

3 7.1 Introducción: Qué es la econometría? La econometría es la ciencia que aplica métodos matemáticos y estadísticos de análisis de datos con el objetivo de dotar de una base empírica a una teoría social (en particular económica). La metodología aplicada en econometría no ha sido utilizada exclusivamente por la ciencia económica. El principal problema que tienen las ciencias sociales es que la mayor parte de los datos son no experimentales, siendo mucho más compleja su recolección.

4 Metodología: 1. Contar con una teoría social (o económica) que requiera validez y su equivalente modelo econométrico. 2. Tener datos de la realidad que permitan estimar dicho modelo para contrastarlo. 3. Realizar inferencia o pruebas de hipótesis que nos permitan determinar si nuestros resultados son estadísticamente significativos. Si la respuesta es afirmativa podremos realizar recomendaciones de poĺıticas asociadas.

5 Metodología aplicada Teoría Social (Económica) Modelo Econométrico Ecuación Datos Supuestos Estimación Inferencia y prueba de hipótesis Sí No Predicciones y recomendaciones de política

6 7.2 Análisis de regresión: Qué es una regresión? En una regresión buscamos un modelo para representar la dependencia de una variable respuesta, y, respecto a otra variable explicativa, x. El objeto es el de estimar el promedio poblacional de la variable dependiente condicionando los valores de la variable explicativa.

7 Ingresos y educación Salario por hora Años de educación formal

8 Para cada año de educación formal tenemos un rango o distribución de salario por hora y el promedio del salario aumenta a medida que se incrementan los años de educación. Si trazamos una recta que tome los valores promedio de salario para cada año de educación observamos este hecho. La recta corresponde a la recta de regresión y nos permite predecir para cada año de educación formal el salario promedio correspondiente.

9 Regresión vs. Causalidad La regresión es una relación estadística y no implica causalidad a priori. Una relación estadística no puede por sí misma implicar en forma lógica una causalidad.

10 Regresión vs. Correlación El análisis de correlación está estrechamente ligado al de regresión, aunque conceptualmente son cosas muy diferentes. Correlación: mide el grado de asociación lineal entre dos variables, las variables son tomadas de forma simétrica. Regresión: estimamos el valor promedio de una variable dependiente, y, dada una variable explicativa, x, las variables son tratadas de forma asimétrica: y es la variable aleatoria de interés y x es la variable aleatoria que puede influir en y.

11 Precauciones El coeficiente de correlación mide una relación lineal Correlación no implica causalidad, es sólo una relación estadística Correlación puede indicar una relación espuria. El análisis de correlación puede ayudarnos a determinar la ecuación de estimación y si ésta realmente describe su verdadero comportamiento.

12 7.3 El Modelo de regresión lineal simple Sean y y x dos variables que representan una población. Estamos interesados en explicar y en términos de x o estudiar cómo varía y ante cambios en x. Al crear un modelo que explique y en términos de x tenemos varios problemas: 1. Dado que no existe una relación exacta entre dos variables: cómo tomamos en cuenta otros factores que alteran a y? 2. Cuál es la relación funcional entre y y x? 3. Cómo nos aseguramos de capturar una relación ceteris paribus entre y y x (si eso queremos)?

13 7.3.1 El MRL Consideremos la siguiente ecuación que relaciona y con x de la siguiente forma: y = β 0 + β 1 x + u (1) Esta es una representación del modelo de regresión lineal simple, de dos variables o bivariada. y se la denomina variable dependiente, explicada, de respuesta, predicha, o regresando. x se la denomina variable independiente, explicativa, de control, predictora, o regresor. La variable u, denominada término de error o perturbación de la relación, representa los factores, aparte de x, que influyen en y.

14 β 0 es la magnitud que no es explicada por la variable dependiente β 1 es el parámetro de la pendiente de la relación entre x e y si se mantienen fijos en u los otros factores, o sea u = 0: y = β 1 x si u = 0 (2) β 1 también muestra la dependencia lineal (o correlación) entre la variable dependiente e independiente. Un cambio de una unidad en x tiene el mismo efecto en y cualquiera que sea el valor inicial de x.

15 Ejemplo: Salarios y educación Este modelo relaciona el salario de una persona con la educación observada y otros factores no observados. salario = β 0 + β 1 educ + u salario se mide en pesos por hora y educ corresponde a la cantidad de años de educación formal. β 1 mide el cambio en el salario por hora cuando se introduce un año de formación adicional, manteniendo todos los demás factores fijos. Entre los demás factores se incluyen la experiencia en el trabajo, la habilidad innata, la antigüedad en el empleo actual, etc.

16 7.3.2 Supuesto fundamental del MRL Para poder obtener conclusiones de como afecta x a y debemos establecer algún supuesto de cómo se relacionan u y x. Dado que u y x son variables aleatorias, podemos definir la distribución condicional de u dado cualquier valor de x. En particular, para cualquier x, podemos obtener el valor esperado (o promedio) de u. El supuesto crucial es que el valor promedio de u no depende de x (media condicional cero). E(u x) = 0 (3)

17 Este supuesto significa que para cualquier x, el promedio de los factores inobservables es el mismo e igual al promedio de u para toda la población. Ejemplo salario y educ: si u es la habilidad innata, que se cumpla (3) implica que el nivel de habilidad medio de la población es el mismo para todos los niveles educativos. Si pensamos que la habilidad media de las personas aumenta con los años de educación (3) es falso. Una consecuencia de este supuesto es: E(y x) = E(β 0 + β 1 x + u x) = β 0 + β 1 x

18 Como observamos en el gráfico de la página 7 el salario por hora es diferente para individuos con el mismo nivel educativo. También observamos que en promedio, el salario se incrementa con educ. La unión de los valores esperados del salario condicionados a los años de educación representa la función de regresión poblacional (FRP): E(y x) = β 0 + β 1 x El término poblacional refiere a que estamos trabajando con toda la población. La FRP la vamos a conocer en casos excepcionales, ya que rara vez vamos a tener datos de toda la población.

19 La FRP es una función lineal de las x y y 4 E(y x) = β. 0 + β 1 x { u 4 y 3 y 2. } u 3 u. 2 { y 1 } u 1. x 1 x 2 x 3 x 4 x La linealidad significa que un aumento de una unidad en x cambia el valor esperado de y en la cantidad β 1.

20 7.3.3 Consecuencias del supuesto fundamental E(u x) = 0 E(u) = 0 (4) se obtiene de integrar E(u x) para todo el recorrido de x, como para todo valor de x es igual a cero, integrar 0 arroja el valor esperado de u igual a cero. Cov(u, x) = E[u E(u)]E[x E(x)] = E(ux) = 0 (5) dado que el valor esperado de u no depende de x, no están correlacionadas y su covarianza es cero.

21 7.4 Métodos de estimación Los métodos que tenemos para estimar cómo influye una variable dependiente sobre una independiente suelen ser: Método de Momentos Mínimos Cuadrados Ordinarios Existen otros métodos de estimación que exceden los objetivos de este curso.

22 7.4.1 Método de Momentos La estimación de los parámetros del modelo a partir del método de momentos consiste en utilizar los momentos correspondientes a los errores: E(u) = E[y β 0 β 1 x] = 0 E(xu) = E[x(y β 0 β 1 x)] = 0 Estas ecuaciones implican dos restricciones en la distribución conjunta de x e y en la población. Dado que hay dos parámetros desconocidos (β 0, β 1 ) y dos ecuaciones que cumplen con la condición podemos identificarlos.

23 Consideremos una muestra de tamaño n: {y i, x i } con i = 1, 2,..., n, extraída aleatoriamente de la población. Buscamos estimar los parámetros β 0 y β 1 que provienen del MRL, por lo que podemos establecer: y i = β 0 + β 1 x i + u i Dada la muestra de datos, elegimos los valores estimados de ˆβ 0 y ˆβ 1 para resolver las contrapartidas muestrales: 1 n 1 [y i n 0 ˆβ 1 x i ] = 0 [x i (y i β 0 ˆβ 1 x i )] = 0

24 Desarrollando la primera ecuación se obtiene: 1 y i β 0 1 β 1 x i = 0 n n n Que se puede escribir como: i i y β 0 β 1 x = 0 (6) Una vez que tenemos el estimador de la pendiente β 1 es fácil obtener el de la ordenada al origen β 0, dados los promedios muestrales y y x. β 0 = y β 1 x (7)

25 Sustituyendo (7) en la segunda ecuación de las contrapartidas muestrales, se obtiene: 1 n x i (y i (y β 1 x) β 1 x i ) = 0 lo que reordenando da: x i (y i y) = β 1 x i (x i x)

26 Dado que: (xy i xy) = x y i nxy = nxy nxy = 0 y que: (xx i x 2 ) = x x i nx 2 = nx 2 nx 2 = 0 Podemos sumar cero en la primer sumatoria: x i (y i y) = (x i y i x i y xy i + xy) = (x i x) (y i y) Y sumar cero a la segunda sumatoria: x i (x i x) = ( x 2 i x i x x i x + x 2) = (x i x) 2

27 Estimador de la pendiente El estimador de la pendiente es: n β 1 = (x i x) (y i y) n (x i x) 2 (8) El estimador de la pendiente es igual a la covarianza muestral entre x e y, dividida por la varianza muestral de las x (siempre positiva). Si la covarianza entre x e y es positiva, β 1 será positivo. Se requiere que n (x i x) 2 > 0

28 La ĺınea de regresión o función de regresión muestral (FRM) es la recta ajustada ŷ = β 0 + β 1 x. En el gráfico se representa con los puntos muestrales y los residuos. Diferentes muestras generarán diferentes rectas estimadas. y 4 y 3 y 2. } û. 3 û 2 { û 4. { y = β + β x 1 0 y 1. } û 1 x 1 x 2 x 3 x 4 x El objetivo del análisis de regresión es estimar la FRP en base a la FRM.

29 7.4.2 Mínimos cuadrados ordinarios Podemos pensar a cada observación como compuesta de un parte explicada y una parte inexplicada: y i = ŷ i + û i Los MCO descomponen cada observación i en dos partes, un valor ajustado ŷ i y un residuo û i. El residuo û i es conceptualmente diferente del error. El residuo de la observación i lo podemos escribir como: û i = y i ŷ i = y i β 0 β 1 x i

30 Si queremos que la FRM sea lo más cercana posible a la FRP, debemos tratar de elegir los coeficientes de regresión de tal forma que los residuos sean lo más pequeños posibles. De acuerdo a esto un criterio para escoger la FRM podría ser la de minimizar la suma de los residuos al cuadrado: ûi 2 = (y i ŷ i ) 2 = (y i β 0 β 1 x i ) 2 (9) Se realiza la minimización de los cudarados para penalizar más a los errores de las observaciones que se desvían de la FRP. De esta forma, el método de MCO elige ˆβ 0 y ˆβ 1 tal que para la muestra dada n û2 i sea lo más pequeña posible.

31 Para resolver el problema de MCO se minimiza la ecuación (9), obteniéndose las siguientes condiciones de primer orden: n û2 i β 0 = 2 n û2 i β 1 = 2 [y i β 0 β 1 x i ] = 0 [x i (y i β 0 ˆβ 1 x i )] = 0 Que son las mismas ecuaciones que obteníamos del método de momentos, por lo que los estimadores de la pendiente y el intercepto son los mismos que por el método anterior. Por lo tanto: β 0 MCO = β0 Método de Momentos β 1 MCO = β1 Método de Momentos

32 Ejemplo: Ingreso y consumo Intentaremos estimar la siguiente relación entre consumo privado e ingreso disponible: C = β 0 + β 1 YD + u Años Consumo Ingreso privado (Y ) disponible (X ) Promedio:

33 Ejemplo: se pide 1. Estimar la relación entre C e YD empleando MCO, es decir, obtener los valores estimados del término constante y de la pendiente. ˆβ 1 = (x i x)(y i y) (x i x) 2 ˆβ 0 = y ˆβ 1 x 2. Comentar la dirección de la relación. El término constante se presta a una interpretación útil en este caso? Explicar la respuesta. 3. Si el ingreso disponible asciende a 970 dólares en 1980, cuál será el consumo proyectado? 4. Calcular los valores ajustados y los residuos para cada observación y comprobar que los residuos suman (aproximadamente) cero.

34 Interpretación de la regresión Cuando el ingreso disponible es 0, el consumo es menor a cero. Esto no tiene sentido, lo que sucede es que esta muestra es muy pequeña y la ecuación de regresión no tiene muy buenos resultados para niveles de ingreso disponible muy bajos. El valor estimado de la pendiente indica que con un peso más de ingreso disponible se incrementa en 0.98 pesos el consumo. Cuánto es el consumo predicho si el ingreso disponible se duplica? ŷ = β 1 x Ĉ = 0, = 1,959

35 Efecto de la muestra en la estimación de los parámetros y = x y = x Consumo privado FRM2 FRM1 Lineal (FRM2) Lineal (FRM1) Ingreso disponible

36 7.5 Propiedades algebraicas de los estimadores MCO La suma y la media muestral de los residuos MCO es nula: û i = 0 (10) La covarianza muestral entre los regresores y los residuos MCO es nula: x i û i = 0 (11) El punto (y, x) siempre pasa por la regresión MCO. ŷ = β 0 + β 1 x = ŷ (12)

37 7.5.1 Definiciones: Medidas de variación de la variable dependiente 1. Suma de los cuadrados totales: SCT (y i y) 2 (13) 2. Suma explicada de los cuadrados: SEC (ŷ i y) 2 (14) 3. Suma de los cuadrados de los residuos: SCR û 2 i = (y i ŷ) 2 (15)

38 La SCT la podemos expresar como: SCT = = = = (y i y) 2 [(y i ŷ i ) + (ŷ i y)] 2 [û i + (ŷ i y)] 2 û i 2 }{{} +2 = SCR + 2 û i (ŷ i y) + (ŷ i y) 2 }{{} û i (ŷ i y) + SEC }{{} = SCR SEC SCT = SCR + SEC

39 7.5.2 Bondad de ajuste Qué tan bien se ajusta a los datos de nuestra muestra la ĺınea de regresión muestral? Se puede calcular la fracción de la suma de cuadrados total (SCT) explicada por el modelo, a la que se llama R-cuadrado de la regresión o coeficiente de determinación: R 2 = SEC SCT = 1 SCR SCT Se interpreta como la fracción o porcentaje de la variación muestral de y que es explicada por x.

40 Comentarios sobre R 2 R 2 [0, 1] Si R 2 = 0 es porque β 1 es cero, menos el término constante, la FRM va a ser una recta horizontal. En este caso el valor predicho de y es y, ya que desviaciones de x respecto a su media no se traducen en una predicción diferente para y. x no tiene poder explicativo en y. Si R 2 = 1 ocurre si los valores de x y y están todos en el mismo hiperplano (en una ĺınea recta) por lo que los residuos son cero. Es posible demostrar que R 2 es igual al cuadrado del coeficiente de correlación muestral entre y i y ŷ i. De aquí procede el término.

41 Obtener un R 2 elevado no implica que el modelo es apropiado ni que las estimaciones de los coeficientes son buenas. Obtener un R 2 bajo no implica que el modelo es inapropiado ni que las estimaciones de los coeficientes son malas. Depende de la construcción de nuestro modelo y de las preguntas que deseamos responder con él.

42 7.5.3 Valor esperado y varianza de los estimadores MCO Supuesto RLS1 (linealidad de los parámetros) Supongamos que el modelo en la población es lineal en los parámetros como en y = β 0 + β 1 x + u Supuesto RLS2 (muestreo aleatorio) Supongamos una muestra aleatoria de tamaño n, {(y i, x i ), i = 1, 2,...n}, del modelo poblacional. Entonces se puede escribir el modelo como: y i = β 0 + β 1 x i + u i, i = 1, 2,...n

43 Supuesto RLS3 (Media condicionada nula) Supongamos E(u x) = 0 y por tanto E(u i x i ) = 0. Supuesto RLS4 (Variación muestral de la variable independiente) Supongamos que hay variación en las x i (no son todas iguales a una constante).

44 Comentario: Los estimadores MCO son funciones de las observaciones x i, y i. Las propiedades estadísticas de los estimadores de MCO son condicionales a los valores muestrales de las x i. Es como tratar las x i como fijas en muestras repetidas. La posibilidad de muestras repetidas no es muy realista en los contextos no experimentales. Consecuencia: es necesario prestar particular atención a la posible correlación entre las x y las u y a las razones por las que esto puede suceder.

45 Insesgamiento: E( β i ) = β i E( β 1 ) = β 1 E( β 0 ) = β 0 El condicionamiento en los valores muestrales de la variable independiente permite tomar a las funciones de las x i como no aleatorias. Los estimadores MCO de los parámetros β 1 y β 0 son entonces insesgados. Recordar que insesgamiento es una descripción del estimador en cada muestra podemos estar cerca o lejos del parámetro verdadero.

46 Demostración insesgamiento para β 1 Sabemos que: β 1 = = = n (x i x)(y i y) n (x i x) 2 n (x i x)y i n (x i x) 2 n (x i x)(β 0 + β 1 x i + u i ) n (x i x) 2 = β 0 = n (x i x) + β 1 n (x i x)x i + n (x i x)u i n (x i x) 2 β 0 0 n (x i x) 2 }{{} + β n 1 (x i x) 2 n n (x i x) }{{ 2 + (x i x)u i n } (x i x) 2 = 0 + β 1 + n (x i x)u i n (x i x) 2

47 Por lo tanto: β 1 = β 1 + n x iu i x n u i n (x i x) 2 (16) Tomando valor esperado, condicional en las observaciones: E( β 1 x) = E(β 1 x) }{{} +E ( n x iu i x n u i n (x i x) 2 ) x = β 1 + E ( n x iu i x) n (x i x) }{{ 2 x E ( n u i x) n } (x i x) }{{ 2 } = β = β 1 Es posible demostrar que E( β 0 x) = β 0

48 Comentarios sobre el insesgamiento El insesgamiento es una característica de las distribuciones muestrales de ˆβ 1 y ˆβ 0, que no dice nada sobre el valor estimado que obtenemos para una muestra determinada. Si la muestra que obtenemos es típica, el valor estimado se aproxima al valor poblacional. Si el RLS3 no se cumple, obtendremos estimadores sesgados de los parámetros poblacionales. Las estimaciones sesgadas nos podrían llevar a recomendaciones de poĺıtica que no son correctas.

49 Varianza de los estimadores MCO Sabemos que la distribución en el muestreo de nuestro estimador está centrada en el parámetro. Quisiéramos saber qué tan dispersa es ésta distribución. Supuesto RLS5 (Homoscedasticidad) Var(u x) = E[u E(u) x] 2 = E[u 2 x] = σ 2 Este supuesto establece que la variación alrededor de la recta de regresión es la misma para todos los valores de x. Esto implica que la función de densidad del término de error u es la misma.

50 Caso homoscedástico: Var (u x) no depende de x y f(y x).. E(y x) = β 0 + β 1 x x 1 x 2

51 Varianza muestral de β 0 y β 1 Se puede demostrar que: Var( β 1 x) = Var( β 0 x) = σ 2 n (x i x) 2 = σ 2 nvar(x) σ2 n x i 2 n n n (x i x) 2 = σ2 x i 2 n 2 Var(x) (17) (18)

52 Varianza muestral del error No conocemos la varianza del error, σ 2, ya que no observamos los errores, u i, sino los residuos, û i. Residuos y errores son diferentes: u i = y i β 0 β 1 x i û i = y i β 0 β 1 x i Los errores lo obtenemos de los parámetros poblacionales y por tanto, nunca son observables. Los residuos se obtienen de los parámetros muestrales.

53 Con los residuos es posible realizar una estimación de la varianza del error. û i = y i ŷ i = u i + β 0 + β 1 x i β 0 β 1 x i Reordenando obtenemos: û i u i = ( β 0 β 0 ) ( β 1 β 1 )x i Si bien el valor esperado de la diferencia entre error y residuo es cero, no ocurre lo mismo con la diferencia simple.

54 Como E(u 2 ) = σ 2, es natural intentar estimar σ 2 a partir de la suma de los residuos al cuadrado, n û2 i. Un estimador de σ 2 sería: σ 2 = n u2 i n El problema es que no observamos u i, sino que lo debemos estimar con û i. Es posible demostrar que el estimador insesgado de σ 2 es: σ 2 = n ûi 2 n 2 (19)

55 Estimación de la varianza del error El estimador insesgado de σ 2 no es simplemente el promedio de los residuos al cuadrado, sino que su denominador está corregido por los grados de libertad. El denominador no es n sino (n 2) porque E( n û2 i ) = (n 2)σ2. La división por (n 2) lleva a que σ 2 sea insesgado para σ 2. El estimador natural de σ es σ = σ 2.