Tema 4. Regresión lineal simple Contenidos El objeto del análisis de regresión La especificación de un modelo de regresión lineal simple Estimadores de mínimos cuadrados: construcción y propiedades Inferencias sobre el modelo de regresión: Inferencia sobre la pendiente Inferencia sobre la varianza Estimación de una respuesta promedio Predicción de una nueva respuesta
Tema 4. Regresión lineal simple Objetivos de aprendizaje Saber construir un modelo de regresión lineal simple que describa cómo influye una variable X sobre otra variable Y Saber obtener estimaciones puntuales de los parámetros de dicho modelo Saber contruir intervalos de confianza y resolver contrastes sobre dichos parámetros Saber estimar el valor promedio de Y para un valor de X Saber predecir futuros de la variable respuesta, Y
Tema 4. Regresión lineal simple Referencias en la bibliografía Newbold, P. Estadística para los negocios y la economía (1997) Capítulo 10 Ross, S. Introducción a la Estadística (2007) Capítulo 12 Peña, D. Regresión y análisis de experimentos (2005) Capítulo 5
Introducción Un modelo de regresión es un modelo que permite describir cómo influye una variable X sobre otra variable Y. X: Variable independiente o explicativa o exógena Y: Variable dependiente o respuesta o endógena El objetivo es obtener estimaciones razonables de Y para distintos valores de X a partir de una muestra de n pares de valores (x 1, y 1 ),..., (x n, y n ).
Introducción Ejemplos Estudiar cómo influye la estatura del padre sobre la estatura del hijo. Estimar el precio de una vivienda en función de su superficie. Predecir la tasa de paro para cada edad. Aproximar la calificación obtenida en una materia según el número de horas de estudio semanal. Prever el tiempo de computación de un programa en función de la velocidad del procesador.
Introducción Tipos de relación Determinista: Conocido el valor de X, el valor de Y queda perfectamente establecido. Son del tipo: y = f (x) Ejemplo: La relación existente entre la temperatura en grados centígrados (X ) y grados Fahrenheit (Y ) es: y = 1.8x + 32 112 Plot of Grados Fahrenheit vs Grados centígrados Grados Fahrenheit 92 72 52 32 0 10 20 30 40 Grados centígrados
Introducción Tipos de relación No determinista: Conocido el valor de X, el valor de Y no queda perfectamente establecido. Son del tipo: y = f (x) + u donde u es una perturbación desconocida (variable aleatoria). Ejemplo: Se tiene una muestra del volumen de producción (X ) y el costo total (Y ) asociado a un producto en un grupo de empresas. 80 Plot of Costos vs Volumen 60 Costos 40 20 0 26 31 36 41 46 51 56 Volumen Existe relación pero no es exacta.
Introducción Tipos de relación Lineal: Cuando la función f (x) es lineal, y la representación gráfica de los datos tiene un aspecto lineal, f (x) = β 0 + β 1x Si β1 > 0 hay relación lineal positiva. Si β1 < 0 hay relación lineal negativa. Relación lineal positiva Relación lineal negativa 10 10 6 6 Y 2 Y 2-2 -2-6 -6-2 -1 0 1 2-2 -1 0 1 2 X X
Introducción Tipos de relación No lineal: Cuando la función f (x) no es lineal. Por ejemplo, f (x) = log(x), f (x) = x 2 + 3,... 2 Relación no lineal 1 0 Y -1-2 -3-4 -2-1 0 1 2 X Los datos no tienen un aspecto lineal.
Introducción Tipos de relación Ausencia de relación: Cuando f (x) = c. 2,5 Ausencia de relación 1,5 0,5 Y -0,5-1,5-2,5-2 -1 0 1 2 X
Medidas de dependencia lineal La covarianza Una medida de la dependencia lineal es la covarianza: cov (x, y) = n (x i x) (y i ȳ) i=1 n 1 Si hay relación lineal positiva, la covarianza será positiva y grande. Si hay relación lineal negativa, la covarianza será negativa y grande en valor absoluto. Si hay no hay relación entre las variables o la relación es marcadamente no lineal, la covarianza será próxima a cero. PERO la covarianza depende de las unidades de medida de las variables.
Medidas de dependencia lineal El coeficiente de correlación lineal Una medida de la dependencia lineal que no depende de las unidades de medida es el coeficiente de correlación lineal: r (x,y) = cor(x, y) = cov(x, y) s x s y donde: n (x i x) 2 n (y i ȳ) 2 s 2 x = i=1 n 1 y s 2 y = i=1 n 1-1 cor (x, y) 1 cor (x, y) = cor (y, x) cor (ax + b, cy + d) = sign(a) sign(c) cor (x, y) para cualesquiera valores a, b, c, d.
El modelo de regresión lineal simple El modelo de regresión lineal simple supone que, donde: y i = β 0 + β 1 x i + u i y i representa el valor de la variable respuesta para la observación i-ésima. x i representa el valor de la variable explicativa para la observación i-ésima. u i representa el error para la observación i-ésima que se asume normal, u i N(0, σ) β 0 y β 1 son los coeficientes de regresión: β0 : intercepto β1 : pendiente Los parámetros que hay que estimar son: β 0, β 1 y σ.
El modelo de regresión lineal simple El objetivo es obtener estimaciones ˆβ 0 y ˆβ 1 de β 0 y β 1 para calcular la recta de regresión: ŷ = ˆβ 0 + ˆβ 1x que se ajuste lo mejor posible a los datos. Ejemplo: Supongamos que la recta de regresión del ejemplo anterior es: Costo = 15.65 + 1.29 Volumen 80 Plot of Fitted Model 60 Costos 40 20 0 26 31 36 41 46 51 56 Volumen Se estima que una empresa que produce 25 mil unidades tendrá un costo: costo = 15.65 + 1.29 25 = 16.6 mil euros
El modelo de regresión lineal simple La diferencia entre cada valor y i de la variable respuesta y su estimación ŷ i se llama residuo: e i = y i ŷ i Valor observado Dato (y) Recta de regresión estimada Ejemplo (cont.): Indudablemente, una empresa determinada que haya producido exactamente 25 mil unidades no va a tener un gasto de exactamente 16.6 mil euros. La diferencia entre el costo estimado y el real es el residuo. Si por ejemplo el costo real de la empresa es de 18 mil euros, el residuo es: e i = 18 16.6 = 1.4 mil euros
Hipótesis del modelo de regresión lineal simple Linealidad: La relación existente entre X e Y es lineal, f (x) = β 0 + β 1 x Homogeneidad: El valor promedio del error es cero, E[u i ] = 0 Homocedasticidad: La varianza de los errores es constante, Var(u i ) = σ 2 Independencia: Las observaciones son independientes, E[u i u j ] = 0 Normalidad: Los errores siguen una distribución normal, u i N(0, σ)
Hipótesis del modelo de regresión lineal simple Linealidad Los datos deben ser razonablemente rectos: 80 Plot of Fitted Model 60 Costos 40 20 0 26 31 36 41 46 51 56 Volumen Si no, la recta de regresión no representa la estructura de los datos. 34 Plot of Fitted Model 24 Y 14 4-6 -5-3 -1 1 3 5 X
Hipótesis del modelo de regresión lineal simple Homocedasticidad La dispersión de los datos debe ser constante: 80 Plot of Costos vs Volumen 60 stos Cos 40 20 0 26 31 36 41 46 51 56 Volumen Datos homocedásticos Datos heterocedásticos
Hipótesis del modelo de regresión lineal simple Independencia Los datos deben ser independientes. Una observación no debe dar información sobre las demás. Habitualmente, se sabe por el tipo de datos si son adecuados o no para el análisis. En general, las series temporales no cumplen la hipótesis de independencia.
- Relación lineal Hipótesis del modelo de regresión lineal simple Regresión lineal simple 21 22 23 24 25 26 27 28 29 30 Regresión Lineal 2 Regresión Normalidad Se asume que Modelo los datos son normales a priori. H y i y 0 1x u, u N(0, ) i i i i 0 1 x 2 L N H 2 0, 1, x i : parámetros desconocidos In Regresión Lineal 4 Regresión
Estimadores de mínimos cuadrados y i y Gauss propuso en 1809 el método de mínimos cuadrados para obtener los valores ˆβ 0 y ˆβ 1 que mejor se ajustan a los datos: x x ŷ i = ˆβ 0 + ˆβ 1x i 6 Regresión Lineal 7 El método consiste en minimizar la suma de los cuadrados de las distancias verticales entre los datos y las estimaciones, es decir, minimizar la suma de los residuos al cuadrado, nx nx nx ei 2 = (y i ŷ i ) 2 = y i ˆβ0 + ˆβ 2 y ˆ ˆ 1x i i 0 1xi e i=1 i=1 i Valor Observado Valor Previsto Residuo i=1 Residuos e i i ente y i yˆ i ˆ ˆ 0 1x i x i 8 Regresión Lineal 9
Estimadores de mínimos cuadrados Modelo El resultado que se obtiene es: 2 yi 0 1xi ui, ui N(0, ) y i : Variable dependiente x i : Variable independiente cov(x, u y) ˆβ 1 = i : Parte aleatoria = Regresión Lineal s 2 x n (x i x) (y i ȳ) i=1 n (x i x) 2 0 i=1 6 Recta de regresión y i y Regresión Lineal x xi ˆβ 0 = ȳ ˆβ 1 x Recta de regresión yˆ ˆ ˆ 0 1x Residuos y i ˆ ˆ 0 1x Valor Observado Valor Prev y ˆ 0 y ˆ 1x x Pendiente ˆ 1 y i e i yˆ ˆ i x i Regresión Lineal 8 Regresión Lineal
Estimadores de mínimos cuadrados Ejercicio 4.1 Los datos de la producción de trigo en toneladas (X ) y el precio del kilo de harina en pesetas (Y ) en la década de los 80 en España fueron: Producción de trigo 30 28 32 25 25 25 22 24 35 40 Precio de la harina 25 30 27 40 42 40 50 45 30 25 Ajusta la recta de regresión por el método de mínimos cuadrados
Estimadores de mínimos cuadrados Ejercicio 4.1 Los datos de la producción de trigo en toneladas (X ) y el precio del kilo de harina en pesetas (Y ) en la década de los 80 en España fueron: Producción de trigo 30 28 32 25 25 25 22 24 35 40 Precio de la harina 25 30 27 40 42 40 50 45 30 25 Ajusta la recta de regresión por el método de mínimos cuadrados Resultados ˆβ 1 = 10X i=1 10X i=1 x i y i n xȳ xi 2 n x 2 = 9734 10 28.6 35.4 8468 10 28.6 2 = 1.3537 ˆβ 0 = ȳ ˆβ 1 x = 35.4 + 1.3537 28.6 = 74.116 La recta de regresión es: ŷ = 74.116 1.3537x
Estimadores de mínimos cuadrados
Estimación de la varianza Para estimar la varianza de los errores, σ 2, podemos utilizar, ˆσ 2 = que es el estimador máximo verosímil de σ 2, pero es un estimador sesgado. n i=1 Un estimador insesgado de σ 2 es la varianza residual, n n i=1 e 2 i e 2 i sr 2 = n 2
Estimación de la varianza Ejercicio 4.2 Calcula la varianza residual en el ejercicio 4.1.
Estimación de la varianza Ejercicio 4.2 Calcula la varianza residual en el ejercicio 4.1. Resultados Calculamos primero los residuos, e i, usando la recta de regresión, ŷ i = 74.116 1.3537x i x i 30 28 32 25 25 25 22 24 35 40 y i 25 30 27 40 42 40 50 45 30 25 ŷ i 33.5 36.21 30.79 40.27 40.27 40.27 44.33 41.62 26.73 19.96 e i -8.50-6.21-3.79-0.27 1.72-0.27 5.66 3.37 3.26 5.03 La varianza residual es: s 2 R = nx e 2 i i=1 n 2 = 207.92 = 25.99 8
Estimación de la varianza
Inferencias sobre el modelo de regresión Hasta ahora sólo hemos obtenido estimaciones puntuales de los coeficientes de regresión. Usando intervalos de confianza podemos obtener una medida de la precisión de dichas estimaciones. Usando contrastes de hipótesis podemos comprobar si un determinado valor puede ser el auténtico valor del parámetro.
Inferencia para la pendiente El estimador ˆβ 1 sigue una distribución normal porque es una combinación lineal de normales, nx ˆβ 1 = (x i x) nx y i = w i y i (n 1)sX 2 i=1 donde y i = β 0 + β 1x i + u i, que cumple que y i N `β 0 + β 1x i, σ 2. Además, ˆβ 1 es un estimador insesgado de β 1, h i E ˆβ1 = i=1 nx (x i x) E [y i ] = β 1 (n 1)sX 2 i=1 y su varianza es, h i Var ˆβ1 = Por tanto, nx (xi x) «2 Var [y i ] = σ 2 (n 1)sX 2 (n 1)sX 2 i=1 ˆβ 1 N β 1, σ 2 (n 1)s 2 X «
Intervalo de confianza para la pendiente Queremos ahora obtener el intervalo de confianza para β 1 de nivel 1 α. Como σ 2 es desconocida, la estimamos con sr 2. El resultado básico cuando la varianza es desconocida es: ˆβ 1 β 1 s 2 R (n 1)s 2 X t n 2 que nos permite obtener el intervalo de confianza para β 1 : sr ˆβ 2 1 ± t n 2,α/2 (n 1)sX 2 La longitud del intervalo disminuirá si: Aumenta el tamaño de la muestra. Aumenta la varianza de las x i. Disminuye la varianza residual.
Contrastes sobre la pendiente Usando el resultado anterior podemos resolver contrastes sobre β 1. En particular, si el verdadero valor de β 1 es cero entonces Y no depende linealmente de X. Por tanto, es de especial interés el contraste: H 0 : β 1 = 0 H 1 : β 1 0 La región de rechazo de la hipótesis nula es: ˆβ 1 s 2 R /(n 1)sX 2 > t n 2,α/2 Equivalentemente, si el cero está fuera del intervalo de confianza para β 1 de nivel 1 α, rechazamos la hipótesis nula a ese nivel. El p-valor del contraste es: ( ) ˆβ 1 p-valor = 2 Pr t n 2 > s 2 R /(n 1)sX 2
Inferencia para la pendiente Ejercicio 4.3 1. Calcula un intervalo de confianza al 95% para la pendiente de la recta de regresión obtenida en el ejercicio 4.1. 2. Contrasta la hipótesis de que el precio de la harina depende linealmente de la producción de trigo, usando un nivel de significación de 0.05.
Inferencia para la pendiente Ejercicio 4.3 1. Calcula un intervalo de confianza al 95% para la pendiente de la recta de regresión obtenida en el ejercicio 4.1. 2. Contrasta la hipótesis de que el precio de la harina depende linealmente de la producción de trigo, usando un nivel de significación de 0.05. Resultados 1. t n 2,α/2 = t 8,0.025 = 2.306, 2.306 1.3537 β1 q 25.99 9 32.04 2.306, 2.046 β 1 0.661 2. El intervalo no contiene al cero y rechazamos β 1 = 0 al nivel 0.05. De hecho: ˆβ 1 p s 2 R / (n 1) sx 2 = 1.3537 q = 4.509 > 2.306 25.99 p-valor= 2 Pr(t 8 > 4.509) = 0.002 9 32.04
Inferencia para la pendiente
Inferencia para el intercepto El estimador ˆβ 0 sigue una distribución normal porque es una combinación lineal de normales, nx «1 ˆβ 0 = n xw i y i i=1 donde w i = (x i x) /ns 2 X y donde y i = β 0 + β 1x i + u i, que cumple que y i N `β 0 + β 1x i, σ 2. Además, ˆβ 0 es un estimador insesgado de β 0, h i E ˆβ0 = nx i=1 «1 n xw i E [y i ] = β 0 y su varianza es, h i Var ˆβ 0 = y por tanto, nx i=1 «2 «1 n xw i Var [y i ] = σ 2 1 n + x 2 (n 1)sX 2 ««ˆβ 0 N β 0, σ 2 1n + x 2 (n 1)sX 2
Intervalo de confianza para el intercepto Queremos ahora obtener el intervalo de confianza para β 0 de nivel 1 α. Como σ 2 es desconocida, la estimamos con s R. El resultado básico cuando la varianza es desconocida es: s s 2 R ˆβ 0 β 0 «tn 2 1 n + x 2 (n 1)sX 2 que nos permite obtener el intervalo de confianza para β 0: r ˆβ 0 ± t n 2,α/2 sr 2 1 + n La longitud del intervalo disminuirá si: Aumenta el tamaño de la muestra. Aumenta la varianza de las x i. Disminuye la varianza residual. Disminuye la media de las x i. x2 (n 1)s X 2
Contrastes sobre el intercepto Usando el resultado anterior podemos resolver contrastes sobre β 0. En particular, si el verdadero valor de β 0 es cero entonces la recta de regresión pasa por el origen. Por tanto, es de especial interés el contraste: H 0 : β 0 = 0 H 1 : β 0 0 La región de rechazo de la hipótesis nula es: ˆβ 0 r > t n 2,α/2 sr 2 1 + n x2 (n 1)s 2 X Equivalentemente, si el cero está fuera del intervalo de confianza para β 0 de nivel 1 α, rechazamos la hipótesis nula a ese nivel. El p-valor es: 0 1 p-valor = 2 Pr B @ tn 2 > ˆβ 0 r C A sr 2 1 + n x2 (n 1)s 2 X
Inferencia para el intercepto Ejercicio 4.4 1. Calcula un intervalo de confianza al 95% para el intercepto de la recta de regresión obtenida en el ejercicio 4.1. 2. Contrasta la hipótesis de que la recta de regresión pasa por el origen, usando un nivel de significación de 0.05.
Inferencia para el intercepto Ejercicio 4.4 - Resultados 1. t n 2,α/2 = t 8,0.025 = 2.306 2.306 r 25.99 74.1151 β 0 1 10 + 28.62 9 32.04 2.306 53.969 β0 94.261 2. Como el intervalo no contiene al cero, rechazamos que β 0 = 0 al nivel 0.05. ˆβ 0 r = 74.1151 r = 8.484 > 2.306 sr 2 1 + n 25.99 x2 (n 1)s 2 X p-valor= 2 Pr(t 8 > 8.483) = 0.000 1 10 + 28.62 9 32.04
Inferencia para el intercepto
Inferencia para la varianza El resultado básico es que: (n 2) s 2 R σ 2 χ 2 n 2 Utilizando este resultado podemos: Construir el intervalo de confianza para la varianza: (n 2) s 2 R χ 2 n 2,α/2 σ 2 (n 2) s2 R χ 2 n 2,1 α/2 Resolver contrastes del tipo: H 0 : σ 2 = σ 2 0 H 1 : σ 2 σ 2 0
Estimación de una respuesta promedio y predicción de una nueva respuesta Se distiguen dos tipos de problemas: 1. Estimar el valor medio de la variable Y para cierto valor X = x 0. 2. Predecir el valor que tomará la variable Y para cierto valor X = x 0. Por ejemplo, en el ejercicio 4.1: 1. Cuál será el precio medio del kg. de harina para los años en que se producen 30 ton. de trigo? 2. Si un determinado año se producen 30 ton. de trigo, cuál será el precio del kg. de harina? En ambos casos el valor estimado es: ŷ 0 = ˆβ 0 + ˆβ 1 x 0 = ȳ + ˆβ 1 (x 0 x) Pero la precisión de las estimaciones es diferente.
Estimación de una respuesta promedio Teniendo en cuenta que: ( ) Var (ŷ 0 ) = Var (ȳ) + (x 0 x) 2 Var ˆβ 1 ( ) = σ 2 1 n + (x 0 x) 2 (n 1) sx 2 El intervalo de confianza para la respuesta promedio es: ( ) ŷ 0 ± t n 2,α/2 s 2 1 R n + (x 0 x) 2 (n 1) sx 2
Predicción de una nueva respuesta La varianza de la predicción de una nueva respuesta es el error cuadrático medio de la predicción: [ E (y 0 ŷ 0 ) 2] = Var (y 0 ) + Var (ŷ 0 ) ( ) = σ 2 1 + 1 n + (x 0 x) 2 (n 1) s 2 X El intervalo de confianza para la predicción de una nueva respuesta es: ( ) ŷ 0 ± t n 2,α/2 s 2 R 1 + 1 n + (x 0 x) 2 (n 1) sx 2 La longitud de este intervalo es mayor que la del anterior (menos precisión) porque no corresponde a un valor medio sino a uno específico.
Estimación de una respuesta promedio y predicción de una nueva respuesta En rojo se muestran los intervalos para las medias estimadas y en rosa los intervalos de predicción. Se observa que la amplitud de estos últimos es considerablemente mayor. 50 Plot of Fitted Model Precio en ptas. 45 40 35 30 25 22 25 28 31 34 37 40 Produccion en kg.
Recta de regresión: R-cuadrado y descomposición de la variabilidad El coeficiente de determinación, R-cuadrado se emplea para valorar la bondad de ajuste del modelo. Se define como R 2 = r 2 (x,y) [0, 1] R 2 nos indica el porcentaje de la variabilidad muestral de la variable y que es explicada por el modelo, esto es, por su dependencia lineal de x Los valores próximos a 100% indican que el modelo de regresión proporciona un buen ajuste para los datos (valores menores del 60% indican un ajuste pobre) Descomposición de la variabilidad y R 2. La suma de cuadrados total P i (y i ȳ) 2 puede descomponerse en: la suma de cuadrados de los residuos P i (y i ŷ) 2 + la suma de cuadrados del modelo P i (ŷ ȳ)2 y se cumple que R 2 = 1 SSR SST SCT = SCR + SSM = SSM SST
Recta de regresión: R-cuadrado y descomposición de la variabilidad De Wikipedia:
Tabla ANOVA La tabla ANOVA (Análisis de la Varianza) para el modelo de regresión lineal simple es: Fuente de variabilidad SC GL Media razón F Modelo SCM 1 SCM/1 SCM/s 2 R Residuos/errores SCR n 2 SCR/(n 2) = s 2 R Total SCT n 1 Obsérvese que el valor de la razón F coincide con el cuadrado del valor del estadístico t para el contraste de significación del modelo de regresión lineal simple.