Modelo de Regresión Lineal

Transcripción

1 Modelo de Regresión Lineal Supuestos del modelo Álvaro José Flórez 1 Escuela de Estadística Facultad de Ingenierías Febrero - Junio 2012

2 Introducción Y = β 0 + β 1 X + ε Supuestos: Correcta especificación del modelo E(ε) = 0 E(Y j ) = β 0 + β 1 X Homogeneidad de varianza en los errores V ar(ε j ) = σ 2 V ar(y j ) = σ 2 ; No correlación de los errores Cov(ε i, ε j ) = 0 Distribución normal de los errores j = 1, 2,..., n i j ε Normal(0, σ 2 )

3 Introducción El éxito en del ajuste de un modelo de regresión y la validez de los hallagos y conclusiones obtenidas, dependen de lo razonable de las simplificaciones asociadas con los modelos usados, es decir, de los supuestos del modelo. La importancia de realizar procedimientos conducentes a validar los supuestos, radica fundamentalmente en que ellos inciden en las cualidades de los estimadores de mínimos cuadrados (Behar, 2003). Para esto hay dos enfoques: Enfoque Gráfico Enfoque pruebas formales (pruebas de hipótesis)

4 Correcta especificación del modelo Razones: E(ε j ) 0 E(Y ) β 0 + β 1 X 1 Planteamiento equivocado de la relación entre Y y X (tratar un modelo no lineal como si fuera lineal) 2 Omisión de variables relevantes Nota: La suma de los residuales siempre es igual a cero; sin importar si el modelo está bien o mal especificado.

5 y Correcta especificación del modelo Caso donde se cumple el supuesto: Figura: Gráfico de y vs x Figura: Gráfico de residuales vs y ajustados Residuales x y^

6 Correcta especificación del modelo Caso donde no se cumple el supuesto: Figura: Gráfico de y vs x x y Figura: Gráfico de residuales vs y ajustados y^ Residuales

7 Homogeneidad de varianza en los errores Homocedasticidad se refiere al supuesto de que la variable dependiente (Y ) presenta una distribución con igual varianza en todo el rango de valores de la variable independiente (X). Figura: Homocedasticidad vs Heterocedasticidad

8 Homogeneidad de varianza en los errores Homocedasticidad se refiere al supuesto de que la variable dependiente (Y ) presenta una distribución con igual varianza en todo el rango de valores de la variable independiente (X). Figura: Homocedasticidad vs Heterocedasticidad Si no se cumple este supuesto los estimadores dejan de ser óptimos y las pruebas estadísticas (ANOVA, pruebas t) e intervalos de confianza pierden validez (altera el nivel de confianza)

9 y Homogeneidad de varianza en los errores Caso donde se cumple el supuesto: Figura: Gráfico de y vs x Figura: Gráfico de residuales vs y ajustados Residuales x y^

10 Homogeneidad de varianza en los errores Caso donde no se cumple el supuesto: Figura: Gráfico de y vs x x y Figura: Gráfico de residuales vs y ajustados y^ Residuales

11 No correlación de los errores Cov(ε i, ε j ) 0 Si no se cumple este supuesto los estimadores dejan de ser óptimos y las pruebas estadísticas (ANOVA, pruebas t) e intervalos de confianza pierden validez (altera el nivel de confianza). En las situaciones en las que se pueda garantizar que las observaciones y i, constituyen una muestra aleatoria (independientes e idénticamente distribuidas), no existirá correlación de los errores, es decir, que es posible controlar este aspecto, algunas ocasiones, con base en el procedimiento de selección de la muestra (Behar, 2003). El incumplimiento de este supuesto puede ocurrir cuando las observaciones se toman como se secuencia en el tiempo.

12 No correlación de los errores Para observar si hay problemas de correlación de los errores se hace un gráfico de residuales vs tiempo de medición. Figura: Correlación positiva Tiempo Residuales Figura: Correlación negativa Tiempo Residuales

13 Normalidad de los errores Se supone que cada observación viene de una distribución normal centrada verticalmente en cada nivel (x i ) del modelo asumido. (σ 2 ) se asume igual para cada distribución normal Y X = x N(xβ, σ 2 ) ˆβ N(β, σ 2 (X X) 1 ) La normalidad de los errores permite la estimación por intervalos de confianza no sólo para los coeficientes de regresión, sino también para la predicción. Permite el planteamiento de pruebas de hipótesis sobre los parámetros del modelo. Cuando los errores no son normales, los intervalos y las pruebas de hipótesis no son exactas y pueden llegar a ser inválidas (Behar, 2003).

14 Normalidad de los errores Caso donde se cumple el supuesto: Figura: Histograma de los residuales residuales densidad Figura: qq-plot de los residuales Normal Q Q Plot Theoretical Quantiles Sample Quantiles

15 Normalidad de los errores Caso donde no se cumple el supuesto: Figura: Histograma de los residuales residuales densidad Figura: qq-plot de los residuales Normal Q Q Plot Theoretical Quantiles Sample Quantiles

16 Algunas pruebas formales Homocedasticidad: Prueba de Goldfeld-Quant, prueba de White. Incorrelación de los errores: (correlación temporal) Prueba de Durbin-Watson, prueba de rachas. Normalidad de los errores: Prueba de Shapiro-Wilks, prueba de Anderson-Darling. Algunos de estos supuestos se pueden corregir por medio de transformaciones en algunas de las variables (y o x). Otras solución al incumplimiento de los supuestos es el uso de mínimos cuadrados generalizados.

17 Bibliografía Behar, R. (2003). Validación de supuestos en el modelo de regresión. Serie Monografías, Universidad del Valle, Cali, vol. 1 edition. Draper, N. and Smith, H. (1998). Applied regression analysis. John Wiley & Sons, New York, 3 edition. Montgomery, D.C. Peck, E. and Vinning, G. (2002). Introducción al análisis de regresión lineal. CECSA, Mexico, 3 edition. Rawlings, J. O., Pantula, S., and Dickey, D. (1998). Applied Regression Analyisis: A Research Tool. Springer-Verlag, New York, 2 edition.