MULTICOLINEALIDAD EN LAS REGRESORAS Y NORMALIDAD DEL TÉRMINO DE ERROR EN LOS MODELOS DE REGRESIÓN LINEAL

Transcripción

1 MULTICOLINEALIDAD EN LAS REGRESORAS Y NORMALIDAD DEL TÉRMINO DE ERROR EN LOS MODELOS DE REGRESIÓN LINEAL Noviembre, 2011 Multicolinealidad El termino multicolinealidad se le atribuye originalmente a Frisch (Gujarati y Porter, 2010:328). En un sentido amplio, la multicolinealidad significa la existencia de una relación lineal perfecta o exacta entre algunas o todas las variables regresoras de un modelo de regresión, es decir, entre X 2, X 3,,X k. (donde X 1 =1 para dar cuenta del intercepto); se dice que existe una relación lineal exacta si se satisface la siguiente condición: λ 1 X 1 + λ 2 X 2 + λ k X k + ν = 0 (1) donde λ 1, λ 2,, λ k, son constantes tales que no todas ellas son simultáneamente iguales a cero, ν = termino de error estocástico. Para apreciar la multicolinealidad supóngase que λ 2 0, entonces solucionando para X 2i en (1) se puede escribir como (2) Muestra que X 2 es una combinación lineal de los otras X s y del termino de error. Un ejemplo numérico de multicolinealidad puede apreciarse si se considera la siguiente matriz de datos. X 2 X Al parecer X 3i = 5 X 2i por consiguiente existe multicolinealidad perfecta entre estas X s. 1

2 Detección de la Multicolinealidad. Son varias las formas de detectar la multicolinealidad. Una de estas considera a la matriz de correlación de las variables regresoras donde si el coeficiente de correlación para cualquier par de ellas es mayor o igual a 0.85 (en valor absoluto) se puede considerar la factibilidad de colinealidad entre esas variables. Recuerde que el coeficiente de correlación esta dado por -1<r<1 (3) Otra manera de identificar la multicolinealidad entre las variables regresoras es usando los factores de inflación de la varianza (FIV). Estos factores resultan de realizar las k-1 regresiones auxiliares de la siguiente forma: Sea el modelo original (hipotético) (4) se realizan entonces las siguientes estimaciones auxiliares: (5) (6) (7) Se obtienen de estas regresiones auxiliares sus R 2 y se estima el siguiente indicador para cada (8) donde = coeficeinte de determinación múltiple para el modelo de regresión que relaciona x j con todas las otras variables independientes x 1,,x j-1,,x k nótese que a medida 2

3 que se aproxime a uno el FIV tiende a infinito, esto se explica porque la covarianza de las regresaras es demasiado grande. Otro criterio para la detección de la multicolinealidad es el índice de tolerancia definido como (9) 0 < TOL < 1... (10) En este caso, un TOL cercano a cero indica la presencia de multicolinealidad. Efectos de la multicolinealidad. i) Aun cuando los estimadores son MELI, estos presentan varianzas y covarianzas grandes que hacen difícil la estimación precisa. ii) Consecuencia de (i), los intervalos de confianza tienden a ser mucho más amplios, lo cual propicia una aceptación más difícil de la hipótesis nula (es decir que el verdadero coeficiente poblacional es cero) iii) También debido a (i), la razón t de uno o más coeficientes sea estadísticamente no significativa. iv) Aun cuando la razón t sea estadísticamente no significativa, la R cuadrada ajustada será muy alta v) Los estimadores de MCO y sus errores estándar son sensibles a pequeños cambios Corrección. en la información Regresión hacia atrás o hacia adelante. **Stepwise **stepwise [, options ] : command **pr(#) significance level for removal from the model **pe(#) significance level for addition to the model 3

4 sysuse auto.dta regress mpg weight displ gear turn headroom foreign price stepwise, pr(.2): regress mpg weight displ gear turn headroom foreign price stepwise, pr(.5): regress mpg weight displ gear turn headroom foreign price **pr() especifica el nivel de significancia para la eliminación de las variables en el modelo **con: p>=pr() son elegibles para el retiro **pe() especifica el nivel de significancia para la inclusión de la variable en el modelo con: **p<pe() son elegibles para su inclusión Ejemplo. sysuse auto.dta gen mpg2 = (mpg ^ 2) edit edit mpg mpg2 dis 22*22 gen weight2 = (weight^2) reg mpg mpg2 length weight2 gen weight3 = (weight^3) gen weight4 = (weight^4) gen weight5 = (weight^5) reg mpg mpg2 length weight2 weight3 weight4 weight5 gen weight6 = (weight^6) gen weight7 = (weight^7) gen weight8 = (weight^8) reg mpg mpg2 length weight2 weight3 weight4 weight5 weight6 weight7 weight8 vif pwcorr mpg2 weight2 weight3 weight4 weight5 weight6 weight7 weight8 graph matrix mpg2 weight2 weight3 weight4 weight5 weight6 weight7 weight8 stepwise, pr(.2): regress mpg weight displ gear turn headroom foreign price stepwise, pr(.5): regress mpg weight displ gear turn headroom foreign price **pr() especifica el nivel de significancia para la eliminación de las variables en el modelo **con: p>=pr() son elegibles para el retiro **pe() especifica el nivel de significancia para la inclusión de la variable en el modelo con: **p<pe() son elegibles para su inclusión **para generar los residuales predict res, residual ** comando para gràfica de los residuales hist res,freq normal **Jarque Bera findit jb6 jb6 res 4

5 Normalidad de los errores En estadística se utilizan siempre muestras para realizar inferencia sobre un determinado parámetro poblacional. La idea es que los estimadores sean los más cercano posible a los parámetros poblacionales. Es evidente que entre más pequeña sea la muestra, más alejado estará el valor estimado del valor poblacional del parámetro, y por ende, entre mayor sea la muestra, más se acercará. En el caso de que se trabaje con una muestra pequeña, es fundamental verificar que el valor esperado del error tiende a cero a medida que la muestra aumenta. La consistencia de un estimador es una propiedad de suma importancia, sin embargo por sí sola esta propiedad no permite hacer inferencia ni realizar contrastes sobre los parámetros. Para esto, es necesario conocer la distribución de los estimadores MCO. Bajo los supuestos del teorema de Gauss-Markov se puede verificar que la distribución de los errores sean normales (Wooldridge, 2006). La normalidad en la distribución de lo estimadores del método de MCO depende de la normalidad del término de error en la población. Si dichos errores provienen de muestras aleatorias no distribuidas normalmente, aquí se presentaría un problema en la medida en que los estimadores MCO no estarían distribuidos de manera normal y por tanto ni los estadísticos t ni los F serian consistentes con sus respectivas distribuciones. El modelo clásico de regresión lineal (MCRL) supone que cada u esta normalmente distribuida con Media: E(u i ) = 0 Varianza: E[u i E(u i )] 2 = E(u 2 i ) = σ 2 Cov (u i, u j ): E{[( u i E(u i )][ {[( u j E(u j )}= E(u i, u j ) = o i j 5

6 es decir u i (0,σ 2 ) Pruebas Graficas. Histograma de residuos. Es un simple dispositivo grafico para saber algo sobre la forma de la función de densidad poblacional (FDP) de una variable aleatoria. En el eje horizontal se dividen los valores de la variable de interés en intervalos convenientes, y sobre cada intervalo de clase se construyen rectángulos cuya altura sea igual al número de observaciones (es decir la frecuencia para ese intervalo de clase) Paso 1 Determinar el rango de los datos. Rango es igual al dato mayor menos el dato menor. Paso 2 Obtener el número de clases (NI). Existen varios criterios para determinar el número de clases (o barras) -por ejemplo la regla de Sturgess (NI= ln n).. Paso 3 Establecer la longitud de clase: es igual al rango dividido por el número de clases (NI). Paso 4 Construir los intervalos de clases: Los intervalos resultan de dividir el rango de los datos en relación al resultado del paso 2 en intervalos iguales. Paso 5 Graficar el histograma: En caso de que las clases sean todas de la misma amplitud, se hace un gráfico de barras, las bases de las barras son los intervalos de clases y altura son la frecuencia de las clases. Si se unen los puntos medios de la base superior de los rectángulos se obtiene el polígono de frecuencias. Es común sobreescribir una distribución normal que ayude a identificar la correcta forma de la distribución que se obtiene. 6

7 Grafica de probabilidad normal (GPN) Es un gráfico que sirve para estudiar la forma de la función de densidad de probabilidad (FDP) la cual utiliza el papel de probabilidad normal, específicamente diseñado para gráficas. Sobre el eje orizontal, o eje x, se grafican los valores de la variable de interés (en este caso los residuos de MCO, u i ), y sobre el eje vertical o eje Y, el valor esperado de esta variable si estuviera normalmente distribuida. Por lo tanto, si las variables fuese de la población norma, la GPN sería más o menos una línea recta. Altura del intervalo Gráfica 1 Histograma de normalidad intervalos convenientes valor esperado Z del residuo i-esimo Gráfica 2 Probabilidad Normal residual i-esimo n=1000 n = 1000 Fuente: Elaboración con números aleatorios en STATA11 Fuente: Elaboracion con numeros aleatorios en STATA11 7

8 Prueba formal. Prueba de normalidad Jarque Bera.(JB) La prueba de normalidad JB es una prueba asintótica o de muestras grandes, esta diseñada para los residuos de MCO, esta prueba requiere calcular primero la asimetría y la curtosos de los residuos de MCO, siguiendo los pasos de las pruebas de hipótesis H 0 : Los residuos se distribuyen normalmente vs H 1 : Los residuos no se distribuyen normalmente. El estadístico de prueba es: donde S = coeficiente de asimetría K= coeficiente de curtosis S = 0, K = 3 si es IDN por lo tanto la prueba de hipótesis es que S y K sean 0 y 3 respectivamente. En este caso se espera que el valor del estadístico JB sea cero, de acuerdo con esto el estadístico de prueba viene dado por la regla de decisión es: si el valor-p calculado del estadístico JB es lo bastante bajo (lo cual sucede cuando JB es muy alto) se rechaza H 0, es decir los residuos no se distribuyen normalmente; si el valor-p es razonablemente alto (lo cual sucede cuando JB tiende cero) no se rechaza H 0, es decir hay normalidad en los errores. 8