Estadística II - Modelos lineales: Ficha nº6 Heterocedasticidad en el modelo de regresión lineal

Transcripción

1 Estadístca II - Modelos lneales: Fcha nº6 Heterocedastcdad en el modelo de regresón lneal Materal ddáctco para el curso de Estadístca II del Programa de Doctorado en Cenca ocal Tabaré Fernández Aguerre juno 2004

2 IX. Heterocedastcdad Por defncón, el supuesto hecho al ajustar por mínmos cuadrados ordnaros un modelo de regresón es que el térmno de error tene varanza constante. Formalmente: Var( e )=σ 2 Dado que la notacón ocupa aquí un papel esencal, convene mostrar que la varanza representada por la letra grega sgma no tene subíndce, mostrando así que la varanza es homocedástca. Para examnar el supuesto, se propone el sguente método: Naturaleza y orgen de la heterocedastcdad Consecuencas de la volacón del supuesto Formas de detectar heterocedastcdad Meddas remedales 1. Naturaleza y orgen de la heterocedastcdad En consecuenca, la presenca de varanza heterocedástca se defne de la sguente forma (obsérvese el subíndce debajo de sgma cuadrada): Var( e ) = σ TABARÉ FERNÁNDEZ AGUERRE

3 recordamos que el térmno de error del modelo es, la dferenca entre el valor observado para la -ésma undad y el valor estmado para la -ésma undad medante el modelo de regresón, se puede ntroducr la varanza condconal. En síntess, la heterocedastcdad es una característca del modelo por la que las varanzas condconales del error no son constantes. bsérvese de forma muy atenta que la dea de varanza condconal refere al modelo completo: el problema aparece cuando la combnacón lneal de todos los regresores del modelo generan errores cuyas varanzas condconales no son constantes. Esto es mportante porque luego se observarán stuacones en las que por alguna razón teórca y o empírca, se ha supuesto que una varable es la generadora de la heterocedastcdad. n embargo, esta stuacón es una smplfcacón a veces ddáctca o en todo caso, la stuacón más favorable para luego emprender meddas correctvas. En los textos de estadístca y de econometría se regstran algunas de las causas por las que puede aparecer este problema. Hacendo una síntess de Gujarat (2004), Chaterjee et. Al (2000), de Arce (2001), se proponen las sguentes razones: a heterocedastcdad aparece porque ha omtdo una varable relevante para explcar el comportamento de Y. Con frecuenca, entonces, lo que parece ser un problema de heterocedastcdad puede deberse al hecho de que alguna de las varables mportantes han sdo omtdas del modelo. Como se verá, este problema de especfcacón conduce a dos problemas: los estmadores pueden ser sesgados (por varables omtdas) y las varanzas no son efcentes. De aquí se dervan dos claras drectvas: Realzar el análss de heterocedastcdad cuando el modelo está completo, con todas las varables relevantes ncludas. en el proceso de ajustar de regresón ha dejado afuera del modelo alguna varable relevante, nclúyala antes de contnuar con el examen INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

4 de este supuesto. En ocasones, la naturaleza teórca del problema ndca heterocedastcdad. Cuando se está nteresado en regresar el ahorro sobre el nvel de ngresos de un hogar, la teoría económca ndca que el ncremento del ngreso puede entenderse tambén con un ncremento en las alternatvas dscresonales de utlzacón de este ngreso margnal. Por tanto, tambén se ncrementará la varanza en el nvel de ahorro observado para estos hogares con altos ngresos respecto de los hogares con más bajos ngresos. El campo del análss organzaconal proporcona otro ejemplo paradgmátco. abdo es que el número de supervsores o de personas que desempeñan roles ntermedos en la estructura organzaconal es una funcón del tamaño de la organzacón. as pequeñas empresas pueden dsponer de uno o dos supervsores o ncluso no contar con ellos. n embargo, a medda en que se ncrementa el tamaño de la organzacón, el proceso de burocratzacón en la organzacón conlleva a ncrementar el número de supervsores. Pero las organzacones grandes pueden optar por dversos parámetros de dseño en matera de supervsón, observándose en consecuenca una mayor varanza en el número de supervsores. Todo análss que se basa en modelos de aprendzajes de errores (por ejemplo en el error que se comete al responder un examen) se puede sostener que los errores de respuesta con menores. Este aspecto afecta prncpalmente a la pscometría y a toda aplcacón en el campo de las evaluacones realzadas durante varos momentos en el tempo. a relacón entre una varable X y la varable dependente Y se ha especfcado con una forma funconal ncorrecta. Este es el caso cuando se supone que la relacón es lneal y en realdad sgue la forma de una parábola y en consecuenca habría de ajustarse añadendo un térmno cuadrádco para X. tra fuente de heterocedastcdad provene de la asmetría en la dstrbucón de una o más varables regresoras ncludas en el modelo de regresón. os ejemplos más frecuentes son el ngreso, varables que mden el benestar, los años de escolardad formal, la edad, etc. En tal caso se TABARÉ FERNÁNDEZ AGUERRE

5 sugere utlzar una transformacón de las varables para corregr dchas asmetrías. n embargo, la heterocedastcdad aparece tambén con una ncorrecta transformacón de los datos. Por ejemplo, se ha tomado la decsón de transformar la varable dependente sguendo alguna funcón (v.g. un logartmo) cuando no era apropada; o se ha decddo transformar una o algunas varables ndependentes cuando esto no era necesaro teórca o empírcamente (v.g. tomando prmeras dferencas o rezagando). a heterogenedad puede ser el resultado de observacones atípcas, fuera de regla, nfluyentes o tambén denomnadas puntos aberrantes en la dstrbucón conjunta para el modelo. no se ha hecho un análss de los outlayers y de los puntos nfluyentes, convene realzarlo antes de prosegur con el análss de heterocedastcdad. a heterocedastcdad aparece porque en el análss se ha desconocdo que exsten al menos dos nveles de análss. Práctcamente esto sucede toda vez que se ha proceddo a agregar nformacón de un nvel de análss nferor a otro superor. En la bblografía este problema es tratado dentro de la nocón más ampla de sesgos de agregacón y recbe partcular atencón en el análss organzaconal. Una varable regstrada a nvel de los ndvduos, como por ejemplo, el nvel de aprendzajes de un alumno, los días que un pacente ha estado nternado o el salaro recbdo por un empleado, han sdo promedados a nvel de una organzacón (escuela, hosptal o empresa). a recaudacón anual que hace una escuela por concepto de contrbucones voluntaras de los padres (lo que es conocdo en Argentna como cooperadora y en Uruguay como comsón de fomento ) se ha promedado entre los dstrtos escolares para realzar un análss de la asgnacón estatal de los recursos entre dstrtos. a nversón anual en nnovacón y desarrollo que realza una empresa ha sdo promedada a nvel del país, para hacer un análss comparatvo entre países INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

6 a varable dependente es una proporcón o un porcentaje. En tal caso, por defncón la varanza de una proporcón está nterconstruda con su promedo, por lo que varía conforme a ésta. Var( Y) = P*( 1 P) A medda que mejoran las técncas de recoleccón de nformacón, es probable que la varanza de los errores se reduzcan. En síntess, la heterocedastcdad puede surgr del tpo de problema analzado; de la forma en como se especfcó el modelo; de la forma en cómo se recolectó la nformacón y de las decsones tomadas en el tratamento de los datos. Prncpalmente se presentará en estudos transversales, aunque tambén está presente en estudos que nvolucran observacones en el tempo. 2. Consecuencas de la heterocedastcdad En presenca de heterocedastcdad, las estmacones hechas medante mínmos cuadrados (MC) sguen sendo nsesgadas pero ya no son de varanza mínma. Por defncón, para computar el error estándar de cada coefcente de regresón para los regresores ($ 1, $ 2,... $ p,), requere en su numerador la varanza homocedástca de los resduos (F 2 ). ee bp = $ σ Xp Xp *( 1 R ) TABARÉ FERNÁNDEZ AGUERRE

7 En consecuenca, s la varanza condconal no es constante, la utlzacón de la fórmula MC para estmar los errores de los coefcentes puede ser que sub-estme o sobre-estme la verdadera varanza. Estrctamente no se conoce cuál es la verdadera varanza. Por lo general, los textos de estadístca suelen afrmar que la varanza computada por MC es menor que la verdadera, por lo que al utlzar aquellas se está dando una falsa magen de precsón en la estmacón. Ahora ben, s no es posble estmar con certeza los errores estándares para cada uno de los coefcentes de regresón, esto supone que tampoco podrá computarse el valor del estadístco t. Es claro que s la fórmula del estadístco requere en su denomnador el valor del error estándar del coefcente, y s este no es posble de calcularlo, entonces los valores de t que entrega el P no pueden utlzarse. Fnalmente, no es posble tomar decsones respecto de las hpótess nulas formuladas para los coefcentes de regresón porque no se cuentan con estadístcos t. 3. Deteccón de heterocedastcdad a deteccón de heterocedastcdad supone que ya se ha ajustado el modelo de regresón lneal, por ejemplo: Y = b + b X + b X b X + e p p Var( e ) = 2 Para probar s un modelo presenta heterocedastcdad, se dsponen de dos grandes tpos de pruebas: las gráfcas, tambén denomnadas no-formales, INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

8 y las pruebas formales. Para hacer una prueba gráfca, por ejemplo, se coloca en las abscsas uno a uno los regresores X p ncludos en el modelo sospechoso. En las ordenadas se puede colocar alternatvamente: la varable Y y los resduos estandarzados. Este tpo de gráfcos permtrá observar s los errores varían con alguna o con varos regresores. as pruebas gráfcas entran ndcos sobre la exstenca del problema en el caso más smple de todos: cuando la heterocedastcdad está orgnada en una varable. n embargo, el supuesto refere a la varanza condconal para el modelo complejo ajustado. En consecuenca, s la heterocedastcdad se orgna en la combnacón lneal de todas o de algunas de las varables ncludas en el modelo, las pruebas gráfcas serán nsufcentes; no podrán detectarla. Por esta razón se recomenda realzar pruebas formales para su deteccón. a prueba de Goldfeld-Quant resulta una de las más drectas de realzar. pera comparando la magntud de la suma cuadrada de los errores de regresones (CE) ajustadas con subconjuntos de la muestra orgnal de los datos. a hpótess nula es que exste homocedastcdad: s es correcta entonces el conjunto de modelos ajustados tendrán los msmos resduos cuadrados. a lógca es que la heterocedastcdad ntroducda por un regresor genera una varanza condconal que sgue la sguente funcón, donde el nvestgador propone la hpótess de que la varanza condconal es proporconal al cuadrado de una varable X: σ = σ * X p Tene dos supuestos: ) se supone que exste una varable métrca (nterval o de razón) X p ncluda en el modelo que genera varanzas heterocedástcas; ) se supone que los resduos del modelo se dstrbuyen normalmente TABARÉ FERNÁNDEZ AGUERRE

9 El prmer paso de la prueba consste en ordenar la matrz de datos de acuerdo a los valores de X, de menor a mayor por ejemplo. El segundo paso mplca determnar un número de observacones centrales de la matrz de datos, en adelante C, que será fltrado de los análss subsguentes. Quedarán dos sub-poblacones de datos, denomnadas n 1 y n 2 ". Idealmente, convene que: n 1 = n 2. Por lo que se deberá manpular C para cumplr con este requsto. El tercer paso consste en ajustar para cada sub-poblacón una regresón MC con el msmo p número de parámetros que los utlzados para la regresón orgnal. e obtendrá para cada una la CE y los grados de lbertad, Gd, sendo estos últmos: Gd1 = n1 p En el cuarto paso se calculará la razón sguente: λ = CE CE / Gd / Gd se ha supuesto que los errores, e están dstrbudos normalmente (lo cual usalmente se hace) y s el supuesto de homocedastcdad es váldo, entonces puede mostrarse que 8 sgue la dstrbucón F con un número de grados de lbertad en el numerador y en el denomnador guales a (N - C - 2 p )/2". (Gujarat, 2004: 393). en una prueba el valor observado de F es superor al valor crítco de F, entonces se puede tomar la decsón de rechazar la hpótess nula en vrtud de que hay ndcos de heterocedastcdad. a prueba de Breuch-Pagan-Godfrey es más flexble que la anteror en la medda en que ya no supone en forma restrngda, que la INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

10 heterocedastcdad provene de una únca varable. upone gruesamente que s la hpótess nula de homocedastcdad es correcta, los cuadrados de los resduos no serán explcados por una funcón lneal de las varables ndependentes del modelo. Dado el sguente modelo: Y = b + b X + b X + + b X + e p p e supone, como hpótess alternatva, que la varanza heterocedástca del modelo, F 2, es una funcón de un sub-conjunto de m regresores de los p regresores totales ncludos en el modelo orgnal: 2 σ = a0 + a1z1 + a2z a m Z m Como prmer paso de la prueba, se estma el modelo de regresón orgnal y se obtenen los resduos estmados e. En un segundo paso se obtene el estmado la varanza tal que F 2 =3e / n. En un tercer paso, construyáse la varable dependente para el modelo auxlar de la prueba, tal que: r = e / σ 2 El cuarto paso consste en el ajuste del modelo auxlar donde r será la varable dependente y como ndependentes se selecconará un subconjunto de m varables de las p varables del modelo orgnal. El térmno resdual de esta nueva ecuacón será <. r = a0 + a1z1 + a2z amzm + ν TABARÉ FERNÁNDEZ AGUERRE

11 En el qunto paso, se retene de esta regresón auxlar la suma de los cuadrados del modelo de regresón (CM) y se defne: θ= 1 2 CM r uponéndose que los errores del modelo orgnal, e, se dstrbuyen normalmente, se puede mostrar que s hay homocedastcdad y s el tamaño n de la muestra aumenta ndefndamente, entonces: 1Í P 2 m-1 Es decr 1 sgue una dstrbucón de P 2 con (m-1) grados de lbertad. Por consguente, s en una prueba el valor de 1 observado excede al valor crítco de P 2 al nvel de sgnfcacón selecconado, se puede rechazar la hpótess de homocedastcdad. a prueba de Whte consttuye una forma general de dentfcar un posble problema de heterocedastcdad, sn que se hagan supuestos sobre la ncdenca de una varable en partcular o sobre la dstrbucón de los resduos. En prmer lugar, supóngase que se ajusta el sguente modelo con tres varables regresoras relevantes (es decr, se supone correctamente especfcado): Y= b + b X + b X + b X + e En segundo lugar, obténgase para este modelo los resduos y se los eleva al cuadrado para evtar los sgnos. En tercer lugar ajústese el sguente modelo de regresón auxlar para la prueba de Whte: INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

12 e = a + a X + a X + a X ax + ax + ax + ax* X + ax* X + ax* X+ ν Este modelo auxlar contene en la prmera fla los msmos tres regresores ncludos en el modelo orgnal. En la segunda fla, cada uno de los tres regresores ha sdo ncludo pero elevándolo al cuadrado. En la tercera fla se han ncludo las nteraccones tomadas de a dos entre los regresores. Fnalmente, en la cuarta fla se encuentra un térmno resdual (desgnado con la letra grega nu). En cuarto lugar, regístrese el número de casos con que se realza este análss y el coefcente de determnacón obtendo. En qunto lugar obténgase el estadístco sguente: [1] n* R 2 Ï as P 2 gdl Bajo la hpótess nula de que el modelo es homocedástco, puede demostrarse que el tamaño de la muestra multplcado por el coefcente de determnacón del modelo auxlar sgue asntótcamente (as) la dstrbucón j-cuadrada con grados de lbertad (gdl) gual a p-número de regresores (parámetros menos la constante) del modelo auxlar. En el caso del ejemplo, los grados de lbertad son 9 porque se han ncludo 9 regresores en el modelo (las tres varables orgnales, sus cuadrados y sus nteraccones). En sexto lugar, compárese el estadístco obtendo para el modelo auxlar con el valor crítco de j-cuadrada defnda según el nvel de sgnfcacón TABARÉ FERNÁNDEZ AGUERRE

13 deseado y los grados de lbertad. el valor observado supera al valor crítco, se puede tomar la decsón de rechazar la hpótess nula y sostener que exsten ncdos de heterocedastcdad en el modelo orgnal. Ahora ben, convene transcrbr una nota de precaucón hecha por Gujarat : En los casos en que el estadístco de Whte es sgnfcatvo estadístcamente, la heterocedastcdad puede no ser necesaramente la causa, sno los errores de especfcacón. En otras palabras, la prueba de Whte puede ser una prueba de heterocedastcdad (pura) o de error de especfcacón o de ambos. e ha argumentado que s no estuvesen los productos cruzados entre las varables en el procedmento de Whte, entonces consttuye una prueba de heterocedastcdad pura. (Gujarat 2004, ). En síntess, la prueba de Whte no es concluyente respecto de la exstenca de heterocedastcdad. Para establecer tal conclusón, el modelo requere estar correctamente especfcado. no lo está, la sgnfcacón puede deberse a la ausenca de térmnos cuadrados o de nteraccones no consderadas en el modelo orgnal. 4. Correccones para modelos heterocedástcos a heterocedasctdad puede ser un problema noportuno a resolver automátcamente en el camno del ajuste fnal de un modelo o una oportundad de realzar un hallazgo sustantvo. Por lo general, en los análss predomnan más los prmeros que los segundos. Convene comenzar con algunos crteros generales que se deben tener en cuenta. as meddas remedales dsponbles para ldar con el problema de la heterocedastcdad dependen de la causa que la ha generado. Convene que antes de tomar decsones, se haya dentfcado la o las causas de heterocedastcdad presentes INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

14 a etapa de deteccón a través de gráfcos o a través de pruebas puede proporconar un ndco frme para luego formular una medda correctva. Tal es el caso cuando se ha dentfcado que la varanza heterocedástca es una funcón de sólo uno de los regresores. Algunas de las formas más correntes de resolver heterocedastcdad no pueden aplcarse utzando el P, sno que es necesaro utlzar otros paquetes estadístcos como el E-VIEW o el TATA. la heterocesdactcdad ha sdo provocada por la vía de la agregacón, la forma más razonable de resolverla es asumr la exstenca de dos nveles de análss (v.g. ndvduos y organzacón) y modelzar esta relacón medante el uso de modelos estadístcos multnvel del tpo HM o MWIN. Dado que la heterocedastcdad puede ser el resultado de un sesgo de especfcacón, el uso de la prueba Whte podría conducr a ntroducr térmnos de nteraccón o potencas en la ecuacón, antes de contnuar con alguna medda remedal. Frente a la heterocedastcdad, cuatro son las meddas que se puede adoptar: No hacer nada e nformar las estmacones tal como son generados por MC. Aceptar las estmacones hechas por MC, pero corregr una por una las varanzas de los coefcentes de regresón, bajo determnados supuestos muy específcos. Corregr la heterocedastcdad medante Mínmos Cuadrados Ponderados (MCP). Chaterjee et al (2000: ) y Gujarat (2004: ) presentan varas meddas ad-hoc y estrategas dstntas, dependendo cada de cuál sea la funcón que explca la varanza heterocedástca. Por lo general, cuando se ha decddo resolver el problema se vuelve a ajustar el modelo solctando errores estándares robustos o errores TABARÉ FERNÁNDEZ AGUERRE

15 estándares de Whte entre las opcones que proveen los paquetes econométrcos como el E-VIEW o el TATA. Esto da lugar a un ajuste por Mínmos Cuadrados Generalzados (MCG, o G por sus sglas en nglés) INTRDUCCIÓN A ANÁII CUANTITATIV EN CIGÍA: heterocedastcdad en el modelo de regresón

16 UPUET PRUEBA VIACIÓN CNECUENCIA TRATAMIENT Homocedastcdad Var (g / X ) = F 2 1) Naturaleza teórca del problema 2)Dagrama de dspersón smple de Y contra cada X. 3) Dagrama de dspersón de error estandarzado frente al Y estmado 4) Prueba de Goldfeld-Quant (dem Chow). 5) Breusch- Pagan-Godfrey (BPG) 6) Prueba de Whte Var (g / X ) = F 2 j 1) Es teórcamente esperable una relacón decrecente de los errores con el tempo en base al aprendzaje 2) e han usado fuentes secundaras cuya produccón está explcada por una varable que tambén explca la varabldad de Y 3) e excluyó una varable relevante. 4) con el paso del tempo se mejoran las medcones de Y. 5) Presenca de casos totalmente desvados a varanza de g depende de los valores de una X ncluda en el modelo. 1) los coefcentes son nsesgados pero no son efcentes, s todos los restantes supuestos se cumplen. 2) os estmadores son nefcentes (no tenen varanza mínma). 3) a varanza del coefcente b k en presenca de heterocedastcdad, no se sabe s es mayor o menor que la verdadera varanza. 3) Es probable que las pruebas F y t den resultados mprecsos. Dependen del paquete estadístco que se está empleando. 1) todos los supuestos se comprueban y se conoce F 2 podría corregrse la fórmula de la varranza del coefcente por: var( β $ ) = k 2 2 [( X X) σ ] 2 ( [( X X) ] 2 2) En el P puede ajustarse un modelo en base a Mínmos Cuadrados Ponderados (MCP o W en nglés) 3) En otros paquetes, tal como el E-Vews y el tata, correr el modelo con correcón de Whte errores estándares robustos) TABARÉ FERNÁNDEZ AGUERRE