Verificación de Calidad de Modelos en Regresión Lineal Software Estadístico de Regresión ERLA

Transcripción

1 Verfcacón de Caldad de Modelos en Regresón Lneal Software Estadístco de Regresón ERLA Autores: Juan Carlos Buenaño Cordero, Cela De La Cruz Cedeño Coautor: Gaudenco Zurta Herrera Insttuto de Cencas Matemátcas Escuela Superor Poltécnca del Ltoral Km vía Permetral, Edfco 3D, Guayaqul - Ecuador ucabuen@espol.edu.ec, adela@espol.edu.ec, gzurta@espol.edu.ec Resumen En un análss de Regresón Lneal, exsten varos supuestos o premsas que deben ser consderados al momento de determnar la valdez de un modelo, puesto que el no cumplmento de alguno de estos supuestos podría conducrnos a modelos nestables, de ser así, un valor alto del estadístco R o R austado no garantza que el modelo se auste ben a los datos. Entre los prncpales supuestos que se realzan están: La dstrbucón del error normal con meda 0 y varanza σ constante, la no correlacón de los errores y la relacón no lneal entre las varables de explcacón. Por otra parte los estadístcos de resumen como t, F o R, los Coefcentes de Regresón y la Meda Cuadrátca del Error son sensbles a la presenca de valores aberrantes o atípcos. En este artículo se revsan los métodos más usados, para verfcar el cumplmento de estos supuestos, detectar la presenca de valores aberrantes y puntos de nfluenca a través de su mplementacón y correspondente valdacón en un software estadístco especalzado en la técnca de Regresón Lneal llamado ERLA (Estadístca de Regresón Lneal Avanzada), desarrollado por estudantes del Insttuto de Cencas Matemátcas de la ESPOL. Palabras Claves: Regresón Lneal, Supuestos, Adecuacón del Modelo, Implementacón, Valdacón, Software, ERLA. Abstract In Lnear Regresson Analyss, there are assumptons and premses that must be consdered to determne the valdty of a model. Snce non-complance wth any of these assumptons could lead to unstable models, f so, a hgh value of R and adusted R does not guarantee that the model fts the data well. Among the maor assumptons of Lnear Regresson are: The normal error dstrbuton wth mean 0 and constant varance σ, non-correlaton of the errors and the non-lnear relatonshp between the varables of explanaton. Moreover summary statstcs such as t, F or R, Regresson Coeffcents and Mean Square of Error are senstve to the presence of outlers or atypcal values. Ths artcle revews the methods used to verfy complance wth these assumptons, the presence of outlers and leverage ponts through ts mplementaton and valdaton by usng a Lnear Regresson-orented software named ERLA (Advanced Lnear Regresson Statstcs), developed by students of the Insttute of Mathematcal Scences at ESPOL. Keywords: Lnear Regresson, Assumptons, Model Adequacy, Deployment, Valdaton, Software, ERLA. 1. Introduccón La Regresón Lneal es una de las técncas estadístcas más poderosas y versátles utlzada en dversas áreas, entre ellas la medcna y los negocos, ya que esta técnca permte explorar y cuantfcar la relacón entre una varable llamada varable de respuesta, explcada o pronostcada Y, y una o más varables predctoras o varables de explcacón X 1, X,, X p-1 sempre y cuando éstas sean cuanttatvas. Debdo a la mportanca que demandan las conclusones a las cuales se llega después de obtener un modelo, resulta mprescndble evaluar la caldad del msmo. Para ello exsten numerosos métodos estadístcos basados prncpalmente en el análss de resduales, recuérdese que: Dado el modelo de Regresón Lneal:

2 y x x... x ( p1) ( p1) Para =1,,,n Se defne al error El ee vertcal de ésta gráfca es construdo a partr de la nversa acumulada de la normal estándar, razón por la que su valor varía entre 0 y 1. Véase Fgura. y E[ y ] donde E[ y ] x x... x p 1 ( p 1) Y a los resduales como los estmadores del error: e ˆ y y ˆ, yˆ b b x b x... b x p 1 ( p 1) Además se trabaa bao los supuestos de que: - La dstrbucón del error ε es normal con meda cero. - La varanza de ε es constante. - Los errores ε y ε para no están correlaconados. - Las varables de explcacón X y X para no están correlaconadas. No sólo el no cumplmento de los supuestos antes descrtos, puede afectar la caldad del modelo de regresón lneal sno tambén la nclusón de valores aberrantes o puntos de nfluenca. A contnuacón se descrben los métodos más usados para dentfcar este tpo de nadecuacones. Además se explca brevemente cómo aplcar éstos métodos en el Software estadístco de Regresón ERLA.. Normaldad Entre los métodos que permten verfcar s la dstrbucón del error es normal, se pueden menconar los métodos de bondad de auste y el gráfco de probabldad normal..1. Gráfco de Probabldad Normal 1,645 0,16 0,53 0,385 0,54 0,674 0,84 1,036 1,8 F -1 (α) 0,000-0,16-0,53 0,84 0,80 0,674 0,75 0,54 0,70 0,385 0,65 0,53 0,60 0,16 0,55 0 0,50-0,16 0,45-0,53 0,40-0,385 0,35-0,54 0,30-0,674 0,5-0,84 0,0-0,385-0,54-0,674-0,84-1,036-1,8 1,645 0,95 1,8 0,90 1,036 0,85-1,645 X -1,036 0,15-1,8 0,10-1,645 0,05 Fgura. Escala de Probabldad Normal Sean e [1], e [],, e [n] los resduales ordenados en forma ascendente. S se grafca e [] en funcón de la dstrbucón acumulada F(e [] )=(-0.5)/n, para =1,,,n en un gráfco de probabldad normal, los puntos deberían aproxmarse a una recta, s es que la dstrbucón de probabldad de los e [] es normal. 3. Homocedastcdad - Varanza Constante Una manera senclla de verfcar s la varanza del error ε es constante es realzando un gráfco de los resduales e contra los valores austados ŷ. S la varanza es constante se esperaría que los errores fluctúen alrededor del ee horzontal, y que puedan ubcarse en una banda; caso contraro puede ser que la varanza no sea constante Véase Fgura 3. α El Gráfco de Probabldad Normal es un gráfco dseñado para que al grafcarse la dstrbucón normal acumulada se bosquee una línea recta. Véase Fgura 1 Fgura 3. Resduales e vs. Valores austados ŷ Fgura 1. Gráfco de Probabldad Normal 4. Errores no correlaconados Otro de los supuestos que se realza en un análss de Regresón Lneal es que los errores no están

3 correlaconados, y; para verfcar que este supuesto se cumpla se pueden usar dos métodos: 4.1. Gráfco de los resduales vs. Secuenca u orden Al grafcar los resduales de manera ordenada en el tempo o espaco es posble detectar la presenca de correlacón entre los errores. S estos muestran algún tpo de patrón lneal o cíclco por eemplo, los errores podrían estar correlaconados caso contraro no lo están. Véase Fgura 4. n d e e 1 n e S la Hpótess Nula de la prueba es verdadera, la dstrbucón del estadístco d dependería de la matrz de dseño X y es desconocda. Sn embargo Durbn y Watson [1951] demostraron que d esta entre dos cotas d L y d U a través de las cuales se puede llegar a una conclusón respecto a la hpótess nula planteada: S d < d L, rechazar H 0 S d > d U, no rechazar H 0 S d L d d U, la prueba no es concluyente. Durbn y Watson tabularon los valores de los límtes d L y d U para varos tamaños de muestra, dversas cantdades de regresores o varables de explcacón y tres tasas de error tpo I (α=0.05, α=0.05, y α=0.01). G. S. Maddala en el año de 1996 pudo probar que d es un valor comprenddo entre 0 y 4. Véase Fgura 5. (a) Errores no correlaconados (b) Errores correlaconados Fgura 5. Regón de Rechazo de la Prueba de Durbn- Watson Así, s el valor del estadístco d es próxmo a, ρ=0; s se aproxma a 4, ρ<0 y s se aproxma a 0 ρ>0. 5. Multcolnealdad - Varables de explcacón no correlaconadas Fgura 4. Gráfco de resduales en el tempo 4.. Prueba Durbn-Watson La prueba de Durbn-Watson es utlzada en Seres de Tempo para detectar Correlacón Seral. Esta prueba se basa en la hpótess de que los errores del modelo de regresón se generan en un proceso autorregresvo de prmer orden, esto es: 1 donde es una varable aleatora N(0, ) y es el coefcente de correlacón. Ante esta stuacón Durbn y Watson plantearon la sguente prueba unlateral: H o : 0 vs. H 1 : 0 y determnaron la regón crítca de la prueba en base al estadístco: Cuando exste una relacón aproxmadamente lneal entre las varables de explcacón, es posble que los estmadores resultantes tengan varanzas muy grandes aunque sguen conservando la propedad de nsesgados, además se puede no rechazar la hpótess nula de que un parámetro es cero, aun cuando la correspondente varable sea relevante; y por últmo los coefcentes estmados serán muy sensbles a pequeños cambos en los datos. Una forma de detectar multcolnealdad es calculando la matrz de correlacón de las varables de explcacón y ver qué pares de varables tenen correlacón cercana a 1. Sn embargo exsten métodos más formales como el Factor de Agrandamento de la Varanza (FAV) y el Número de Condcón.

4 5.1. Factor de Agrandamento de la Varanza (FAV) S consderamos el modelo de regresón lneal múltple: Y X X... X ( p1) ( p1) para =1,,,n. Entonces se puede probar que la varanza del -ésmo coefcente de regresón estmado es: ˆ s ˆ n(1 R ) s para =1,,,p-1 y donde R es el coefcente de determnacón obtendo al hacer la regresón de X sobre el resto de las varables de explcacón del modelo, y s es la varanza muestral de la varable X. S la correlacón entre las varables de explcacón fuera nula, la fórmula para estmar la varanza del - ésmo coefcente de regresón se reducría a: ˆ s ˆ ns El FAV es la razón entre la varanza observada y la que habría sdo en caso de que no estuvera correlaconada con el resto de las varables de explcacón del modelo: 1 FAV 1 R Es decr que el FAV mde cuanto crece la varanza del -ésmo coefcente de regresón como consecuenca de que las varables estén altamente correlaconadas. Una varable de explcacón con un FAV entre 5 y 10 puede causar multcolnealdad. 5.. Número de condcón El número de condcón es la razón entre la raíz característca más grande ( ) y la raíz característca más pequeña ( mn ) de la matrz X T X, sendo X la matrz de dseño sn la columna de unos: ( max ) k( X ) ( ) Recuérdese que la matrz X T X es una matrz cuadrada y smétrca. El problema de la multcolnealdad es grave cuando el número de condcón toma un valor mayor que Entre las solucones que pueden darse a la multcolnealdad están: 1. Elmnar del modelo las varables que tenen una correlacón muy alta.. Incrementar el tamaño de la muestra max mn 3. Regresón Rdge 4. Componentes prncpales 5. Mínmos Cuadrados Parcales 6. Valores aberrantes o atípcos En todo análss estadístco resulta mportante detectar la presenca de valores aberrantes o atípcos, ya que éstos pueden afectar drástcamente a los estmadores, por ello exsten varos crteros para su dentfcacón basados en el análss de resduales. El Gráfco de los Resduales e en funcón de los valores austados y y el Gráfco de Probabldad ˆ Normal son tambén útles para detectar valores atípcos potencales Resduales Ya se habían defndo antes los resduales como: e ˆ y yˆ Además, se puede probar que: Ee ( ) 0 Var( e ) MCE Se consderan valores atípcos potencales, los resduales cuyo valor absoluto es mayor a tres desvacones estándar respecto de la meda. Se recomenda además analzar los resduales que se detallan a contnuacón Resduales Estandarzados. Ya que la varanza aproxmada del error se estma con la MCE, los resduales estandarzados serán: e d MCE Los resduales estandarzados tenen meda cero y varanza aproxmadamente untara. Un resdual estandarzado mayor que 3 ndca que la observacón -ésma es un valor atípco potencal Resduales Estudentzados. Sea H, la conocda Matrz Hat defnda como: T -1 T H = X(X X) X y h sus elementos; además sea e el vector de resduales, se puede probar que: Var() e = I - H Esto quere decr que: Var( e ) (1 h ) y Cov( e, e ) ( h ) Por tanto se defnen los resduales estudentzados dvdendo el -ésmo resdual entre su desvacón estándar exacta : e r MCE(1 h )

5 Los resduales estandarzados y estudentzados aportan con frecuenca nformacón equvalente. En conuntos grandes de datos los resduales estandarzados no serán muy dferentes de los estudentzados. Un resdual estudentzado r mayor que 3 ndca la presenca de un valor atípco potencal Resduales PRESS. Los resduales PRESS o resduales de predccón se defnen como la dferenca entre el valor observado y para 1,,..., n y el valor estmado de esta observacón basado en todas las observacones excepto esta -ésma: e y yˆ [ ] [ ] Es decr, se elmna la -ésma observacón y se austa el modelo de regresón a las n-1 observacones restantes, para estmar y. Se puede probar que exste una relacón entre los resduales PRESS y los resduales usuales: e e[] 1 h Una gran dferenca entre el resdual ordnaro y el resdual PRESS ndca un valor atípco potencal. 7. Puntos de Influenca Los Puntos de Influenca o valores nfluyentes son aquellos que tenen un mpacto notable sobre los coefcentes del modelo, por ello la mportanca de localzarlos. La mayoría de los textos llaman valores aberrantes a un valor aleado solamente en la dreccón vertcal y Punto de nfluenca a una observacón aleada en la dreccón horzontal. Véase Fgura 6. El punto A no afecta las estmacones de los coefcentes de regresón, mentras el punto B s tene un mpacto notable en la estmacón de estos coefcentes puesto que atrae a la recta de regresón en su dreccón. A contnuacón se presentan dos métodos para detectar puntos de nfluenca: 7.1. Apalancamento Sea H, la antes menconada Matrz Hat defnda como: T -1 T H = X(X X) X La varanza del vector de estmacones puede escrbrse como: ˆ Var( Y ) = H Los elementos h de la matrz H son una medda de lugar o ubcacón del -ésmo punto en el espaco de x, por lo tanto son vstos como la cantdad de balanceo o apalancamento de la -ésma observacón y sobre el -ésmo valor austado y. Por esta razón, los valores grandes en la dagonal de la matrz H ndcan observacones que son potencalmente nfluyentes, esto es; valores de h p / n lo cual no aplca para casos donde p/ n 1. ˆ 7.. Dstanca de Cook La dstanca de Cook mde el cambo que ocurrría en el vector de coefcentes estmado de regresón s la -ésma observacón fuera omtda. Esta dstanca se defne como: (a) (b) Fgura 6. Puntos de Influenca ( βˆ βˆ )' (ˆ ˆ [ ] [ ]) X'X β β CD pmce Dónde: βˆ es el vector de coefcentes estmado con el modelo completo β es el vector de coefcentes estmado sn la - ˆ [ ] ésma observacón X es la matrz de Dseño MCE es el estmador de σ p es el número de parámetros en el modelo Sea P el -ésmo punto para =1,,,n de p coordenadas. Dado el sguente contraste de Hpótess: H : 0 P no es un punto de nfluenca

6 vs. H : 1 P es un punto de nfluenca la caldad del modelo a través del botón Opcones. Véase Fgura 9. Con (1-α)100% de confanza se rechaza H 0 a favor de H 1 s el estadístco CD es mayor que F(, p, n p). 8. Software estadístco de Regresón ERLA ERLA es un software estadístco especalzado en la técnca de regresón lneal, desarrollado por estudantes del Insttuto de Cenca Matemátcas medante el uso del MCR (MATLAB Component Runtme) y VsualBasc.NET. A contnuacón se presenta cómo obtener un modelo de regresón lneal en ERLA, y cómo evaluar la caldad del msmo utlzando los métodos antes menconados. Fgura 8. Cuadro de Dálogo Regresón Lneal ERLA Fgura 7. Inco ERLA 8.1 Regresón Lneal en ERLA Para explcar cómo se realza un análss de Regresón Lneal en ERLA, se ha consderado, guardando la correspondente confdencaldad que la étca estadístca exge, una base de datos correspondente a un estudo realzado en la Escuela Superor Poltécnca del Ltoral por el Centro de Estudos e Investgacones Estadístcas, llamado Imagen de la ESPOL en Guayaqul. Este estudo presenta un total de 1 proposcones calfcadas en una escala del 1 al 10. Al obtener la matrz de correlacón de las proposcones, se encontró que P9 (Identfco a los estudantes de la ESPOL por su responsabldad) y P10 (Identfco a los estudantes de la ESPOL por su honestdad) están altamente correlaconadas. Para obtener el modelo de regresón que explque a P10 en térmnos de P9 se sgue la secuenca: Fgura 9. Cuadro de Dálogo Opcones de Regresón Lneal ERLA En el cuadro de dálogo Opcones se selecconan todos los ítems de Verfcacón de supuestos, Puntos de nfluenca y Valores aberrantes y Multcolnealdad. Los resultados se muestran en la Fgura Barra de menues Análss de datos Regresón Regresón lneal. Seleccone la varable a ser explcada y las varables de explcacón en el cuadro de dálogo Regresón Lneal (Véase Fgura 8), luego seleccone los ndcadores para evaluar Fgura 10. Modelo de Regresón Lneal obtendo en ERLA

7 Estos resultados son: 1. El modelo.. La potenca de explcacón del modelo (R y R Austado). 3. La desvacón estándar (s). 4. La tabla ANOVA con todos sus valores característcos: Fuentes de varacón (1era columna), grados de lbertad (G.L.), sumas y medas cuadrátcas (S.C. y M.C., respectvamente), el estadístco de prueba F (F) y el valor p (P). 5. La tabla de nferenca respecto a los parámetros betas. El valor del estmador (ESTIMADOR), el error estándar del estmador (E. E. ESTIMADOR), el estadístco de prueba t (T) y el valor p (P). 6. Los ntervalos de confanza para los parámetros betas utlzando un nvel de confanza del 95%. Se puede dstngur en los resultados de la tabla el límte nferor (INFERIOR) y el límte superor (SUPERIOR). Fgura 1. Gráfco de Resduales vs. Valores Austados Por otra parte los resultados que pueden obtenerse para evaluar la caldad del modelo: Normaldad del error. ERLA muestra el Gráfco de probabldad normal de los resduales: Fgura 13. Gráfco de los Resduales vs. Secuenca/Orden Fgura 14. Prueba de Durbn-Watson Fgura 11. Gráfco de Probabldad Normal Homocedastcdad. ERLA muestra el Gráfco de Resduales vs. Valores Austados. Véase Fgura Errores no correlaconados. ERLA muestra el Gráfco de los resduales en vs. secuenca/orden. Véase Fgura 13. Además presenta el estadístco de Durbn Watson para una prueba de dos colas con su respectvo valor p. Véase Fgura Multcolnealdad. ERLA presenta el Factor de agrandamento de la varanza (FAV) para cada una de las varables de explcacón ncludas en el modelo, y tambén el Número de Condcón. Véase Fguras 15 y 16. Fgura 15. Factor de Agrandamento de la Varanza

8 defntvamente hace que el modelo no sea del todo confable. 9.. Recomendacones Fgura 16. Número de Condcón Valores Aberrantes. ERLA presenta los valores aberrantes potencales en una tabla con sus correspondentes resduales. Véase Fgura Sempre debe verfcarse el cumplmento de los supuestos o premsas bao los cuales se trabaa en un análss de regresón, puesto que la caldad del modelo encontrado puede verse afectada y las conclusones fnales pueden ser erradas.. Se debe tener mucho cudado s quere elmnar valores aberrantes y puntos de nfluenca, ya que estos no sempre provenen de un error de medcón o dgtacón y en estos casos debe consderarse el uso de técncas robustas de estmacón que no sean tan sensbles a puntos nfluyentes como lo son los mínmos cuadrados. 10. Referencas Bblográfcas Fgura 17. Valores Aberrantes Puntos de Influenca. Para detectar puntos nfluyentes, ERLA presenta el vector de apalancamentos unto al vector que contene las dstancas de Cook como nuevas varables en la ventana de datos. Véase Fgura 18. [1] MONTGOMERY, D. (00), Introduccón al Análss de Regresón Lneal, Edtoral Contnental, Méxco-Méxco. [] SEBER, A. & LEE, A. (003), Lnear Regresson Analyss, (da Edcón), Edtoral Wley, New York U.S.A. [3] GUJARATI, D. (004), Econometría Básca, (4ta Edcón), Edtoral Mc Graw Hll, Méxco- Méxco. Fgura 18. Puntos de Influenca 9. Conclusones y recomendacones 9.1. Conclusones 1. El no cumplmento de los supuestos en un análss de regresón lneal hace que los estmadores de los coefcentes del modelo deen de ser efcentes, los ntervalos de confanza y las pruebas de hpótess basadas en las dstrbucones t y F dean de ser confables. El modelo se vuelve nestable, en el sentdo de que muestras dferentes pueden conducr a modelos dferentes. 3. La presenca de valores aberrantes y puntos de nfluenca en un modelo de regresón lneal pueden dsmnur la potenca de explcacón del modelo. 3. Para el caso del eemplo, está claro que el modelo no cumple el supuesto de normaldad del error, esto [4] MORILLAS, A. & DÍAZ, B. (007), El Problema de los Outlers Multvarantes en el Análss de Sectores Clave y Cluster Industral, Unversdad de Málaga, España. [5] ZURITA, G. (010), Probabldad y Estadístca: Fundamentos y Aplcacones, (da Edcón), Talleres Gráfcos ESPOL, Guayaqul-Ecuador. [6] ACUÑA FERNÁNDEZ, E. Dagnóstcos de Regresón, Unversdad de Puerto Rco, obtendo en agosto de 010 desde [7] ACUÑA FERNÁNDEZ, E. Multcolnealdad, Unversdad de Puerto Rco, obtendo en agosto de 010 desde [8] RAMIREZ, D. Autocorrelacón, obtendo en septembre de 010 desde fhttp://webdelprofesor.ula.ve/economa/dramrez/ MICRO/FORMATO_PDF/Materaleconometra/A utocorrelacon.pdf.