Práctica 6: Regresión Lineal Múltiple (3)

Transcripción

1 Práctica 6: Regresión Lineal Múltiple () En la práctica anterior vimos cómo se pueden diagnosticar diferentes violaciones de las condiciones del modelo de regresión a través del análisis gráfico de los residuos En esta ocasión estudiaremos diferentes transfomaciones de variables que, en bastantes ocasiones, conducen a un aceptable cumplimiento de los supuestos del modelo Cuando ello se consiga, se resolverá el problema de regresión lineal con las variables transformadas Para obtener una ecuación final, será necesario deshacer los distinos cambos de variables modeloplanteará Consideramos de nuevo el archivo Análisis residuossav Recordemos que la relación entre la variables respuesta y[5] y la variables explicativas z[],z[],z[] era de tipo multiplicativo en lugar de aditivo Por ello, al aplicar directamente las técnicas de regresión lineal se obtenían unos resultados desastrosos No obstante, con la información que tenemos sabemos que si consideramos el logaritmos neperiano de cada variable, la relación se hace lineal Efectivamente, procederemos, en ese caso, al análisis de los residuos y a la ejecucuión de las técnicas de regresión lineal 4 Desv típ =,98 Media =, N =, -,98 -,4,6, Unstandardized Predicted Value - - -,5 -, -,5,,5,,5,,5 ln(z[]) Página

2 ln(z[]) ln(z[]) Nótese que un análisis superficial de estos gráficos podría inducir a un diagnóstico erróneo de heterocedasticidad Sin embargo, los gráficos se ajustan a lo que cabe esperar cuando las condiciones del modelo se cumple Por qué? Vamos con el análisis estadístico Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ de la estimación,95 a,96,9,74984 a Variables predictoras: (Constante), ln(z[]), ln(z[]), ln(z[]) b Variable dependiente: ln(y[5]) Coeficientes a Modelo (Constante) ln(z[]) ln(z[]) ln(z[]) a Variable dependiente: ln(y[5]) Coeficientes no estandarizados Coeficientes estandarizad os B Error típ Beta t Sig -,65,4 -,68,9,87,,9,49, 4,58,5,88 7,6,,9,8,6 5,4, Si deshacemos los cambios de variables, obtemos la siguiente ecuación: y[5]=*z[]**9*z[]**46*z[]**9 En definitiva, consierando el logaritmo obtenemos unas aceptables predicciones de los coeficientes de regresión, exceptuando quizás al del término independiente Este ejemplo nos muestra claramente cómo un sencillo cambio de variables puede solucionar el problema de regresión No obstante, es preciso tener al menos una idea orientativa de qué tipo de transformación utilizar en función del problema diagnosticado Página

3 Como segundo ejemplo, consideremos los datos del archivo Transformacionessav En el mismo podemos encontrar un problema de correlación con cuatro variables explicativas y unidades experimentales Un primer análisis de los residuos delata una clara falta de ajustes al modelo:,5,5,5,5 9,5 8,5 7,5 6,5 5,5 4,5,5,5,5,5 -,5 Desv típ =,99 Media =, N =, Regresión Residuo tipificado En ese caso, podemos empezar por representar gráficamente cada una de las variables en juego , , , , , , , , , , , , , , , , , , ,, Desv típ = 6,8E+ Media = 5,7E+ N =, Y ,, 9, 8, 7, 6, 5, 4,,,,, Desv típ = 865,7 Media = 64,7 N =, Z Página

4 , 4,,, 8, 6, 4,,, 8, 6, 4,,, Desv típ = 768,65 Media = 99,7 N =, Z , 45, 4, 5,, 5,, 5,, 5,, Desv típ = 7,4 Media = 6,4 N =, Z 8 6 4, 8, 6, 4,,, 8, 6, 4,,, Desv típ = 9,56 Media =, N =, Z4 Todas ellas presentan un claro sesgo positivo Podemos probar con una transformación logarítmica para eliminarlo Página 4

5 , 8, 6, 4,,, 8, 6, 4,,, 8, 6, 4,,, -, -4, -6, -8, Desv típ = 7,8 Media = 9,6 N =, ln(y) 9, 8,5 8, 7,5 7, 6,5 6, 5,5 5, 4,5 4, Desv típ =, Media = 6,9 N =, ln(z) 4, 9, 8, 7, 6, 5, 4,,,,, Desv típ =,77 Media = 5, N =, ln(z) 8,5 8, 7,5 7, 6,5 6, 5,5 5, 4,5 4,,5, Desv típ =,95 Media = 5,98 N =, ln(z) Página 5

6 4 7,75 7,5 7,5 7, 6,75 6,5 6,5 6, 5,75 5,5 5,5 5, 4,75 4,5 4,5 4,,75,5,5, Desv típ =,9 Media = 5, N =, ln(z4) ln(z) ln(z) ln(z) ln(z4) ln(y) El resultado es exitoso, como podemos ver en los nuevos histogramas y, especialmente, en el gráfico de dispersión matricial, lo cual nos aproxima a las condiciones del modelo de correlación lineal Podemos aplicar directamente las técnicas de regresión lineal (conviene, no obstante, realizar un nuevo análisis de los residuos) Los resultados, con selección de variables incluida, son los siguientes,5,,5,,5, -,5 -, -,5 -, -,5 Desv típ =,99 Media =, N =, Página 6

7 Unstandardized Predicted Value Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ de la estimación,998 a,996,996,556 a Variables predictoras: (Constante), lnz4, lnz, lnz, lnz b Variable dependiente: lny ANOVA b Modelo Regresión Residual Total Suma de Media cuadrados gl cuadrática F Sig 59,65 4 4,9 4,, a 5,89 95,66, a Variables predictoras: (Constante), lnz4, lnz, lnz, lnz b Variable dependiente: lny Coeficientes a Modelo (Constante) lnz lnz lnz lnz4 a Variable dependiente: lny Coeficientes no estandarizados Coeficientes estandarizad os B Error típ Beta t Sig -,,44-47,6, 5,4,6,66 4,6, -,987, -,679-4,76,,4,9,45 5,78, -,56,4 -,7 -,67,7 Obsérvese que la variable z4 ha sido excluida del modelo La ecuación final sería la siguiente y=exp(-44)*z**57*z**(-98)*z**5 Seguidamente, consideramos los datos del archivo Transformacionessav Se trata de un problema de regresión lineal simple con una muestra de tamaño Un primer análisis de los residuos revela cierta tendencia en los mismos si los confrontamos con los valores ajustados Página 7

8 Unstandardized Predicted Value El cuadrado de la variable explicativa puede eliminar esta tendencia A tal conclusión se puede llegar a través del gráfico anterior, utilizando tecnicas de regresión polinómica o por simple tanteo Unstandardized Predicted Value No obstante, queda patente un problema de heterocedasticidad Busquemos la potencia de la variable explicativa que puede ser proporcional a la varianza de los errores Source variable Z Dependent variable Y Log-likelihood Function = -64, POWER value = -4, Log-likelihood Function = -594,67 POWER value =,5 Log-likelihood Function = -584,7445 POWER value =, Log-likelihood Function = -575,568 POWER value = -,5 Log-likelihood Function = -565,8886 POWER value = -, Log-likelihood Function = -557,689 POWER value = -,5 Log-likelihood Function = -548,6666 POWER value = -, Log-likelihood Function = -54,9764 POWER value = -,5 Log-likelihood Function = -5,979 POWER value =, Log-likelihood Function = -57,88655 POWER value =,5 Log-likelihood Function = -5,856 POWER value =, Log-likelihood Function = -59,64 POWER value =,5 Log-likelihood Function = -57, POWER value =, Log-likelihood Function = -58,699 POWER value =,5 Log-likelihood Function = -5,99874 POWER value =, Log-likelihood Function = -55,9775 POWER value =,5 Log-likelihood Function = -5,7 POWER value = 4, The Value of POWER Maximizing Log-likelihood Function =, El exponente que hace más verosímil la muestra respecto a una modelo en el cual la varianza del error es proporcional a una potencia de z es En ese caso, se guarda la función wgt=z**, que se utilizará en a regresión MCP Tras aplicar dicha regresión se obtiene lo siguiente Página 8

9 Resumen del modelo Modelo R R cuadrado R cuadrado corregida Error típ de la estimación,974 a,949,948,994 a Variables predictoras: (Constante), z** Coeficientes a,b Modelo (Constante) z** a Variable dependiente: Y Coeficientes no estandarizados Coeficientes estandarizad os B Error típ Beta t Sig 5,9 5,48,866,5,49,,974 4,664, b Regresión de mínimos cuadrados ponderados - Ponderada por Weight for Y from WLS, MOD_ Z** -, Por lo tanto, la ecuación estimada del modelo es Y=59+49z** Como cuarto ejemplo, consideramos los datos del archivo Transformacionessav Se trata de un problema de correlación con variables explicativas y 5 unidades experimentales Un análisis gráfico previo delata la no normalidad de la variable respuesta Una transformación inversa conduce a una distribución aproximadamente normal 4,5,, -, -,5 -,8 -,5 -,6 -,75 -,88 -, -, -,5 -,8 -,5 -,6 -,75 Desv típ =,6 Media =, N = 5, Y ,5 45, 4,5 4, 7,5 5,,5, 7,5 5,,5, 7,5 5,,5, 7,5 5,,5, Desv típ =,6 Media = 6,4 N = 5, /Y Página 9

10 /y Z Z Z Lo observado en el gráfico de disperisón matricial se ajusta bastante bien a lo que entendemos por un modelo de correlación Si no estamos convencidos, podemos optar por el análisis de los residuos para /y Desv típ =,97 Media =, N = 5,, -, -,,,, -,5 -,5 -,5,5,5, Unstandardized Predicted Value Página

11 Z Z Z Los gráficos pueden resultar satisfactorios Quizá puede apreciarse cierta heterocedasticidad relacionada con z y z No obstante, nótese que ambas variables están correlacionadas Procedemos a buscar una potencia de z que maximice la verosimilitud Source variable Z Dependent variable YY Log-likelihood Function = -,555 POWER value = -4, Log-likelihood Function = -96,9556 POWER value =,5 Log-likelihood Function = -9,9684 POWER value =, Log-likelihood Function = -88,4464 POWER value = -,5 Log-likelihood Function = -84,6545 POWER value = -, Log-likelihood Function = -8,49586 POWER value = -,5 Log-likelihood Function = -78,67897 POWER value = -, Log-likelihood Function = -76,99 POWER value = -,5 Log-likelihood Function = -74,875 POWER value =, Log-likelihood Function = -7,6599 POWER value =,5 Log-likelihood Function = -7,59599 POWER value =, Página

12 Log-likelihood Function = -7,46 POWER value =,5 Log-likelihood Function = -7,9 POWER value =, Log-likelihood Function = -7,864 POWER value =,5 Log-likelihood Function = -7,646 POWER value =, Log-likelihood Function = -75,457 POWER value =,5 Log-likelihood Function = -78,8554 POWER value = 4, The Value of POWER Maximizing Log-likelihood Function =,5 La potencia óptima es 5 De todas formas conviene valorar si se mejora sustancialmente a verosimilitud respecto al método de mínimos cuadrados ordinarios (exponente ) Si no es así, se puede optar por el método ordinario El resultado del mismo es el siguiente Coeficientes a Modelo (Constante) Z Z a Variable dependiente: /y Coeficientes no estandarizados Coeficientes estandarizad os B Error típ Beta t Sig 4,86 4,65 8,74, -,869,476 -,6-6,5,,89,49,465 4,64, Nótese que la variable z queda excluida del modelo La ecuación final estimada es y=/ (486-89*z-869*z) A continuación evaluamos los datos del archivo Pesosav Como ya sabemos, se trata de una regresión lineal simple El análisis de los residuos no deja patente ninguna tendencia pero sí una ligera heterocedasticidad cuando los confrontamos con la variable explicativa Edad de gestación (en semanas) Se tiene en este caso que el cuadrado de z maximiza la función de verosimilitud, aunque la mejoría es poco notable Podemos optar por una regresión ordinaria o una ponderada La ordinaria, que se llevó a cabo en la práctica, ofrecía el siguiente resultado Resumen del modelo Modelo R R cuadrado R cuadrado corregida Error típ de la estimación,98 a,964,96,86 a Variables predictoras: (Constante), Edad de gestación (en semanas) Página

13 Coeficientes a Modelo (Constante) Edad de gestación (en semanas) a Variable dependiente: Peso del feto (en gr) Coeficientes Coeficientes no estandarizad estandarizados os B Error típ Beta t Sig -4,774 64,6-6,79, 9,8 7,965,98 4,8, La regresión por MCP aporta lo siguiente Resumen del modelo Modelo R R cuadrado R cuadrado corregida Error típ de la estimación,98 a,966,965,9 a Variables predictoras: (Constante), Edad de gestación (en semanas) Coeficientes a,b Modelo (Constante) Edad de gestación (en semanas) a Variable dependiente: Peso del feto (en gr) Coeficientes Coeficientes no estandarizad estandarizados os B Error típ Beta t Sig -466,49 48,8-7,48, 9,746 7,66,98 5,, b Regresión de mínimos cuadrados ponderados - Ponderada por Weight for PESO from WLS, MOD_8 EDAD** -, Por último, consideramos el archivo Linthurstdatasav y efectuamos un análisis crítico de los supuestos del modelo 8 6 4,75,5,5,,75,5,5,,75,5,5, -,5 -,5 -,75 -, -,5 -,5 -,75 -, Desv típ =,94 Media =, N = 45, Página

14 - - Unstandardized Predicted Value A muy grandes rasgos, los gráficos de residuos no presentan calaras patologías Por otra parte, podemos comprobar que las variables biomasa, K y Na presentan sesgos positivos Mediante transformaciones logarítmicas se obtienen distribuciones simétricas, pero ello no sirve para mejorar el aspecto del diagrama de dispersión matricial ni los gráficos de los residuos De hecho no logramos encontrar una transformación de variables adecuada Convendría consierar la presencia de valores extremos y de variables cualitativas (factores) responsables de gran parte de la varibilidad de los datos Por lo demás, el análisis de regresión efectuado en la práctica 4 puede resultar adecuado, al menos si obviamos las consideraciones anteriores y el problema de colinealidad que puede existir Página 4