Práctica7: Regresión Lineal Múltiple (4)

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Práctica7: Regresión Lineal Múltiple (4)"

Carmelo Ortíz González
hace 6 años
Vistas:

1 Práctica7: Regresión Lineal Múltiple (4) Para acabar con el problema de regresión analizaremos mediante una serie de ejemplos la trascendencia uencia que pueden tener en dicho análisis la presencia de valores influyentes por una parte y de varibables explicativas fuertemente correlacionadas (multicolinealidad) por otra 7 Empezaremos pues con el problema de los valores influyentes Para ello consideramos el archivo Influenciasav, en el cual encontramos un modelo de regresión simulado con 4 datos y dos variables explicativas Se ejecuta la regresión y se guardan los valores ajustados A los 5 datos se les añaden otros dos, uno de ellos muy próximo al centroide de los vectores explicativos y otro extremo Para el primero se determina un valor razonable para la variable respuesta, según la ecuación que rige el modelo, mientras que para el segundo queda sin determinar Si ejecutamos de nuevo la regresión y comparamos los nuevos valores ajustados con los anteriores no apreciaremos diferencias, de ahí que la distancia de Cook para el dato 4 sea muy baja Si embargo, si asignamos al dato extremo un valor anómalo respecto a la ecuación del modelo y ejecutamos la regresión observaremos importantes diferencias entre los nuevos valores ajustados y los anteriores, lo cual se traduce en una elevada distancia de Cook para el dato 4, que quedaría pues diagnosticado como influyente La presencia de este dato tiene una enorme trascendencia en el análisis de los residuos, según se aprecia en los gráficos siguientes -5,5-4,5-3,5 -,5 -,5 -,5,5,5-5, -4, -3, -, -,,, Standardized Residual - - Standardized Residual Unstandardized Predicted Value La eliminación del dato número 4 anula en este caso las patologías observadas en el análisis de los residuos e incrementa notablemente el coeficiente de correlación múltiple, lo cual se traduce en una clara mejoría en el análisis de los datos Hemos visto pues como la introducción de un datos que rompe la tendencia lineal puede tener una enorme influencia en el análisis de los residuos, lo cual podría hacernos pensar en una violación de los supuestos del modeo En otras ocasiones sucede justo lo contrario: una grave violación de dichos supuestos da lugar a la presencia de valores muy mal ajustados y, por lo tanto, influyentes Eso es, precisamente, lo que sucedía en el archivo Análisis residuossav Página

2 de la práctica 5 al considerar la variable respueta y[5], que se relaciona con las variables explicativas según un modelo multiplicativo Aparecen aquí datos que presentan distancias de Cook elevadas, como se aprecian en el gráfico,5,4,3 Valor Cook's Distance,,, La eliminación de estos datos diagnosticados como influyente no proporcionaran en ningún caso unos gráficos de residuos deseables Sin embargo, tras la transformación de variables considerada en la práctica 6 para este caso, dichos datos dejan de ser influyentes Consideremos un caso real: el archivo Linthurst Datasav En este caso, diagnosticamos como influyentes cuatro datos, pues superan la cota 4/45, aunque no parece que su influencia sea muy acusada,, Valor Cook's Distance, Si probamos a eliminar los dos más influyentes (9 y 34) observamos un ligero aumento en el coeficiente de correlación múltilple, lo cual es positivo Sin embargo, los gráficos de los residuos presentan aspectos muy similares a los que conocemos de la práctica 6 En definitiva, la procedencia de tal eliminación puede ser útil aunque es muy cuestionable Realmente, siempre será cuestionable la eliminación de cualquier dato Obviamente, el hecho de que un dato no obedezca a nuestros propósitos no justifica su eliminación En ocasiones estos datos anómalos aportan una información muy valiosa, como puede ser el caso del ejemplo extraído de la práctica 5, y su eliminación sólo viene a enmascarar parcialmente un planteamiento erróneo En rigor, la supresión de una unidad experimental debería justificarse también por la sospecha de que el mismo se deriva de un error en la recogida de datos 7 A continuación analizaremos el problema de multicolinealidad Empezaremos considerando el archivo Multicolinealidadsav, en el cual se simula un modelo de regresión con 5 datos y dos variables explicativas altamente correlacionadas Sin embargo, en la ecuación del modelo sólo interviene la primera de ellas con coeficiente Concretamente, se simula una observación (5 valores independientes) correspondiente al modelo y=z+error, error~n(,) Página

3 Si efectuamos una regresión simple respecto a ésta, la relación con la variable respuesta queda muy bien esclarecida Resumen del modelo R R cuadrado R cuadrado corregida,74 a,548,539 a Variables predictoras: (Constante), Z Coeficientes a (Constante) Z a Variable dependiente: Y Coeficientes no estandarizados Coeficientes estandarizad os B Error típ Beta t Sig -,738,795 -,99,357,9,48,74 7,63, Varianza del estimador a a Variable dependiente: Y Z, Sin embargo, la segunada variable explicativa contamina, cuando se introduce en el modelo, la relación existente entre z[] e y, como se aprecia a continuación Resumen del modelo R R cuadrado R cuadrado corregida,744 a,553,534 a Variables predictoras: (Constante), Z, Z Coeficientes a (Constante) Z Z a Variable dependiente: Y Coeficientes no estandarizados Coeficientes estandarizad os Estadísticos de colinealidad B Error típ Beta t Sig Tolerancia FIV -,75,799 -,94,35,948,9,78,76,9,7 57,65 -,85,3 -,54 -,73,468,7 57,65 Matriz de varianzas-covarianzas de los estimadores a Covarianzas a Variable dependiente: Y Z Z Z Z,38 -,45 -,45,74 Página 3

4 Diagnósticos de colinealidad a Dimensión 3 a Variable dependiente: Y Indice de Proporciones de la varianza Autovalor condición (Constante) Z Z,986,,,,,4 4,76,99,,, 8,86,,, Variable dependiente: Y Residuo de Y dado Z R² = 596 -,3 -, -, -,,, Residuo de Z dado Z Como podemos observar, el coeficiente de correlación múltiple apenas aumenta De hecho, el coeficiente corregido disminuye Lo más notable es la escasa correlación parcial existente entre Y y Z, lo cual se traduce en un resultado no significativo para el test parcial Tampoco es significativo el test parcial para Z La presencia de multicolinealidad se delata por la existencia de FIV mayor de o un índice de condición mayor de 3 Obsérvese que existe una gran varianza de los estimadores (compárese con la varianza que se obtenía en la regresión simple para z) y también una gran covarianza entre los mismos estimadores, cosa que no sucedería si las variables Z y Z fueran incorreladas, como es el caso del archivo Analisis residuossav Podemos comprobar que en este último los coeficientes obtenidos en la regresión múltiple coinciden con los que se obtienen en cada una de la regresiones simples Dichas situación es antagónica a la que ocurre con los datos actuales y, por supuesto, mucho más deseable Si simulamos una nueva observación para el mismo modelo y volvemos a ejecutar la regresión lineal, podemos obtener resultados similares Puede darse incluso la posibilidad de que la variable Z resulte no significativa mientras que Z sí lo sea Si analizamos de nuevo los datos del archivo Linthurst Datasav podemos apreciar un índice de condición mayor de 3 aunque los FIV se mantienen por debajo de Una análisis conjunto de variables deja en evidencia una fuerte correlación entre las variables Sodio y Potasio, cosa que queda patente en los gráficos de correlación parcial con Biomasa No obstante, parece claro que la variable con mayor influencia en la respuesta es el ph, que sólo presenta correlación significativa con Zn, de ahí que cabe preguntarse si el hecho de que Zn resulte no significativa es circunstancial, es decir, si una nueva toma de datos podría conducir a la eliminación de ph en favor de Zn Una regresión respecto a las primera componentes principales puede conducir a unas estimaciones más fiables, aunque esto no está garantizado de antemano Resumen del modelo b R R cuadrado R cuadrado corregida Error típ de la estimación,83 a,677, ,77 a Variables predictoras: (Constante), Zinc, Potasium, Salinity, ph, Sodium b Variable dependiente: Página 4

5 Coeficientes a (Constante) Salinity ph Potasium Sodium Zinc Coeficientes no estandarizados a Variable dependiente: Coeficientes estandarizad os Estadísticos de colinealidad B Error típ Beta t Sig Tolerancia FIV 5,489 34,88,4,37-3,9 4,3 -,7 -,6,5,45,7 35,5 87,883,577 3,476,,3 3,33 -,85,348 -,9 -,89,48,335,983 -,9,6 -,9 -,544,59,3 3,335 -,678 5,55 -,59 -,373,77,3 4,3 Diagnósticos de colinealidad a Dimensión Indice de Autovalor condición 5,577,, 5,8,53 6,45,33,9,4 5,379, 58,98 a Variable dependiente: - R² = Salinity - R² = 366 -, -,,, -,5 -,5,5,5 ph Página 5

6 - R² = Potasium - R² = 75 - Sodium - R² = Zinc Correlaciones simples entre las variables en juego Salinity ph Potasium Sodium Zinc Biomass ** Salinity ph Potasium Sodium Zinc Biomass -,5 -,,6 -,4** -,3,9 -,38 -,7**,774**,79**,74 -,5 **,7 -,7 ** ** -,64** ** ** Página 6

Documentos relacionados

Correlación. El coeficiente de correlación mide la fuerza o el grado de asociación entre dos variables (r)

Correlación. El coeficiente de correlación mide la fuerza o el grado de asociación entre dos variables (r) Correlación El coeficiente de correlación mide la fuerza o el grado de asociación entre dos variables (r) El coeficiente de correlación lineal de Pearson (r) permite medir el grado de asociación entre