REGRESIÓN LINEAL MÚLTIPLE

Transcripción

1 REGRESIÓN LINEAL MÚLTIPLE.- Planteamiento general....- Métodos para la selección de variables Correlaciones parciales y semiparciales Multicolinealidad en las variables explicativas...

2 .- Planteamiento general Como se sabe, le modelo de regresión múltiple se utiliza para predecir el comportamiento de una determinada variable variable dependiente o criterio- en función de otras variables independientes o explicativas (también regresores o predictores) Trabajaremos aquí con otro fichero de datos, Notas.sav, tal como se ilustra a continuación: Las variables consideradas son: Inteligencia Horas de estudio Nivel social Calificación Sexo Supongamos que deseamos conocer la incidencia del conjunto de variables (Inteligencia, Horas de estudio y Nivel Social) sobre las calificaciones obtenidas. Nos dirigimos al comando regresión/lineal y hacemos la siguiente selección

3 Nos ofrece el siguiente conjunto de resultado que iremos desmenuzando. Comencemos por el resumen del modelo: Resumen del modelo R cuadrado Error típ. de la R R cuadrado corregida estimación,950 a,90,884,58900 a. Variables predictoras: (Constante), Nivel Social, Horas de estudio, Inteligencia El modelo explica un 90.%, que una vez corregido por el efecto de la muestra y de las variables independientes resulta ser 88.4%. Por otro lado, el error típico de la estimación (raíz cuadrada de la varianza no explicada) resulta ser de La prueba de análisis de la varianza, que nos muestra si la varianza explicada por la regresión es significativamente distinta ( y superior) a la varianza no explicada es: Regresión Residual Total ANOVA b Suma de Media cuadrados gl cuadrática F Sig. 5,0 3 7,034 49,00,000 a 5,55 6,347 56,65 9 a. Variables predictoras: (Constante), Nivel Social, Horas de estudio, Inteligencia b. Variable dependiente: Calificación 3

4 El valor de F obtenido es 49.00, cuya probabilidad asociada según las expectativas de la Hipótesis nula es menor del 0.000, lo que nos lleva a rechazar tal hipótesis y suponer que existe un efecto real de dichas variables sobre la calificación académica. Por otro lado, el modelo de regresión será: (Constante) Inteligencia Horas de estudio Nivel Social a. Variable dependiente: Calificación Coeficientes a Coeficientes no estandarizados Coeficient es estandari zados B Error típ. Beta t Sig. -6,938,335-5,97,000 7,79E-0,04,597 5,350,000,96,07,580 7,7,000,90,63,00,787,093 De aquí se deduce que la ecuación de regresión en directas es: Y ˆ= X X X 3 Siendo: Y: Calificación académica X : Inteligencia X : Horas de estudio X 3 : Nivel Social Tal como está expresada la ecuación anterior parecería que la Inteligencia tiene poca importancia. Se debe a que la magnitud de su escala es mucho más alta que las restantes variables y su peso específico por unida es menor. No obstante, la ecuación de regresión en estandarizadas nos mostrará todas las variables en la misma dimensión. Así: Z ˆ= 0.597Z Z 0. Z 3 Se observa que aquí el peso específico de la Inteligencia es superior a los restantes. Si nos atenemos al valor de t que nos indica la significación estadística de los distintos coeficientes observaremos un valor máximo para la Horas de estudio (t=7.7), seguido de la Inteligencia (t=5.35), y por ultimo le nivel social (t=.787). 4

5 .- Métodos para la selección de variables En los resultados anteriores se ha seguido un determinado procedimiento de inclusión de variables. Si se observa el cuadro de diálogo correspondiente aparecerá en Método, Introducir. Se quiere decir con ello que se consideren simultáneamente todas la variables especificadas. Este procedimiento no es el más aconsejable, a menos que haya razones teóricas suficientes. Con frecuencia nos encontramos con variables redundantes o bien irrelevantes, que no aportan nada al modelo. Las primeras, porque ya se tiene en otras variables la información que necesitamos, y las segundas, porque adolecen precisamente de falta de información alguna. El procedimiento más frecuentemente usado se denomina Pasos sucesivos (stepwise). Como su nombre indica consiste en ir elaborando sucesivas ecuaciones de regresión en las que se va añadiendo cada vez un regresor más. El primer paso consiste en seleccionar el regresor de máxima correlación simple con el criterio, y se define, en consecuencia una ecuación de regresión simple con esa variable. A continuación se elabora una segunda ecuación de regresión añadiendo a la anterior otro regresor, esta vez el que más proporción de variabilidad explicada aporte sobre la ecuación anterior. Así hasta que no haya mas regresores que aporten nada sustantivo, que es cuando el procedimiento acaba. Hay que indicar, y aquí esta lo destacable de este procedimiento, que en este proceso de elaboración del modelo definitivo, hay una continua reevaluación de los predictores incluidos en el modelo, de forma que si algún regresor queda explicado por los restantes (en el sentido de que carece de contribución específica propia) queda eliminado. El procedimiento Hacia delante (forward), es equivalente al anterior excepto en el sentido que no existe ninguna reevaluación, y se van incluyendo, por tanto en el modelo las variables según su importancia. Frecuentemente este método coincide con el anterior cuando no hay que extraer ninguna de las variables introducidas. El procedimiento Hacia atrás (backward) es justamente el contrario del anterior. Se comienza incluyendo todas las variables en el modelo de regresión y se van eliminando regresores progresivamente de menor a mayor contribución específica hasta que ésta sea lo suficientemente significativa como para no poder ser eliminada. El procedimiento Eliminar (remove),permite cuando se ensayan diferentes modelos de regresión (con la especificación de bloques) eliminar en cada uno de estos ensayos las variables que nos interese. Es una forma, digamos manual, de ir probando distintos modelos. Probemos en lo que sigue el procedimiento Pasos sucesivos. En el cuadro de diálogo de Regresión lineal marcamos lo siguiente: 5

6 Si entramos en Estadístico podremos conseguir alguna información útil, como cambio en R cuadrado, que nos indicará precisamente la mejora de cada variable en términos de proporción de variación explicada. En una primera instancia la información suministra es: 6

7 a. Variables introducidas/eliminadas Variables introducidas Inteligencia, Horas de estudio Variable dependiente: Calificación Variables eliminadas, a Método Por pasos (criterio: Probabili dad de F para entrar <=,050, Probabili dad de F para salir >=,00). Por pasos (criterio: Probabili dad de F para entrar <=,050, Probabili dad de F para salir >=,00). Se nos indica las opciones que hay por defecto (subcuadro de diálogo opciones). Para entrar una variable debe ser inferior a una significación de 0.05 y para salir, superior a 0.. En la siguiente tabla aparecen las variables que configuran los diferentes modelos: Resumen del modelo R cuadradoerror típ. de lacambio en Sig. del R R cuadrado corregida estimación R cuadradocambio en F gl gl cambio en F,760 a,577,554,5366,577 4,565 8,000,939 b,88,869,658,305 44,69 7,000 a. Variables predictoras: (Constante), Inteligencia b. Variables predictoras: (Constante), Inteligencia, Horas de estudio Cambiar los estadísticos El primer modelo está formado sólo con el predictor Inteligencia y al segundo se le añade la variable Horas de estudio. El primer modelo explica una proporción de 0.577, y el segundo de 0.88, lo que implica una mejora de puntos. Vemos más cosas, tales como los cambios en el cociente F, grados de libertad y la significación de F. Además se nos proporciona un análisis de la varianza para cada uno de los modelos: 7

8 Regresión Residual Total Regresión Residual Total ANOVA c Suma de Media cuadrados gl cuadrática F Sig. 3,695 3,695 4,565,000 a 3,957 8,33 56, ,994 4,997 63,84,000 b 6,658 7,39 56,65 9 a. Variables predictoras: (Constante), Inteligencia b. Variables predictoras: (Constante), Inteligencia, Horas de estudio c. Variable dependiente: Calificación Por último las variables excluidas en ambos modelos. Horas de estudio Nivel Social Nivel Social Variables excluidas c Estadístic os de colinealid Correlación ad Beta dentro t Sig. parcial Tolerancia,553 a 6,646,000,850,999 a. Variables predictoras en el modelo: (Constante), Inteligencia,046 a,07,839,050,505,00 b,787,093,408,487 b. Variables predictoras en el modelo: (Constante), Inteligencia, Horas de estudio c. Variable dependiente: Calificación Se observa que en el primer modelo, las Horas de estudio tenían un peso importante (t=6.646), cosa que no ocurre con el Nivel social ni un modelo ni con el otro, por lo que es definitivamente eliminada. Otros estadísticos tales como correlación parcial y colinealidad lo trataremos en las próximas páginas. 3.- Correlaciones parciales y semiparciales Las correlaciones parciales y semiparciales tienen especial interés por permitir conocer las contribuciones especificas de las distintas variables al margen al margen de lo que comparten con otras variables. Frecuentemente las predictores están correlacionados entres sí y es importante saber deslindar lo que aportan unos y otros. No es fácil saber a donde atribuir la parte compartida, y frecuentemente son criterios teóricos sustantivos del tema en cuestión- y no criterios estadísticos los que nos permiten asignar las contribuciones de los diferentes regresores a la explicación de la variable dependiente. 8

9 Vamos a ver en primer lugar el conjunto de correlaciones existentes en estos datos. Vamos la comando Correlaciones/bivariadas: Cuyos resultados son: Inteligencia Horas de estudio Nivel Social Calificación Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlaciones Inteligencia,038,873 **. La correlación es significativa al nivel 0,0 (bilateral). *. La correlación es significante al nivel 0,05 (bilateral). 0 Horas de estudio Nivel Social Calificación,703** -,08,00,65 0 0,760**,58**,557*,000,007, Veamos qué ocurre ahora si eliminamos de todas las variables la variabilidad que aporta la Inteligencia. Vanos para ello al comando Correlaciones/parciales: 9

10 La nueva matriz de correlacione será: P A R T I A L C O R R E L A T I O N C O E F F I C I E N T S Controlling for.. INT HORAS NSOCIAL CALIF HORAS,0000 -,895,8498 ( 0) ( 7) ( 7) P=, P=,437 P=,000 NSOCIAL -,895,0000,0500 ( 7) ( 0) ( 7) P=,437 P=, P=,839 CALIF,8498,0500,0000 ( 7) ( 7) ( 0) P=,000 P=,839 P=, (Coefficient / (D.F.) / -tailed Significance) ", " is printed if a coefficient cannot be computed Obsérvese el poco efecto que tiene ahora el Nivel social sobre la variable Calificación. Los cálculos han consistido en eliminar tanto de la variable dependiente (Calificación) como del regresor Nivel Social, la variabilidad de la Inteligencia. Es una correlación, digamos, entre los residuos de ambas variables una vez eliminada de ellas la participación de la Inteligencia. 0

11 La correlaciones parciales frecuentemente son la alternativa estadística- no experimental- a aquella otra experimental del control de variables, cuando no es posible la manipulación de las mismas según nuestros deseos. Más interesante para el tema que nos atañe son las denominadas correlacione semiparciales. En este caso, no tocamos la variabilidad e la variable dependiente, sino tan sólo sustraemos el efecto de la variable que deseamos controlar, de los predictores que estamos tratando. Es justamente lo que hemos denominado contribución específica de una determinada variable. Es la proporción (mejor su raíz cuadrada) de variabilidad explicada exclusivamente por un determinado regresor sobre la variable dependiente. En el caso que nos atañe, a efectos de simplicidad vamos a trabajar con dos únicos regresores, Inteligencia y Nivel social. Así, en el cuadro de la Regresión lineal indicamos: A continuación en Estadísticos marcamos Correlaciones parcial y semiparcial:

12 Obtendremos: Coeficientes no estandarizados Coeficient es estandari zados Coeficientes a Correlaciones B Error típ. Beta t Sig. Orden cero Parcial Semiparcial (Constante) -4,9,69 -,87,078 Inteligencia9,43E-0,09,77 3,83,004,760,63,57 Nivel Social6,637E-0,3,046,07,839,557,050,033 a. Variable dependiente: Calificación Obsérvese como la correlación simple (de orden cero) de Nivel social con Calificación es 0.557, la parcial la observada en la tabla anterior y la semiparcial Esto significa que la variable Nivel social contribuye (ella sola, sin lo que comparte con Inteligencia) en una proporción de = 0.00, o sea 0.% a las calificaciones. Por el contrario, la Inteligencia, cuando se le elimina lo que comparte con Nivel social, sigue contribuyendo en un 0.57 = 6.7% a las Calificaciones. Conviene aclarar la diferencia entre correlación semiparcial y parcial. Supongamos que tenemos dos regresores X y X, correlación semiparcial (al cuadrado) de la variable X es la proporción de variabilidad de Y debida exclusivamente a X. Es lo que aporta X a X hasta llegar a R y.. Más formalmente: R = R R y(.) y. y En el caso de la correlación parcial (al cuadrado) es esa misma contribución de X pero no del total de Y, sino de lo no explicado de Y por X. Esto es, X se ha sustraído de todas las variables. Su expresión será: R y. R = R y. y Ry 4.- Multicolinealidad en las variables explicativas Se dice que existe multicolinealidad entre las variables explicativas cuando existe algún tipo de dependencia lineal entre ellas, o lo que es lo mismo, si existe una fuerte correlación entre las mismas. La correlación no solamente se refiere a las distintas variables dos a dos, sino a cualquier de ellas con cualquier grupo de las restantes. Por esta razón no es suficiente (aunque sí necesaria) que en la matriz de correlaciones bivariadas haya correlaciones altas.

13 El principal inconveniente de la multicolinealidad consiste en que se incrementan la varianza de los coeficientes de regresión estimados hasta el punto que resulta prácticamente imposible establecer su significación estadística, ya que como se sabe, el valor de t para un determinado coeficiente de regresión es el valor de dicho coeficiente dividido por su desviación tipo. Si este es grande, el valor de t será bajo y no llegara a la significación. El SPSS adopta varios procedimientos para detectar multicolinealidad entre los predictores. El primero de ellos, basado en la correlación múltiple de un determinado regresor con los restantes se denomina Tolerancia de dicho regresor. Su valor es: Ri Siendo Ri la correlación multiple alcuadrado de dicho regresor con los restantes. Para que haya multicolinealidad dicha correlación ha de ser alta, o lo que es lo mismo la tolerancia baja. Además otro índice relacionado con éste y que nos da una idea del grado de aumento de la varianza se denomina Factor de Inflación de la Varianza, y es precisamente el recíproco de la tolerancia. Su valor es: VIFi = R y Para que no haya multicolinealidad el denominador tiene que valer cerca de la unidad, por tanto un poco más de el valor de VIF. Cuanto mayor sea de este valor mayor multicolinealidad habrá. La varianza de los estimadores tiene que ver con (X X) -, donde X es la matriz de regresores. Cuando las columnas de X son colineales, la matriz es singular y no tiene inversa. En este sentido los autovalores de la matriz X X (normalizada) nos puede proporcionar información del grado de singularidad de la misma. A este respecto, disponemos del Indice de Condición, cuyo valor es la raíz cuadrada del cociente entre el máximo autovalor y el mínimo de la matriz X X: Indice de condición= Autovalor Autovalor max min Se considera que a partir de un valor de 0 hay cierta multicolinealidad y que ésta es alta a partir de 30. Podemos conocer además qué variables presentan multicolinealidad analizando la proporción de varianza de los estimadores de los coeficientes de regresión en los componentes con un índice de condición alto. Variables, cuya proporción de varianza en dichos componentes, sea superior a 0.5 son indicativos de colinealidad. 3

14 En el ejemplo que estamos tratando, para conocer la posible colinealidad marcaremos en Regresión lineal/estadísticos, Diagnósticos de colinealidad: Con lo que obtendremos (además de otros resultados ya conocidos): Coeficientes no estandarizados Coeficientes a Coeficient es estandari zados B Error típ. Beta t Sig. Tolerancia FIV (Constante) -6,938,335-5,97,000 Inteligencia 7,79E-0,04,597 5,350,000,49,03 Horas de estudio,96,07,580 7,7,000,963,039 Nivel Social,90,63,00,787,093,487,05 a. Variable dependiente: Calificación Estadísticos de colinealidad Se observa que se ha añadido a lo que ya conocemos otros indicadores tales como la Tolerancia y el FIV. La variable Horas d estudio presenta una alta tolerancia y por tanto una pequeña FIV, lo que nos indica que no presenta colinealidad. Por el contrario las otras dos variables, Inteligencia y Nivel social son colineales. En esta tabla se nos indica qué variables son colineales pero no con cuales, aunque con tres variables y una que no lo es, no es difícil imaginarse lo que pasa. Pero puede haber más variables. Para ello recurrimos al Indice de condición y a la proporciones de varianzas en los distintos componentes. Así: 4

15 Diagnósticos de colinealidad a Dimensión 3 4 a. Variable dependiente: Calificación Proporciones de la varianza Indice de Horas de Autovalor condición (Constante) Inteligencia estudio Nivel Social 3,840,000,00,00,0,00,9 5,685,00,00,9,9 3,74E-0 0,9,09,0,70,30 4,03E-03 30,893,9,97,00,4 Se<observa que hay un índice de condición asignado al cuarto componente que vale , resultado de dividir entre y extraer la raíz cuadrada. En ese componente hay dos variables con una alta proporción: la constante, Inteligencia. El Nivel social no llega a rebasar el umbral de 0.5. La constante es el estimador del coeficiente ligado a la primera variable de la matriz X, que está formado precisamente por un vector de. Si trabajamos con variables centradas, resolveremos algunos problemas de multicolinealidad. Así si restamos a cada una de las variables explicativas su media y realizamos de nuevo la regresión, obtendremos en diagnósticos de colinealidad: Diagnósticos de colinealidad a Dimensión 3 4 a. Variable dependiente: Calificación Indice de Proporciones de la varianza Autovalor condición (Constante) INT HORAS NSOCIAL,707,000,00,4,00,4,0,99,00,0,93,00,000,306,00,00,00,00,8,46,00,85,07,86 Se observa que el mayor índice de condición es muy bajo (.46) y por tanto no hay multicolinealidad, al menos en un sentido importante, que altere la estimación mínimo cuadrática de nuestro modelo. 5