El Análisis de la Regresión a través de SPSS

Transcripción

1 El Análisis de la Regresión a través de SPSS M. D olores M artínez M iranda Profesora del D pto. E stadística e I.O. U niversidad de G ranada Referencias bibliográficas. Hair, J.F., Anderson, R.E., Tatham, R.L. y Black, W.C. (999) Análisis Multivariante (5ª edición). Ed. Prentice Hall.. Pérez, C. () Técnicas estadísticas con SPSS. Ed. Prentice Hall.

2 INTRODUCCIÓN El Análisis de Regresión tiene como objetivo estudiar la relación entre variables. Permite expresar dicha relación en términos de una ecuación que conecta una variable de respuesta Y, con una o más variables explicativas X,X,,X k. Finalidad: Determinación explícita del funcional que relaciona las variables. (Predicción) Comprensión por parte del analista de las interrelaciones entre las variables que intervienen en el análisis.

3 PLANTEAMIENTO GENERAL Notación: Y variable de respuesta (dependiente, endógena, explicada) X,X,,X k variables explicativas (independientes, exógenas, regresores) Modelo general de Regresión: m función de regresión Y = m (X,X,,X k ) + residuos del modelo (errores de observación, inadecuación del modelo)

4 Variantes del Análisis de Regresión en SPSS Según el número de v. explicativas: Simple o Múltiple. Supuestos sobre la función de regresión Regresión lineal Y = + X + X + + k X k + Estimación curvilínea (Potencial, exponencial, hiperbólica, etc.) Y = exp (a + b X) Linealización ln Y = a + b X Regresión no lineal (Algoritmos de estimación iterativos)

5 Tipo de datos Variantes del Análisis de Regresión en SPSS Regresión logística, Modelos Probit (La variable de respuesta es binaria) Regresión ordinal (La variable de respuesta es de tipo ordinal) Escalamiento óptimo o regresión categórica (Las variables explicativas y/o explicada, pueden ser nominales) Situaciones especiales en la estimación del modelo lineal: Mínimos cuadrados en dos fases (correlación entre residuos y v. explicativas), estimacion ponderada (situación de heterocedasticidad)

6 Submenú REGRESIÓN Regresión lineal múltiple Ajuste de curvas mediante linealización Modelos de regresión con respuestas binarias u ordinales Modelos de regresión no lineales Modelos de regresión con variables categóricas Correcciones en el modelo lineal

7 Contenidos: Aplicaciones con SPSS Regresión lineal (múltiple) Estimación ponderada Mínimos cuadrados en dos fases Escalamiento óptimo Regresión curvilínea Regresión no lineal

8 Regresión lineal múltiple -Modelo teórico- Modelo lineal Y = + X + X + + k X k + () Parámetros j magnitud del efecto que X j tienen sobre Y (incremento en la media de Y cuando X j aumenta una unidad) término constante (promedio de Y cuando las v. explicativas valen ) residuos (perturbaciones aleatorias, error del modelo) Datos (observaciones, muestra) { (Y i, X i,,x ki ) : i =,,n } PROBLEMA Suponiendo que la relación entre las variables es como en (), estimar los coeficientes ( j ) utilizando la información proporcionada por la muestra

9 Regresión lineal múltiple -Modelo teórico- Expresión matricial Y = X + HIPÓTESIS j son v.v.a.a. con media e independientes de las X j Homocedasticidad: j tienen varianzas iguales ( ) No autocorrelación: j son incorreladas entre sí j son normales e independientes (Inferencia sobre el modelo) No multicolinealidad: Las columnas de X son linealmente independientes ( rango(x) = k+ ) + n k kn n n k k n X X X X X X X X X = Y Y Y M M L M O M M L L M

10 Estimación del modelo Problema de mínimos cuadrados ^ Y i valor predicho Solución Minimizar,,..., k n i= ˆ T = L k = { Y ( + X X ) } i ( n > k+ ) Suma residual de cuadrados ( ˆ ˆ ˆ ) (X T X) - X T Y Estimación de los coeficientes i k ik Residuo estimado : ˆ i = Y i Ŷ i

11 Ejemplo con SPSS (Coches.sav) Objetivo: Ajustar un modelo lineal que permita predecir el consumo en función de motor, cv, peso y acel Variable dependiente CONSUMO Variables independientes MOTOR CV PESO ACEL Consumo (l/km) Cilindrada en cc Potencia (CV) Peso total (kg) Aceleración a km/h (segundos)

12 Analizar Regresión Lineal Coeficientes a Modelo (Constante) Cilindrada en cc Potencia (CV) Peso total (kg) Aceleración a km/h (segundos) Coeficientes no estandarizados a. Variable dependiente: Consumo (l/km) Coeficientes estandarizad os B Error típ. Beta t Sig.,43,66,37,7 3,93E-4,,34,6,8 4,386E-,8,44 5,58, 4,948E-3,,355 4,44,,54E-,59,8,44,67 Coeficientes tipificados Comparación de los efectos b = j X j Y ˆ j ˆ = ( ˆ ˆ L ˆ ) T k Consumo = E-4 Motor E- CV E-3 Peso +.54E- Acel Significación individual de las variables y de la constante (Inferencia)

13 Inferencia sobre el modelo Significación individual de las variables Utilidad: Verficar si cada variable aporta información significativa al análisis Nota: Depende de las interrelaciones entre las variables, no es concluyente Contraste de hipótesis ( X j ) H : j = H : j Aceptar H significa que la variable no aporta información significativa en el análisis de regresión realizado Resolución ˆ j T = t SE( ˆ Bajo H n-k- ) j

14 Inferencia sobre el modelo Significación de la constante Utilidad: Verficar si la v.dependiente tiene media cuando las v.explicativas se anulan Contraste de hipótesis H : = H : Aceptar H significa que no es conveniente incluir un término constante en el análisis de regresión realizado Resolución ˆ T = t SE( ˆ Bajo H n- )

15 Ejemplo (Coches.sav) Interpretación del p-valor (en un contraste al nivel de significación ) Si p-valor < entonces se rechaza la hipótesis nula Modelo (Constante) Cilindrada en cc Potencia (CV) Peso total (kg) Aceleración a km/h (segundos) Coeficientes a Coeficientes no estandarizados a. Variable dependiente: Consumo (l/km) Coeficientes estandarizad os B Error típ. Beta t Sig.,43,66,37,7 3,93E-4,,34,6,8 4,386E-,8,44 5,58, 4,948E-3,,355 4,44,,54E-,59,8,44,67 H : = H : Al 5% se puede no incluir constante en el modelo Al nivel de significación del 5%: Motor (.8) y Acel (.67) no son significativas CV (.) y Peso (.) sí son significativas H : j = H : j

16 Inferencia sobre el modelo Bondad de ajuste Descomposición de la variabilidad n ( Yi y ) 4 i= VT = n ( Ŷi y ) i = VE + n ˆ i 3 i= VNE Coeficiente de determinación VE R = = VT - VNE VT R: Coeficiente correlación lineal múltiple Indica la mayor correlación entre Y y las c.l. de las v. explicativas Inconveniente: Sobrevalora la bondad del ajuste Coeficiente de determinación corregido R = - n - R n - k -

17 Ejemplo (Coches.sav) Modelo Resumen del modelo b R cuadrado Error típ. de la R R cuadrado corregida estimación,869 a,755,75,97 a. Variables predictoras: (Constante), Aceleración a km/h (segundos), Peso total (kg), Potencia (CV), Cilindrada en cc b. Variable dependiente: Consumo (l/km) R =.755 Consumo queda explicada en un 75.5% por las variables explicativas según el modelo lineal considerado R corregido =.75 (siempre algo menor que R )

18 Inferencia sobre el modelo Contraste de regresión (ANOVA) Utilidad: Verificar que (de forma conjunta) las v.explicativas aportan información en la explicación de la variable de respuesta Contraste: Resolución (ANOVA) H : = = = k = H : Algún j H : R = H : R Aceptar H significa que las v.explicativas no están relacionadas linealmente con Y VE / k F = Fk, n-k- VNE / (n - k -) Bajo H

19 Ejemplo (Coches.sav) Modelo Regresión Residual Total Contraste de regresión ANOVA b Suma de Media cuadrados gl cuadrática F Sig. 466, 4 56,555 97,956, a 5, ,88 68,48 39 a. Variables predictoras: (Constante), Aceleración a km/h (segundos), Peso total (kg), Potencia (CV), Cilindrada en cc b. Variable dependiente: Consumo (l/km) Al 5% se rechaza H (las variables explicativas influyen de forma conjunta y lineal sobre Y) Fuente de variabilidad Suma de cuadrados Grados de libertad Media cuadrática F exp. Modelo VE k VE / k VE / k VNE / (n-k-) Residual VNE n-k- VNE / (n-k-) Total VT n-

20 Predicción Bandas de confianza Predicciones para Y (dentro del rango de predicción) Ŷ(x,x,...,xk ) = + x I.C. para los valores predichos de Y I.C. para la media de Y k x k Regresión Valor pronosticado tipificado Gráfico de dispersión Variable dependiente: Consumo (l/km) R² = Consumo (l/km)

21 El análisis de los residuos Objetivo: Verificar que no se violan las hipótesis sobre las que se estima el modelo y se realiza la inferencia. Normalidad de los residuos. No autocorrelación 3. Homocedasticidad 4. Falta de linealidad 5. No multicolinealidad Posibles correcciones: Detección de atípicos y puntos influyentes Transformaciones Variables ficticias Ajustes polinomiales Términos de interacción

22 .. Normalidad de los residuos Herramientas disponibles en SPSS Gráficos: Histograma, gráfico probabilístico normal Histograma. Gráfico P-P normal de regresión Residuo tipificado Frecuencia 4 Desv. típ. =,99 Media =, N = 39, Prob acum esperada Residuo tipificado Prob acum observada Contrastes: Kolmogorov-Smirknov, Shapiro-Wilks,

23 .. No autocorrelación Hace referencia a los efectos de la inercia de una observación a otra que pueda indicar la no independencia entre los residuos. Se trata de buscar modelos o pautas en los gráficos residuales frente al número de caso (incluso con cada variable independiente). Herramientas disponibles en SPSS: Gráficos residuales y el 4 estadístico de Durbin-Watson 3 Error típ. de la Durbin-W estimación atson,97,8 Variables predictoras: (Constante), Aceleración a km/h (segundos), Standardized Residual Número de orden de las observaciones 4 5 H : No hay autocorrelación Si d<.8 rechazar, Si d>.4 no rechazar. Si.8<d<.4 no es concluyente Posibles soluciones: - Transformaciones - Añadir variables

24 .3. Homocedasticidad Hace referencia a la constancia de los residuos para los valores que van tomando las variables independientes. Herramientas disponibles en SPSS: Gráficos residuales Standardized Residual Standardized Residual Potencia (CV) Cilindrada en cc Consumo (l/km) Regresión Valor pronosticado tipificado 3 Standardized Residual Standardized Residual Peso total (kg) Aceleración a km/h (segundos)

25 .4. Falta de linealidad Hace referencia a las posibles desviaciones de los datos desde el modelo lineal que se está ajustando. Herramientas disponibles en SPSS: Gráficos de regresión parcial Gráfico de regresión parcial Gráfico de regresión parcial y gráficos residuales 3 Variable dependiente: Consumo (l/km) Variable dependiente: Consumo (l/km) Consumo (l/km) Cilindrada en cc Gráfico de regresión parcial Variable dependiente: Consumo (l/km) 3 3 Consumo (l/km) Peso total (kg) Gráfico de regresión parcial Variable dependiente: Consumo (l/km) 3 4 Son diagramas de dispersión de los residuos de cada v. independiente y los residuos de la v. dependiente cuando se regresan ambas por separado sobre las restantes v. independientes. Consumo (l/km) Consumo (l/km) Potencia (CV) Aceleración a km/h (segundos)

26 Impacto de la multicolinealidad.5. No multicolinealidad Colinealidad es la asociación, medida como correlación, entre dos variables explicativas (el término multicolinealidad se utiliza para tres o más variables explicativas). Reducción del poder explicativo de cualquier v. explicativa individual en la medida en que está correlada con las otras v. explicativas presentes en el modelo. Herramientas disponibles en SPSS: Índices de condicionamiento, FIV Modelo Dimensión Diagnósticos de colinealidad a Proporciones de la varianza Aceleración Indice de Cilindrada Peso total a km/h Autovalor condición (Constante) en cc Potencia (CV) (kg) (segundos) 4,79,,,,,,,38 4,454,,3,,,,68E- 4,44,3,,9,,6 6,65E-3 7,474,,75,,7, 3,6E-3 36,85,76,,69,9,9 a. Variable dependiente: Consumo (l/km). Identificar los índices que estén por encima del umbral: 3. Para los índices identificados, identificar las variables con proporciones de varianza por encima del 9%: Habrá multicolinealidad si ocurre con dos o más coeficientes. Posibles soluciones: - ACP y utilizar las componentes principales como regresores. - A la vista de las correlaciones eliminar variables redundantes.

27 Datos anómalos Medidas de influencia Datos anómalos (atípicos) Individuos cuyo residuos tipificado es superior a 3 (en valor absoluto) Datos influyentes Individuos cuya omisión produce cambios notables en los resultados del análisis Objetivo: Detectar datos anómalos y datos influyentes Herramientas estadísticas (medidas de influencia) Identificación de puntos de apalancamiento (observaciones aisladas del resto sobre una o más v.independientes) Observaciones influyentes: influencias sobre coeficientes individuales, medidas globales de influencia.

28 Medidas para identificar puntos de apalancamiento: Leverage o medida de influencia: Límite: (k+) / n (Si n>5, 3(k+) / n) Distancia de Mahalanobis: Considera la distancia de cada observación desde los valores medios de las v.independientes. Existen tablas para contrastar, pero en general se procede a identificar valores considerablemente altos respecto al resto. Medidas para identificar observaciones influyentes: Influencias sobre coeficientes individuales: DFBETA Mide el efecto del dato i-ésimo ejerce sobre j. Límites para la versión estandarizada: ± n - / (si n<5 usar los límites de la normal) Medidas globales de influencia: DFITTS Mide el efecto del dato i-ésimo ejerce en su propia predicción. Límites para la versión estandarizada: ± [ (k+) / (n-k-) ] / COVRATIO Representa el grado al que una observación tiene impacto sobe los errores estándar de los coeficientes. Límites: ± 3(k+) / n Distancia de Cook: Localizar valores que exceden a 4 / (n-k-)

29 Detección de residuos atípicos: Los valores tipificados deben estar entre -3 y 3 Diagnósticos por caso a SPSS Número de caso 35 Consumo Valor Residuo tip. (l/km) pronosticado Residuo bruto,76 6 5,95,5 a. Variable dependiente: Consumo (l/km) Detección de puntos influyentes: Dist. De Mahalanobis, Cook, valor de influencia Estadísticos sobre los residuos a Valor pronosticado Valor pronosticado tip. Error típico del valor pronosticado Valor pronosticado corregido Residuo bruto Residuo tip. Residuo estud. Residuo eliminado Residuo eliminado estud. Dist. de Mahalanobis Distancia de Cook Valor de influencia centrado a. Variable dependiente: Consumo (l/km) Desviación Mínimo Máximo Media típ. N 5,95,5,7 3, ,545,843,, 39,7,83,, ,57,8,6 3, ,6,5,, ,68,76,, ,64,5,, 39-5,5,43,,4 39 -,66,433,6,67 39,66 68,68 3,99 4,866 39,,5,7,77 39,,76,, 39 El rango de valores para la distancia de Mahalanobis es elevado Hay valores de la distancia de Cook superiores a 4 / (n-k-) =. Medida de influencia. Límite (k=4):.38 Posible solución: Eliminar observaciones

30 Selección de un subconjunto óptimo de variables independientes Objetivo: Seleccionar aquellas variables que sin ser redundantes proporcionen la mejor explicación de la v. dependiente. Métodos secuenciales en SPSS: Hacia atrás, Hacia delante, Pasos sucesivos En términos muy muy generales Evalúan estadísticos F que controlan la entrada y salida de variables, además de las correlaciones parciales de la v. dependiente con cada regresor.

31 Método forward (hacia delante) Inicialmente no hay regresores, se van introduciendo uno a uno aquellos que tienen alta correlación parcial con la v. dependiente y que son significativos (valor F-entrar). Modelo Variables introducidas/eliminadas a Variables Variables introducidas eliminadas Método Peso total (kg), Hacia adelante (criterio: Prob. de F para entrar <=,5) Potencia (CV), Hacia adelante (criterio: Prob. de F para entrar <=,5) a. Variable dependiente: Consumo (l/km) Resumen del modelo Modelo Estadísticos de cambio R cuadrado Error típ. de la Cambio en Sig. del R R cuadrado corregida estimación R cuadrado Cambio en F gl gl cambio en F,837 a,7,699,7,7 99,85 39,,868 b,753,75,97,53 84,4 389, a. Variables predictoras: (Constante), Peso total (kg) b. Variables predictoras: (Constante), Peso total (kg), Potencia (CV)

32 Método backward (hacia atrás) Inicialmente se incluyen todos las v. independientes, se van eliminando una a una las que van resultando significativas (valor F-salir). Modelo 3 Variables introducidas/eliminadas b Variables introducidas Variables eliminadas Método Aceleración a km/h (segundos), Peso total (kg), Potencia (CV), Cilindrada en cc a, Introducir a. Todas las variables solicitadas introducidas b. Variable dependiente: Consumo (l/km), Aceleración a km/h (segundos) Hacia atrás (criterio: Prob. de F para eliminar >=,)., Cilindrada en cc Hacia atrás (criterio: Prob. de F para eliminar >=,). Resumen del modelo Modelo 3 Estadísticos de cambio R cuadrado Error típ. de la Cambio en Sig. del R R cuadrado corregida estimación R cuadrado Cambio en F gl gl cambio en F,869 a,755,75,97,755 97, ,,869 b,755,753,968,,8 389,67,868 c,753,75,97 -,,456 39,8 a. Variables predictoras: (Constante), Aceleración a km/h (segundos), Peso total (kg), Potencia (CV), Cilindrada en cc b. Variables predictoras: (Constante), Peso total (kg), Potencia (CV), Cilindrada en cc c. Variables predictoras: (Constante), Peso total (kg), Potencia (CV)

33 Método Stepwise (pasos sucesivos) Combina los dos métodos anteriores definiendo un procedimiento en el que las variables independientes entran o salen del modelo dependiendo de su significación (valores F-entrar y F-salir). Modelo Variables introducidas Peso total (kg), Potencia (CV), Variables introducidas/eliminadas a Variables eliminadas a. Variable dependiente: Consumo (l/km) Método Por pasos (criterio: Prob. de F para entrar <=,5, Prob. de F para salir >=,). Por pasos (criterio: Prob. de F para entrar <=,5, Prob. de F para salir >=,). Resumen del modelo Modelo Estadísticos de cambio R cuadrado Error típ. de la Cambio en Sig. del R R cuadrado corregida estimación R cuadrado Cambio en F gl gl cambio en F,837 a,7,699,7,7 99,85 39,,868 b,753,75,97,53 84,4 389, a. Variables predictoras: (Constante), Peso total (kg) b. Variables predictoras: (Constante), Peso total (kg), Potencia (CV)

34 Resumen Pasos a seguir en un análisis de regresión Paso. Objetivos del análisis Paso. Diseño de la investigación mediante regresión múltiple Paso 3. Supuestos del análisis Paso 4. Estimación del modelo de regresión y valoración global del ajuste Paso 5. Interpretación y validación de los resultados.