Regresión en Cadena. StatFolio de Ejemplo: ridge reg.sgp

Transcripción

1 Regresión en Cadena Resumen El procedimiento Regresión en Cadena está diseñado para ajustar un modelo de regresión múltiple cuando las variables independientes exhiben multicolinealidad. Multicolinealidad se refiere a la situación en la cual las variables X están correlacionadas entre ellas mismas, lo que frecuentemente conduce a estimaciones imprecisas de los coeficientes de regresión cuando se usan mínimos cuadrados ordinarios. Permitiendo una pequeña cantidad de sesgo en las estimaciones, la regresión en cadena frecuentemente puede reducir la variabilidad de los coeficientes estimados y da un modelo más estable e interpretable. Se proporcionan una traza de cadena y un gráfico de los factores de inflación de la varianza (VIF variance inflation factors) para ayudar a elegir el valor del parámetro de cadena. StatFolio de Ejemplo: ridge reg.sgp Datos de Ejemplo: El archivo bodyfat.sf6 contiene un conjunto de datos de Neter et al. (1998) que describen n = 20 mujeres entre 25 y 35 años de edad. Los datos incluyen medidas de la grasa corporal (bodyfat), grosor del pliegue de la piel del triceps (triceps), circunferencia del muslo (thigh), y circunferencia a la mitad del brazo (midarm). subject bodyfat triceps thigh midarm Se desea construir un modelo que relacione la grasa corporal (Y) con las otras tres variables. Sin embargo, como podría esperarse, las tres variables predictoras están ellas mismas altamente correlacionadas por StatPoint, Inc. Regresión en Cadena - 1

2 Para ilustrar la relación entre todas las variables, considere el siguiente gráfico de matriz: body fat midarm thigh triceps Ambas triceps y thigh muestran una fuerte correlación positiva con bodyfat. Sin embargo, entre ellas también están fuertemente correlacionadas. Los resultados de usar la Regresión Múltiple en estos datos se muestran a continuación: Regresión Múltiple - body fat Variable dependiente: body fat Variables independientes: triceps (Neter, p. 385) thigh midarm Error Estadístico Parámetro Estimación Estándar T Valor-P CONSTANTE triceps thigh midarm Análisis de Varianza Fuente Suma de Cuadrados Gl Cuadrado Medio Razón-F Valor-P Modelo Residuo Total (Corr.) R-cuadrada = porciento R-cuadrado (ajustado para g.l.) = porciento Error estándar del est. = Error absoluto medio = Estadístico Durbin-Watson = (P=0.6705) Autocorrelación de residuos en retraso 1 = Advierta que ninguno de los coeficientes tiene un valor de P significativo, aunque el modelo mismo es altamente significativo. Advierta también que el coeficiente de thigh es negativo, a pesar de su fuerte correlación positiva con bodyfat. La regresión en cadena está diseñada para salvar estas imprecisiones, causadas por la multicolinealidad entre las variables predictoras por StatPoint, Inc. Regresión en Cadena - 2

3 Ingreso de Datos La caja de diálogo del ingreso de los datos solicita los nombres de las columnas que contienen la variable dependiente Y y las variables independientes X: Y: columna numérica que contiene las n observaciones de la variable dependiente Y. X: columnas numéricas que contienen los n valores de todas las variables independientes X. Selección: selección de un subgrupo de datos. Pesos: una columna numérica opcional que contiene los pesos que se aplicarán a los residuos cuadrados cuando se realice un ajuste de mínimos cuadrados ponderados por StatPoint, Inc. Regresión en Cadena - 3

4 Resumen del Análisis El Resumen del Análisis muestra información sobre el modelo estimado en un valor elegido del parámetro de cadena λ. El parámetro de cadena controla la cantidad de sesgo permitido en la estimación de los coeficientes, λ = 0 corresponde a los estimadores insesgados de mínimos cuadrados ordinarios. Conforme λ aumenta, el sesgo aumenta, pero disminuye la varianza de los coeficientes. Regresión en Cadena - body fat Variable dependiente: body fat Variables independientes: triceps (Neter, p. 385) thigh midarm Número de casos completos: 20 Resultados del Modelo para el Parámetro de Cadena = 0.02 Factor de Inflación de Parámetro Estimado Varianza CONSTANTE triceps thigh midarm R-Cuadrada = porciento R-Cuadrada (ajustada por g.l.) = porciento Error estándar del est. = Error medio absoluto = Estadístico Durbin-Watson = Autocorrelación residual de retardo 1 = Análisis de Residuos Estimación n 20 CME MAE MAPE ME E-15 MPE Validación Coeficientes: los coeficientes estimados y los factores de inflación de la varianza (VIF). Las estimaciones de los coeficientes del modelo se pueden usar para escribir la ecuación ajustada, que en el ejemplo es body fat = triceps thigh midarm (1) Los factores de inflación de la varianza miden que tan grande es la varianza de los coeficiente comparada con la que tendrían si las variables independientes no estuvieran correlacionadas. Advierta que los VIF están bastante cercanos a 1. (Intente poniendo el parámetro de cadena en 0, que corresponde a los mínimos cuadrados ordinarios. Los factores de inflación de la varianza son 709, 564 y 105, respectivamente!) Análisis de Varianza: descomposición de la variabilidad de la variable dependiente Y en una suma de cuadrados del modelo y una suma de cuadrados residual o del error. De particular interés es la prueba de F y su valor de P asociado, que prueban la significancia 2006 por StatPoint, Inc. Regresión en Cadena - 4

5 estadística del modelo ajustado. Un Valor de P pequeño (menor de 0.05 si se trabaja con un nivel de significancia del 5%) indica que existe una relación significativa de la forma especificada entre Y y las variables independientes. En los datos de muestra, el modelo es altamente significativo. Estadísticas: estadísticas de resumen para el modelo ajustado, incluyendo: R-Cuadrada - representa el porcentaje de la variabilidad de Y que ha sido explica por el modelo de regresión ajustado, que va de 0% a 100%. Para los datos del ejemplo, la regresión ha dado cuenta de alrededor del 77.3% de la variabilidad en la grasa corporal. El restante 22.7% es atribuible a la desviación del modelo, que puede deberse a otros factores, a errores de medición, o a una falla del modelo actual para ajustar los datos adecuadamente. R-Cuadrada Ajustada la estadística R-cuadrada, ajustada para el número de coeficientes en el modelo. Este valor se usa frecuentemente para comparar modelos con diferente número de coeficientes. Error Medio Absoluto el valor absoluto promedio de los residuos. Estadístico Durbin-Watson una medida de la correlación serial en los residuos. Si los residuos varían aleatoriamente, este valor debiera ser cercano a 2. Un valor-p pequeño indica un patrón no aleatorio en los residuos. Para datos registrados en el tiempo, un valor-p pequeño podría indicar que alguna tendencia en el tiempo no ha sido explicada. En el presente ejemplo, el valor de P es mayor que 0.05, así que no hay una correlación significativa al nivel de significancia del 5%. Autocorrelación Residual de retardo 1 la correlación estimada entre residuos consecutivos, en una escala de 1 a 1. Valores alejados del 0 indican que en el modelo queda estructura significativa sin explicar. Análisis de Residuos si un subgrupo de filas en la hoja de datos han sido excluidas del análisis usando el campo Seleccionar en la caja de diálogo de ingreso de datos, el modelo ajustado se usa para hacer predicciones de los valores de Y para estas filas. Esta tabla muestra estadísticas sobre los errores de predicción, definidos por e i = y yˆ (2) i i Se incluyen el cuadrado medio del error (CME), el error medio absoluto (MAE), el error porcentual absoluto medio (MAPE), el error medio (ME), y el error porcentual medio (MPE). Estas estadísticas de validación pueden ser comparadas con las estadísticas del modelo ajustado para determinar qué tan bien el modelo predice las observaciones fuera de los datos usados para ajustarlo. El modelo ajustado tiene ahora más sentido intuitivo, con los coeficientes de triceps y thigh ambos positivos, como se esperaría dadas sus correlaciones positivas con body fat por StatPoint, Inc. Regresión en Cadena - 5

6 Opciones de Análisis STATGRAPHICS Rev. 4/25/2007 Actual: valor del parámetro de cadena λ usado para ajustar el modelo. Mínimo y Máximo: el rango de valores usados en las tablas y gráficos comparativos. Número de Divisiones: el número de divisiones en que se divide el rango de valores cuando se crean las tablas y los gráficos. Traza de Cadena La Traza de Cadena presenta los coeficientes estimados usando varios valores del parámetro de cadena λ: Traza de Cadena para body fat 5 3 Variable triceps thigh midarm Coeficiente Parámetro de cadena En muchos casos, las estimaciones de los coeficientes cambiarán dramáticamente conforme λ se aleja de 0. Eventualmente, los coeficientes se estabilizarán, como lo hacen en la vecindad de λ = 0.02 en el gráfico anterior. Advierta el cambio en signo del coeficiente para thigh, así como el acercamiento a 0 del coeficiente de midarm. Desafortunadamente, ya no aplican las pruebas de significancia estadística, así que es difícil determinar qué coeficientes son estadísticamente significativos. Sin embargo, es probable que el modelo resaltante sea mucho más estable que el modelo ajustado por mínimos cuadrados ordinarios, particularmente cuando se extrapola fuera de la región experimental por StatPoint, Inc. Regresión en Cadena - 6

7 Opciones de Ventana STATGRAPHICS Rev. 4/25/2007 Mostrar: elija entre coeficientes estandarizados o no estandarizados. Los coeficientes estandarizados son los coeficientes del modelo en el cual todas las variables han sido estandarizadas sustrayéndoles sus medias muestrales y dividiéndolas después entre la raíz cuadrada de n 1. Coeficientes de Regresión Esta tabla muestra los coeficientes de regresión en valores elegidos del parámetro de cadena: Coeficientes de Regresión Cadena Parámetro triceps thigh midarm Los coeficientes aplican al modelo en la forma sin estandarizar: Y = β 0 + β 1 X 1 + β 2 X 2 + β 3 X 3 (3) 2006 por StatPoint, Inc. Regresión en Cadena - 7

8 Coeficientes de Regresión Estandardizados Esta tabla muestra los coeficientes de regresión estandarizados en valores elegido del parámetro de cadena: Coeficientes de Regresión Estandarizados Cadena Parámetro triceps thigh midarm Los coeficientes estandarizados aplican al modelo en la forma estandarizada: Y = β β (4) 1X 1 + β 2 X X 3 donde Y = 1 Y Y n 1 s Y (5) X j = 1 X j X n 1 s X j j (6) 2006 por StatPoint, Inc. Regresión en Cadena - 8

9 Factores de Inflación de Varianza Los Factores de Inflación de la Varianza (VIF, Variance Inflation Factors) miden que tan grande es la varianza de los coeficientes comparada con cuál sería si las variables independientes no estuvieran correlacionadas. Se muestran en ambos gráfico y tabla: Factores de Inflación de Varianza para body fat Variable triceps thigh midarm VIF Parámetro de cadena Factores de Inflación de Varianza Cadena Parámetro triceps thigh midarm R-Cuadrada Advierta que los VIF también son cercanos a 1.0 en la vecindad de λ = 0.02, lo que mueve a su selección por StatPoint, Inc. Regresión en Cadena - 9

10 Observados versus Predichos La gráfica Observados versus Predichos muestra los valores observados de Y en el eje vertical y los valores predichos Ŷ en el eje horizontal Gráfica de body fat observado predicho Si el modelo ajusta bien, los puntos debieran estar dispersos aleatoriamente alrededor de la línea diagonal. A veces es posible apreciar curvatura en este gráfico, lo que indicaría la necesidad de un modelo curvilíneo más que un modelo lineal. Cualquier cambio en variabilidad de valores bajos de Y a valores altos de Y podría también indicar la necesidad de transformar la variable dependiente antes de ajustar un modelo a los datos. Gráficas de Residuos Al igual que con todos los modelos estadísticos, es una buena práctica examinar los residuos. En una regresión, los residuos se definen por e i = y yˆ (7) i i i.e., los residuos son las diferencias entre los valores de los datos observados y el modelo ajustado. El procedimiento Regresión en Cadena crea varios tipos de gráficas de residuos, dependiendo de las Opciones de Ventana por StatPoint, Inc. Regresión en Cadena - 10

11 Gráfica de Dispersión versus Valor Predicho Esta gráfica es útil para ver si la variabilidad es constante o varía de acuerdo con la magnitud de Y. 4 Gráfica de Residuos 2 residuo predicho body fat Gráfica de Probabilidad Normal Esta gráfica puede emplearse para determinar si la desviación alrededor de la línea sigue o no una distribución normal Gráfica de Probabilidad Normal para body fat porcentaje residuo Si las desviaciones siguen una distribución normal, deben caer aproximadamente a lo largo de una línea recta por StatPoint, Inc. Regresión en Cadena - 11

12 Autocorrelaciones de Residuos Esta gráfica calcula la autocorrelación entre los residuos como una función del número de filas entre ellos en la hoja de datos. 1 Autocorrelaciones Residuales para body fat 0.6 autocorrelación retraso Sólo es relevante si los datos se colectaron secuencialmente. Cualquier barra extendiéndose más allá de los límites de probabilidad indicaría dependencia significativa entre residuos separados por el retraso indicado Opciones de Ventana Graficar: el tipo de residuos a graficar: 1. Residuos los residuos del ajuste de mínimos cuadrados. 2. Residuos Estudentizados la diferencia entre los valores observados y i y los valores predichos ŷ cuando el modelo es ajustado empleando todas las observaciones i 2006 por StatPoint, Inc. Regresión en Cadena - 12

13 excepto la i-ésima, dividida entre el error estándar estimado. Estos residuos a veces son llamados residuos suprimidos externamente, ya que miden que tan lejos está cada valor del modelo ajustado cuando tal modelo se ajusta usando todos los datos excepto el punto considerado. Esto es importante, ya que un gran valor atípico podría de otra forma afectar tanto el modelo que no parecería estar inusualmente alejado de la línea. Tipo: el tipo de gráfico a crear. Se usa un Diagrama de Dispersión para probar curvatura. Se emplea una Gráfica de Probabilidad Normal para determinar si los residuos del modelo provienen de una distribución normal. Se usa una Función de Autocorrelación para probar dependencia entre residuos consecutivos. Graficar Versus: para un Diagrama de Dispersión, la cantidad a graficar en el eje horizontal. Número de Retrasos: para una Función de Autocorrelación, el máximo número de retrasos. Para grupos pequeños de datos, el número de retrasos graficados puede ser menor que este valor. Nivel de Confianza: para una Función de Autocorrelación, el nivel usado para crear los límites de probabilidad. Reportes La ventana Reportes crea predicciones usando el modelo ajustado. Por omisión, la tabla incluye una línea por cada fila en la hoja de datos que tenga información completa en las variables X y un valor faltante para la variable Y. Esto le permite agregar columnas al final de la hoja de datos correspondientes a los niveles a los que quiera tener predicciones sin afectar el modelo ajustado. Por ejemplo, suponga que se desea una predicción para un nuevo sujeto con triceps = 30, thigh = 55, y midarm = 26. El valor para cada variable predictora se agregará a la fila #21 de la hoja de datos, dejando vacía la celda para Body fat. La tabla resultante se muestra a continuación: 2006 por StatPoint, Inc. Regresión en Cadena - 13

14 Resultados de la Regresión para body fat Observado Ajustado Fila Residuo Se incluye en la tabla: Fila el número de la fila en la hoja de datos. Observado el valor observado de Y, si lo hubiera. Ajustado el valor predicho de la variable dependiente usando el modelo ajustado. Residuo el valor observado menos el valor predicho. Para la fila #21, el valor predicho de Body fat es Opciones de Ventana Incluir: las columnas a incluir en la tabla. Si sólo se elige Y ajustada, la tabla incluirá sólo las filas con valores para todas las variables predictoras y un valor faltante para Y por StatPoint, Inc. Regresión en Cadena - 14

15 Salvar Resultados Se puede salvar lo siguiente en la hoja de datos: STATGRAPHICS Rev. 4/25/ Valores Predichos los valores predichos a partir del modelo ajustado para cada fila en la hoja de datos. 2. Residuos los n residuos. 3. Coeficientes los coeficientes del modelo estimado. Cálculos Coeficientes del Modelo Estandarizados 1 ( X X + λi ) X Y ˆ β = (8) usando las variables transformadas definidas previamente, donde I es una matriz identidad por StatPoint, Inc. Regresión en Cadena - 15