Regresión Lineal Múltiple

Transcripción

1 Universidad Nacional Agraria La Molina

2 Efectos de Diagnósticos de Dos predictores X 1 y X 2 son exactamente colineales si existe una relación lineal tal que C 1 X 1 + C 2 X 2 = C 0 para algunas constantes C 1, C 2 y C 0. Una medida comúnmente usada para detectar colinealidad es el coeciente de determinación. Se dice que X 1 y X 2 son colineales si R12 2 es bastante cercano a 1 ( ó 100 %). Cuando existen outliers esta medida no es completamente adecuada.

3 Efectos de Diagnósticos de La denición se extiende al caso cuando hay más de dos variables predictoras. Un conjunto de predictoras X 1, X 2,....X p son colineales si para constantes c 0, c 1,.....c p, la ecuación: c 1 X 1 + c 2 X c p X p = c 0

4 Efectos de Diagnósticos de De la ecuación anterior se desprende que cuando hay multicolinealidad una de las predictoras puede ser determinada de las otras, es decir: X k = (c 0 j k c j X j )/c k Si el coeciente de determinación R 2 k de la regresión de X k con las otras es cercano a 1 se puede concluir tentativamente que hay multicolinealidad.

5 Efectos de Efectos de Diagnósticos de Si consideramos el modelo de regresión lineal múltiple: Y = β 0 + β 1 X 1 + β 2 X β p X p + e Se puede mostrar que la varianza del j ésimo coeciente de regresión estimado es: var( ˆβ j ) = σ 2 ( 1 1 R 2 j ) ( ) 1 S Xj S Xj

6 Efectos de Efectos de Diagnósticos de Donde Rj 2 es el coeciente de determinación de la regresión lineal de X j contra todas las demás variables predictoras. 1 La cantidad 1 R 2 es llamado el j ésimo Factor de inación j de la varianza o VIF j. Si Rj 2 es cercano a 1 entonces la varianza de ˆβ j aumentará grandemente.

7 Efectos de Efectos de Diagnósticos de El VIF representa el incremento en la varianza debido a la presencia de multicolinealidad. Una variable predictora con un VIF mayor de 10 puede causar multicolinealidad. Los VIF son los elementos que están en la diagonal de la matriz C 1, que es la inversa de la matriz de correlaciones C.

8 Pasos para detectar multicolinealidad Efectos de Diagnósticos de Se pueden seguir los siguientes pasos para detectar multicolinealidad Cotejar si hay coecientes de regresión con valores bien grandes o de signo opuesto a lo que se esperaba que ocurriera. Cotejar si la eliminación de una la o columna de la matriz X produce grandes cambios en el modelo ajustado.

9 Pasos para detectar multicolinealidad Efectos de Diagnósticos de Cotejar las correlaciones entre todas las parejas de variables predictoras para detectar las que son bastante altas. Si el VIF es grande, mayor que 10, entonces puede haber multicolinealidad.

10 Pasos para detectar multicolinealidad Efectos de Diagnósticos de Usar el número condición de la matriz correlación X X, la cual es de la forma 1 r 12 r 1p r 21 1 r 2p.... r p1 r p2 1 Donde r ij representa la correlación entre las variables X i y X j. La matriz X es obtenida restando a cada columna de X la media correspondiente y dividiendo luego entre la raíz de la suma de cuadrados corregida por la media de la misma columna.

11 Efectos de Diagnósticos de Básicamente hay dos propuestas: (Hoerl and Kennard, 1970) b) Componentes principales (Hotelling, 1965)

12 Regresión Ridge Efectos de Diagnósticos de Consideremos la suma de las varianzas de los coecientes estimados ˆβ, dada por E( ˆβ β) ( ˆβ β). E( ˆβ β) ( ˆβ β) = σ 2 p i=1 1 λ i Notar que si un valor propio es cercano a cero la suma de las varianzas se hace muy grande.

13 Regresión Ridge Efectos de Diagnósticos de La idea en regresión Ridge es encontrar un estimador β que aunque sea sesgado sea más corto que ˆβ, es decir β β < ˆβ ˆβ. Hoerl y Kennard, en 1970, propusieron el siguiente estimador: β = (X X + ki ) 1 X Y Donde el parámetro de encogimiento k (por lo general, 0 < k < 1) debe ser estimado de los datos tomados.

14 Regresión Ridge Efectos de Diagnósticos de Se puede mostrar que el estimador ridge se obtiene al resolver Min B (y XB) (y XB) Sujeto a que B 2 < k 2...(*) Cuando (*) se sustituye por B < k se obtiene el estimador Lasso.

15 Regresión Ridge Efectos de Diagnósticos de La fórmula anterior se puede usar con las variables predictoras y/o de respuesta en su forma original o en su forma estandarizadas. Tambien existen variantes de la formulación original de la regresión ridge, uno de ellos es considerar K como un vector o una matriz, a estos métodos se le llama regresión ridge generalizada.

16 Regresión Ridge Efectos de Diagnósticos de Hay varias propuestas acerca de la elección de k, pero lo que más se recomienda consiste en hacer un plot de los coecientes del modelo para varios valores de k (generalmente entre 0 y 1) este plot es llamado la Traza Ridge.

17 Efectos de Diagnósticos de Regresión Ridge Para elegir k hay que considerar los siguientes aspectos: 1 Que los valores de los coecientes de regresión se estabilizen. 2 Que los coefcientes de regresión que tenían un valor demasiado grande comienzen a tener valores razonables. 3 Que los coecientes de regresión que inicialmente tenían el signo equivocado cambien de signo.

18 Efectos de Diagnósticos de Componentes Principales para Regresión El objetivo del análisis por componentes principales es hacer una reducción de la información disponible. Es decir, la información contenida en p variables predictoras X = (X 1,..., X 2 ) puede ser reducida a Z = (Z 1,..., Z 2 ) con p < p. Las nuevas variables Z i s llamadas componentes principales no estan correlacionadas.

19 Componentes Principales para Regresión Efectos de Diagnósticos de Los componentes principales de un vector aleatorio X son los elementos de una transformación lineal ortogonal de X. Consideremos el modelo de regresión lineal múltiple: Y = β 0 + β 1 X 1 + β 2 X β k X k + ɛ Estandarizemos todas las variables predictoras X j usando X j = x j x j. SXXj

20 Componentes Principales para Regresión Efectos de Diagnósticos de Sea X* la matriz obtenido usando las X j como columnas. Luego, X*'X* viene a ser la matriz de correlacion de las variables predictorias X j. Para determinar los componentes principales hay que hallar una matriz ortogonal V tal que Z=X*V. Para la cual Z'Z=(X*V)'(X*V)=V'X*'X*V=diag(λ 1,..., λ p ) y VV'=VV=I

21 Componentes Principales para Regresión Efectos de Diagnósticos de Los λ j son los valores propios de la matriz de correlación X 'X. Luego, la j-ésima componente principal Z j tiene desviación estándar igual a λ j y puede ser escrita como: Z j = ν j1 X 1 + ν j2 X ν jp X p Donde ν j1, ν j2,..., ν jp son los elementos de la j-ésima la de V.

22 Efectos de Diagnósticos de Componentes Principales para Regresión Elección del número de componentes principales: 1 Elegir el número de compnentes hasta donde se ha acumulado por lo menos 75 % de la proporción de los valores propios. 2 Elegir hasta la componente cuyo valor propio sea mayor que 1. Para esto se puede ayudar del Scree Plot. (Ver gura)

23 Componentes Principales para Regresión Efectos de Diagnósticos de