Anomalías en regresión y medidas remediales

Transcripción

1 Universidad Nacional Agraria La Molina C:/Users/moranjara/Desktop/trabajo_inf

2 Introducción Introducción En este capítulo se estudiarán algunas medidas de diagnóstico que permitirán vericar si los supuestos del modelo de regresión se cumplen. Algunas de estas medidas de diagnóstico están basados en los diferentes tipos de residuales. Consideremos el modelo de regresión lineal múltiple: Y = Xβ + ε donde E(ε) = 0 y Var(ε) = σ 2 I n.

3 Introducción estudiantizados internamente estudentizados externamente Se tiene que ^Y = X^β donde ˆβ = (X X) 1 X Y, entonces: ^Y = X(X X) 1 X Y = HY Esta es la razón porque a la matriz H se le llama matriz HAT, ya que actúa como una transformación de Y a ^Y. Luego, el vector de residuales es: e = Y ^Y = Y HY = (I H)Y

4 Media del vector de residuales estudiantizados internamente estudentizados externamente Nótese que: E(e) = E [(I H) Y] = (I H) E(Y) = (I H) Xβ = Xβ HXβ = Xβ Xβ Finalmente: E(e) = 0

5 Varianza del vector de residuales estudiantizados internamente estudentizados externamente Por otro lado: Finalmente: Var(e) = Var [(I H) Y] = (I H) Var (Y) (I H) = σ 2 (I H) (I H) = σ 2 (I H) 2 Var(e) = σ 2 (I H)

6 Estimación de la varianza estudiantizados internamente estudentizados externamente En particular Var(e ij ) = σ 2 (1 h ij ) la cual es estimada por S(1 h ij ) siendo S 2 = CMRes También Cov[e i, e j ] = h ij σ 2. Tanto los errores como los residuales tienen media 0. La varianza de los errores es constante, pero la de los residuales no lo es. Los errores no están correlacionados, pero los residuales si lo están.

7 estudiantizados internamente estudentizados externamente Outliers, punto leverage alto y valores inuenciales Una observación (y, x 1,, x k ) es considerada un outlier si se encuentra muy alejado del resto de los datos sea en la dirección vertical u horizontal. Sin embargo muchos textos llaman outlier a un valor alejado solamente en la dirección vertical y punto de leverage alto a una observación alejada solamente en la dirección horizontal. Una observación es considerada un valor inuencial si su presencia afecta de manera importante el comportamiento del modelo. En el caso de la regresión lineal simple remover un valor inuencial podría cambiar dramáticamente el valor de la pendiente.

8 estudiantizados internamente estudiantizados internamente estudentizados externamente Para reducir el efecto de las varianzas de los residuales es conveniente trabajar con versiones estandarizadas de ellos. El residual estudiantizado internamente se dene por: r i = e i σ 1 h ii La covarianza de los residuales estudentizados internamente es: ( Cov(r i, r j ) = Cov e i σ 1 h ii, ) e j = σ 1 h jj h ij 1 hii 1 hjj Cov(e i,e j) σ 1 h ii σ 1 h jj =

9 estudiantizados externamente estudiantizados internamente estudentizados externamente Supongamos que la i-ésima observación es eliminada del conjunto de datos y que se ajusta el modelo lineal con las observaciones restantes. Sean β (i) y s (i) 2 las estimaciones de los parámetros del modelo y de la varianza de los errores respectivamente. Usando la siguiente identidad debido a Gauss: (X (i) X (i)) 1 = (X X) 1 + (X X) 1 x i x i (X X) 1 1 h ii X (i) representa la matriz X sin su i-ésima la x i.

10 estudiantizados externamente estudiantizados internamente estudentizados externamente Se pueden establecer las siguientes relaciones: ˆβ (i) = ˆβ (X X) 1 x i ê i 1 h ii s 2 (i) = n p 1 n p 2 s2 ê 2 i (n p 2)(1 h ii ) Sea ỹ i = x i ˆβ(i), entonces el residual estudiantizado externamente es: t i = y i ỹ i s (i) 1 + x (i) (X (i) X (i)) 1 x i

11 estudiantizados externamente estudiantizados internamente estudentizados externamente La relación entre el residual usual y el residual usando el modelo sin la i-ésima observación es: y i ỹ i = êi 1 h ii Se puede establecer la siguiente relación entre el residual estudiantizado externamente e internamente: ( ) 1/2 t i = r n p 1 i n p r 2 i

12 estudiantizados internamente estudentizados externamente Si h ii > 2 (p/n) donde p es el número de parámetros, entonces la i-ésima observación es considerado un punto leverage y podría ser inuencial. Si t i > 2 entonces la i-ésima observación es considerada un outlier y también puede ser inuencial. Si r i > 2 entonces la i-ésima observación también es considerada un outlier y también puede ser inuencial.

13 La distancia de Cook DFFITS DFBETAS COVRATIO La distancia de Cook Mide el cambio que ocurriría en el vector de coecientes estimados de regresión si la i-ésima observación fuera omitida. Se calcula por: CD 2 i = ( ˆβ ˆβ (i) ) X X( ˆβ ˆβ (i) ) ps 2 = (ŷ ŷ (i)) X X(ŷ ŷ (i) ) = r 2 i ps 2 h ii p(1 h ii )

14 La distancia de Cook DFFITS DFBETAS COVRATIO La distancia de Cook Un CD 2 > 1 indica que la i-ésima observación es un valor potencialmente inuencial. Un CD 2 < 0,1 indica que la i-ésima observación no merece ninguna discusión. Un CD 2 < 0,5 indica que la i-ésima observación merece un poco de atención. Especícamente, si CD 2 > F (0,5,p,n p) la observación es considerada como un valor inuencial.

15 La distancia de Cook DFFITS DFBETAS COVRATIO DFFITS Es similar a la distancia de Cook excepto por un factor de escala y el reemplazo de la varianza estimada s 2 por s 2 (i). La varianza estimada del error excluyendo la i-ésima observación en los cálculos: DFFITS i = ŷi ŷ (i) s 2 (i) h ii, para i = 1,..., n ŷ (i) es el valor ajustado de y i obtenido sin considerar la i-ésima observación. Un DFFITS i > 2 p n indica un posible valor inuencial.

16 La distancia de Cook DFFITS DFBETAS COVRATIO DFBETAS Mide la inuencia de la i-ésima observación en cada uno de los coecientes de regresión. Se calcula por: (DFBETAS) ji = ˆβ j ˆβ j(i) s (i) c(j+1)(j+1), para i = 1,..., n para j = 1,..., k c (j+1)(j+1) es el j+1-ésimo elemento de la diagonal de (X X) 1. Un DFBETAS ji > 2 n indica un posible valor inuencial.

17 La distancia de Cook DFFITS DFBETAS COVRATIO COVRATIO Mide el efecto en la variabilidad de los coecientes de regresión al remover la i-ésima observación. Se dene por: [ det s (i) 2 COVRATIO i = det ( ) ] 1 X (i) X (i) para i = 1,..., n [s 2 (X X) 1]

18 La distancia de Cook DFFITS DFBETAS COVRATIO COVRATIO Usando propiedades de determinantes, se puede obtener la siguiente fórmula equivalente: ( ) s 2 p (i) 1 COVRATIO i = s 2 (1 h ii ) Si COVRATIO i > 1 + ( ) p 3 n o si COVRATIOi < 1 ( ) p 3 n entonces la i-ésima observación es un valor inuencial importante.