CAPÍTULO 3 DIAGNÓSTICOS DE REGRESIÓN

Transcripción

1 CAPÍTULO 3 DIAGNÓSTICOS DE REGRESIÓN Edgar Acuña Fernández Departamento de Matemátcas Unversdad de Puerto Rco Recnto Unverstaro de Mayagüez Edgar Acuña Analss de Regreson 1

2 3.1 Outlers, puntos de leverage alto y valores nfluencales Una observacón (y*,x* 1,..x* p es consderado un outler s está bastante alejado de la mayoría de los datos sea en la dreccón vertcal o en la horzontal. Sn embargo, la mayoría de los textos llaman outler a un valor alejado solamente en la dreccón vertcal y Punto de leverage alto a una observacón alejada en la dreccón horzontal. Edgar Acuña Analss de Regreson

3 Valor Influencal Una observacón (y*,x* 1,..x* p es consderado un valor nfluencal s su presenca afecta tremendamente el comportamento del modelo. Por ejemplo, en el caso de regresón smple remover un valor nfluencal podría cambar dramátcamente el valor de la pendente. Edgar Acuña Analss de Regreson 3

4 Ejemplo de una observacón que es outler y punto leverage alto pero que no es nfluencal. Edgar Acuña Analss de Regreson 4

5 Ejemplo de una observacón que es punto de leverage alto y que tambén es nfluencal. Este punto tendrá un gran efecto sobre el R y el cambo drástco en la pendente. Edgar Acuña Analss de Regreson 5

6 3. Resduales y deteccón de outlers. Consderemos el modelo Y=XB+e, donde E(e=0 y Var(e=σ I = Y 1 Luego Y Xβ,donde β= (X' X X' la matrz HAT (sombrero H de actúa como una transformacón de Y a Y 1 Y = X(X'X X'Y =. n - En partcular y = hj y j j= 1 h j es el elemento de la matríz H que está en la -ésma fla y j-ésma columna. Así n e = Y Y = Y HY = (I HY donde e = y hj y j Edgar Acuña Analss de Regreson 6 j= 1 HY

7 3..1 Meda y Varanza del vector de resduales E ( e = ( I H E( Y = 0 Var ( e = Var[ (I HY] = σ ( I H, I-H es smétrca e dempotente. En partcular Var( e = σ (1 h Cov( e, e = h σ j j se estma por s (1-h. Notar que : a Tanto los errores e como los resduales tenen meda 0. b La varanza de los errores es constante, pero la de los resduales no lo es. c Los errores no están correlaconados, pero los resduales s. Edgar Acuña Analss de Regreson 7

8 3.. Resduales Estudentzados nternamente Se defne por r = σ e 1 h Tambén son llamados resduales estandarzados. La covaranza de los resduales estudentzados es gual a Cov( r, r j = Cov( σ e 1 h, σ e j 1 h jj = σ Cov( e, e (1 h j (1 h jj = (1 h h j (1 h jj Edgar Acuña Analss de Regreson 8

9 3..4 Resduales estudentzados externamente Supongamos que la -ésma observacón es elmnada del conjunto de datos y que se ajusta el modelo lneal con las n-1 observacones restantes. Luego, usando la dentdad de Gauss (X' ( X ( 1 = (X'X 1 (X'X + 1 h Se obtenen las sguentes relacones entre y β y entre s ( y 1 x x' (X'X 1 βˆ s ( βˆ ( = βˆ ( X'X 1 h 1 x eˆ s ( = n p 1 s n p ( n eˆ p (1 h Edgar Acuña Analss de Regreson 9

10 La dentdad de Gauss Es un caso partcular de la Identdad de Sherman- Morrson-Woodburry ( A uv'a A = A m 1 1± v' A u ( ± uv' Donde: A es una matríz cuadrada nosngular n x n, y u y v son dos vectores de dmensón n. En nuestro caso, A=X X y u = v = x Donde x es la -ésma fla de X y X ' ( X ( = X'X x x' Edgar Acuña Analss de Regreson 10

11 Varanza del Resdual y - S y~ representa el valor estmado de la varable de respuesta para la -ésma observacón y y y~ = x' β ( y~ son ndependentes, (la -ésma observacón no fue usada en la estmacón del modelo y~ Var( y ~ y = Var( y + Var( ~ y = σ + σ x' (X' ( X ( 1 x Edgar Acuña Analss de Regreson 11

12 Resdual Estudentzado Externamente Estmando σ por s y consderando que s y ( no es un outler entonces E(y - y~ = 0 se obtene t = s ( 1 y + x' (X ~ y ' ( X ( 1 x t es llamado un resdual estudentzado externamente y tene n-p- grados de lbertad. Edgar Acuña Analss de Regreson 1

13 Propedad: Relacón entre el resdual usual y el resdual usando un modelo elmnando la -ésma observacón y - y~ = ê 1- h Relacón entre los dstntos tpos de resduales t = s e 1 * n p r = r ( h n p 1 1/ Edgar Acuña Analss de Regreson 13

14 3. Dagnóstcos para detectar outlers y puntos de leverage alto Los dagnóstcos más báscos son: S h >p/n (algunos usan 3p/n. Aquí p es el número de parámetros entonces la -ésma observacón es consderado un punto de leverage alto y pudera ser nfluencal S t > ( o s r > entonces la -ésma observacón es consderada un outler y tambén puede ser nfluencal. Edgar Acuña Analss de Regreson 14

15 Otros Dagnóstcos La Dstanca Cook (Cook, 1977 Mde el cambo que ocurrría en el vector de coefcentes estmados de regresón s la -ésma observacón fuera omtda. Se calcula por: CD ˆ ˆ ˆ ( β β ( ' X'X(ˆ β β( ( y y ( '( y y ( = = = r * ps ps p(1 h Un CD > 1 ndca que la -ésma observacón es potencalmente nfluencal. Una observacón con CD <0.1 no merece nnguna dscusón s CD <.0.5 merece un poco de atencón. En partcular, una observacón con CD > F(0.50,p,n-p es consderado como un valor nfluencal. h Edgar Acuña Analss de Regreson 15

16 Otros Dagnóstcos DFFITS (Belsley, Kuh, y Welsch, p Un DFFITS > ndca un posble valor nfluencal. Notar que: DFFITS n = CD = ( y y ( '(y y ( = t s r pt ( DFFITS h (1 h Edgar Acuña Analss de Regreson 16

17 Otros Dagnóstcos DFBETAS (Belsley, Kuh, y Welsch, Mde la nfluenca de la -ésma observacón en cada uno de los coefcentes de regresón. Se calcula por β j β j,( =1,..,n, j=0,,p ( DFBETAS j = s ( Donde c jj es el j-ésmo elemento de la dagonal de (X X -1. c S DFBETAS j > para algun j entonces la -esma n observacon es posblemente un valor nfluencal. Edgar Acuña Analss de Regreson 17 jj

18 Otros Dagnóstcos v COVRATIO (Belsley, Kuh, y Welsch, 1980 Mde el efecto en la varabldad de los coefcentes de regresón al remover la -ésma observacón. COVRATIO = det[ s ( det[ s ( X ' ( X ' X =1,,n. Usando propedades de determnantes se tene ( COVRATIO ( s = s ( X ( p 1 S (COVRATIO >1+3p/n o s (COVRATIO <1-3p/n entonces la -ésma observacón tene un valor nfluencal grande. 1 ] ] 1 (1 h Edgar Acuña Analss de Regreson 18

19 3.3 Plot de Resduales para detectar casos nfluencales Se usan para estudar el efecto de añadr una nueva varable predctora en un modelo. Permten detectar la presenca de casos nfluencales. Para ver la mportanca de la varable predctora x j Consderemos el modelo Y=X -j B -j +β j x j +e Donde X -j es la matrz X sn nclur la columna j Edgar Acuña Analss de Regreson 19

20 Resduales Defnamos los sguentes resduales e = ( I H Y se han consderado en el modelo todas las Y / X j j predctoras excepto x j ey / x, X = ( I H Y están consderadas todas las varables j predctoras e = ( I H X son los resduales de la regresón de x j versus x j / X j j j las otras varables predctoras. Edgar Acuña Analss de Regreson 0

21 Plot de resduales versus la varables predctoras. e Y / x j, X versus x j j S el modelo es adecuado los puntos se deberían alnear a lo largo de una franja horzontal. S se observa algún patrón no lneal entonces la varable predctora debería ser transformada. Este plot no srve para cuantfcar la mportanca de x j en el modelo. Plot de resduales versus las predctora HP de Mllaje. Edgar Acuña Analss de Regreson 1

22 Plots de regresón parcales (plot de varable añadda e versus e Y / X x j / X j j Se plotea los resduales de la regresón de y consderando todas las varables predctoras excepto x j versus los resduales de la regresón de x j contra todas las varables predctoras dstntas a ella. Edgar Acuña Analss de Regreson

23 Plots de regresón parcales (plot de varable añadda Plot de regresón parcal consderando la varable HP asumendo que el modelo solo contene a VOL. La varable VOL puede entrar al modelo en forma lneal Edgar Acuña Analss de Regreson 3

24 e Y / x Plot de resduales parcales o de resduales más componente versus x j j j Es más efectvo para detectar nolnealdad que el plot de regresón parcal No es muy adecuado para detectar casos nfluencales. Plot de resduales parcales aumentados e, X y / X j, x + x β + j + x j j β j j x j β jj versus x j Este plot fue propuesto por Mallows (1986 y es el más adecuado para cotejar s la varable xj debe entrar en forma cuadrátca al modelo. Edgar Acuña Analss de Regreson 4

25 3.4 Plot de resduales para detectar Normaldad La suposcón de la normaldad de los errores es bén mportante para el proceso de hacer nferenca en regresón lneal múltple. Puede ser cotejado hacendo un plot de normaldad para los errores estudentzados nternamente. El plot de normaldad consste en un plot de los scores normales (estadístcos de orden normales versus los resduales estandarzados ordenados. Edgar Acuña Analss de Regreson 5

26 Score Normal El -ésmo score normal es aproxmado en forma bastante precsa por: z( = Φ 1 ( n + 3/ 8 1/ 4 donde Φ representa la funcón de dstrbucón acumulada de una normal estándar y n (n>5 es el número de observacones en la muestra. Edgar Acuña Analss de Regreson 6

27 Plot de normaldad acompañado de pruebas noparamétrcas para detectar normaldad. Normal Q-Q Plot Sample Quantles Theoretcal Quantles El p-value de la prueba de Kolmogrov-Smrnov es mayor que 0.05 por lo tanto se acepta la hpótess de que hay normaldad de los resduales. Edgar Acuña Analss de Regreson 7

28 3.5 Detectando varanza no constante La suposcón de que en el modelo de regresón lneal múltple, los errores tenen varanza constante es mportante para que los estmadores mínmos cuadrátcos sean óptmos. La varanza no constante vene acompañado del hecho que no hay normaldad. Para detectar s la varanza es constante o no se hace un plot de resduales estudentzados versus los valores ajustados s. ŷ Edgar Acuña Analss de Regreson 8

29 La varanza de los errores no es constante Este plot muestra que la varanza de los errores no es constante y que vara En forma proporconal a la meda de la varable de respuesta Este plot es típco cuando los errores sguen una dstrbucón Posson o log-normal. Edgar Acuña Analss de Regreson 9

30 Remedos cuando la varanza poblaconal σ no es constante Usar mínmos cuadrados ponderados donde los pesos que se usan son hallados en base a los datos tomados. Transformar la varable de respuesta Y usando tranfomacón que establza la varanza Edgar Acuña Analss de Regreson 30

31 3.6 Errores correlaconados en Regresón Una de las suposcones que se hace en regresón lneal es que los errores no se correlaconan entre s Cov( e, =E( e j=0 para j. e j e Edgar Acuña Analss de Regreson 31

32 Autocorrelacón Cuando la varable predctora es tempo, pudera ocurrr que E( e, e +k 0 para un certo k en este caso se dce que los errores tene una correlacón seral y estan autocorrelaconados. Gráfcamente, cuando los resduales camban frecuentemente de sgno hay autocorrelacón negatva y s hay un conglomerado de resduales de un msmo sgno antes de cambar a otro entonces la autocrrelacón es postva. Edgar Acuña Analss de Regreson 3

33 Gráfca de las 3 seres de tempo En los dos prmeros plots la autocorrelacón es negatva y en la últma es postva Edgar Acuña Analss de Regreson 33

34 Plot de los resduales en el tempo t versus los resduales en el tempo t-1. Edgar Acuña Analss de Regreson 34

35 La prueba de Durbn-Watson Se usa para detectar s hay una postva correlacón seral de orden uno. H o : ρ = 0 vs H a : ρ > 0. n La prueba está dada por ( et et 1 D t= = n t= 1 e t Se rechaza Ho s D<D L Se acepta Ho s D>D U La prueba no lleva a nnguna conclusón s D L <D<D U. Los valores límtes D L y D U son ledos de tabla de Durbn-Watson. Edgar Acuña Analss de Regreson 35

36 Prueba de dos lados Se tenen las hpótess: H o : ρ = 0, versus H a :ρ 0 entonces Se rechaza H o : s D<D L ó 4-D<D L, al nvel de sgnfcacón de α. No se rechaza H o: s D>D U y 4-D>D U Para cualquer otro valor de D la prueba no llega a nnguna conclusón. Edgar Acuña Analss de Regreson 36