REGRESIÓN LINEAL SIMPLE

Transcripción

1 121 REGRESIÓN LINEAL SIMPLE Dado un conjunto de pares de datos (, y), = 1, K, n., se han desarrollado varos métodos para ajustar una recta de la forma y = a+ b, al dagrama de dspersón de dchos datos. El más conocdo y el más utlzado es el Método de Cuadrados Mínmos que requere cálculos algebracamente sencllos y desarrollo matemátco drecto. Desafortunadamente la recta ajustada por el método de cuadrados mínmos no es resstente. Un sólo punto puede tomar control del ajuste, como lo muestra la fgura sguente, y llevar a una nterpretacón absolutamente errónea de la relacón entre e y.

2 122 La fgura muestra el ajuste por cuadrados mínmos y un ajuste resstente. Hemos obtendo el gráfco anteror en R medante las sguentes nstruccones: > > lbrary(rrcov) > plot(c(0,1),c(1,0),type="n",lab="",ylab="y ") > y<-locator(type="p") # marcamos los puntos en el gráfco y sus coordenadas son guardadas en y. > y $ [1] $y

3 [1] Trazamos la recta de cuadrados mínmos > ablne(lm(y~,y),col=4) Trazamos la recta resstente, que mnmza la suma de los cuadrados de la mtad de los resduos más pequeños. > ablne(ltsreg(y$,y$y),lty=2,col=2) 123 En S-plus Trazamos la recta de cuadrados mínmos gual que en R > ablne(lm(y~,y),col=4) Pero trazamos la recta resstente, que tambén mnmza la suma de los cuadrados de la mtad de los resduos más pequeños, con la funcón ltsreg. No se utlza nguna lbrería adconal. > ablne(ltsreg(y$,y$y),lty=2,col=2) Método de Cuadrados mínmos Los coefcentes de la recta de cuadrados mínmos (CM) se elgen entre todos los posbles pares de valores aquellos que mnmzan S = n = 1 ( y a + b 2 ) (1) Dervando (1 ) respecto de a y b

4 124 S = 2 a S = 2 b n = 1 n = 1 ( y ( y ( a + b )) ( a + b )) e gualando a cero se obtenen los coefcentes de la recta estmada por CM: b CM = a n =1 CM ( - )( y - n =1 ( - ) = y - b CM 2 y ) Nnguna otra recta tendrá, para el msmo conjunto de datos, una suma de cuadrados de los resduos tan baja como la obtenda por CM. En este sentdo, CM garantza la solucón que mejor ajusta a ese conjunto de datos. Se puede obtener fáclmente, que la recta de CM pasa por el punto (, y ). Rectas resstentes. Recta resstente de tres grupos. Para resumr el centro de un lote, el procedmento resstente más smple es la medana muestral. La técnca eploratora que veremos para ajustar una recta (Tukey, 1970) derva su resstenca de la medana.

5 125 Formacón de tres grupos. Ordenamos los valores de de manera que n. Luego sobre la base de los datos ordenados dvdmos los n datos (, y ) en tres grupos, el de la zquerda, el del centro y el de la derecha. Cuando no hay empates entre las, la cantdad de puntos en los tres grupos depende del resto de dvdr n por 3. Ubcamos los puntos a los grupos de la sguente manera: Grupo n = 3k n = 3k + 1 n = 3k + 2 Izquerda k k k + 1 Centro k k +1 k Derecha k k k + 1 Los empates entre las pueden mpedr que se logre esta ubcacón eactamente porque no separamos los empates. Todos los datos con el msmo valor de van al msmo grupo. Puntos centrales de tres grupos (summary ponts). Dentro de cada uno de los grupos formados, determnamos dos coordenadas de un punto central hallando prmero la medana de las s y luego la medana de las y s. Indcamos las coordenadas de los tres puntos centrales, I para zquerda, C para el centro y D para derecha: ( I, yi),( C, yc),( D, yd ). La fgura 1 muestra los puntos centrales en un ejemplo hpotétco de nueve puntos. Como enfatza la fgura nnguno de los puntos centrales es necesaramente un

6 126 dato, pues las medanas de las s y de las y s se calculan en forma separada. (, y ) o C C (, y ) o D D o (, y ) I I Fgura 1: Los datos () y los puntos centrales (o) en un ejemplo hpotétco. Sn embargo todos los puntos centrales podrían ser datos, como ocurre frecuentemente cuando las s y las y s tenen el msmo ordenamento dentro de cada grupo. Este método da un recta resstente. La medana provee resstenca a valores salvajes en, y o ambos, sempre y cuando el número de puntos en cada grupo no sea muy pequeño. Pendente y ordenada al orgen (slope and ntercept) Vamos a utlzar los puntos centrales para obtener la pendente y la ordenada al orgen de una recta y = a+ b Es usual utlzar la notacón de y sombrero en la epresón de la recta ajustada para recordar que es la fuente de los

7 127 valores ajustados tanto para valores s de los datos como en otros valores adecuados. Así tendremos: $y = a+ b La pendente de la recta ndca en cuantas undades camba y en respuesta a un cambo de una undad en y obtenemos esta nformacón a partr de los puntos resumen zquerda y derecha: b 0 = y D D y I I. De esta manera buscamos un balance entre (a) la ventaja de medr el cambo de y sobre un ntervalo amplo de y (b) la necesdad de tener sufcentes datos en el grupo de la zquerda y el de la derecha para tener una resstenca adecuada. Para cada punto central ( I, I ),( C, C ),( D, D ), hay una recta que pasa por dcho punto y tene como pendente la pendente ajustada b 0, el promedo de las ordenadas al orgen de cada una de esas rectas es la ordenada al orgen ajustada: 1 a0 = [( yi b0i) + ( yc b0c) + ( yd b0 D) ] 3 y y y Nuevamente como los puntos centrales están basados en medanas a es resstente. 0 Para comparar, consderemos la pendente y la ordenada al orgen de la recta ajustada por cuadrados mínmos

8 128 b CM = a n =1 CM ( - )( y - y ) n =1 ( - ) = y - b La mposbldad de cualquer tpo de resstenca en los estmadores de cuadrados mínmos es evdente en la forma en que todos los datos entran en el cálculo de los coefcentes. CM 2 Pendente y valor central Ajustar un recta en térmnos de la pendente y la ordenada al orgen es convenconal pero generalmente artfcal. La ordenada al orgen da un valor de y cuando = 0, que puede estar determnado muy mprecsamente y no tener mportanca cuando los valores de caen lejos del cero. Generalmente es más útl realzar el ajuste en base a la pendente y la ordenada correspondente a un que puede ser = ó = medana( ) ó = C, llamada valor central S por convenenca trabajamos en = C, entonces la recta ncal es: y$ = a+ b ( ) 0 C (1) Igual que antes consderamos las tres rectas, de la forma (1) con pendente b 0 que pasan por los tres puntos centrales respectvamente. Promedamos los valores a obtendos para cada una de ellas: para (, y ) I I, ai = yi b0( I C ),

9 para (, para (, ) C yc ), ac = y C, D yd, ad = yd b0( D C ). Por lo tanto la recta ajustada será * y$ = a0 + b0 ( C ) 129 con b 0 gual que antes y la ordenada en el valor central * a 0, tambén llamado nvel, está dada por * 1 a0 = [ ai + ac + ad] 3 1 = {[ yi b0( I C)] + yc + [ yd b0( D C)]}. 3 Resduos. Una vez que se han obtendo la pendente y el nvel para la recta ajustada, el paso nmedato sguente es calcular el resduo para cada dato: * C r = y [ a + b( Los resduos son la base de varos gráfcos que permten revelar una gran varedad de aspectos y patrones del ajuste. )] Pero, en este caso, solamente necestamos enfatzar una propedad general de un conjunto de resduos, tanto en y versus como en stuacones más complejas:

10 130 Susttur los resduos en vez de los valores y orgnales (.e. utlzar (,, r ) en vez de (,, y ), = 1,..., n) y repetr el ajuste lleva a un ajuste cero. Para la recta esto sgnfca que utlzar (,, r ) como datos lleva a pendente cero y nvel cero. En otras palabras, los resduos ya no contenen más nformacón lneal para resumr, tal como ocurre al utlzar el método de cuadrados mínmos. Una característca mportante de los procedmentos resstentes es que frecuentemente requeren teracón. La recta resstente de 3 grupos es un prmer ejemplo. S los resduos de la recta con pendente b 0 y nvel a 0 * no tenen pendente cero y nvel cero, ajustamos una recta a ellos. La nueva pendente y el nuevo nvel serán sustancalmente menores (en magntud) que b y a. Por esta razón 0 0 * pensamos a b como un valor ncal para la pendente y como un valor ncal para el nvel (de allí el subíndce 0). 0 a 0 * Iteracón Generalmente esperamos que b y a necesten alguna correccón. Ajustar una recta a los resduos de la recta ncal da las correccones δ1 y γ 1 para la pendente y el nvel respectvamente. Específcamente, utlzamos los resduos ncales 0 0 * ( 0) * 0 0 C 1 r = y [ a + b ( )], =, L, n, en lugar de y para repetr la mayoría de los pasos anterores del proceso de ajuste. Las no han cambado,

11 131 de manera que los grupos y las medanas de las s no varían durante el proceso teratvo. La pendente y el nvel corregdos son b 0 + δ1 y a 0 * +γ1 y los nuevos resduos son () 1 ( 0) 1 1 C 1 r = r [ γ + δ ( )], =, L, n. Podríamos ahora ntentar otra teracón. en general no sabemos s tenemos un conjunto adecuado de resduos hasta que verfcamos que tenen un ajuste cero. En la práctca, contnuamos las teracones hasta que la correccón a la pendente es sufcentemente pequeña (a lo sumo 1% ó 0.01%) del tamaño de b 0. Cada teracón agrega las correccones de la pendente y el nvel a los valores anterormente modfcados: y b = b + δ, b = b + δ,k * 0 * 1 2 * 1 * 2 a = a + γ, a = a + γ, K Las teracones son generalmente lo sufcentemente pocas de manera de no llevar demasado tempo, la resstenca justfca el esfuerzo. Para algunos conjuntos de datos las correccones de la pendente decrecen demasado lentamente o después de algunos pasos pueden dejar de decrecer y en cambo osclar entre dos valores con la msma magntud y sgno opuesto. Después del ejemplo veremos una varacón del procedmento que elmna este problema y dsmnuye drástcamente la cantdad de teracones. EJEMPLO: Como un ejemplo de una dscusón de 1953, Greenberg do las edades y las alturas de dos muestras de

12 132 nños -una muestra de una escuela prvada de cudad y otra muestra de una escuela públca rural. reproducmos los datos correspondentes a 18 nños de la escuela prvada en la tabla 1 y grafcamos la altura contra la edad en la fgura 1. Tabla1: Edad y altura de nños en una escuela prvada. Nño Edad Altura (meses) (cm) Aunque los datos no sguen claramente una recta tampoco presentan un patrón notablemente curvo. De manera que una recta ajustada debería servr para resumr como aumenta la altura (y) con la edad () en ese grupo de nños.

13 133 Desde el SPLUS leemos los datos de un archvo teto sn la fla de nombres y luego asgnamos nombres a las varables > altedad <- read.table("c:\\d\\master\\altedad.tt") > names(altedad)<-c("altura","edad") > plot(altedad$edad,altedad$altura, lab="edad (meses)",ylab="altura (cm) ") > dentfy(altedad$edad,altedad$altura) [1] 17 13

14 134 Los puntos correspondentes a los nños 13 y 17 parecen sobresalr así que los seguremos a medda que desarrollamos el proceso. Como los datos no ncluyen empates, los dvdmos en tres grupos con 6 puntos cada uno. Los tres puntos centrales son: ( I, yi) = ( , ) ( C, yc) = ( 1275., ) (, y ) = ( 138, ). D D > sapply(as.lst(altedad[1:6,]),medan) edad altura > sapply(as.lst(altedad[7:12,]),medan) edad altura > sapply(as.lst(altedad[13:18,]),medan) edad altura Por lo tanto la pendente ncal es y b0 = y el nvel ncal es D D y I I = = * 1 a 0 = ( ) = La tabla 2 muestra los datos separados por grupo y los resduos de esta recta ncal.

15 135 Tabla 2. Altura y edad de nños - los tres grupos y los resduos ncales Nño Edad () Altura (y) y - [ ( )] > altedad$altura -( *(altedad$edad-127.5)) [1] [5] [9] [13] [17] Calculemos las correccones a la pendente y al nvel: δ 1 =.. = γ 1 = ( ) = δ 1 es sustancalmente menor que b 0 pero aún no es desprecable. Dos teracones más nos llevan a una

16 136 stuacón en que el proceso puede parar: La correccón más recente lleva e un cambo menor del 1% en la pendente. La recta resultante es y$ = ( ) Fgura 3. Resduos de altura vs. edad después de un ajuste terado por tres grupos Se destacan un punto bajo y otro alto que corresponden a los nños 13 y 17. Estos resduos son lo sufcentemente etremos, s los analzáramos medante un boplot están fuera de los valores adyacentes. Tambén parecen bajos los resduos de tres nños con edades alrededor de 120 meses. S tuvéramos más nformacón podríamos ntentar aprender porqué estos nños son bajos o altos de acuerdo a su edad. La dstncón entre varones y mujeres podría ayudar.

17 137 Los puntos nusuales cas no tuveron efecto en la recta que resume al conjunto de los datos. Una recta de cuadrados mínmos enfrenta más resgo de dstorsón debdo a esos puntos. Veamos que ocurre con el ajuste por cuadrados mínmos. > lm(altedad$altura~altedad$edad) Call: lm(formula = altedad$altura ~ altedad$edad) Coeffcents: (Intercept) altedad$edad Degrees of freedom: 18 total; 16 resdual Resdual standard error:

18 138 La recta de regresón por cuadrados mínmos es y$ = ó y$ = ( ), Fgura 4. Resduos del ajuste de cuadrados mínmos sugrendo que los valores y de los nños 5, 7, 8 y 17 pueden haber ayudado a torcer la recta. S el valor del nño 13 no hubese sdo tan bajo la recta habría sdo más empnada aún.

19 139 Los resduos con gual varanza se obtenen con type="pearson en la funcón resduals: > a<-lm(altedad$altura~altedad$edad) > resduals(a,type="pearson") Coefcentes y meddas de ajuste de la recta de cuadrados mínmos > summary(lm(altedad$altura~altedad$edad) Call: lm(formula = altedad$altura ~ altedad$edad) Resduals: Mn 1Q Medan 3Q Ma Coeffcents: Value Std. Error t value Pr(> t ) (Intercept) altedad$edad Resdual standard error: on 16 degrees of freedom Multple R-Squared: F-statstc: on 1 and 16 degrees of freedom, the p-value s

20 140 La fgura 4 muestra los resduos correspondentes al ajuste de la recta de cuadrados mínmos en funcón de la edad. A pesar de ser muy smlar a la fgura 3, muestra una leve tendenca haca abajo. Es decr que los resduos de cuadrados mínmos podrían estar más cercanos a la horzontal s les etrajéramos una recta con una leve pendente negatva. En este ejemplo, la varabldad de los resduos llama más la atencón que la dferenca entre las pendentes de ambos métodos. La tabla 3 muestra que el desvío estándar de los resduos es 7.03 y el error estándar de la pendente es 0.167, alrededor del doble de la dferenca entre las pendentes.

21 141 Vemos la gran varabldad de los resduos comparada con la varabldad de la varable que queremos eplcar (altura). En un buen ajuste se espera que la varabldad de los resduos sea menor que la varabldad observada de la varable respuesta.

22 142 En el gráfco cuantl-cuantl de los resduos se destacan los puntos 13 y 17. Vemos, cualtatvamente como algunos datos afectan al método de cuadrados mínmos más que al método resstente. Sería muy fácl construr un ejemplo que enfatce la no resstenca del método de cuadrados mínmos. Sn embargo es útl ver que cuando el comportamento de los puntos es razonable las dos rectas son smlares. El sguente gráfco permte detectar puntos nfluyentes.

23 143 Recta por medanas repetdas. El procedmento, propuesto por Segel (1982), consste en estmar la pendente de la recta en dos etapas. En la prmera etapa tomamos la medana de las pendentes de las n-1 rectas que pasan por un punto dado (, y ), = 1,...,n; y en la segunda etapa se toma la medana de estas n pendentes. Es decr: s defnmos y y j bj = j

24 144 entonces la medana de las pendentes de todas las rectas que pasan por (, y ) y algún otro punto será med{ } j luego a través de los puntos tendremos b j b RM = med { med{ b }} j j Para ajustar la ordenada al orgen se calcula y luego a = y brm a RM = med{ a }. Segel muestra que el método tene punto de ruptura cercano a 1/2. Veamos una dervacón heurístca para el caso n = 2k. En este caso el punto de ruptura eacto es (k-1)/n. Para ver esto supongamos que k -1 de los datos son salvajes y que los restantes k+1 son buenos. Defnmos b = j med{ b } S 0 ndca un punto bueno, b 0 está determnado por los restantes k puntos buenos y no por los k -1 puntos salvajes. Por otro lado b para un punto salvaje debe ser salvaje. Eactamente k + 1 de los b son buenos y estas estmacones de la pendente determnan b RM. Cualquer número mayor de puntos salvajes causaría la ruptura de b RM. Como la ordenada al orgen nvolucra úncamente una medana smple, tolera k-1 puntos salvajes entre 2k. Tanto la pendente como la ordenada al orgen tenen el msmo punto de ruptura. j

25 145 EJEMPLO (cont) Cálculo de la pendente y ordenada al orgen por el método de medanas repetdas Las funcones repmedans escrta con cclos y repmedanas que utlza cálculos matrcales, dan el msmo resultado. Están descrptas en la práctca 8. altura > attach(altedad) edad > unlst(repmedanas(edad, altura)) #cálculo matrcal ord.orgen pendente > lm(altura ~ edad)[[1]] # Cuadrados Mínmos (Intercept) edad > plot(edad, altura) > ablne(unlst(repmedanas(edad, altura))) > ablne(lm(altura ~ edad), lty = 2)