10 Modelo de regresión lineal

Transcripción

1 0 Modelo de regresión lineal La relación matemática determinística más simple entre dos variables x e y, es una relación lineal y = 0 + x. El conjunto de pares (x; y) que veri can esta relación, determinan una recta con pendiente que corta al eje y en 0 : En esta sección vamos a estudiar una relación lineal no determinística entre dos variables. Ejemplo 0. Consideremos los siguientes datos que muestran la densidad óptica de cierta substancia (y) a diferentes niveles de concentración (x): x y Si gra camos estos valores vemos que los puntos parecen estar bastante próximos a una recta, y podemos aceptar que la relación entre las variables es aproximadamente lineal. El modelo de regresión lineal simple se expresa como: Y = 0 + x + (28) donde 0 y son parámetros jos y es un término aleatorio, con E() = 0 ; var() = 2 : (29) y estos son independientes para cada repetición del experimento. Esto signi ca que para cada valor de la variable independiente x, la variable dependiente Y; es una variable aleatoria, tal que: E(Y ) = 0 + x ; var(y ) = 2 : Conocer la ecuación (28) y 2 ; nos permitiría predecir, con un error de predicción que depende de 2, el valor que puede tomar la variable Y, para determinado valor de x. Como en el ejemplo planteado, se tiene un conjunto de observaciones (x ; y ); (x 2 ; y 2 ); :::; (x n ; y n ), que parecen adaptarse al modelo lineal y en base a esos valores se deben estimar los parámetros desconocidos 0, y 2 : En el ejemplo x i son las concentraciones, y i las densidades ópticas, y n = 2: 94

2 Para estimar los parámetros 0 y usaremos el método de mínimos cuadrados. Sean r i = y i by i = y b0 i + b x i (30) (los residuos). Entonces el método consiste en hallar b 0 ; b tales que S rr = nx ri 2 = i= nx i= y i b0 + b x i 2 = min : Calculando las derivadas respecto de b 0 y de b, e igualando ambas a cero, se obtiene un sistema de dos ecuaciones, al resolver el mismo se llega a la siguiente solución. Sean x e y las medias de las x i y las y i ; y sean y = S xy = Entonces la solución es nx (x i x) 2 ; S yy = i= nx (x i x) (y i y) = i= nx (y i y) 2 ; i= nx x i y i nx y: i= b = S xy ; b 0 = y x b : La recta obtenida se llama recta de regresión estimada de y en x: En nuestro ejemplo, = , S yy = 0:3089, S xy = 26:4 y b 0 = 0:09 ; b = 0:00 : de modo que la recta de regresión estimada será: by = 0:09 + 0:00x La desviación se estima con s r de nido como s 2 r = S nx rr n 2 ; con S rr = ri 2 2 = S yy b : 95 i=

3 En nuestro ejemplo, s r = 0:080: El coe ciente de determinación y el coe ciente de correlación Una medida de la variablidad total de las observaciones y i es la expresión que ya vimos S yy ; en nuestro ejemplo S yy = 0:3089 La suma de cuadrados de los residuos: S rr puede considerarse como una medida de la variación de las y i que no es explicada por el modelo. Entonces es conveniente de nir un número que represente la proporción de la variabilidad total de las y i que si es explicada por el modelo, este número es el coe ciente de determinación: r 2 = S rr S yy es una medida de la bondad del ajuste del modelo. En nuestro ejemplo r 2 = 0:0075 = 0:98925, esto signi ca el modelo de regresión lineal simple explica el 98:9% de la variabilidad total de las observaciones y i El número R = S xy p Sxx S yy se llama coe ciente de correlación entre x e y. Está entre - y ; si jrj = ; los puntos están exactamente sobre una recta, cuya pendiente tiene el signo de R: También es una medida de la bondad de un ajuste lineal. En nuestro ejemplo, R = 0:9946: En un modelo de regresión lineal simple, el coe ciente de determinación es el cuadrado del coe ciente de corelación. 0. Intervalos de con anza para los parámetros Se puede probar que los estimadores b 0 y b son insesgados, esto quiere decir que: E( b 0 ) = 0 ; E( b ) = y también puede probarse que: var( b 0 ) = 2 n + x2 ; var( S b ) = 2 ; xx 96

4 Entonces bajo las suposiciones del modelo (29) podemos decir que b 0 y b son estimadores insesgados de los parámetros 0 y y que tienen las varianzas calculadas. Pero si podemos suponer que los i tienen distribución normal, es decir que el modelo ahora sería: donde Y i = 0 + x i + i i s N(0; 2 ) e independientes (3) Entonces, también las variables aleatorias Y i tienen distribución normal, y los estadísticos: T 0 = b 0 0 b q y T = s r + x2 s r = p n tiene distribución de Student con n 2 grados de libertad. Estos estadísiticos nos sirven para construir intervalos de con anza para 0 y respectivamente, con el mismo procedimiento que ya usamos anteriormente. A partir de T 0 ; planteamos P ( t =2 b 0 q 0 t =2 ) = s r + x2 n donde t =2 se busca en la tabla de Student para n 2 grados de libertad, y nalmente se llega al intervalo 0 s 0 t =2 s r n + x2 ; S b 0 + t =2 s r xx n + x2 A A partir de T, planteamos P ( t =2 b s r = p t =2 ) = donde también t =2 se busca en la tabla de Student para n libertad, y nalmente se llega al intervalo b t =2 s r = p ; b + t =2 s r = p 2 grados de 97

5 Para los datos del ejemplo, si elegimos = 0:95, para 0 grados de libertad t 0:025 = 2:228, dt( b q q 0 ) = s r + x2 n = 0: = 0: y el intervalo para 0 ( 0:09 0:0276; 0:09 0:0276) = ( 0:0395; 0:057) de la misma manera dt( b ) = s r = p = 0:080= p = 0: y el intervalo para (0:00 0: ; 0:00 + 0: ) = (0:000; 0:008) 0.. Algunos comentarios sobre la estimación de los parámetros La longitud del intervalo para 0 es 2t =2 s r q n + x2 ; de modo que si x es relativamente grande, la estimación de 0 será poco precisa. Generalmente la estimación de 0 no es tan importante como la de : La longitud del intervalo para es 2t =2 s r = p ; de modo que la precisión de la estimación para, puede mejorarse eligiendo los valores de las x i más dispersas para que sea más grande. 0.2 Tests para los parámetros Cuando las variables aleatorias Y i son independientes y con distribución normal, se pueden testear algunas hipótesis sobre los parámetros, se procede como ya hemos visto. Si se desea comparar con algún valor jo b; el estadístico de prueba será: T = b b s r = p que cuando el verdadero valor de es b, tendrá distribución de Student con n 2 grados de libertad, y los diferentes tests que se pueden hacer se resumen como: 98

6 Hipótesis nula: H 0 : = b psxx Valor de estadístico de prueba: t = b b =s r Hipótesis alternativa Región de rechazo para un nivel H A : > b t > t H A : < b t < t H A : 6= b t > t =2 o t < t =2 grados de libertad: n 2 Para el ejemplo (0.), se está interesado en saber si la pendiente es mayor de En ese caso el problema se plantea como: H 0 : = 0:00 H A : > 0:00 el valor del estadístico de prueba es t = (0:00 0:00) p =0:080 = 2:657; si observamos la tabla de Student para 0 grados de libertad, vemos que el valor-p <0.025, lo que signi ca que podemos a rmar que la pendiente es mayor que 0.0 con un nivel de signi cación = 0: Intervalos de con anza para valores medios de la respuesta Continuando con el ejemplo (0.), consideremos una concentración dada, por ejemplo x 0 = 260; y sea Y 0 la respuesta correspondiente. Si se cumple el modelo (29), la respuesta media correspondiente a x 0 es EY 0 = 0 + x 0 : Si se quiere estimar EY 0 = 0 + x 0 ; parece lógico estimarla con el valor ajustado by 0 = b 0 + b x 0 : Si deseamos construir un intervalo de con anza para EY 0 deberemos encontrar el estadístico adecuado, es facil ver que Eby 0 = E( b 0 + b x 0 ) = 0 + x 0 también puede demostrarse que! varby 0 = var( b 0 + b x 0 ) = 2 n + (x 0 x) 2 99

7 y también se puede probar que, cuando las Y i tienen distribución normal, el estadístico T = by 0 ( 0 + x 0 ) s r q n + (x 0 x) 2 tiene distribución de Student con n 2 grados de libertad. Entonces, siguiendo el mismo procedimiento de siempre, obtenemos el siguiente intervalo de con anza de nivel ; para EY 0 ; es decir la media de la respuesta Y para un valor dado x 0 0 t =2 s r s En nuestro ejemplo, n + (x 0 x) 2 ; by 0 + t =2 s r s n + (x 0 x) 2 A (32) by 0 = 0:274; r ( ) = 0:30054; t 0:025 = 2:228 y el intervalo de 95% de con anza para EY 0 resulta (0:2620; 0:286) esto signi ca que tenemos un 95% de con anza de que este intervalo contenega el valor verdadero (desconocido) de EY 0 ; que es el valor medio de las respuestas correspondientes a la concentración x 0 : Pero ojo!: esto no quiere decir que si se registra la respuesta y para x 0 ; ésta tenga probabilidad 0:95 de caer en el intervalo. Si observamos la forma del intervalo (32), vemos que la longitud es: s L = 2t =2 s r n + (x 0 x) 2 esta longitud es mínima cuando x 0 es igual a x, y aumenta cuando x 0 se aleja de x. En la siguiente gura se gra ca la recta de regresión estimada, y dos lineas curvas que representan los límites de los intervalos de con anza para la media de Y, dados los posibles valores de x. Se puede ver como varía la longitud de los intervalos de con anza. 00

8 Importante: Generalmente, el modelo (29) es una aproximación, válida en el mejor de los casos dentro del rango de las x usadas en el experimento, no tenemos información para hacer ninguna inferencia fuera de ese rango de valores, por lo que no es nada con able extrapolar, o sea, aplicar este procedimiento para x 0 fuera del rango de las x observadas. 0.4 Intervalos de predicción para valores de la variable respuesta Consideremos ahora la siguiente situación, queremos predecir el valor que puede tomar la respuesta, cuando la concentración es x 0 = 260. Sabemos que y 0 = 0 + x 0 +, y parece lógico predecir ese valor con el valor sobre la recta estimada, o valor ajustado by 0 = b 0 + b x 0 este es el mismo valor que usamos para estimar la EY 0. Pero si pretendemos construir un intervalo de predicción, las cosas cambian un poco. El error de predicción es la diferencia entre el valor que puede tomar una variable aleatoria Y 0 y el valor ajustado by 0 ; podemos ver que el valor esperado del error de predicción es: E (Y 0 by 0 ) = 0 0

9 y la varianza del error de predicción es: var(y 0 by 0 ) = var(y 0 ) + var(by 0 ) = 2 + n + (x 0 x) 2 de modo que para construir un intervalo de predicción para Y 0, usaremos el estadístico Y 0 by 0 T = q s r + + (x 0 x) 2 n que también tiene distribución de Student con n-2 grados de libertad. Y el intervalo de predicción para y 0 es: 0 s 0 t =2 s r + n + (x 0 x) 2 ; by 0 + t =2 s r + n + (x 0 x) 2 A (33) En nuestro ejemplo: r by 0 = 0:274; + 2 y el intervalo de predicción es: + ( ) = :0449; t 0:025 = 2:228 (0:2322; 0:360) esto signi ca que tenemos un 95% de con anza de que ese intervalo contenga a la posible respuesta y 0 correspondiente a una concentración x 0 = 260. Vemos que la longitud de este intervalo de predicción para y 0 es mayor que la del intervalo de con anza para EY 0 que construimos antes ( para el mismo x 0 = 260 ). Esto es lógico porque para predecir el valor que tome la variable aleatoria tengo más incerteza que para estimar su media. En general vemos que la longitud de (33) es s L = 2t =2 s r + n + (x 0 x) 2 vale lo mismo que dijimos para los intervalos de con anza, la longitud es mínima cuando x 0 es igual a x. 02

10 En el grá co vemos las curvas que delimitan los intervalos de con anza y los intervalos de predicción, ambos de nivel 0:95 Como ya dijimos al construir intervalos de con anza para EY 0 ; este procedimento nunca puede extrapolarse. No tiene sentido predecir el valor de Y correspondiente a una x fuera del rango de valores con que se estimó la recta. 0.5 Uso de los residuos para validar el modelo Recordemos que los residuos son la diferencia entre el valor observado y el valor ajustado, r i = y i by i. Una práctica muy util para validar el modelo de regresión lineal es gra car estos residuos vs los valores de las x i : Si el modelo fuera correcto, estos residuos no deberían tener ninguna relación con las x i, ya que los residuos son lo que queda de las y i después de haber sustraido toda la dependencia respecto de las x i : Cuando en el grá co de residuos aparece alguna forma que muestra una relación entre los r i y las x i ; indica que el modelo no ha sido el más apropiado, y se debe intentar ajustar un modelo no lineal o aplicar alguna transformación a los datos, que linealice la relación entre las x i y las y i : El siguiente es el grá co de residuos para el ejemplo analizado, en este caso no aparece ninguna forma particular, que indique una dependencia entre 03

11 los r i y las x i,03,02,0 Residuos 0,00,0,02, Concentración Consideremos ahora otro ejemplo, al gra car como siempre los valores (x i ; y i ) se puede pensar que una recta ajusta razonablemete bien estos datos, como se ve en la siguiente gura: y ,0 5,2 5,4 5,6 5,8 6,0 6,2 6,4 6,6 x 04

12 sin embargo, si ajustamos un modelo de regresión lineal y luego gra camos los residuos, obtenemos: 20 0 Residuos 0 0 5,0 5,2 5,4 5,6 5,8 6,0 6,2 6,4 6,6 x donde se ve que los residuos no se distribuyen aleatoriamente, sino que siguen un patrón. Esta forma está indicando que la recta no brinda el mejor ajuste, en este caso se puede intentar aplicar alguna transformación a los datos, y ajustar una recta a los datos transformados, y ver nuevamente la grá ca de residuos. 05

13 Práctica 8. Suponga que, en cierto proceso químico, el tiempo de reacción Y (en horas) está relacionado con la temperatura x ( o F ) de la cámara en la que tiene lugar la reacción, según el modelo de regresión lineal Y = 5:00 0:0x + donde i s N(0; 0:075 2 ) (estamos considerando que esa no es una estimación sino la verdadera recta de regresión) (a) Cuál es el cambio esperado en tiempo de reacción para un aumento de o F en temperatura? Y para un aumento de 0 o F? (b) Cuál es la distribución del tiempo de reacción para una temperatura de 250 o F? (c) Cuál es la probabilidad de que el tiempo de reacción esté entre 2:4 y 2:5 horas? (d) Suponga que se hacen 5 experimentos independientes con temperatura de reacción de 250 o F. Cuál es la probabilidad de que los 5 tiempos de reacción estén entre 2:4 y 2:5 horas? 2. Los siguientes valores provienen de un estudio sobre calidad del aire en una ciudad; son las lecturas sobre el volumen de tránsito (en número de automóviles por hora) y la concentración de monóxido de carbono, en un punto de muestreo. SXX = 34283:33; SY Y = 38:2373; SXY = 2232:33 Vol CO Vol CO (a) Gra que los puntos, parece razonable el modelo de regresión lineal? (b) Estime la ecuación de la recta y utilícela para dar una estimación puntual de la concentración de monóxido de carbono, correspondiente a un volumen de tránsito de 80 automóviles por hora y calcule el residuo correspondiente. 06

14 (c) Estime la desviación estándar de observaciones alrededor de la recta verdadera. (d) Qué porcentaje de la variación muestral en concentración de monóxido de carbono puede atribuirse al modelo? 3. En un experimento para estudiar una técnica reactiva de pulverización, se registraron los siguientes valores de rapidez de depósito (y) en función del voltaje (x). SXX = ; SY Y = 32:02; SXY = 526 x y 44:0 39:9 35:0 33:8 29: (a) Gra que los puntos para ver si se pueden ajustar por un modelo de regresión lineal (b) Enuncie las hipótesis del modelo y estime los parámetros 0 y (c) Construya una intervalo de con anza para la pendiente Es necesaria alguna hipótesis adicional al modelo planteado en (a)? 4. Los siguientes datos experimentales corresponden a la presión de gas extraído (x en micrones) y el tiempo de extracción (y en minutos): SXX = 76852:5; SY Y = 8:276; SXY = 202:7 x y (a) Enuncie las hipótesis de un modelo lineal y estime la recta de regresión: (b) Qué porcentaje de la variación muestral en los tiempos de extracción puede atribuirse al modelo de regresión? (c) Suponga que los investigadores creían, antes del experimento que la pendiente debía ser igual a 0:006. Contradicen los datos a esta a rmación? Acote el p-valor. 5. Se realizó un experimento con el n de estudiar el efecto de una nueva droga en bajar la frecuencia cardiaca. La variable independiente es la dosis (mg) de la droga y la dependiente es la diferencia de la frecuencia cardiaca antes y después de la administración del medicamento (latidos/min). Se puede suponer que para cada dosis, la distribución de la 07

15 reducción de la frecuencia cardíaca es normal y la varianza es la misma para cualquier dosis. Los siguientes datos son los valores observados en 3 ratas de laboratorio:sxx = :375; SY Y = 20:0769; SXY = 45 dosis reduc dosis reduc (a) Plantee el modelo correspondiente y estime los parámetros. (b) Puede a rmarse que un cambio de mg en la dosis produce un cambio mayor que 3:5 en la frecuencia cardíaca? Acote el p-valor 6. Los siguientes datos provienen de un estudio realizado para hallar la relación entre la presión aplicada (en kg=mm 2 ) y el tiempo de fractura (en hs) para cierto tipo de acero. presión tiempo (a) Gra que los puntos. Enuncie un modelo lineal y estime la recta de regresión. (b) Qué porcentaje en la variación de los tiempos de ruptura puede atribuirse a la relación lineal con la presión aplicada? (c) Puede a rmarse que la pendiente es distinta de p-valor. 7. Para los datos del ejercicio 4? Acote el (a) Dar intervalos de con anza, en los casos en que sea posible, de nivel 0.90 para el tiempo medio de extracción correspondiente a las presiones 20, 60, 200 y 540. Compare las longitudes de los intervalos. (b) Dar intervalos de predicción, cuando sea posible, para los tiempos de extracción correspondientes a las mismas presiones. Compare las longitudes de los intervalos y de cada uno de ellos con los intervalos de con anza anteriores. 08

16 8. Para los datos del ejercicio 5 (a) Estimar mediante un intervalo del 95%, la media de la disminución de la frecuencia cardíaca para animales a los que se administra una dosis de 2 mg; y si se adminitra una dosis de 4 mg? (b) Construya un intervalo del mismo nivel para predecir cuál será la disminución en la freciuencia cardíaca en un animal al que se le administra una dosis de 2 mg. 9. Considere los datos del ejercicio 6, si se va a hacer una nueva prueba con una presión de 8 kg=mm 2, (a) Estime el tiempo medio de ruptura del acero mediante un intervalo de con anza (b) Construya un intervalo para predecir el tiempo de ruptura de un muestra de acero a la que se aplica esa presión. 09