Inferencia en Regresión Lineal Simple

Transcripción

1 Inferenca en Regresón Lneal Smple Modelo de regresón lneal smple: Se tenen n observacones de una varable explcatva x y de una varable respuesta y, ( x, y)(, x, y),...,( x n, y n ) el modelo estadístco de regresón lneal smple es: donde y = α + βx + e µ = E( Y ) = α+ βx es la respuesta promedo para cada x. y α representa el ntercepto de la funcón lneal que usa todos los valores de la poblacón y β representa la pendente de la funcón lneal que usa todos los valores de la poblacón. α y β son parámetros El modelo estadístco de regresón lneal smple asume que para cada valor de x, los valores de la respuesta y son normales con meda (que depende de x) y desvacón estándar σ que no depende de x. Esta desvacón estándar σ es la desvacón estándar de todos los valores de y en la poblacón para un msmo valor de x. Estos supuestos se pueden resumr como: Para cada x, Y ~ N(, σ ) donde µ = E( Y ) = α+ βx µ y Podemos vsualzar el modelo con la sguente fgura: y Los datos nos darán estmadores puntuales de los parámetros poblaconales.

2 Estmadores de los parámetros de regresón: El estmador de la respuesta meda está dado por E ( Y ) = yˆ = a+ bx El estmador del ntercepto es: αˆ = a El estmador de la pendente es: βˆ = b El estmador de la desvacón estándar σ está dado por: SCRes ˆ σ = donde Res n SC es la suma de cuadrados de los resduos ( y y ) = e ˆ El coefcente de correlacón muestral r = ρˆ es un estmador puntual de la correlacón poblaconal ρ En el modelo de regresón lneal smple => lnealmente y la respuesta es una constante E(Y) = α. Probando la hpótess acerca de la exstenca de relacón lneal E( Y ) =α+ βx. S β = 0 entonces las varables x e y no están asocadas E(Y) = α Es decr, conocer el valor de x no nos va a ayudar a conocer y. Para docmar la sgnfcanca de la relacón lneal realzamos el test de hpótess H o : β = 0 (la pendente de la recta de regresón en la poblacón es cero) H : β 0 Exsten hpótess de una cola, donde H : β < 0 o H : β > 0, pero lo usual es hacer el test blateral. Para docmar la hpótess podemos usar el test t: t = estmador puntual valor hpotétco error estándar del estmador El estmador puntual de β es b, y el valor hpotétco es 0. El error estándar de b es: EE( b) = ˆ σ ( x x) El estadístco para docmar la hpótess acerca de la pendente de la poblacón es: b 0 t = ~ t( n ) EE( b)

3 Intervalo de confanza para la pendente: α Un ntervalo de confanza ( )*00% para la pendenteβ está dado por: ( n ) donde t α - b ( n ) ± t α - [ EE( b)] es el percentl apropado de la dstrbucón t con (n-) grados de lbertad. Suponga que se rechaza al 5% la hpótess nula del test t: H o : β = 0 H : β 0 El ntervalo de 95% de confanza para la verdadera pendente β contene el cero? Ejemplo: Test versus Test revstado Revsemos la salda de SPSS con lo que hemos vsto hasta ahora: Coefcentes(a) Modelo Coefcentes no estandarzados Coefcentes estandarzados t Sg. Intervalo de confanza para B al 95% B Error típ. Beta Límte nferor Límte superor (Constante) Test a Varable dependente: Test Análss de varanza y regresón lneal * El estmador de la varanzaσˆ utlzado, se nterpreta como la varabldad resdual alrededor de la recta, vale decr, la varabldad que queda después de haber sustraído la varabldad de los valores observados de la varable respuesta (y ) respecto de su promedo, que es la varacón que se puede explcar por la relacón entre x e y. Se corrobora así que la descrpcón de una varable gana en precsón cuando exste una relacón con otra varable que explca parte de su comportamento. y yˆ y - y y - yˆ yˆ - y y y= ˆ y E ( Y ) = yˆ = a+ bx x X En el gráfco se muestran las fuentes de varacón menconadas: * Adaptado de capítulo del lbro Boestadístca de Erca Taucher 3

4 La varacón total está dada por SCT = n = ( y y). La varacón explcada por la nclnacón de la recta, o en otras palabras, explcada por la relacón entre las varables y y x, es =( yˆ SC Re g y). Por últmo, la varacón no explcada, o resdual es n SC Re s= ( y yˆ ). Podemos hacer una tabla, llamada tabla de análss de varanza, para la regresón lneal smple y es la sguente: = Fuente de varacón gl Grados de lbertad SC Suma de Cuadrados SC Re g = ( yˆ y) Regresón Resduo n SC Re s= n = ( y yˆ ) CM Cuadrados Medos SC Re g SC Re s n Total n SCT = ( y y) n = Ejemplo: Test versus Test re-revstado Modelo ANOVA(b) Suma de cuadrados gl Meda cuadrátca F Sg. Regresón (a) Resdual Total a Varables predctoras: (Constante), Test b Varable dependente: Test Coefcente de determnacón o bondad de ajuste (r ) La correlacón entre el test y test del ejemplo es de r = 0, 965, este coefcente de correlacón cuantfca el grado de asocacón lneal y la dreccón de la asocacón entre dos varables cuanttatvas x y y. Se puede demostrar que: SCReg ( yˆ y) r = SCTotal = ( y y) este coefcente se llama coefcente de determnacón, y representa la proporcón de la varacón total de y que es explcada por la relacón lneal entre x e y. A este coefcente se le usa entonces como medda de bondad de ajuste, es decr que tan buena es la varable explcatva x para explcar la respuesta y. El rango del coefcente de determnacón es naturalmente entre cero y uno ( 0 r + ), lo que nos ndca que mentras más cercano a uno sea el coefcente de determnacón (r ) mejor es el ajuste de la regresón. En el caso del ejemplo del test y test, el r = (0,965) = 0, 93, que nos ndca que el test explca el 93,% de la varacón total del test. 4

5 Verfcando supuestos en la Regresón lneal smple. Examne el gráfco de dspersón de y versus x para decdr s el modelo lneal parece razonable.. Examne los resduos para verfcar los supuestos acerca del térmno del error. Los resduos deben ser una muestra aleatora de una poblacón normal con meda 0 y desvacón estándar σ. Cuando examne los resduos verfque: a) que provenen de una muestra aleatora: Grafque los resduos versus x. El supuesto de que provenen de una muestra aleatora será razonable s el gráfco muestra los puntos al azar, sn una forma defnda. A veces es posble detectar falta de ndependenca cuando los datos recogdos en el tempo. Para verfcar este supuesto grafque los resduos versus el tempo y los puntos no deben mostrar una dstrbucón defnda. b) Normaldad Para verfcar normaldad haga el hstograma de los resduos, este debería aparecer como normal sn valores extremos s tenemos un número grande de observacones. En el caso de tener pocas observacones puede hacer un gráfco de tallo y hoja y verfcar que no haya observacones extremas. 5

6 c) desvacón estándar común (que no depende de x) El gráfco de los resduos versus x, debe tener aproxmadamente una banda del msmo ancho. El gráfco muestra evdenca de que la varabldad en la respuesta tende a aumentar cuando x aumenta. Ejemplo: Se conduce un expermento en sujetos para analzar s la doss de certa droga (en ml) está relaconada con el tempo de reaccón a un estímulo en segundos. Droga (ml),0,5,0,5 3,0 3,5 4,0 4,5 5,0 5,5 6,0 6,5 Tempo (segs),0 0,8,8,4,,8, 3,0,75 3,0 4, 4,9 Gráfco de dspersón del tempo de reaccón a estímulo versus doss de droga: Tempo de reaccón (seg) 0 R² = Estadístcos descrptvos Tempo de reaccón (seg) Desvacón Meda típ. N

7 Correlacón de Pearson Sg. (unlateral) N Correlacones Tempo de reaccón (seg) Tempo de reaccón (seg) Tempo de reaccón (seg) Tempo de reaccón Doss de (seg) droga (ml) Coefcentes a Modelo (Constante) Coefcentes no estandarzados a. Varable dependente: Tempo de reaccón (seg) Coefcentes estandarzad os B Error típ. Beta t Sg..74E Modelo Regresón Resdual Total ANOVA b Suma de Meda cuadrados gl cuadrátca F Sg a a. Varables predctoras: (Constante), b. Varable dependente: Tempo de reaccón (seg) Gráfco de resduos de la regresón versus doss de droga: Unstandardzed Resdual

8 5 Hstograma Varable dependente: Tempo de reaccón (seg 4 3 Frecuenca Desv. típ. =.95 Meda = 0.00 N =.00 Regresón Resduo tpfcado Tallo y hoja de los resduos Unstandardzed Resdual Stem-and-Leaf Plot Frequency Stem & Leaf Stem wdth: Each leaf: case(s) Notas: - La asocacón entre una varable explcatva x y una varable respuesta y, aunque sea muy fuerte, no es por sí sola evdenca de que los cambos en x causan cambos en y. - Un coefcente de correlacón es el resumen de la relacón presente en un gráfco de dspersón. Convene, pues, asegurarse mrando este gráfco que el coefcente es un buen resumen del msmo. Tratar de nterpretar un coefcente de correlacón sn haber vsto prevamente el gráfco de las varables puede ser muy pelgroso (Peña, Romo, p.9). - Como hemos vsto el coefcente de correlacón es un resumen del gráfco de dspersón entre dos varables. La recta de regresón es otra manera de resumr esta nformacón, y su parámetro fundamental, la pendente, está relaconado con el coefcente de correlacón por la ecuacón: sy b= r. La dferenca entre regresón y correlacón es que en el cálculo de sx la correlacón ambas varables se tratan smétrcamente, mentras que en la regresón, no. En regresón se trata de prever la varable respuesta en funcón de los valores de la varable explcatva. En consecuenca, s cambamos el papel de las varables cambará tambén la ecuacón de regresón, porque la recta se adaptará a las undades de la varable que se desea predecr (Peña, Romo, p.4). 8