Regresión lineal simple

Transcripción

1 Regresió lieal simple Tema 6 Estadística 2 Curso 08/09 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 1 / 73

2 Itroducció Itroducció El aálisis de regresió se ocupa del aálisis de relacioes etre variables: Regresió: relació etre dos o más variables (1889, Fracis Galto, Natural iheritace). Correlació: grado/fuerza (y direcció) de la relació. NOTA: relació o implica e pricipio causalidad. Notació: Variable de iterés o respuesta (o depediete): Y Variables explicativas (idepedietes o regresoras): X j, j = 1,..., k. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 2 / 73

3 Itroducció Posibles situacioes: Relació exacta o fucioal: las variable explicativas determia totalmete el valor de la respuesta: Y = m(x 1,, X k ) Idepedecia: las variable explicativas o aporta igua iformació sobre la la respuesta. Relació estadística o estocástica: las variables explicativas permite predecir e mayor o meor grado el valor de la respuesta: Y = m(x 1,, X k ) + ε Se puede explicar la respuesta mediate ua fució ("efecto") de las variables explicativas, más u térmio de error o perturbació aleatoria, ε, que recoge el efecto cojuto de otras variables (o directamete explicitadas e el modelo) cuyo efecto idividual o resulta relevate. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 3 / 73

4 Itroducció Objetivos Objetivos A partir de ua muestra: f(x 1i,, X ki, Y i ) : i = 1,, g Estimar la fució de regresió: m Realizar iferecias sobre la distribució del error: ε Predecir el valor de la respuesta (coociedo las variables explicativas) Detetermiar la importacia de las variables explicativas para explicar la respuesta Detectar valores atípicos... Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 4 / 73

5 Ejemplo Itroducció Ejemplos Ua empresa de reparació de cierto tipo de compoetes electróicos pretede estudiar la relació etre el úmero de uidades defectuosas (variable explicativa, X) y el tiempo de reparació e miutos (variable de iterés, Y). X Y X Y Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 5 / 73

6 Itroducció Ejemplos Grá co descriptivo: Diagrama de dispersió Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 6 / 73

7 Itroducció Ejemplos Ejemplo Problema 4.3 Se pretede estudiar la relació etre el úmero de págias de u documeto (variable explicativa, X) y el tiempo de impresió e segudos (variable de iterés, Y). x y x y x y x y x Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 7 / 73

8 Itroducció Ejemplos Grá co descriptivo: Diagrama de dispersió Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 8 / 73

9 Itroducció Clasi cació de los modelos de regresió Clasi cació de los modelos de regresió Segú el muestreo/recogida de datos: Diseño jo: el experimetador cotrola el valor de las variables explicativas Diseño aleatorio: las variables explicativas toma valores de forma aleatoria (el experimetador es u observador pasivo). Segú la metodología: Paramétricos: se supoe que la fució (y la distribució del error) sólo depede de uos parámetros (habrá que veri car si esta suposició es adecuada para los datos). No paramétricos: o se hace igua suposició sobre la fució que relacioa las variables. Nos cetraremos e el caso de regresió (paramétrica) lieal de diseño jo: Y = β 0 + β 1 X 1 + β 2 X β k X k + ε Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 9 / 73

10 Modelo El modelo de regresió lieal simple Modelo Cosideramos el caso más simple: ua variable respuesta Y y ua variable explicativa X relacioadas liealmete: Y = β 0 + β 1 X + ε El objetivo pricipal es, a partir de ua muestra: f(x i, Y i ) : i = 1,, g, Y i = β 0 + β 1 x i + ε i, estimar la recta de regresió teórica: y = β 0 + β 1 x (es decir, estimar los parámetros β 0 y β 1 ) y la distribució del error. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 10 / 73

11 El modelo de regresió lieal simple Modelo Establecemos (además de la relació lieal) las siguietes hipótesis acerca del modelo: La variable explicativa se supoe o aleatoria. El térmio de error o perturbació aleatoria tiee media ula y variaza costate (descoocida): El error tiee distribució ormal: E (ε i ) = 0, Var(ε i ) = σ 2 ε i N(0, σ 2 ) Los errores so idepedietes, i.e. o existe correlació etre errores: Cov(ε i, ε j ) = 0, si i 6= j. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 11 / 73

12 El modelo de regresió lieal simple Modelo Por tato: Y i N β 0 + β 1 x i, σ 2 Idepedietes liealidad ormalidad homocedasticidad idepedecia NOTA: E (Y j X = x) = β 0 + β 1 x β 0 = valor medio de Y cuado X es ula β 1 = icremeto medio de Y cuado X aumeta ua uidad Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 12 / 73

13 El modelo de regresió lieal simple Modelo Y i N β 0 + β 1 x i, σ 2 Geeracio datos (Click!) Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 13 / 73

14 Estimació de los parámetros Estimació de los parámetros Para la estimació de los parámetros del modelo: los coe cietes de la recta de regresió, β 0 y β 1, la variaza de la distribució del error, σ 2 se suele utilizar el método de míimos cuadrados (o el de de máxima verosimilitud). Como resultado obtedremos la recta de regresió míimo cuadrática: ŷ = ˆβ 0 + ˆβ 1 x que estima el valor medio de Y, E (Y i ) = β 0 + β 1 x i, para cada valor de X (estima la recta de regresió teórica). Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 14 / 73

15 Estimació de los parámetros Estimació por míimos cuadrados Estimació por míimos cuadrados Los estimadores míimo cuadráticos so los que miimiza la suma de los cuadrados de las diferecias etre los valores reales y las prediccioes de la respuesta: ^β = ( ˆβ 0, ˆβ 1 ) = arg mi β 0 β 1 (Y i β 0 β 1 x i ) 2. Este problema de miimizació se solucioa derivado e igualado a cero: 8 8 >< 2(y i ( ˆβ 0 + ˆβ 1 x i ))( 1) = 0 >< >: i =1 2(y i ( ˆβ 0 + ˆβ 1 x i )( x i ) = 0 i =1 ) >: i =1 y i ˆβ 0 ˆβ 1 x i = 0 i =1 x i y i ˆβ 0 x i ˆβ 1 xi 2 = 0 i =1 i =1 i =1 y resolviedo el sistema obteido: ecuacioes caóicas de la regresió. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 15 / 73

16 Estimació de los parámetros Estimació por míimos cuadrados Obteiédose: ˆβ 1 = S XY S 2 X ˆβ 0 = y ˆβ 1 x dode: x = 1 x i, ȳ = 1 Sx 2 = 1 (x i x) 2 = 1 S XY = 1 y i, xi 2 x 2 (x i x) (y i ȳ) = 1 x i y i xȳ Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 16 / 73

17 Estimació de los parámetros Estimació por míimos cuadrados Etoces la ecuació de la recta de regresió míimo cuadrática de Y sobre X puede expresarse como: NOTAS: ŷ = ȳ + S XY S 2 X (x x) La recta de regresió míimo cuadrática siempre pasa por el puto ( x, ȳ). La recta de regresió de Y sobre X, Y /X, o coicide co la recta de regresió de X sobre Y (salvo relació lieal perfecta). Haciedo uso de la hipótesis de ormalidad,se llega a las mismas expresioes al maximizar la fució logarítmica de verosimilitud, por lo que estos estimadores coicide co los estimadores máximo-verosímiles. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 17 / 73

18 Estimació de los parámetros Ejemplo Ejemplo Tiempo de impresió = 75 x i = 408 x = 5.44 x 2 i = 2818 s 2 x = = 7.98 y i = ȳ = y 2 i = s 2 y = = x i y i = s xy = = ŷ = ȳ + S XY S 2 X (x x) = (x 5.44) = x 7.98 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 18 / 73

19 Estimació de los parámetros Ejemplo ˆβ 1 = S XY S 2 X = ˆβ 0 = y ˆβ 1 x = = Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 19 / 73

20 Variaza residual Estimació de los parámetros Variaza residual Sustituyedo x e la recta ajustada por el correspodiete valor de la variable explicativa se obtiee las prediccioes; para la muestra observada: ŷ i = ˆβ 0 + ˆβ 1 x i Las diferecias etre valores observados y prediccioes: y i ( ˆβ 0 + ˆβ 1 x i ) = y i ŷ i = e i se deomia residuos (de media 0), a partir de los cuales podemos de ir ua medida de la variabilidad de los datos respecto a la recta: S 2 R = 1 i ŷ i ) (y 2 = 1 2 e i que es u estimador sesgado de la variaza del error σ 2 (estimador de máxima verosimilitud). Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 20 / 73

21 Estimació de los parámetros Variaza residual U estimador isesgado de la variaza es: Ŝ 2 R = 1 2 que deomiaremos variaza residual. NOTAS: (y i ŷ i ) 2 = SS R 2 De las ecuacioes caóicas se deduce que los residuos veri ca dos restriccioes ( e i = 0 y e i x i = 0). Para el cálculo e la práctica, se puede emplear: SS R = e 2 i = yi 2 ˆβ 0! y i + ˆβ 1 x i y i Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 21 / 73

22 Estimació de los parámetros Variaza residual Ejemplo Tiempo de impresió ŷ i = x i x i ŷ i x i ŷ i x i ŷ i x i ŷ i x i ŷ i SS R = 75 ei 2 = 75 (y i ŷ i ) 2 = 75 (y i ( x i )) 2 = ! 75 SS R = yi ˆβ 0 y i + ˆβ 1 x i y i = = ' 8026 ŝr 2 = SS R 2 = = Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 22 / 73

23 Estimació de los parámetros Distribució los estimadores Distribució los estimadores de los parámetros Los estimadores de los coe cietes se puede expresar como ua combiació lieal de los valores de la variable respuesta: ˆβ 1 = ˆβ 0 = ȳ x ˆβ 1 = (x i x) y i = (x i x) 2 1 a i y i xa i y i = b i y i a partir de las cuales se puede deducir fácilmete sus propiedades pricipales: Normalidad: Tiee ua distribució ormal por ser combiació lieal de variables aleatorias ormales (idepedietes). Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 23 / 73

24 Estimació de los parámetros Distribució los estimadores Isesgadez: Variazas: Cov Var Var E E ˆβ 1 ˆβ 0 ˆβ 0, ˆβ 1 ˆβ 1 ˆβ 0 = = = = = a i E (y i ) = β 1 b i E (y i ) = β 0 a 2 i Var (y i ) = σ2 S 2 X b 2 i Var (y i ) = σ x 2 a i b i Var (y i ) = S 2 X E ciecia (Teorema de Gauss-Markov): ˆβ j, j = 1, 2, tiee la míima variaza etre los estimadores lieales isesgados. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 24 / 73 xσ2 S 2 x

25 Estimació de los parámetros Distribució los estimadores Geeracio datos (Click!) 1 ˆβ 0 N β 0, σ 2 + x 2 S 2 X ˆβ 1 N β 1, σ 2 S 2 X Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 25 / 73

26 Estimació de los parámetros Distribució los estimadores Equivaletemete: ˆβ 1 β 1 N(0, 1) 1 σ p S X ˆβ 0 β s 0 1 σ + x 2 SX 2 N(0, 1) Además se puede ver que: ( 2)Ŝ 2 R σ 2 = SS R σ 2 χ 2 2 (idepediete de los estimadores de los coe cietes). Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 26 / 73

27 Estimació de los parámetros Distribució los estimadores Estos resultados permite obteer estimacioes por itervalo de co aza y realizar cotrastes de hipótesis para los distitos parámetros. Teiedo e cueta que: ˆβ 1 β 1 Ŝ R 1 S X p t 2 ˆβ 0 β s 0 1 Ŝ R + x 2 SX 2 t 2 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 27 / 73

28 Estimació de los parámetros Itervalos de co aza para los parámetros Itervalos de co aza para los parámetros A partir de los estadísticos ateriores: ˆβ i β i t 2, i = 0, 1 ˆσ ˆβ i dode: ˆσ 2 ˆσ 2 ˆβ 0 ˆβ 1 = Ŝ 2 R = Ŝ 2 R S 2 X 1 + x 2 SX 2 Se obtiee los itervalos de co aza de ivel 1 de la recta de regresió: α para los coe cietes IC (1 α) (β i ) = ˆβ i t 2,1 α 2 ˆσ ˆβ i, i = 0, 1. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 28 / 73

29 Estimació de los parámetros Itervalos de co aza para los parámetros A partir del estadístico: ( 2)Ŝ 2 R σ 2 = SS R σ 2 χ 2 2 se obtiee el correspodiete itervalo de co aza para la variaza: IC (1 α) σ 2 = = ( 2)Ŝ 2 R χ 2 2,1 α 2, ( 2)Ŝ 2 R SS R χ 2 2,1 α 2, χ 2 2, α 2 SS R χ 2 2, α 2!.! Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 29 / 73

30 Estimació de los parámetros Itervalos de co aza para los parámetros Ejemplo Tiempo de impresió Itervalo de co aza para β 1 al 90%: ˆβ 1 β 1 ˆσ ˆβ 1 t 2 ) 0.9 = P t 73,0.05 = t 73,0.95 ˆβ 1 β 1 ˆσ ˆβ 1 t 73,0.95 = P ˆβ 1 t 73,0.95 ˆσ ˆβ 1 β1 ˆβ 1 + t 73,0.95 ˆσ ˆβ 1! ˆσ 2 ( ˆβ 1 ) = ŝ2 R s 2 x = = ) ˆσ( ˆβ 1 ) = IC 90% (β 1 ) = ( ) = ( ) = (7.3938, ) Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 30 / 73

31 Estimació de los parámetros Itervalos de co aza para los parámetros Itervalo de co aza para β 0 al 90%: ˆσ 2 ( ˆβ 0 ) = ŝ2 R 1 + x 2 = s 2 x ) ˆσ( ˆβ 0 ) = = IC 90% (β 1 ) = ( ) = ( ) = (9.137, ) Itervalo de co aza para σ 2 al 90%: SS R σ 2 χ 2 2 ) 0.9 = P = P SS R χ 2 73,0.95 σ 2 IC 90% σ 2 = , = (85.325, ) χ 2 73,0.05 SS R SS R χ 2 73,0.05 σ 2 χ 2 73,0.95! Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 31 / 73

32 Estimació de los parámetros Cotrastes de hipótesis sobre los parámetros Cotrastes de hipótesis sobre los parámetros Procediedo de la forma habitual se puede realizar cotrastes de hipótesis sobre los parámetros. Por ejemplo, al cotrastar si uo de los coe cietes es ulo: ( H (i) 0 : β i = 0 H (i) 1 : β i 6= 0 aceptaríamos la hipótesis ula si el valor observado del estadístico: T i 0 = ˆβ i ˆσ ˆβ i t 2, si H 0 cierta, perteece a la regió de aceptació: R.A. = t 2,1 α 2, t 2,1 α 2. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 32 / 73

33 Estimació de los parámetros Cotrastes de hipótesis sobre los parámetros El ivel crítico del test o p-valor sería: p = 2P t 2 t 0 i. (probabilidad de obteer u resultado ta extraño o más que el observado bajo H 0 ). Cuato mayor sea este ivel crítico (comparado co α) más seguros estaremos e la aceptació de la hipótesis ula y viceversa. El cotraste: H0 : β 0 = 0 H 1 : β 0 6= 0 podría permitir simpli car el modelo si aceptamos que la recta de regresió pasa por el orige. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 33 / 73

34 Estimació de los parámetros Cotrastes de hipótesis sobre los parámetros Es de especial iterés el cotraste: H0 : β 1 = 0 H 1 : β 1 6= 0 que equivaldría a cotrastar la existecia de relació lieal etre las variables X e Y (cotraste de regresió). Otra forma más atural de realizar este cotraste es el aálisis de la variaza e regresió lieal simple. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 34 / 73

35 Estimació de los parámetros Cotrastes de hipótesis sobre los parámetros Ejemplo Tiempo de impresió ( H (1) 0 : β 1 = 0 H (1) 1 : β 1 6= 0 T 1 0 = ˆβ 1 β 1 ˆσ ˆβ 1 j H0 = ˆβ 1 ˆσ ˆβ 1 Sup. H 0 cierta t 2 t 1 0 = = ) p valor = P (jt 73 j > ) < ) Se acepta β 1 6= 0 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 35 / 73

36 Estimació de los parámetros Cotrastes de hipótesis sobre los parámetros ( H (0) 0 : β 0 = 0 H (0) 1 : β 0 6= 0 T 0 0 = ˆβ 0 ˆσ ˆβ 0 Sup. H 0 cierta t 2 t 0 0 = = ) p valor = P (jt 73 j > 5.144) < ) Se acepta β 0 6= 0 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 36 / 73

37 Bodad del ajuste El cotraste de regresió Bodad del ajuste: El cotraste de regresió A partir de la descomposició (y i ȳ) = (y i ŷ i ) + (ŷ i ȳ), se obtiee la idetidad de la suma de cuadrados de la regresió lieal simple: (y i ȳ) 2 = (ŷ i ȳ) 2 + SS T = SS E + SS R V T = V E + V R (y i ŷ i ) 2 variabilidad total = variabilidad explicada por la regresió + variabilidad residual Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 37 / 73

38 Bodad del ajuste El cotraste de regresió V E = V T (V R = 0) ) Ajuste perfecto V E = 0 (V R = V T ) ) No explica ada ŷ = ˆβ 0 = ȳ Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 38 / 73

39 Bodad del ajuste El cotraste de regresió Los valores esperados de las sumas de cuadrados depede del úmero de sumados, es preferible utilizar otras medidas de variabilidad: variazas. Dividiedo las sumas de cuadrados por los correspodietes grados de libertad (umero - restriccioes que veri ca los sumados) se obtiee las variazas o cuadrados medios: Ŝ 2 Y = MS T = SS T 1 = 1 1 Ŝ 2 E = MS E = SS E 1 = Ŝ 2 R = MS R = SS R 2 = 1 2 (ŷ i ȳ) 2 (y i ȳ) 2 (y i ŷ i ) 2 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 39 / 73

40 Bodad del ajuste El cotraste de regresió Para cotrastar la hipótesis ula de que o hay ua relació lieal etre las dos variables se puede utilizar tambié el cociete: F 0 = MS E MS R = Ŝ 2 E Ŝ 2 R F 1, 2, si H 0 cierta, que tiede a tomar valores grades cuado la hipótesis ula es falsa. Se rechaza H 0 al ivel de sigi cació α si: El ivel crítico del test o p-valor será: ˆF 0 = ms E ms R > F 1, 2,1 α. p = P F 1, 2 ˆF 0. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 40 / 73

41 Bodad del ajuste El cotraste de regresió Los resultados ormalmete se preseta e la tabla ANOVA de regresió lieal simple: Fuete de variació SS gl MS F p-valor Regresió ss E 1 ms E = ss E 1 ˆF 0 = ms E ms R Residual ss R 2 ms R = ss R 2 Total ss T 1 ms T = ss T 1 p Este procedimieto resulta ser equivalete al test t descrito ateriormete. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 41 / 73

42 NOTAS: Bodad del ajuste El cotraste de regresió Si aceptamos la hipótesis ula del cotraste de regresió, aceptamos que o hay relació lieal etre las variables, lo cual podría ser debido a que las variables so idepedietes o que la relació o es lieal. Si para cada valor x i de la variable explicativa X se dispoe de varios valores de la respuesta se puede cotrastar si las medias e cada uo de estos iveles sigue ua relació lieal (ver tambié el cotraste de liealidad de los efectos descrito e el capítulo 3). Otra alterativa (que o requiere multiples observacioes) sería emplear técicas de iferecia estadística o paramétrica. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 42 / 73

43 Bodad del ajuste El cotraste de regresió Ejemplo Tiempo de impresió SS R = 75 ei 2 = = (y i ŷ i ) 2 = 75 yi 2 SS T = 75 (y i ȳ) 2 75 = yi 2 75 ȳ 2 = = SS E = 75 (ŷ i ȳ) 2 = SS T SS R = = ˆβ 0 75! 75 y i + ˆβ 1 x i y i Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 43 / 73

44 Bodad del ajuste El cotraste de regresió F. var. SS gl MS F p-valor Explicado p < Residual Total F 1,73,0.95 ' p = P (F 1,73 > ) < Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 44 / 73

45 Bodad del ajuste El coe ciete de determiació Los coe cietes de determiació y correlació Ua medida de la bodad del ajuste (evaluació global de la recta de regresió) es el coe ciete de determiació: R 2 = V E V T = = 1 (ŷ i ȳ) 2 (y i ȳ) 2 V R V T = 1 ( 2)Ŝ 2 R ( 1)Ŝ 2 Y que es la proporció de variació (e la respuesta) explicada por la regresió. Se veri ca que 0 R 2 1 : Si R 2 = 1 todas las observacioes está e la recta de regresió (lo explica todo) Si R 2 = 0 la recta de regresió o explica ada Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 45 / 73

46 Bodad del ajuste El coe ciete de correlació Los coe cietes de determiació y correlació Otra iterpretació del coe ciete de determiació se puede dar a partir del coocido coe ciete de correlació lieal de Pearso. Teiedo e cueta que ŷ i = ȳ + ˆβ 1 (x i x), se puede expresar el coe ciete de determiació como: R 2 = ˆβ 2 1 S 2 X S 2 Y = S XY 2 SX 2 S Y 2, que resulta ser el cuadrado del coe ciete de correlació lieal de Pearso: r = S XY S X S Y Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 46 / 73

47 Bodad del ajuste Los coe cietes de determiació y correlació r = 1 r = 1 relació lieal egativa relació lieal positiva Y dismiuye cuado X aumeta Y aumeta cuado X aumeta 1 < r < 0 0 < r < 1 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 47 / 73

48 Bodad del ajuste Los coe cietes de determiació y correlació r = 0 poca/igua relació lieal relació o lieal NOTA: r = 0, S XY = 0, ˆβ 1 = 0 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 48 / 73

49 Bodad del ajuste Los coe cietes de determiació y correlació El coe ciete de correlació lieal r es el estimador muestral del coe ciete de correlació lieal poblacioal: Sería iteresate cotrastar: ρ = σ XY σ X σ Y. H0 : ρ = 0 H 1 : ρ 6= 0 Para ello se podría emplear el siguiete estadístico: r p 2 p 1 r 2 t 2, auque para tamaños muestrales relativamete grades ( > 30), σ (r) ' 1/ p, por lo que podemos rechazar H 0 si: jrj > 2 p. Este cotraste sería equivalete al cotraste de regresió H 0 : β 1 = 0. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 49 / 73

50 Bodad del ajuste Los coe cietes de determiació y correlació Ejemplo Tiempo de impresió R 2 = ss E ss T = = 0.83 La recta ajustada explica u 83% de la variabilidad de la respuesta ) bue ajuste r = s xy s x s y = = = p 0.83 jrj > 2 p = 2 p 75 = ) correlació sigi cativa Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 50 / 73

51 Predicció Predicció Etre los objetivos de u aálisis de regresió puede estar: Estimar la media de la distribució de la respuesta para u cierto valor x 0 de X, i.e. estimar m 0 = E (Y j X = x 0 ) ( = β 0 + β 1 x 0 ). Predecir futuros valores de la respuesta e x 0, i.e. predecir Y 0 = Y j X = x 0 Se puede pesar que e el primer caso se iteta estimar el valor medio a largo plazo (de u gra úmero de experimetos realizados co el valor x 0 ), mietras que e el segudo caso se iteta predecir el resultado de u solo experimeto. La estimació putual de la media y la predicció de la respuesta se obtiee sustituyedo e la recta de regresió el valor de x por x 0 : ˆm 0 = by 0 = ˆβ 0 + ˆβ 1 x 0 Si embargo, la precisió es distita. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 51 / 73

52 Ejemplo Predicció Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 52 / 73

53 Predicció Estimació de la media codicioada Estimació de la media codicioada El estimador ˆm 0 = by 0 = ˆβ 0 + ˆβ 1 x 0 = y + ˆβ 1 (x 0 distribució ormal de parámetros: x),sigue ua dode: E ( ˆm 0 ) = β 0 + β 1 x 0 = m 0 1 Var ( ˆm 0 ) = σ 2 + (x 0 x) 2 = σ2 0 = x es u coe ciete positivo que depede úicamete de la distacia estadarizada del puto x 0 a la media x, deomiado úmero equivalete de observacioes, h 00 = 1/ 0 valor de i uecia o leverage. S X S 2 X x 2 0 Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 53 / 73

54 Predicció Estimació de la media codicioada Observacioes: Los datos proporcioa la misma iformació para estimar m 0 que ua muestra de tamaño 0 uivariate para estimar su media. Cuado se realiza ua iterpolació (estimació detro del rago de valores observados de X ): 1 0 (= si x 0 = x). Cuado se extrapola: 0! 0 ( o hay iformació sobre la respuesta). Se veri ca que: ˆm 0 m 0 σ p 0 N (0, 1). Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 54 / 73

55 Predicció Estimació de la media codicioada Sustituyedo la variaza descoocida por su estimador isesgado, obteemos el estadístico pivote: ˆm 0 m 0 = Ŝ R p 0 ˆm 0 m 0 Ŝ R p h00 t 2, a partir del cual podríamos costruir itervalos de co aza: IC (1 α) (m 0 ) = ˆm 0 p ŜR t 2,1 α 0 2 o realizar cotrastes. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 55 / 73

56 Predicció Predicció de ua ueva observació Predicció de ua ueva observació El predictor by 0 = ˆβ 0 + ˆβ 1 x 0, sigue ua distribució ormal y tiee como media y variaza de predicció (error cuadrático medio de predicció): E De dode se deduce que: E (by 0 ) = β 0 + β 1 x 0 = E (y 0 ) (y by 0 ) 2 = Var (y) + Var (by 0 ) = σ = σ 2 (1 + h 00 ) 0 by 0 y 0 N (0, 1) σr Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 56 / 73

57 Predicció Predicció de ua ueva observació Sustituyedo la variaza descoocida por su estimador isesgado, obteemos: by 0 y r 0 = by 0 y p 0 t 2, Ŝ R Ŝ R 1 + h00 0 a partir del cual podríamos costruir itervalos de predicció: IP (1 α) (y 0 ) = by 0 Ŝ R s t 2,1 α 2!. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 57 / 73

58 Predicció Cuidado co extrapolacioes Predicció de ua ueva observació Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 58 / 73

59 Predicció Predicció de ua ueva observació Ejemplo Tiempo de impresió Itervalos de co aza al 90% para el tiempo medio de impresió de los trabajos de 6 hojas m t = E (Y /X = 6) ˆm t = x t = = h tt = 1 xt 1 + s X! x 2 = ! = = ) t = 1 h tt = (úmero de observacioes equivalete) Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 59 / 73

60 Predicció Predicció de ua ueva observació dvar ( ˆm t ) = ŝ2 R t = = ) ˆσ ( ˆm t ) = m t ˆm t ˆσ ( ˆm t ) t 73 ) IC 90% (m t ) = ( t 73, ) = ( ) = ( ) = (60.106, ) Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 60 / 73

61 Predicció Predicció de ua ueva observació Itervalo de predicció al 90% para el tiempo de impresió de u trabajo que tiee 6 hojas Y /X = 6 ŷ t = x t = = dvar (ŷ t ) = ŝ2 R + ŝr 2 = t ) ˆσ (ŷ t ) = = IP 90% (y t ) = ( ) = ( ) = (44.569, ) Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 61 / 73

62 Diagosis del modelo Diagosis del modelo Es importate recordar que las coclusioes obteidas co este método se basa e las hipótesis básicas del modelo: Liealidad Normalidad (homogeeidad) Homocedasticidad Idepedecia Si algua de estas hipótesis o es cierta, las coclusioes obteidas puede o ser ables, o icluso totalmete erroeas. Es importate veri car si las hipótesis básicas del modelo so adecuadas para los datos: Diagosis del modelo. Para ello se puede emplear desde métodos descriptivos (p.e. el grá co de dispersió simple) hasta cotrastes de hipótesis, como por ejemplo los descritos e el capítulo 1 (aplicados sobre los residuos). DE FORMA ANÁLOGA A LOS MÉTODOS ANOVA. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 62 / 73

63 Observacioes Diagosis del modelo Observacioes La falta de liealidad "ivalida" las coclusioes obteidas (cuidado co las extrapolacioes). La falta de ormalidad tiee poca i uecia si el úmero de datos es su cietemete grade (TCL). Los estimadores de los parámetros o so óptimos pero sí isesgados (blue). Si el úmero de observacioes es pequeño, y la distribució de los residuos dista mucho de la ormalidad (p.e. muy asimétrica), la estimació de la variaza, los itervalos de co aza y los cotrastes puede verse seriamete afectados. Si o hay igualdad de variazas los estimadores de los parámetros tampoco so e cietes pero sí isesgados (o blue), i uye sobre todo e las variazas (y por tato e los itervalos de co aza y cotrastes). La depedecia etre observacioes puede teer u efecto mucho más grave. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 63 / 73

64 Diagosis del modelo Observacioes E regresió lieal simple se puede detectar fácilmete si hay algú problema e el grá co de dispersió: Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 64 / 73

65 Diagosis del modelo Observacioes Dos cojutos de datos co la misma correlació de Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 65 / 73

66 Diagosis del modelo Residuos, datos atípicos e i uyetes Residuos, datos atípicos e i uyetes Se puede pesar e chequear hipótesis sobre la distribució de los errores teóricos a partir de la de los residuos e i = y i ŷ i. Como Var(e i ) = Var(y i ) Var(ŷ i ) = σ 2 (1 h ii ), los residuos o so homocedásticos (tampoco idepedietes). Los residuos estadarizados: e i r i = p, ŝ R 1 hii debería seguir ua distribució próxima a la ormal estadar (aprox. t 2 ). Como ŝ 2 R depede de e i, los residuos estudetizados: r i = e i ŝ R (i) p 1 hii t 3, (tiee ua distribució exacta coocida), dode ŝ 2 R (i) es la variaza residual obteida elimiado el dato i de la muestra. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 66 / 73

67 Diagosis del modelo Residuos, datos atípicos e i uyetes U dato atípico (outlier) es ua observació "rara" comparada co el resto de observacioes (aormalmete más grade o más pequeña de lo esperado). E regresió lieal simple se detecta fácilmete e el grá co de dispersió. Se detecta tambié cuado el correspodiete residuo es u valor iusual (poco probable) e relació a la distribució asociada. U criterio geeral es cosiderar u valor atípico cuado: jr i j > 2 ó 3. (o preferiblemete utilizar j r i j > t 3,1 γ ). Si las coclusioes obteidas depede e gra medida de ua observació (ormalmete atípica), esta se deomia i uyete (a posteriori) y debe ser examiada co cuidado por el experimetador. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 67 / 73

68 Diagosis del modelo Residuos, datos atípicos e i uyetes Las observacioes cadidatas a ser observacioes i uyetes a posteriori, so las que tiee u valor x i muy alejado del resto (i.e. de x), estas se deomia i uyetes a priori. Debe chequearse por si so i uyetes a posteriori. Para detectar datos i uyetes puede se puede utilizar los residuos elimiados: e (i) = y i ŷ (i) = e i 1 h ii, dode ŷ (i) es la predicció obteida elimiado el dato i de la muestra, que distará otablemete de e i e la observacioes i uyetes a posteriori. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 68 / 73

69 Diagosis del modelo Residuos, datos atípicos e i uyetes Dos cojutos de datos co la misma correlació de Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 69 / 73

70 Diagosis del modelo Residuos, datos atípicos e i uyetes Es recomedable geerar u grá co de residuos tipi cados o estudetizados frete a prediccioes, para detectar falta de liealidad, heterocedasticidad, valores atípicos (falta de ormalidad) e i uyetes, o el efecto de u factor omitido: mala especi cació del modelo. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 70 / 73

71 Diagosis del modelo Alterativas Alterativas Cuado o se satisface los supuestos básicos puede llevarse a cabo ua trasformació de los datos para corregir falta de liealidad, la heterocedasticidad y/o falta de ormalidad (ormalmete estas últimas "suele ocurrir e la misma escala"). U grá co dispersió-ivel puede ayudar a seleccioar la trasformació e el caso de heterocedasticidad (p.e. crear u factor que de a grupos segú percetiles de las prediccioes y proceder de modo similar al ANOVA I). Si o se logra corregir la heterocedasticidad, puede ser adecuado utilizar míimos cuadrados poderados (habría que modelar la variaza). Si o se cumple la hipótesis de idepedecia, se puede itetar modelar la depedecia y utilizar míimos cuadrados geeralizados. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 71 / 73

72 Diagosis del modelo Alterativas Ejemplo: trasformacioes para liearizar Resume del modelo y estimacioes de los parámetros. Variable depediete: Tiempo de reparació (miutos) Ecuació Lieal Logarítmica Potecia Expoecial Resume del modelo Estimacioes de los parámetros R cuadrado F gl1 gl2 Sig. Costate b1, , ,000 36,075 9,956, , ,000 19,339 73,938, , ,000 22,204,801,753 64, ,000 44,986,097 La variable idepediete esuidades defectuosas. Logaritmico Potecial Expoecial y = β 0 + β 1 l x y = β 0 x β 1 l y = l β 0 + β 1 l x y = β 0 e β 1 x l y = l β 0 + β 1 x Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 72 / 73

73 Diagosis del modelo Alterativas Otra alterativa sería ajustar u modelo poliómico (regresió múltiple): y = β 0 + β 1 x + β 2 x 2 o la regresió o paramétrica. Tema 6 (Estadística 2) Regresió lieal simple Curso 08/09 73 / 73