Tema 1. El modelo de regresión lineal simple

Transcripción

1 Método de Regreó-Grado e Etadítca Emprea /47 Tema. El modelo de regreó leal mple. Itroduccó. Covaraza. Correlacó. Hpóte báca 3. Etmacó por el método de lo mímo cuadrado 3. Etmacó de lo parámetro 0 3. Etmacó de la varaza σ 4. Propedade de lo etmadore 4. Propedade del etmador de 4. Propedade del etmador de 0 5. Propedade de la varaza redual 6. El coefcete de determacó

2 Método de Regreó-Grado e Etadítca Emprea /47. Itroduccó Lo método de la Matemátca que etuda lo feómeo determta relacoa ua varable depedete co dvera varable depedete: g(,,..., k El problema e reduce a reolver u tema leal, ua ecuacó dferecal, u tema o leal La Ceca Epermetale ha revelado la poca fabldad de la relacoe determta. E tale Ceca el azar, la aleatoredad, la varabldad dvdual, la varable o cotrolada, jutfca el plateo de la ecuacó fudametal obervacó modelo + error aleatoro modelo u etructura queda fjada por el epermetador teedo e cueta la codcoe de u epermeto. error aleatoro el epermetador debe teer e cueta la devacó que ete etre lo que oberva lo que epera obervar egú el modelo.

3 Método de Regreó-Grado e Etadítca Emprea 3/47 E lo Modelo de Regreó: Modelo: fucó leal de uo parámetro. { k k + u { obervacó modelo error aleatoro Objetvo: A partr de ua muetra de tamaño de ua certa poblacó, determar lo parámetro para poder: hacer eteble el modelo a toda la poblacó, poder predecr uevo valore de la varable depedete.

4 Método de Regreó-Grado e Etadítca Emprea 4/47 Ejemplo. Dedad del tráfco. Sabemo que cuáto má coche crcula por ua carretera, meor e la velocdad del tráfco. El etudo de ete problema tee como objetvo la mejora del traporte la reduccó del tempo de vaje. Dedad úmero de vehículo por km Velocdad velocdad del vehículo e km/h Como la cogetó afecta a la velocdad, etamo tereado e determar el efecto de la dedad e la velocdad.

5 Método de Regreó-Grado e Etadítca Emprea 5/47 Ejemplo. Dedad del tráfco. 80 Plot of velocdad v dedad velocdad dedad Modelo que podemo platear: (Llamamo Y a la velocdad X a la dedad. Y a + b X + error. Y a + b X + c X + error

6 Método de Regreó-Grado e Etadítca Emprea 6/47 Ejemplo. Eperaza de vda. Ete algú tpo de relacó etre la eperaza de vda de la mujer el úmero de acmeto cada 000 habtate? lfeepf "eperaza de vda de la mujere" brthrate "úmero de acmeto cada 000 habtate" (dato de 99 Coutr lfeepf brthrate Somala Tazaa Zamba Zare Algera 68 3 Namba Burka Fao Cuba 79 8 Equador 7 8 North Korea 7 4 Mogola Thalad 7 0 Turke 7 8 Frace 8 3 Netherlad 8 3

7 Método de Regreó-Grado e Etadítca Emprea 7/47 Ejemplo. Eperaza de vda Plot of lfeepf v brthrate lfeepf brthrate Modelo que podemo platear: (Llamamo Y a la eperaza de vda X a lo acmeto Y a + b X + error

8 Método de Regreó-Grado e Etadítca Emprea 8/47. Covaraza E la práctca mucha relacoe que aalzaremo erá déble o batará ver u gráfco, o que ademá tedremo que medr la magtud o el grado de relacó leal etre eta varable. Do de la medda má utlzada para dato bvarate que rve para cuatfcar el grado de relacó leal o: La covaraza El coefcete de correlacó leal de Pearo Dado pare de valore (,, (,,..., (,, que correpode a la obervacó de do varable X e Y obre dvduo, e defe la covaraza muetral etre X e Y como: dode XY (, (

9 Método de Regreó-Grado e Etadítca Emprea 9/47 Ejercco: Demotrar que XY ( ( Iterpretacó geométrca de la covaraza Coderemo ua ube de puto formada por lo pare de dato (,, (,,..., (,. El cetro de gravedad de eta ube de (, puto, que e, dvde a la ube e cuatro cuadrate. Lo puto que e ecuetra e el prmer tercer cuadrate cotrbue potvamete a XY, metra que lo puto que etá e el egudo cuarto cuadrate, lo hace egatvamete.

10 Método de Regreó-Grado e Etadítca Emprea 0/47 S ha má puto e el tercer prmer cuadrate, etoce XY 0, lo que puede terpretare como que la varable Y tede a aumetar cuado lo hace X. S ha má puto e el egudo cuarto cuadrate, etoce XY 0, lo que puede terpretare como que la varable Y tede a dmur cuado X aumeta.

11 Método de Regreó-Grado e Etadítca Emprea /47 S lo puto e reparte co gual tedad alrededor del cetro de gravedad, etoce e tedrá que XY 0, lo que dcará que o ha relacó leal etre la varable. Atecó: Eto o gfca que o pueda etr otro tpo de relacó etre amba varable.

12 Método de Regreó-Grado e Etadítca Emprea /47 La covaraza preeta lo guete coveete: depede de la udade de medda de la varable, o etá acotada uperor ferormete. Propocó: S (,, (,,..., (, e ua muetra de tamaño de la varable bdmeoal (X,Y, a, b o do valore reale, etoce: Demotracó (pzarra X, a+ by b XY

13 Método de Regreó-Grado e Etadítca Emprea 3/47. Correlacó El coefcete de correlacó leal de Pearo e ua medda admeoal de la varacó cojuta de do varable. Se defe como: dode r X, Y X (, Y ( Propedade: E ua medda acotada: - r X,Y. No e ve afectado por tralacoe por cambo de ecala (del mmo go, e decr: rx, a+ by rxy, b > 0. Su go cocde co el go de X,Y e dca el tpo de depedeca etre X e Y. S r X,Y fl correlacó máma etre X e Y. S r X,Y 0 fl o ete relacó leal etre X e Y, e dce que la varable etá correlada. X XY Y

14 Método de Regreó-Grado e Etadítca Emprea 4/47 Ejercco. Co lo dato del ejemplo (eperaza de vda, calcula la covaraza el coefcete de correlacó leal. Coutr lfeepf ( brthrate ( Somala Tazaa Zamba Zare Algera 68 3 Namba Burka Fao Cuba 79 8 Equador 7 8 North Korea 7 4 Mogola Thalad 7 0 Turke 7 8 Frace 8 3 Netherlad 8 3

15 Método de Regreó-Grado e Etadítca Emprea 5/47 Solucó Ejercco. ^ ^ Somala Tazaa Zamba Zare Algera Namba Burka Fao Cuba Equador North Korea Mogola Thalad Turke Frace Netherlad total meda 67,07 3,87 083,87 5, ,47 varaza 89,53 7,65 covaraza -0,39 correlacó -0,97

16 Método de Regreó-Grado e Etadítca Emprea 6/47 Ejercco. Calcular el coefcete de correlacó para lo dato de la tabla guete: Cómo cambará el coefcete de correlacó : a umamo 5 a la varable. b umamo 5 a amba varable. c tercambamo lo valore de por lo de. Ejercco 3. Cuál ería el coefcete de correlacó etre la edade de lo cóuge la mujere empre e caara co hombre año maore que ella?

17 Método de Regreó-Grado e Etadítca Emprea 7/47. Hpóte báca Lo factore que flue e la varable repueta puede dvdre e: U prmer grupo que cotee a ua varable, depedete, o aleatora coocda al obervar. U egudo grupo de múltple factore que afecta a, cada uo e pequeña catdade, que e deoma perturbacó aleatora o error aleatoro prmer grupo u { egudo grupo, u o varable aleatora, e ua varable predetermada co valore coocdo, 0, o parámetro decoocdo. Modelo geeral Hpóte cal Apromacó g( g ( 0, + + g,..., ( + u,...,

18 Método de Regreó-Grado e Etadítca Emprea 8/47 Se etablece la guete hpóte para la perturbacó aleatora: a Tee eperaza ula: E ( u 0 b Tee varaza cotate (homocedatcdad o depede de : var( u σ c Como coecueca del TLC tee dtrbucó ormal: u ~ N (0, σ d La perturbacoe o depedete (do a do: E( u u j E( u E( u, j Preguta: cuáto vale la covaraza etre do perturbacoe cualequera? Obervacoe: j La codcoe a, b, c d e reume dcedo que u, u,, u o v.a...d. co le ormal (0, σ N, La codcoe a, b, d e deoma codcoe de Gau-Markov.

19 Método de Regreó-Grado e Etadítca Emprea 9/47 Eta cuatro codcoe duce la guete etructura obre la varable repueta : a La eperaza de depede lealmete de : E( E( u cotate 0 e el valor medo de cuado vale 0, E( u 3 e el cremeto que epermeta la meda de cuado aumeta e ua udad. b La varaza de e cotate: σ var( e la varaza del modelo. var( u var( u 443 cotate 0 σ c Para cada valor de, la repueta tee le ormal: ~ N( 0 +, σ Preguta: So la détcamete dtrbuda? d La o depedete do a do.

20 Método de Regreó-Grado e Etadítca Emprea 0/47 Coderacoe mportate: La hpóte prcpal del modelo e que la meda de la le de la repueta, para fja, varía lealmete co. Eta hpóte debe comprobare empre, pue codcoa toda la cotruccó del modelo. La utldad del modelo leal radca e que mucha relacoe o leale puede covertre e leale traformado la varable adecuadamete. Ua relacó leal debe coderare como ua apromacó mple, e u rago de valore lmtado, de ua relacó má compleja. Por tato, erá ecearo teer preete: El rago de valore detro del cual e va a trabajar, El pelgro de etrapolar ua relacó fuera de ee rago. Cuádo o e cumplrá la codcoe de Gau-Markov? La codcó a o erá certa ete obervacoe tomada e codcoe heterogéea co el reto. Eto puede comprobare medate u aál de reduo del modelo, e mportate porque ua úca obervacó atípca puede teer gra flueca e la etmacó. La codcó b o e cumplrá la varabldad de depede de la meda de (heterocedatcdad. La codcó d e eperable e tuacoe etátca (toda la obervacoe correpode al mmo período temporal, pero ca uca e tuacoe dámca, dode la varable repueta e mde a lo largo del tempo.

21 Método de Regreó-Grado e Etadítca Emprea /47 3. Etmacó por el método de lo mímo cuadrado 3. Etmacó de lo parámetro 0 Dada obervacoe (,,, (, el método de lo mímo cuadrado (MMC eleccoa como etmacó de la recta poblacoal a la recta de regreó dode + + u 0 0 +, 0 que etma el valor medo de, para cada valor de. Demotracó (obtecó de la ecuacoe ormale e la pzarra

22 Método de Regreó-Grado e Etadítca Emprea /47 Ejercco 4. Co lo dato del ejemplo (dedad del tráfco ecotrar la recta de regreó que mejor ajuta la velocdad e fucó de la dedad del tráfco. Por razoe que e verá má adelate, tomar la raíz cuadrada de la velocdad. dedad raz(velocdad dedad,7 7,90 8,3 7,6 7 7, 9, 7,3 66 4,4 6,5 7, ,09, 6,8 87,8 3,5 8,6 6,80 8,4 3, , 75,6 3,70 60,3 4,45 66, 4,3 56 4,60 8, 3,7 66,3 4,8 6,8 4,3 6,7 4,4 77 3,97 66,6 4,07 89,6 3,55 67,8 4,8 raz(velocdad

23 Método de Regreó-Grado e Etadítca Emprea 3/47 gráfco de dperó raz(velocdad 9,00 8,00 7,00 6,00 5,00 4,00 3,00,00,00 0, dedad del tráfco

24 Método de Regreó-Grado e Etadítca Emprea 4/47 dedad raz(velocdad ^ ^,7 7,90 6,9 6,40 00,3 7 7, 89 50,70, , ,0 7,9 50 5, ,90 54,46 87,8 3,5 7708,84,40 309,8 8,4 3,66 665,96 3,40 97,97 75,6 3,70 575,36 3,70 79,8 66, 4,3 438,44 7,90 80,08 8, 3,7 6577, 3,80 30,7 6,8 4,3 3943,84 7,90 65, , ,80 306,07 89,6 3,55 808,6,60 38,05 8,3 7,6 334,89 5,0 30,94 9, 7,3 364,8 50,80 36,3 6,5 7,40 7,5 54,70,03, 6,8 49,84 46,50 5,38 8,6 6,80 345,96 46,30 6, , ,90 7,3 60,3 4, ,09 9,80 68,3 56 4,60 336,0 57,84 66,3 4,8 4395,69 8,30 83,6 6,7 4,4 3806,89 8,00 6,77 66,6 4, ,56 6,60 7,35 67,8 4,8 4596,84 8,30 90,04 306,6 0, ,9 65, 5678,

25 Método de Regreó-Grado e Etadítca Emprea 5/47 ^ ^ meda 54,44 5,0 3599,6 7,8 36,59 varaza 635,73,0 covaraza -36,00 correlacó -0,98 coefcete 0 8,09-0,06 Recta de regreó 0,00 raz(velocdad 8,00 6,00 4,00,00 0, dedad del tráfco

26 Método de Regreó-Grado e Etadítca Emprea 6/47 dedad raz(velocdad modelo ŷ 0 + reduo,7 7,90 7,37 0,53 7 7, 7,3-0,0 66 4,4 4,35-0, 50 5,09 5,6-0,7 87,8 3,5 3, 0,40 8,4 3,66 3,48 0,8 75,6 3,70 3,8-0, 66, 4,3 4,34-0, 8, 3,7 3,50 0, 6,8 4,3 4,53-0, ,97 3,73 0,5 89,6 3,55 3,0 0,53 8,3 7,6 7,05 0,0 9, 7,3 7,0 0, 6,5 7,40 7,6 0,4, 6,8 6,83-0,0 8,6 6,80 7,04-0,3 66 4, 4,35-0,4 60,3 4,45 4,68-0,3 56 4,60 4,9-0,3 66,3 4,8 4,34-0,06 Obervacoe: 6,7 4,4 4,60-0,35 ( La uma de lo reduo e cero. 66,6 4,07 4,3-0,4 ( La uma de lo valore de 67,8 4,8 4,5 0,03 cocde co la uma de lo valore 306,6 0,7 0,7 0,00 de ŷ.

27 Método de Regreó-Grado e Etadítca Emprea 7/47 3. Etmacó de la varaza σ La devacó típca de la perturbacó, σ, mde la precó del ajute de la recta de regreó. Para medr la varabldad de lo puto alrededor de la recta utlzaremo la devacó típca redual (etmador de σ. Se defe la varaza redual como: dode e R e o lo reduo del modelo. Se dvde por - ( o por, porque lo reduo o o depedete, pue la ecuacoe ormale duce do retrccoe obre ello: e 0, e 0. Por tato, olamete ha - valore depedete o - grado de lbertad.

28 Método de Regreó-Grado e Etadítca Emprea 8/47 Obervacó: E la práctca, ete otra forma para calcular la varaza redual, utlzar eplíctamete lo reduo: ( R Demotracó (pzarra. Atecó: R e ua varaza, por tato, u valor debe er empre potvo. S al calcularlo aparece valore egatvo, erá debdo a errore de redodeo. E cao de que eto ocurrera, e debe tomar ua maor precó decmal e la etmacoe,,. Coderacoe mportate: La recta de regreó la devacó típca redual juega el mmo papel que la meda la devacó típca de ua dtrbucó de dato: la recta de regreó dca el valor medo de para cada valor de, metra que la devacó típca redual mde la devacó promedo de la obervacoe alrededor de la recta.

29 Método de Regreó-Grado e Etadítca Emprea 9/47 Ejemplo: Hallar la varaza devacó típca redual del Ejemplo (dedad del tráfco. Recordemo que para ete ejemplo 4, ademá habíamo calculado ,.0, Etoce, uttuedo e la fórmula ateror, obteemo que la varaza redual e gual a: R ( 4(.0 ( la devacó típca redual erá u raíz cuadrada.

30 Método de Regreó-Grado e Etadítca Emprea 30/47 4. Propedade de lo etmadore de lo parámetro 0 S e toma muetra de mateedo cotate lo valore de, para cada muetra e calcula lo etmadore 0, R, éto tomará valore dtto de ua muetra a otra. Se trata pue de varable aletaora, por tato, tee ua dtrbucó de probabldad e el muetreo. La propedade de lo etmadore 0 cote e determar u eperaza, varaza dtrbucó de probabldad e el muetreo. 4. Propedade del coefcete de regreó (demotracoe e la pzarra a tee le ormal al er combacó leal de v.a. ormale. b e u etmador egado del parámetro. c e el etmador má efcete del parámetro. La varaza de e: σ var(, cuo etmador e R... (

31 Método de Regreó-Grado e Etadítca Emprea 3/47 La varaza de dca el error de etmacó del parámetro. Aí, de la fórmula e deduce que: El error aumeta al aumetar la varaza redual, para fjo, El error dmue al aumetar la dperó de, 3 El error dmue al aumetar el tamaño muetral. R

32 Método de Regreó-Grado e Etadítca Emprea 3/47 4. Propedade del etmador 0 a 0 tee le ormal al er combacó leal de v.a. ormale. b 0 e u etmador egado del parámetro 0. c La varaza de 0 puede epreare como uma de do térmo: El prmer térmo e El egudo térmo, σ var( + 0 σ, que e el error de etmacó de. σ var(, tee e cueta que el error de etmacó de la pedete de la recta e tramte a la ordeada e el orge e fucó de lo alejado que e ecuetre del orge (aumeta a medda que aumeta.

33 Método de Regreó-Grado e Etadítca Emprea 33/47 Cocluoe: Para ua muetra cocreta, el valor calculado para puede terpretare como u valor etraído al azar de ua dtrbucó ormal de meda varaza σ (. Eto equvale a decr que el etmador σ ~ N, el valor calculado para 0 puede terpretare como u valor etraído al azar de ua dtrbucó ormal de meda 0 varaza que el etmador σ 0 ~ N 0, + σ +. Eto equvale a decr

34 Método de Regreó-Grado e Etadítca Emprea 34/47 Relacó etre lo etmadore 0 Tal como e ha obtedo Puede demotrare que: De dode e deduce que: > 0, la covaraza e egatva, dcado que errore por eceo e la pedete producrá errore por defecto e 0, vcevera. La depedeca dmue co co lo factore que cotrbue a etmar la pedete co maor precó. 0, etá claro que 0 o o depedete. σ cov(, var( 0

35 Método de Regreó-Grado e Etadítca Emprea 35/47 5. Propedade de la varaza redual Recordemo que olamete ha - reduo depedete. Puede demotrare (lo veremo e geeral, cuado etudemo el modelo de regreó leal múltple que la uma cuadrátca de lo reduo de varable ormale dvda por σ tee le ch-cuadrado co lo grado de lbertad que tega lo reduo. { ~ ( ~ R e e R χ σ χ σ La eperaza varaza del etmador R o:. var(, ( 4 E R R σ σ (Se deduce a partr de la eperaza varaza de la le Gamma. var(, (, k k E k Gamma k k k χ χ χ

36 Método de Regreó-Grado e Etadítca Emprea 36/47 Parámetro 0 Propedade de lo etmadore u depedeca de la hpóte báca Etmador Eperaza Varaza Dtrbucó 0 σ e R E ( 0 0 Lealdad ( Lealdad E E Lealdad Homocedatcdad Idepedeca ( R σ σ var( 0 Homocedatcdad Idepedeca σ var( Homocedatcdad Idepedeca 4 σ var( R Lealdad Homocedatcdad Idepedeca Normaldad Normal Normaldad Normal Normaldad ( R ~ χ σ Lealdad Homocedatcdad Idepedeca Normaldad El cumplmeto de la hpóte báca afecta la etmacó de lo parámetro.

37 Método de Regreó-Grado e Etadítca Emprea 37/47 Decompocó de la varabldad: Relacó fudametal de la regreó ( 443 VT ( 443 VE + ( VNE Eta relacó o dce que la varabldad de (VT decompoe e do térmo depedete: VE: cotee la varabldad eplcada o recogda e el modelo de regreó. VNE: cotee la varabldad o eplcada por el modelo de regreó, que e debdo al carácter etocátco de la relacó.

38 Método de Regreó-Grado e Etadítca Emprea 38/47 Demotracó de la relacó fudametal de la regreó: ? ( ( ( ( ( ( VT 0 ( ( ( ( ( ( ( ( ( ( ( ( ( (

39 Método de Regreó-Grado e Etadítca Emprea 39/47 E coveete decompoer la varaza e ua tabla ADEVA (aál de la varaza o ANOVA (aal of varace de la forma guete: VT VNE ( ( VE VT VNE e ( ( R ( Tabla ANOVA: Fuete de varacó VE VNE VT Suma de Cuadrado Grado de lbertad Cocete o varaza / ( R - - ( R /( R

40 Método de Regreó-Grado e Etadítca Emprea 40/47 Ejemplo. Co lo dato del Ejemplo (dedad del tráfco ecotrar la tabla ADEVA (ANOVA. Recordemo que dedad del tráfco, raíz cuadrada de la velocdad. 4, 65., , , 306.6, 5678., Para cotrur la tabla ANOVA vamo a calcular prmero, R : R ( (.0 (

41 Método de Regreó-Grado e Etadítca Emprea 4/47 La tabla ANOVA e: Fuete de varacó Suma de Cuadrado Grado de lbertad Cocete o varaza VE 577 VNE ( ( R VT Obervacó: Geeralmete e calcula olamete VE VT e obtee VNEVT-VE.

42 Método de Regreó-Grado e Etadítca Emprea 4/47 6. El coefcete de determacó La varaza redual e u ídce de precó de la recta de regreó, pero o e útl para comparar recta de regreó de varable dtta, porque depede de la udade de medda de la varable repueta. Ua medda má adecuada del ajute e la proporcó de varabldad eplcada. Se defe el coefcete de determacó del modelo como: R VE VT ( ( E la práctca, utlzaremo la guete epreó: R Ejercco: Eprear el coefcete de determacó e fucó de la varaza redual.

43 Método de Regreó-Grado e Etadítca Emprea 43/47 Relacó etre el coefcete de determacó el coefcete de correlacó leal de Pearo Pueto que, etoce, por tato: r elevado al cuadrado, teemo que: r R Atecó: r R r ± R

44 Método de Regreó-Grado e Etadítca Emprea 44/47 Propedade del coefcete de determacó R VE VT VNE VT VT VNE VT R R 0 R 0, al er u cocete de varaza,, pueto que VE VT VE + VNE S R VE VT VNE 0 0 R e decr, todo lo reduo o cero 3 S R 0 VE 0 VNE VT la varacó de o e debda a, ó al error.

45 Método de Regreó-Grado e Etadítca Emprea 45/47 Ejemplo. Co lo dato del Ejemplo (dedad del tráfco ecotrar el valor del coefcete de determacó e terpretarlo. R VE VT % El modelo reume el 98.35% de la varabldad de. Queda eplcar el % de la varabldad de lo dato. La velocdad de lo vehículo queda eplcada por la dedad del tráfco e u 98.35%. La flueca de otro factore e la velocdad e del.65%.

46 Método de Regreó-Grado e Etadítca Emprea 46/47 Ejercco 5 (logtud de la líea de la mao. E u etudo para relacoar la logtud de la líea de la vda e la mao zquerda la vda de ua peroa, e ha obervado lo guete dato de 50 peroa co lo guete reultado: logtud de líea (e cm edad al morr (e año , 459.9, , , a Se pde cotrur ua recta de regreó de obre ecotrar la varaza redual. b Decompoer la varabldad eprearla e ua tabla ADEVA (ANOVA.

47 Método de Regreó-Grado e Etadítca Emprea 47/47 Ejercco 6 (alaro-ecolarzacó. U vetgador codera que el alaro que percbe u dvduo e fucó leal de u año de ecolarzacó, eto e, + + u 0, dode repreeta el alaro meual del dvduo -émo, lo año de etudo de dcho dvduo u e el térmo de error, que upodremo que verfca la hpóte habtuale del modelo de regreó. El vetgador ha obtedo ua muetra aleatora de 00 dvduo, de la que coocemo la guete formacó: , 000, , , Se pde: a Obteer etmadore egado de lo parámetro 0, σ, aí como el coefcete de determacó. Iterpretar lo reultado. b Hallar la decompocó de la varabldad (tabla ADEVA.