Capítulo 3 TEORÍA GENERAL DEL MODELO LINEAL

Transcripción

1 Capítulo 3 TEORÍA GENERAL DEL MODELO LINEAL 57

2 58

3 3.1. Itroduccó. U problema muy frecuete e estadístca cosste e buscar y estmar terdepedecas etre varables. E efecto, cuado u par de varables aleatoras (X,Y ) o so depedetes, el coocmeto del valor por X camba uestro certdumbre co respecto a la realzacó de Y : dsmuye e geeral esta certdumbre, ya que la dstrbucó de Y dado X = x tee ua varaza que e promedo es meor que la varaza margal de Y : Var(Y ) = E X {Var(Y X)} +Var X {E(Y X)} Demostracó: Observamos e prmer lugar que E X (E(Y X)) = E(Y ). Cosderamos Var(Y ) = (y E(Y )) 2 dip Y (y) Como y E(Y ) = y E(Y X) + E(Y X) E(Y ), se tee que (y E(X)) 2 = (y E(Y X)) 2 + (E(Y X) E(Y )) 2 + 2(y E(Y X))(E(Y X) E(Y )) Además dip(x,y) = dip Y X (y)dip X (x), e dode IP Y X es la dstrbucó codcoal de Y dado X y IP X es la dstrbucó margal de X. Luego [ ] [ ] Var(Y ) = (y E(Y x)) 2 dip Y X (y) dip X (x) + (E(Y x) E(Y )) 2 dip Y X (y) dip X (x) ] +2 (E(Y x) E(Y ))[ (y E(Y x))dip Y X (y) dip X (x) Pero por defcoes y alguos desarrollos vemos que: [ ] E X (Var(Y X)) = (y E(Y x)) 2 dip Y X (y) dip X (x) [ ] Var X (E(Y X)) = (E(Y x) E(Y )) 2 dip Y X (y) dip X (x) (y E(Y x))dip Y X (y) = 0 Luego Var(Y ) = E X {Var(Y X)} +Var X {E(Y X)}. Se deduce que E X {Var(Y X))} Var(Y ). Es u resultado promedo, eso o mpde que para alguos valores de X, Var(Y X) sea el mayor que Var(Y ). Cuado se puede aceptar que el feómeo aleatoro represetado por ua varable o u vector X puede servr para predecr aquel represetado por Y, hay que buscar ua fórmula de predccó. Alguas relacoes so fácles de platear y verfcar, como las relacoes plateadas a partr de leyes físcas o mecácas, pero 59

4 cuado la aleatoredad juega u papel mportate, el estudo se hace más dfícl. Se busca aquí descubrr como u cojuto de varables X 1,X 2, X p fluye sobre ua o varas otras varables Y. Para este propósto, se busca ua fucó f que permta recostrur los valores obtedos sobre ua muestra de la varables respuesta Y : Y = f (X 1,X 2,...X p }. Las varables {X 1,X 2, X p } se llama varables explcatvas o varables depedetes o varables exógeas y la varables Y se llama varable a explcar o varable respuesta o varables depedete o varable edógea. Daremos alguos ejemplos, e que se ocupa estos modelos: Ejemplo 3.1 La dstaca que ua partícula recorre e el tempo t está dada por la fórmula: d = α + βt e que β es la velocdad promedo y α la poscó de la partítula e el tempo cal t = 0. S α y β so descoocdos, observado la dstaca d e dos épocas dsttas, la solucó del sstema de las dos ecuacoes leales obtedas permte obteer α y β. S embargo es dfícl obteer e geeral ua dstaca s error de medcó. Por lo cual se observa ua varable aleatora: Y = d + ε e vez de d, e que ε (rudo blaco") es de tpo aleatoro. E ese caso o basta teer dos ecuacoes so valores de la dstaca para varos valores del tempo. Los métodos estadístcos basados e la aleatoredad del error permte estmar a α, β y d sobre la base de ua relacó fucoal de tpo leal. Ejemplo 3.2 S cosderamos el peso P y la talla T de las mujeres chleas adultas, está claro que o exste ua relacó fucoal etre P y T, pero exste ua tedeca. Cosderado que P y T so varables aleatoras de dtrbucó cojuta ormal bvarada: P = f (T ) + ε co f (T ) = E(P T ) e que ε refleja la varabldad del peso P etre las chleas de la msma talla co respecto a la meda. El tpo de fucoal f o es evdete. Ejemplo 3.3 Para decdr la costruccó de la ueva cetral eléctrca, ENDESA busca prever el cosumo total de electrcdad e Chle después del año Se costruye u modelo que lga el cosumo de electrcdad co varables ecoómcas, demográfcas y metereológcas, y este modelo estma e base a datos obtedos e el pasado. Se aplca etoces el modelo para predecr el cosumo de electrcdad segú certas evolucoes ecoómcas, metereológcas y demográfcas. 60

5 Ejemplo 3.4 Para establecer ua determada publcdad e la televsó, se cuatfca el efecto de varables culturales y soco-ecoómcas e la audeca de los dferetes programas. Sobre la base de ua ecuesta telespectadores se costruye u modelo que determa los efectos de las varables culturales y soco-ecoómcas e la audeca. Ejemplo 3.5 Ajuste polómal. El modelo leal puede ser geeralzado tomado fucoes de las varables explcatvas y/o de la varable a explcar. Es el caso cuado se tee ua varables respuesta Y a partr de ua sola varable X e u modelo polomal: Y = a 0 + a 1 X a p X p e dode X j es la poteca j de X. Ejemplo 3.6 Se quere estmar la costate g de la gravtacó. Se toma los tempos de caída t de u objeto desde la altura h dada del suelo: d = 1 2 gt2. Observamos e los dsttos ejemplos que las varables puede ser aleatoras o o, las relacoes leales o o y que cuado o so leales puede evetualmete exstr trasformacoes de las varables que lleva a relacoes leales. Se preseta a modo de troduccó u efoque teórco de la regresó fucoal, para presetar después el caso leal sobre valores muestrales. Se usara dos métodos de estmacó: El método matemátco de ajuste de los mímos cuadrados, que permte estmar los coefcetes del modelo leal a partr de valores observados. E este caso o se toma e cueta la aleatoredad de las varables e la estmacó del modelo. El método de máxma verosmltud basado e u modelo probablístco ormal, que permte justfcar el método de mímos cuadrádos y dscutr las propedades de los estmadores y la precsó del ajuste. Falmete se usará el modelo leal para predecr. Se efatzará los aspectos geométrcos del problema y como hacer ua crítca de los supuestos probablístcos usuales Modelo teórco codcoal. Proposcó 3.1 Sea la v.a. Y IR y el vector aleatoro X IR p. El mímo de E{(Y f (X)) 2 } se alcaza e f (X) = E(Y X). Demostracó: Geométrcamete, e el espaco de Hlbert L 2 p+1 de dmesó p + 1 tomado como producto escalar < U,V >= E(UV t ) 61

6 E(Y X) es la proyeccó ortogoal de Y sobre el subespaco LX 2 geerado por las fucoes de X. El crtero para mmzar es el error cuadrátco medo E{(Y g(x)) 2 } S f (X) = E(Y X), etoces para toda fucó g(x), se tee: E{(Y g(x)) 2 } = E{(Y f (X)) 2 } + E{( f (X) g(x)) 2 } E{(Y f (X)) 2 }. E efecto E{(Y f (X))( f (X) g(x))} = E{( f (X) g(x))e{(y f (X)) X}} dado que f (X) g(x) es depedete de Y y E{(Y f (X) X) = 0 se obtee el resultado. U ídce para medr la caldad del modelo está dado pro el coefcete de correlacó etre Y y E(Y X) cuyo cuadrado es: dode ε = Y E(Y X), y etoces η 2 Y X = Cor2 (Y,E(Y X)) = Var{E(Y X)} Var(Y ) = 1 Var(ε) Var(Y ) Var(ε) = (1 ηy 2 X )Var(Y ). E efecto: Como E(ϕ(X,Y ))) = E X {E Y X (ϕ(x,y ) X)} Cov(Y,E(Y X)) = E[(y E(Y ))(E(Y X) E(Y ))] Cov(Y,E(Y X)) = E X E{(Y E(Y ))(E(Y X) E(Y )) X} Ahora be: E{(Y E(Y ))(E(Y X) E(Y )) X} = (E(Y X) E(Y ))(E(Y X) E(Y )) = (E(Y X) E(Y )) 2 y Falmete Cov(Y,E(Y X)) = E X {(E(Y X) E(Y )) 2 } = Var(E(Y X)) Cor 2 (Y,E(Y X)) = Var(E(Y X))2 Var(E(Y X)) = Var(Y )Var(E(Y X)) Var(Y ) E el caso leal f (X) = E(Y X) = β T X y E(ε) = 0. 62

7 Mmzar Var(ε) equvale a tomar Cov(ε,X) = 0. Luego Cov(Y,X) = βvar(x) e dode β = (Var(X)) 1 Cov(Y,X): Var(Y ) = Var{E(Y X)} +Var(ε) Estmacó de los parámetros del modelo leal Sea {(y,x,1,x,2,...,x,p ) = 1,2,...,} los valores obtedos sobre ua muestra aleatora smple de tamaño del vector (Y,X 1,X 2,...,X p ) de IR p+1. Se plate el modelo leal: E(Y X = (x,1,x,2,...,x,p )) = β 0 + β 1 x,1 + β 2 x,2 + + β p x,p. Cosderaremos aquí el vector X como o aleatoro. Deotamos = 1,2,..., : x = (x,1,x,2,...,x,p ) y hacemos los sguetes supuestos sobre los errores: ε = y E(Y ) N(0,σ 2 ), depedetes etre s e depedetes de los x. Teemos etoces p + 2 parámetros a estmar, que so β 0,β 1,...,β p y σ 2. Dos tpos de métodos de estmacó se puede usar aquí: el método de ajuste de los mímos cuadrados y el método de máxma verosmltud Solucó de los mímos cuadrados Se busca mmzar ua fucó de los errores, como por ejemplo: p ε 2, ε, máx {ε } El crtero de los mímos cuadrados toma como fucó ε 2 cuya solucó es fácl de obteer y que tee ua terpretacó geométrca smple. Escrbremos matrcalmete el modelo aplcado a la muestra de observacoes. Sea Y =. y 1 y 2 1 x 1,1 x 1,2... x 1,p, X = 1 x 2,1 x 2,2... x 2,p....., β = β 0 β 1., ε = ε 1 ε 2.. y 1 x,1 x,2... x,p β p ε Etoces el modelo se escrbe Y = Xβ + ε. El crtero de los mímos cuadrados cosste e buscar el puto del subespaco vectoral W = Im(X) de IR geerado por las columas de la matrz X más cercao al puto Y. La solucó es la proyeccó ortogoal 63

8 del puto Y sobre W y esta es obtee de las ecuacoes ormales co la métrca usual: X t Xβ = X t Y Este sstema de ecuacoes leales tee ua solucó úca cuado las columas de X so leales depedetes, es decr que forma ua base del subespaco vectoral de W, o sea que la dmesó del rago de X es gual a p + 1. E este caso la solucó de los mímos cuadrados es gual a: ˆβ = (X t X) 1 X t Y. Se deduce que el operador de proyeccó ortogoal sobre W, que es u operador leal dempotete de orde 2 y smétrco, se escrbe matrcalmete como: P = X(X t X) 1 X t S el rago de X es feror a p + 1, basta ecotrar ua base de W etre las columas de X, y reemplazar X por X 1 la matrz formada por estas columas lealmete depedetes. Se observará que s be ˆβ o es ecesaramete úco, Y = Xβ = PY y ˆε = Y X ˆβ = (I P)Y lo so. El método o permte estmar a σ Solucó de máxma verosmltud E el párrafo ateror, para estmar los coefcetes β j se usó u crtero ma temátco que permte ajustar u hperplao af de IR p+2. Aquí usaremos el método de máxma verosmltud para estmarlos. El modelo probablístco se basa e los errores. El modelo E(Y ) = β 0 + β 1 X β p X p = Xβ co Y = E(Y ) + ε = Xβ + ε e dode se supoe ε N (0,σ 2 I ). La fucó de verosmltud utlzada es la desdad cojuta de los errores: ( ) 1 2 ( f (ε 1,ε 2,...,ε ) = exp 2πσ 2 1 ) 2σ 2 εt ε ( ) 1 f (ε 1,ε 2,...,ε ;β,σ 2 2 ( ) = exp 2πσ 2 1 ) 2σ 2 (Y Xβ)t (Y Xβ) Calculemos el estmador de máxma verosmltud de β: l f β X T Y (Ecuacoes ormales). 64 = 0 (Y Xβ)t (Y Xβ) β = 0 (X t X)ˆβ =

9 Calculemos el estmador de máxma verosmltud de σ 2 : l f σ 2 = 0 σ2 = (Y X ˆβ) t (Y X ˆβ) y s ˆε = Y X ˆβ, etoces ˆσ 2 = 1 ˆε 2 Es decr que la fucó de verosmltud es máxma cuado se cumple las ecuacoes ormales: (X t X)ˆβ = X t Y y además ˆσ 2 = 1 ˆε 2 efecto ya que Y = X ˆβ + ˆε, ˆε Im(X) y llamado la varaza resdual dado que es la varaza empírca de los ˆ ; e X ˆβ (Im(X)) ˆε 1 ˆε 2 = 0 El estmador de los mímos cuadrados es gual etoces al estmador de máxma verosmltud cuado se tee el supuesto de ormaldad ε N (0,σ 2 I ) Propedades del estmador Las propedades del estmador ˆβ solucó de las ecuacoes ormales está lgadas a los supuestos hechos sobre los errores ε. Supodremos aquí que X es de rago completo (p + 1). Propedades: El estmador ˆβ es u estmador sesgado de β: E(ε) = 0 E(Y ) = Xβ E(ˆβ) = β El estmador Ŷ = PY = X ˆβ es u estmador sesgado de Xβ. ε N (0,σ 2 I ) Ŷ N (Xβ,σ 2 P) dode P era el proyector ortogoal sobre W e IR. ε N (0,σ 2 I ) ˆε N (o,σ 2 (I P)), co ˆε ortogoal a W o ˆε depedete de X. ˆβ N p+1 (β,σ 2 (X t X) 1 ). 1 ˆε 2 es u estmador sesgado para σ 2. E efecto: E ( ˆε 2 ) X = ( p 1)σ 2 ; 65

10 luego σ 2 1 = p 1 ˆε 2 es u estmador sesgado para σ 2. E efecto, ˆε = (I P)Y = (I P)Xβ + (I P)ε = (I P)ε. Luego y ˆε t ˆε = ε t (I P)ε = Traza((I P)εε t ) E(ˆε t ˆε) = σ 2 Traza((I P)) = ( p 1)σ 2 ˆβ es depedete de ˆε 2. ˆβ es u estmador cosstete para β y σ 2 1 = p 1 ˆε 2 es cosstete para σ 2. El estmador es óptmo co respecto a la varaza (ver el teorema de Gauss Markov a cotuacó). Cosderemos la sguete defcó: Defcó 3.1 Sea A,B M (IR). Se dce que A B s y solamete s B = A +C, e dode C es sem-defda postva Teorema 3.1 Teorema de Gauss-Markov: s E(ε) = 0 y E(εε T ) = σ 2 I, etoces ˆβ tee varaza etre los estmadores sesgados de β, leales e Y. Además s ε N (0,σ 2 I ), etoces ˆβ tee míma varaza etre los estmadores sesgados de β. Demostracó: S etre los estmadores sesgados de β y leales e Y, ˆβ tee la varaza más pequeña, hay que mostrar que: β = GY : E(β ) = β Var(ˆβ) Var(β ). Sea ˆβ = AY ua solucó de las ecuacoes ormales, etoces β = ˆβ + DY, e que D = G A. Como los dos estmadores so sesgados, E(β ˆβ) = E(DY ) = 0 y como Y = Xβ + ε etoces DX = 0. Calculemos la varaza de β : Var(β ) = Var(ˆβ) +Var(DY ) + 2Cov(ˆβ,DY ) e dode Cov(ˆβ,DY ) = E((ˆβ β)(dy ) t ) = E(ˆβY t D t ) = E((X t X) 1 X t YY t D t ) = (X t X) 1 X t E(YY t )D t = (X t X) 1 [Var(Y ) + E(Y )E(Y ) t ]D t = 0 Falmete Var(β ) = Var(ˆβ) + σ 2 DD t e dode DD t es sem-defda postva. 66

11 S además los errores sgue ua dstrbucó ormal, el estmador ˆβ es de míma varaza etre todos los estmadores sesgados de β. E efecto la catdad de formacó de la muestra multvarada para el parámetro β es gual a I (β) = 1 σ 2 Xt X y el estmador ˆβ tee ua matrz de varaza gual a σ 2 (X t X) 1. Luego se obtee la gualdad e la desgualdad de Cramer-Rao. Se obtee facílmete ua geeralzacó de este teorema cuado Var(ε) = Γ, Γ que supodremos vertble. El estmador de míma varaza es etoces: ˆβ = (X t Γ 1 X) 1 X t Γ 1 Y Es decr que estamos proyectado ortogoalmete e el setdo de la métrca Γ Caldad del modelo Para ver s el modelo es váldo, hay que realzar varos estudos: la verfcacó de los puestos sobre los errores, la forma y sgfcacó de las depedecas, el aporte de cada varable explcatva. Lo que se hará estudado, medate gráfcos, ídces y test, o solamete la caldad del modelo global y el aporte dvdual de cada varable explcatva, so que el aporte de u grupo de m varables explcatvas també Caldad global del modelo. Los resduos ˆε da la caldad del ajuste para cada observacó de la muestra. Pero es ua medda dvdual que depede de la udad de medcó. U ídce que evta este problema está dado por: ŷ 2 y 2 que represeta el cuadrado del coseo del águlo del vector Y co el vector Ŷ e IR (Fgura??). Se puede comparar las sguetes varazas: Varaza resdual: 1 ˆε 2. Varaza explcada por el modelo: 1 (ŷ ȳ) 2. 67

12 Varaza total: 1 (y ȳ) 2. Fgura 3.1: Proyeccó del vector Y e W U ídce estadístcamete más teresate es el coefcete de correlacó múltple R o su cuadrado, el coefcete de determacó: IR 2 = (ŷ ȳ) 2 (y ȳ) 2 que compara la varaza explcada por el modelo co la varaza total. El coefcete de correlacó múltple R es el coefcete de correlacó leal etre Y e Ŷ. El valor de R está compreddo etre 0 y 1. Cuado R = 0, el modelo obtedo es : ŷ = ȳ, la meda muestral de los valores y y e cosecueca las varables o explca ada e el modelo. E cambo cuado R es gual a 1, el vector Y perteece al subespaco vectoral W, es decr que exste u modelo leal que permte escrbr las observacoes y exactamete como combacó de las varables explcatvas. Cuado R es cercao a 1, el modelo es bueo sedo que los valores estmados ŷ ajusta be los valores observados y. Para el caso geeral se tee: Corr(Y,Ŷ ) = Ŷ ȳ1 Y ȳ1 = máx Z=Xβ Corr(Y,Z) e dode 1 es el valor de la bsectrz de IR de compoetes todas guales a 1. S se platea la hpótess global H 0 : β 1 = β 2 = = β p = 0 H 0 : E(Y ) = β 0 1, esta hpótess sgfca que los valores de las p varables explcatvas o fluye e los valores de Y. Como ˆε N (0,σ 2 (I P)) 68

13 e Ŷ N (Xβ,σ 2 P), s r es el rago de la matrz X, se tee: ˆε 2 σ 2 = ( r) ˆσ2 σ 2 χ r. Como Ŷ H0 N (β 1 1,σ 2 P) ˆβ 0 = ȳ, se tee: ( ) y β 2 0 y σ (ŷ ȳ σ ) 2 χ 2 r 1 Además ŷ 2 σ 2 y ) (ŷ ȳ 2 so depedetes. Se tee etoces que bajo la hpótess ula H 0 : σ F = (ŷ ȳ) 2 /(r 1) ˆε 2 /( r) F r 1, r e dode F r 1, r sgue ua dstrbucó de Fsher a r 1 y r grados de lbertad. Se puede expresar F e fucó del coefcete de correlacó múltple R: ( r)r 2 F (r 1)(1 R 2 ). La regó crítca para la hpótess ula H 0 : E(Y X) = β 0 1 cotra la hpótess alteratva H 1 : E(Y X) = Xβ co u vel de sgfcacó α está defda por IP(F r 1, r > c α ) = α. Se rechaza H 0, por lo tato se declara el modelo globalmete sgfcatvo cuado se ecuetra u valor F e la muestra mayor que c α. E la práctca, se defe la probabldad crítca o p-valor que es el valor p c tal que IP(F r 1, r > F) = p c. S el valor de la probabldad crítca p c es alta, o se rechaza H 0, es decr que se declara el modelo como poco sgfcatvo Medcó del efecto de cada varable e el modelo Cuado las varables explcatvas so depedetes, el efecto asocado a l varable X j se mde co X j ˆβ j. Se observará que el modelo leal es varate por el cambo de escalas de medcoes. 69

14 Cosderamos la hpótess ula H 0 : β j = 0. Como ˆβ j N(β j,σ 2 j ) e dode σ2 j = Var(ˆβ j ) (σ 2 j = σ2 (X t X) 1 j, j ˆβ e el caso del modelo co rago completo), j β j ( r) ˆσ σ j N(0,1). Por otra parte, como χ 2 σ r, se 2 deduce que ˆβ j β j t r. ˆσ j Bajo la hpótess ula H 0 : β j = 0, βˆ j t r. ˆσ j ( S la probabldad crítca o P-valor IP t r > ˆβ ) j = p ˆσ c es grade, o se rechaza H 0 y s es pequeña se j rechaza H 0, lo que e este caso muestra u efecto sgfcatvo de la varables X j sobre Y. Estos test dvduales sobre los efectos tee valdez cuado las varables explcatvas so relatvamete depedetes. Cuado o es el caso, es decr cuado ua varable X j puede teer u efecto sobre Y dstto cuado se comba co otras varables, hay etoces que elmar los efectos de las otras varables. Para eso se puede usar el coefcete de correlacó parcal Coefcete de correlacó parcal El efecto de ua varable X sobre la varable Y puede estar afectado por ua tercera varable Z cuado Z tee efecto sobre X també. El estudo se basa etoces e las dos relacoes del tpo leal: X = αz + ϑ Y = γz + η. Ua vez elmada la flueca de la varable Z sobre las varables X e Y se mde solamete a partr de los restos: X αz = ϑ Y γz = η. Defcó 3.2 El coefcete de correlacó parcal etre X e Y bajo Z costate es el coefcete de correlacó etre los errores ϑ y γ: ρ(x,y Z) = Corr(ϑ,γ) Se observa que s X y Z so muy correlacoados etoces la correlacó parcal etre X e Y es muy pequeña. E efecto X aporta cas gua formacó ueva sobre Y (o vce-versa) cuado Z es coocda. Se usa el gráfco de los errores para medr los efectos y el tpo de efecto (leal o o). Del gráfco3.2(a) podemos decr que la varable X 2 o tee efecto sobre la varable Y e preseca de la varable X 1. Pero e 70

15 el gráfco3.2(b) la varable X 2 aporta a la explcacó de la varable Y aú s la varable X 1 es presete e el modelo. Fgura 3.2: Iterpretacó de los errores y del coefcete de correlacó parcal Se puede geeralzar a más de 2 varables Z j, j = 1,2,...,q. S X = q q α j Z j + ϑ Y = Z j + γ j=1 j=1 etoces se defe el coefcete de correlacó parcal etre X e Y, dadas las varables Z j, por: ρ(x,y Z 1,Z 2,...,Z q ) = Corr(ϑ,γ). S las varables Z j o tee efecto sobre X e Y, es decr que las correlacoes Corr(X,Z j ) y Corr(Y,Z j ) so todas ulas, etoces ρ(x,y Z 1,Z 2,...,Z q ) = Corr(X,Y ). Se geeralza també la matrz de correlacó parcal co mas de dos varables. Defmos para eso la matrz de varaza-covaraza del vector X dado el vector Z fjo: Var(X Z) = Γ XX Γ XZ Γ 1 ZZ Γ ZX. Se tee ua tertretacó geométrca del coefcete parcal ρ(x,y Z) medate los trágulos esfércos: El águlo (A) del trágulo esférco(abc) está defdo por el águlo etre las dos tagetes e A a los lados del trágulo esférco (Gráfco3.3). El águlo (A) es etoces gual a la proyeccó del águlo etre OX y OY sobre el plao ortogoal a OZ. Los águlos sedo relacoados a los arcos, se tee: Luego: cos(a) = cos(a) cos(b)cos(c). s(b) s(c) 71

16 Fgura 3.3: Represetacó esférca del coefcete de correlacó parcal Fgura 3.4: (a) ρ(x,y Z) = 1 (b) Corr(X,Z) = 0, Corr(Y,Z) = 0,01, ρ(x,y Z) = 1. Corr(X,Y ) Corr(X,Z)Corr(Y,Z) ρ(x,y Z) = 1 Corr 2 (X,Z) 1 Corr 2 (Y,Z) E la fgura3.4a, el águlo A = π 2, el coefcete de correlacó parcal es 1. Pero puede haber u efecto escoddo de la varable X sobre la varable Z como se lustra e la fgura3.4b: el coefcete de correlacó múltple de X e Y sobre Z es gual a 1, a pesar que el coefcete de correlacó etre X y Z es ulo y el coefcete de correlacó etre Y y Z es muy pequeño aquel etre X e Y cercao a 1. El coefcete de correlacó parcal es gual a 1 també Efecto de u grupo de varables Vmos que el efecto global de todas las varables explcatvas y los efectos dvduales. Veremos aquí el efecto de u grupo de k varables, sea X j1,x j2,...,x jk (k p), etre las p varables. El efecto de estas 72

17 varables se mde cosderado la hpótess ula H 0 : β j1 = β j2 = = β jk = 0 cotra H 1 : E(Y ) = β 0 + β 1 X β p X p. Sea X jk+1,x jk+2,...,x jp el restate de las P varables. Bajo H 0, el modelo se escrbe: Y = γ 0 + γ jk+1 X jk γ jp X jp + ε o. Se tee la varaza resdual bajo H 1 meor que la varaza resdual bajo H 0 : ˆε 2 ˆε 2 o Se puede estudar el cocete de las dos varazas resduales yˆ o = y ˆε 2 o so las compoetes del estmador E(Y X) bajo H 0. ˆε 2 o ˆε 2 o su complemeto ŷ 2 o ˆε 2 e dode Bajo la hpótess H 0 Q = (ŷ ŷ o ) 2 /k ˆε 2 /( r) F k, r. Lo que coduce a u test de regó crítca de la forma Q c α. Cosderado otra forma de escrbr el problema. Sea la hpótess ula H 0 : E(Y ) = X 0 β W 0, co X 0 de rago s, cotra H 1 = Xβ W. La hpótess H 0 equvale a (X X 0 )β = 0 lo que correspode a k = p s + 1 ecuacoes depedetes }{{} D β = 0, e que D es de rago k. Para que el test tega setdo, Dβ tee que ser estmable, es decr que k (p+1) el estmador Dβ o debe depeder de ua solucó partcular ˆβ de las ecuacoes ormales. Sea Ŷ e Y las proyeccoes Y sobre W y W 0 respectvamete y E(Y ) = µ 0 bajo H 0 y E(Y ) = µ bajo H 1. Y µ 0 2 = Y Y +Y µ 0 2 = Y Y 2 + Y µ 0 2 Y µ 2 = Y Ŷ 2 + Ŷ µ 2 Sea S 2 = Y Y 2 Y Ŷ 2 y R2 = Ŷ Y 2 Y Ŷ 2. Bajo H 0, se tee p 1 R 2 F k, r. La regó crítca es de la k forma r k R2 > C. máxl H Se puede platear el test de razó de verosmltudes també: Λ = 0 máxl. La regó crítca se escrbe S > C Este test cocde co el test F. Se observará que Y Y 2 s y Ŷ Y 2 k so ambos estmadores sesgados de σ 2 bajo H 0. 73

18 Cuado la varaza σ 2 es coocda, la razó de verosmltudes es gual a: Λ = máxl { H 0 máxl = exp 1 } 2σ 2 Ŷ y 2. La regó crítca del test se escrbe etoces Ŷ Y 2 > σ 2 χ 2 k. Se puede costrur u test a partr de Dˆβ N(Dβ,σ 2 Γ) cuado ε N (0,σ 2 Γ). Bajo H 0, ˆβ t D t Γ 1 Dˆβ σ 2 χ 2 k. Pero este test o equvale e geeral al test de razó de verosmltudes basado e Ŷ Y Caso de ua hpótess leal geeral Sea la hpótess ula H 0 : Aβ = c cotra la hpótess alteratva H 1 : Aβ c, e dode A M k,p+1 es coocda y de rago k. Aβ tee que ser estmable, es decr o debe depeder de ua solucó de las ecuacoes ormales. Se supodrá aquí u modelo de rago completo. Sea ˆβ = (X t X) 1 X t Y el estmador de máxma verosmltud s restrccó y ˆβ 0 el estmador bajo H 0 : Aβ = c. Se obtee ˆβ 0 usado los multplcadores de Lagrage: Q = (Y Xβ) t (Y Xβ) + 2λ(Aβ c) Q β = 0 Xt X ˆβ 0 = X t Y + A t Λ ˆβ 0 = (X t X) 1 (X t Y + A t λ) = ˆβ + (X t X) 1 A t λ. Utlzado la restrccó Aˆβ 0 = c, obteemos que λ = [A(X t X) 1 A t ] 1 (c Aˆβ) ˆβ 0 = ˆβ + (X t X) 1 A t [A(X t X) 1 A t ] 1 (c Aˆβ) Sea P 0 y P los proyectores asocados respectvamete a X ˆβ 0 y X ˆβ, es decr tales que P 0 Y = X ˆβ 0 y Py = X ˆβ. Etoces P 0 Y = PY + X(X t X) 1 A t [A(X t X) 1 A t ] 1 (c Aˆβ). Sea la varaza resdual del modelo s restrccó: V = (Y X ˆβ) t (Y X ˆβ) y la varaza resdual bajo H 0 : T = (Y X ˆβ 0 ) t (Y X ˆβ 0 ). Como T V,cosderamos U = T V que compararemos a V. Proposcó 3.2 La dfereca de las varazas resduales co y s restrccó es: U = (Aˆβ c) t [A(X t X) 1 A t ] 1 (Aˆβ c) y bajo la hpótess ula U σ 2 χ2 k. Demostracó: U(Y X ˆβ 0 ) t (Y X ˆβ 0 ) (Y X ˆβ) t (Y X ˆβ) = Y t (P P 0 )Y. Como P 0 Y = PY +X(X t X) 1 A t [A(X t X) 1 A t ] 1 (c Aˆβ) y U =Y t (P P 0 ) t (P P 0 )Y U = (Aˆβ c) t [A(X t X) 1 A t ] 1 (Aˆβ 74

19 c). Por otro lado como A es de rago gual a k, Aˆβ N k (Aβ,σ 2 A(X t X) 1 A t ), luego U σ 2 χ2 k. Como ˆβ es depedete de V = ˆε 2 (ver ejercco 1.7b), el estadístco del test es: U/k V /( p) F k, p Aálss de los resduos Se supoe que el efecto de umerosas causas o detfcadas está cotedo e los errores, lo que se traduce como ua perturbacó aleatora. De aquí los supuestos sobre los errores, que codcoa las propedades del estmador. Es mportate etoces comprobar s los supuestos se cumple. La mejor forma de chequear s los errores so aleatoros de medas ulas, depedetes y de la msma varaza, cosste e estudar los resduos = 1,2,..., : ˆε = y ˆβ j x, j j cosderádolos como muestra..d. de ua dstrbucó ormal. Se puede usar el gráfco (Y, ˆε ), que debería mostrar gua tedeca de los putos, o be costrur test de hpótess sobre los errores. E el gráfco de la zquerda ( 3.5) se puede ver los resduos aleatoros depedetes de Y, lo que o es el caso de los resduos del gráfco de la derecha. S el supuesto que los errores so N(0,σ 2 ) o se cumple, teemos que estudar el efecto que esto tee sobre la estmacó de los parámetros y sobre los tests de hpótess, además teemos que detectar s este supuesto es certo o o y corregr evetualmete la estmacó de los parámetros y tests. Vmos dode tervee el supuesto de ormaldad e la estmacó de los parámetros del modelo y e los tests de hpótess para verfcar la sgfcacó de las varables e el modelo. Este tema se relacoa co el cocepto de la robustez (ver MILLER R.G. (1986), Beyod ANOVA, Bascs of Appled Statstcs). La teoría de estmacó y de test de hpótess se basa e supuestos sobre la dstrbucó de poblacó. Por lo tato s estos supuestos so exactos, la estmacó o la coclusó del test sera dstorsoada. Se busca etoces métodos que sea lo meos sesbles a la exacttud de los supuestos. Se habla etoces de robustez del método. Se dvde el estudo e tres partes: la ormaldad, la depedeca y la gualdad de las varazas de los errores. 75

20 Fgura 3.5: Gráfcos de resduos Estudo de la ormaldad de los errores S o se cumple la ormaldad de los errores, los efectos sobre la estmacó o tests relatvos a los parámetros so pequeños, pero so más mportates sobre los tests relatvos a coefcete de correlacó. El problema es más agudo e preseca de observacoes atípcas. Teemos etoces que verfcar la hpótess ula H o : ε N(0,σ 2 ) o sea s u = ε σ, H o : u N(0,1). Esto sugere de comparar la fucó de dstrbucó empírca F de los resduos ormalzados co la fucó de dstrbucó de la N(0,1). Sea F la fucó de dstrbucó de la N(0,1), que es vertble. Etoces s los u provee de N(0,1), F 1 (F (u )) u. Cosderamos etoces los estadístcos de orde de los u, que so los resduos ormalzados ordeados de meor a mayor: sea u (1) u (2)... u (). La fucó de dstrbucó empírca es etoces: F (u) = card{u () u} Se defe los cuatles empírcos q = F 1 (F (u () ). Notemos que F (u () ) = F (ε () ). S F se parece a F, los putos (u,q ) debería ser coleales (sobre la prmera bsectrz). Este gráfco se llama probt o recta de Her ( gráfco 3.6). S los putos e ell gráfco probt aparece como o leal, se rechaza la ormaldad de los errores y se puede corregr utlzado la regresó o paramétrca basada o be otras alteratvas segú la causa de la o ormaldad (o smetría, observacoes atípcas, etc.. 76

21 Fgura 3.6: Recta de Her Test de Durb y Watso Test para la gualdad de las varazas 3.6. Predccó. S se tee ua ueva observacó para la cual se cooce los valores de las varables explcatvas, sea x 0,1,x 0,2,...,x 0,p, pero se descooce el valor Y 0 de la varables respuesta, se puede etoces usar el modelo para ferr u valor para Y 0 a través de su modelo esperado: e que x t 0 = (x 0,1 x 0,2...x 0,p ). µ 0 = E(y 0 ) = x t 0β S ˆβ es el estmador de β obtedo sobre las atguas observacoes, se estma µ 0 dados los valores tomados por las varables explcatvas por: ˆµ 0 = E(y 0 ) = x t 0 ˆβ. Se puede calcular u tervalo de cofaza para µ 0 : la dstrbucó de ŷ 0 es N(µ 0,σ 2 x t 0 (Xt X) 1 x 0 ), luego ŷ 0 µ 0 σ x t t p 1. Se usa este estadístco para costrur u tervalo de cofaza de vel 1 α 0 (Xt X) 1 x 0 para µ 0 : ( ) IP ŷ 0 t α/2 p 1 σ x t 0 (Xt X) 1 x 0 µ 0 ŷ 0 +t α/2 p 1 σ x t 0 (Xt x) 1 x 0 = 1 α U problema dstto es de estmar u tervalo para y 0. Hablamos de u tervalo para la predccó. E 77

22 este caso hay que tomar e cueta de la varaza aleatora y 0 : y 0 = ŷ 0 + ˆε 0. La varaza de ˆε 0 es gual a: σ 2 + ˆσ 2 x t 0 (Xt X) 1 x 0, dado que ŷ 0. U tervalo de predccó para y 0 se obtee y 0 ŷ 0 etoces a partr de ˆσ 1 + (x t 0 (Xt X) 1 x 0 ) t p 1 El tervalo es etoces defdo por: ( ) IP ŷ 0 t α/2 p 1 ˆσ 1 + x t 0 (Xt X) 1 x 0 y o ŷ 0 +t α/2 p 1 ˆσ 1 + x t 0 (Xt X) 1 x 0 = 1 α Caso de modelo de rago completo. Vmos que e el caso de ua matrz X de rago r meor que p + 1, la solucó de las ecuacoes ormales o es úca. se habla e este caso de modelo de rago completo. Costruyedo ua solucó de las ecuacoes ormales a partr de ua versa geeralzada A = (X t X) o se obtee ecesaramete u estmador sesgado de β. E efecto, s b es ua solucó de las ecuacoes ormales: (X t X)b = X t Y etoces b = AX t Y E(b) = AX t E(Y ) = AX t Xβ. S H = AX t X, etoces E(b) = Hβ Hβ β e geeral: b es u estmador sesgado de Hβ y o de β. S embargo, Ŷ = Xb = (XAX t )Y es úco, dado que XAX t o depede de la versa geeralzada A. Luego E(Ŷ ) = E(Xb) = (XAX t )Xβ = Xβ. Los vectores Ŷ de las predccoes y ˆε de los resduos so varates e sesgados y ˆσ 2 = Y t (1 XAX t )Y el estmador de σ 2 lo es també. r Se preseta tres efoques para estudar estos modelos de rago completo medate u modelo reducdo; a partr de fucoes estmables; medate restrccoes detfcables sobre los coefcetes del modelo. Veremos las relacoes que exste etre estos métodos El modelo reducdo. Sea X de rago r (< p + 1), etoces U M r,p+1 r tal que X = (X 1 X 2 ) co X 1 de rago completo r 78

23 X 2 = X 1 U. Etoces, s β = ( β 1 β 2 ) : Xβ = X 1 β 1 + X 2 β 2 = X 1 (β 1 +Uβ 2 ) = X 1 β + El modelo se escrbe etoces: Y = Xβ + ε = X 1 β + + ε, que es u modelo de rago completo sobre X 1 equvalete al modelo de rago completo: ˆβ + = ˆβ 1 +U ˆβ 2 = (X t 1 X 1) 1 X t 1 Y E(ˆβ + ) = β + Var(β + ) = σ 2 (X t 1 X 1) Fucoes vectorales estmables Defcó 3.3 Sea E = R p+1 el espaco vectoral de los parámetros β y G = R k. Ua aplcacó leal H : E G es estmable s exste ua aplcacó leal L : IR G (L l(ir,ir k )) tal que E(LY ) = Hβ. Cuado G = IR, se habla de fucó estmable. Veamos a cotuacó alguas codcoes para que H sea estmable. Teorema 3.2 Ua codcó ecesara y sufcete para que H : E G sea estmable es que exste L l(ir,ir k ) (o L M k, ) tal que LX = H. Demostracó: S H es estmable L l(ir,ir k ) tal que E(LY ) = Hβ E(L(Xβ+ε)) = Hβ LX = H. Fgura 3.7: Esquema de fucoes Teorema 3.3 Ua codcó ecesara y sufcete para que H sea estmable es que Ker(X) Ker(H). Demostracó: ( ) S H es estmable L l(ir,ir k ) tq LX = H; s Xb = 0 Hb = 0, luego Ker(X) Ker(H). ( ) S Ker(X) Ker(H), luego s Xb = 0 Hb = 0 L M k, : LXb = Hb = 0. Sea IR p+1 = Ker(X) F, etoces X es u somorfsmo sobre W = Im(X) = X(IR p+1 ) = X(F). Etoces a todo Y W correspode 79

24 a u solo b F tal que Y = Xb. S se toma LY = Hb, lo que defe L de maera úca, se tee Y W : LY = Hb, es decr que b F : LXb = Hb. Se deduce etoces que H es estmable. Cosecuecas del teorema: Sea b ua solucó de las ecuacoes ormales. S H es estmable, etoces Hb o depede de la solucó partcular b elegda. E efecto, b = b 0 +b 1 e que b 0 Ker(X), b 1 úco. Luego b 0 Ker(H) y Hb = Hb 0 + Hb 1 = Hb 1 que es varate. Además LXb = Hb o depede de L. Además Hb es sesgado para Hβ. S se busca u estmador sesgado de β, como se tee q = p + 1, H es la detdad e IR p+1 y como Ker(H) = {0} Ker(X) = {0}. El modelo tee que ser de rago completo. E coclusó, e u modelo de rago completo, toda fucó vectoral de X es estmable Aplcacó al modelo de rago completo. ( Sea X de rago r y X = (X 1 X 2 ) e que X 1 es de rago completo r y X 2 = X 1 U. Sea β = descomposcó de β tal que Xβ = X 1 β 1 + X 2 β 2. Sea β 1 L 1 de dmesó r y β 2 L 2 de dmesó p + 1 r. Etoces β + = β 1 +Uβ 2 L 1. β 1 β 2 ) la Fgura 3.8: Teorema 3.4 Ua codcó ecesara y sufcete para que H l(ir p+1,ir k ) sea estmable es que H 2 = H 1 U, e dode H 1 y H 2 so las restrccoes de H a L 1 y L 2. Demostracó: S H es estmable, exste L tal que LX = H y además LX 1 = H 1 y LX 2 = H 2. LXβ = L(X 1 β 1 + X 2 β 2 ) = LX 1 β 1 + LX 2 β 2 = H 1 β 1 + H 2 β 2. Pero LX 2 = LX 1 U, por lo tato H 2 = H 1 U. Recíprocamete, s H 2 = H 1 U, mostramos que se puede costrur L tal que LX = H. Observemos que basta costrur L, sobre Im(X). Además X 1 es de rago completo, luego Y Im(X) L 1 tq Y = X 1 b 1. Exste L tal que LY = LX 1 b 1. Etoces H 2 = LX 1 U = LX 2.!b 1 80

25 Fgura 3.9: Falmete β IR p+1 : LXβ = L(X 1 β 1 + X 2 β 2 ) = H 1 β 1 + H 2 β 2 = Hβ. Luego H es estmable. Cosecuecas: el teorema de Gauss-Markov, que vmos para el caso de modelo de rago completo, puede aplcarse al caso de u modelo de rago completo para estmadores de fucoes estmables: Teorema 3.5 S H es ua fucó vectoral estmable, el úco estmador leal sesgado de míma varaza de Hβ es H ˆβ e dode ˆβ es cualquera solucó de las ecuacoes ormales. Demostracó: Hβ = H 1 β 1 + H 2 β 2 = H 1 β + H ˆβ = H 1 ˆβ+ que o depede de la partcó X e X 1 y X 2. Var(H ˆβ) = Var(H 1 ˆβ+ ) = σ 2 H 1 (X t 1X 1 ) 1 H t Estudo mpoedo restrccoes. S el rago de X es gual a r < p + 1, se tee p + 1 r grados de determacó e la eleccó de ˆβ. Se puede levatar esta determacó mpoedo p + 1 r restrccoes leales depedetes sobre ˆβ, de maera que coocedo Ŷ, se obtega u úco estmador β de β tal que Ŷ = Xβ. Las restrccoes so de la forma Kβ = 0 co K M p+1 r,p+1, K es de rago s = p + 1 r. Se tee etoces que estmar β co β tal que Ŷ = Xβ co la restrccó Kβ = 0. (1) Veamos que esta codcó os asegura de obteer la ucdad co cualquer K de rago s. 81

26 Teorema 3.6 Cosderado K 1 y K 2 las restrccoes de K a L 1 y L 2, la codcó ecesara y sufcete para que (1) tega ua solucó úca es que K 2 K 1 U sea vertble. Demostracó: La ecuacó (1) puede escrbrse usado la partcó X = (X 1,X 2 ); { ˆβ+ = ˆβ 1 +U ˆβ 2 = (X t 1 X 1) 1 X t 1 Y K 1 ˆβ1 + K 2 ˆβ2 = 0 { ˆβ 1 = ˆβ + U ˆβ 2 (K 2 K 1 U)ˆβ 2 = K 1 ˆβ+ (2) este sstema de ecuacoes (2) tee ua solucó úca s y solo s K 2 K 1 U es vertble. Notas: K o puede ser estmable e este caso. S lo fuera K 2 = K 1 U y ˆβ 2 o es úco. S H es estmable, Hβ o depede del estmador β solucó de las ecuacoes ormales por lo tato de las restrccoes elegdas. Dos maeras de ecotrar la solucó de (2): Como Kb = 0, se puede escrbr las ecuacoes ormales de la forma: (X t X + MK)β K = X t Y e dode M es ua matrz tal que X t X + MK vertble. El problema es de ecotrar esta matrz M. La otra maera, más operatva, cosste e costrur el modelo aumetado: [ X t X K t K 0 ]( β 0 ) = ( X t Y 0 ). S la matrz aumetada A = ( X t X K t K 0 ) es vertble, su versa se escrbe: A 1 = ( C P P t Q ), etoces β = CX t Y Itervalos y regoes de cofaza. Vmos que los test de hpótess sobre los parámetros dvdualmete o so adecuados e geeral. Por la msma razó, o se costruye e geeral tervalo de cofaza para cada parámetro por separado. Se propoe costrur regoes de cofaza o tervalos smultáeos de cofaza. 82

27 Regoes de cofaza. Vemos aquí tervalos o regoes de cofaza para parámetros dvdualmete o para fucoes de los parámetros. Para cada parámetro β j del modelo leal, se puede costrur u tervalos de cofaza utlzado: ˆβ j β j ˆσ j t r e dode ˆσ 2 j es la estmacó de Var(ˆβ j ) = σ 2 (X t X) 1 j, j ; es decr ˆσ2 j (Xt X) 1 j, j. El tervalo de cofaza de vel de cofaza gual a 1 α es: [ˆβ j t α/2 r ˆσ j, ˆβ ] j +t α/2 r ˆσ j Para ua combacó leal del vector β : a t ˆβ a t β t r, luego el tervalo de cofaza es: ˆσ a t (X t X) 1 a [ ] a t α/2 ˆβ t r ˆσ a t (X t X) 1 a,a t α/2 ˆβ +t r a ˆσ t (X t X) 1 a Para u vector Aβ IR k co A M k,p+1, sabemos de que (β ˆβ) t A t [A(X t X) 1 A t ] 1 A(β ˆβ) σ 2 χ 2 k so depedetes. y 1 σ 2 ˆε 2 χ 2 r Luego (β ˆβ) t A t [A(X t X) 1 A t ] 1 A(β ˆβ) k r ˆσ2 F α k, r defe ua regó de cofaza elpsodal para Aβ Ejemplo 3.7 Sea p = 3, = 18, (X t X) 1 = , 2 ˆσ 2 = y ˆβ = Las varazas de β 1 y β 2 so: ˆσ 2 1 = 1 y ˆσ2 2 = 1. Los tervalos de cofaza dvduales co 1 α = 0,95 para β 1 y β 2 so: β 1 [ 0,13;4,13] y β 2 [ 1,13;3,13]. El tervalo para β 1 β 2 : a t = ( ); Var(a t ˆβ) = 3 β 1 β 2 [ 2,691;4,691]. El tervalo para β 1 + β 2 : a t = ( ); Var(a t ˆβ) = 1 β 1 + β 2 [0,891;5,131]. 83

28 E la fgura3.10a se represetó los dos tervalos de cofaza dvduales para β 1 y β 2 y e la fgura3.10b, las regoes de cofaza para β 1 β 2 y β 1 + β 2. Fgura 3.10: (a) Itervalo para β 1 y β 2 (b) Itervalo para β 1 β 2 y β 1 + β Itervalos smultáeos de cofaza. Vmos que par u vector Aβ IR k co A M k,p+1, la regó de cofaza elpsodal es tal que IP((β ˆβ) t A t [A(X t X) 1 A t ] 1 A(β ˆβ) k r ˆσ2 F α k, r ) = 1 α. Ahora be, s represetamos esta regó, por ejemplo, co los k tervalos asocados a los a t jβ, j = 1,2,...k es dode a t j es la fla j de A, tomado la terseccó de los k tervalos: [ ] a t ˆβ k j r ˆσFα rvar(a t ˆβ),a j t ˆβ k j + r ˆσFα rvar(a t ˆβ) j obteemos ua regó más ampla que la defda por el elpsode. E efecto: ( (u t b) 2 ) Proposcó 3.3 S C es vertble, etoces sup u 0 u t = b t C 1 b. Cu Demostracó: ( ) v αh 2 = α 2 h 2 2αh t v + v 2 = α h ht v 2 + v 2 (ht v) 2 h h

29 Para h 0 v 2 h 2 (h t v) 2. Luego (ht v) 2 h = C 1/2 b obteemos (bt u) 2 u t Cu bt C 1 b. v 2 h 2 sup v 0 Aplcado este resultado a la regó de cofaza de Aβ: (h t v) 2 v 2 ( IP (β ˆβ) t A t [A(X t X) 1 A t ] 1 A(β ˆβ) k ) r ˆσ2 Fk, r α = 1 α. y tomado γ = Aβ, C = [A(X t X) 1 A t ] y q = k r ˆσ2 F α k, r, obteemos = h 2. Tomado v = C 1/2 u y ( IP((ˆγ γ) t C 1 (ˆγ γ) q) = 1 α IP u 0 : (ut (ˆγ γ) 2 ) ) u t q = 1 α. Cu Ahora be, cuado se quere u tervalo para Aβ, es equvalete a pedr k tervalos I j al msmo tempo para los a t j β, j = 1,2,...,k e dode at j es la fla j de A. De lo ateror deducmos que el elpsode obtedo para Aβ es más que lo que pedmos que es para j I j : IP( I j ) 1 α. Para A = I, Scheffé propoe proyectar el elpsode asocado a β sobre los ejes de coordeadas. E geeral puede ser demasado pesmsta dado que IP( I j ) 1 α. Boferro propoe smplemete que cada I j sea tal que IP(I j ) = 1 α k tee que IP( I j ) 1 α. E efecto ( j = 1,2,...,k). Aquí també se IP( I j ) = 1 IP ( I j ) = 1 IP ( Ij ) 1 j IP ( ) I j = 1 α j = 1 α. j 3.9. Ejerccos. 1. Cuatro médcos estuda los factores que explca porque hace esperar a sus pacetes e la cosulta. Toma ua muestra de 200 pacetes y cosdera el tempo de espera de cada uo el día de la cosulta, la suma de los atrasos de los médcos a la cosulta este msmo día, el atraso del pacete a la cosulta este día (todos estos tempos e mutos) y el úmeros de médcos que está al msmo tempo es la cosulta este día. Se ecuetra u tempo promedo de espera de 32 mutos co ua desvacó típca de 15 mutos. Se estuda el tempo de espera e fucó de las otras varables medate u modelo leal cuyos resultados está dados a cotuacó: 85

30 Varable Coefcete Desv. típca t-studet IP( X > t) Costate 22,00 4,42 4,98 0,00 Atraso médco 0,09 0,01 9,00 0,00 Atraso pacete -0,02 0,05 0,40 0,66 Número de médcos -1,61 0,82 1,96 0,05 Coef. determacó=0,72 F de Fsher=168 IP(X > F) = 0, 000 Cuadro 3.1: Resultados de la regresó a) Iterprete los resultados del modelo leal. Comete su valdez global y la flueca de cada varable sobre el tempo de espera. Especfque los grados de lbertad de las t de Studet y la F de Fsher. b) Muestre que se puede calcular la F de Fsher a partr del coefcete de determacó. S se troduce ua varable explcatva suplemetara e el modelo, el coefcete de determacó sará más elevado? c) Dé u tervalo de cofaza a 95 d) Predecr el tempo de espera, co u tervalo de cofaza a 95que llega a la hora u día que el cosultoro fucoa co 4 médcos que tee respectvamete 10, 30, 0, 60 mutos de atraso. 2. Supoga que teemos u modelo leal Y = Xβ + ε co ε N (0,σ 2 I ), βεir p+1, XεM,p+1 (IR). a) Escrbamos X como: X = (X 1,X 2 ), co X 1 y X 2 submatrces de X tales que X1 ( tx 2 = 0 ) (la matrz ula). El modelo cal Y = Xβ + ε se escrbe Y = X 1 β 1 + X 2 β 2 + ε co β = β 1 β 2. S ˆα 1 es el estmador de máxma verosmltud( de α 1 ) e el modelo Y = X 1 α 1 + ε y ˆα 2 es el estmador de ˆα1 máxma verosmltud de β es gual a. ˆα 2 (Idcacó: [ se usará el sguete ] resultado: s A M, (IR) es ua matrz dagoal por bloque,.e. A 1 A = 0 A 1, co las submatrces A 1 y A 2 vertbles, etoces A es vertble, y [ ] 2 A 1 A 1 0 = ). 0 A 2 ( ) b) S X1 tx 2 0 y s se toma ˆβ ˆα1 = como estmador de β, que propedad perde ˆβ bajjo el ˆα 2 supuesto usual E(ε) = Cosderemos tres varables Y, X, Z observadas sobre ua muestra de tamaño = 40, {(y,x,z ) tq = 1,...,40}. Se busca explcar Y lealmete a partr de X y Z. 86

31 Varable Medas Desv. típca Y 11,68 3,46 X 5,854 2,74 Costate Estmacó Dev. típca estmacó t-studet IP( X > t) α 7,06 1,03 6,84 0,00 β 0,79 0,16 4,94 0,00 Coef. determacó=0,39 F de Fsher=24,44 IP(X > F) = 0, 000 Cuadro 3.2: Resultados de la regresó a) Se represeta los resultados de modelo leal: y = α + βx + ε, = 1,...,40: Iterprete estos resultados y efectúe el test de hpótess H 0 : β = 0. b) Dé ua estmacó sesgada para σ 2 la varaza de los errores de este modelo. c) Comete el gráfco de los resduos e fucó de los y. d) Se tee ua ueva observacó que toma sobre la varable X el valor x 0 = 6,50. Dé ua estmacó ŷ 0 del valor y 0 que toma sobre la varable Y. e) Se preseta los resultados del modelo leal: y = δ + γz + ε : Varable Medas Desv. típca Y 11,68 3,46 Z 0,00 2,65 Costate Estmacó Dev. típca estmacó t-studet IP( X > t) δ 11,68 0,36 32,54 0,00 γ 1,00 0,14 7,27 0,00 Coef. determacó=0,58 F de Fsher=52,78 IP(X > F) = 0, 000 Cuadro 3.3: Resultados de la regresó Se tee x z = 0 y z = 0. Muestre que s X 1 = (1 X) es ua matrz formada del vector de uos y del vector de los x y X 2 Z el vector formado de los z, se tee X t 1 X 2 = 0. Usado los resultados del ejercco 2 deduzca las estmacoes de los parámetros del modelo y = β 0 + β 1 X + β 2 Z + ε. 4. Se requere ajustar ua fucó escaló y = f (t) co f costate e los tervalos e que j = 0,..., K y a 0 < a 1 <... < a K. Para ello se observa datos {(t,y ) mutuamete depedetes y que la dstrbucó de los y es N( f (t ),σ 2 ). a) Formule el problema ateror como modelo leal. b) Obtega la fucó ajustada por mímos cuadrados. 87 = 1,...,}. Se asume que los y so

32 ak c) Cocluya u tervalo de cofaza para f (t)dt. a 0 5. Sea Y IR u vector aleatoro co E(Y ) = µ y Var(Y ) = σ 2 I. Se cosdera el modelo leal Y = Xβ + ε, e que X M,p es de rago completo. Llamaremos W al subespaco de IR cojuto mage de X e Ŷ al estmador de mímos cuadrados de µ = E(Y ). a) Sea a W y a la recta geerada por a. Se defe H 0 = {z W tq a t z = 0} el suplemeto ortogoal de a e W. Se tee etoces la descomposcó e suma drecta ortogoal de W: W = H a ( a. Muestre ) que el estmador de mímos cuadrados Y de µ e H a se escrbe como: Y = Ŷ a t Ŷ a t a. a b) S b IR, muestre que Var(b t Y ) = Var(b t Ŷ ) σ 2 (b t b) 2 a t a. c) Supoedo que los errores so ormales, dé la dstrbucó de d) Se cosdera el caso partcular a = I. Dé la dstrbbucó de varables so cetradas, Ŷ = Y. 6. Teorema de Gauss-Markov geeralzado. ε 2 σ 2, e que ε = Y Y. Y 2 /p ε 2. Muestre que s las /( p) S Var(Y ) = Γ, Γ vertble, etoces el estmador ˆβ sesgado de míma varaza etre los estmadores leales sesgados de β es aquel que mmza Y Xβ 2 Γ 1. a) Ecuetre el estmador de máxma verosmltud de β y Γ. b) Demuestre el teorema. 88

33 c) S el rago de X es gual a r, muestre que la orma del vector de resduos de u modelo leal Y Ŷ 2 Γ 1 χ 2 r e dode Ŷ la proyeccó Γ 1 -ortogoal de Y sobre Im(X). 7. Sea el modelo leal: y = β 0 + β 1 x,1 + + β p x,p + ε, = 1,2,...,. Matrcalmete Y = Xβ + ε, co rago(x) = p + 1, E(ε) = 0, Var(ε)σ 2 I. [ ] a) Se escrbe X t a t X =. Dé las expresoes de a y V. Muestre que V es defda postva. a V ( ) Muestre que a es u vector ulo cuado las varables explcatvas está cetradas Relacoe los valores propos de V co los de V 1. b) Muestre que Var(ˆβ) sujeto a j : j alcaza su mímo cuado X t X es dagoal. x, j = 0 y j : j : x, j = 0 x 2, j = c (c es ua costate postva) c) E qué dfere de las propedades optmales obtedas e el teorema de Gauss-Markov? d) Se supoe que X t X es dagoal co j : x, j = 0 y j : x 2, j = c. Deducr las expresoes de ˆβ, Var(ˆβ), Ŷ. Exprese el coefcete de correlacó múltple R 2 e fucó de los coefcetes de correlacó leal de Y co las varables explcatvas X. 8. Sea el modelo leal Y = Xβ + ε, co X de rago completo pero X t X o dagoal. a) Dé la expresó de ua predccó de la varable respuesta Y y u tervalo de cofaza asocado. b) Se hace u cambo de base de las columas de X, sea Z la matrz de las uevas columas, de maera que Im(X) = Im(Z) y que Z t Z sea dagoal. Muestre que el cambo de varables explcatvas o camba las predccoes de Y. Deduzca la expresó del tervalo de cofaza e fucó de Z. 9. Cocluye el test de razó de verosmltudes para la hpótess ula H 0 : Aβ = c para los supuestos usuales. Muestre que es equvalete al test F de Fsher dado e Sea el modelo leal Y = Xβ + ε co ε N (0,σ 2 I ), X M p de rago completo. Sea Aβ ua fucó vectoral estmable de β, co A M sp de rago completo s. Muestre que A(X t X) A t es vertble.. 89