I.- Distribución Normal Multivariada

Transcripción

1 II Modelo de Regresó Leal Mahl Herrera M. I.- Dsrbucó Normal Mulvarada. Resulados de Álgebra Leal Lema... A y B so dos marces cuadradas co versa cada ua eoces (AB - B - A - Lema... a r(a+br(a+r(b b r(abr(ba semre que AB y BA ueda efecuarse Lema..3.. S ua marz A es smérca eoces ambé lo es su versa A -. O sea, s A es smérca, (A - A -. Lema..4. a AB A B b A - A Lema..5. Las raíces caracerísca de ua marz smérca so reales. Lema..6. Las raíces caraceríscas de A dsas de cero so gual al rago de A. Lema..7. Ua marz smérca co raíces guales a cero o a uo es ua marz demoee. Lema..8 S A + B I y AB 0, eoces A y B so demoees. Lema..8. S A es demoee y smérca de rago r, exse ua marz orogoal P al que P AP Er dode Er es ua marz dagoal co r elemeos guales a uo y el reso a ceros. Lema..9. S A es demoee y smérca de rago r eoces r(a r. Lema..0 S A es demoee y smérca y P es orogoal P AP es demoee y smérca.

2 I Dsrbucó Normal Mulvarada Mahl Herrera M. Defcó... S X AX > 0 se dce que X AX es defda osva, ara odo X 0 y A es osva. Defcó... S X AX 0 se dce que X AX es semosva, ara odo X 0 y A es semosva. Defcó..3. S A es osva o semosva A es o egava. Lema... La marz A es osva s, y sólo s odos los deermaes de sus marces agulares so osvos. Lema... S P es o sgular P AP es o o es defda osva ( sem s A es o o lo es. Lema..3. Marces defdas osvas so o sgulares. Lema..4. Marces semosvas so sgulares ( el caso coraro o semre ocurre es decr ua marz sgular o es semre semosva. Lema..5. Las raíces de ua marz osva ( sem so odas mayores que cero ( mayor o gual a cero. Lema..6. AA es osva cuado A es de rago comleo or flas y semosva e cualquer oro caso. Lema..7. A A es osva cuado A ee rago comleo or columa y semosva e cualquer oro caso. Lema..8. S A es smérca de orde y rago r uede escrbrse como A LL, L es de r de rago r. Lema..9. S A es smérca, es osva s, y sólo s uede escrbrse como PP co P o sgular. Lema..0 (Lema de Loyes. S B es smérca e demoee y Q es smérca y o egava y s I B Q es o egava eoces BQ QB 0. Dermosracó. Sea Y BX ara algú X, eoces Y BY Y BBX Y BX Y Y y Y (I B QY Y QY

3 Acuaría Aálss de Regresó 3 como I B Q es o egava eoces Y QY 0, como Q es smérca, Q L L, Y QY Y LL Y 0 mlca que L Y 0 y eoces L L Y 0, lo que es lo msmo QY QBX 0 como es ara algú X, QB 0 y así eemos (QB BQ BQ 0 Teorema... S A so marces de smércas de rago k,,,. Sea A A, smérca de rago k Eoces las codcoes a A es demoee ara odo b AAj 0 ara odo j c A es demoee d k k I Para algua de las dos a, b y c mlca a, b, c y d. II s c y d a y b IIIs c y A, A,, A demoees co A o egava mlca A demoee mlca a y or cosguee b y d. Demosracó. I S se cumle a y c b Podemos observar que I A es demoee y or ao o egava y A A Aj or a es o egava I A + A A Aj I A Aj, eoces or Loyes AAj 0 ara j. I S se cumle b y a c r r j A A AA A A A + j j j A A. I S se cumle b y c a Av Sea Av λv ara odo λ 0, desejado v λ, eoces A AAv v, λ

4 4 I Dsrbucó Normal Mulvarada Mahl Herrera M. Por b Av 0, luego eoces eemos que Av Av λv, como A es demoee, eoces sus raíces debe ser 0 ó, or lo ao las raíces de A so 0 ó lo que sgfca que A es demoee hacedo lo msmo ara el reso de las marces eemos que a se verfca. I S se cumle a y c d II S c y d a y b k rago(a r(a r A ( r A k Como A es demoee A I lo es y ee rago k, eemos que (A IX 0 ee k ecuacoes lealmee deedees AX 0 ee k ecuacoes lealmee deedees AX 0 ee k ecuacoes lealmee deedees El úmero máxmo de ecuacoes lealmee deedees del ssema aeror es k, el ssema aeror lo odemos reducr a AX X, ee or lo meos ( kk ecuacoes lealmee deedees. Teemos que es ua raíz caracerísca de A, co mullcdad de al meos k, ero como rago(a k, así eemos A que es demoee, co lo que queda demosrado el uo II. Ahora III S c y A, A,, A demoees co A o egava mlca A demoee que mlca a y or cosguee b y d. Como A es o egava eoces ambé lo es I A, como A, A,, A demoees, sgfca que so o egavas y como ambé es o egava eoces A A Aj r r j A es o egava Luego I A + A A Aj I A Aj, es o egava eoces or Loyes AAj 0 ara j. Co lo que b se cumle y de ahí odas las demás. Teorema... S X es u vecor de co elemeos x y sea A u vecor de co Z Z x elemeos a y sea Z X A A X la dervada de Z co reseco a X es X A Z x Demosracó.

5 Acuaría Aálss de Regresó 5 Z El -ésmo elemeo de es; X Z así que el -ésmo elemeo de X ax j j Z j x x es a, or lo que Z X A Teorema..3. Sea A u vecor de y B de q y X ua marz de q cuyo j-ésmo elemeo es x j. Sea Z A XB q Z ax mbm, eoces X AB. m Demosracó. Z El j-ésmo elemeo de es X q ax mbm Z m x x or ao se sgue que j Z X AB. j abj Teorema..4. Sea A ua marz smérca de y X de. Sea Z X AX, eoces Z A XX D(XX, dode D(XX es la marz dagoal cuyos elemeos so la dagoal de XX. Demosracó. Z El j-ésmo elemeo de es A xxa m m Z m a a Z s j, x a j j. S j j Z a x Z xj. Así eemos que j A XX D(XX.

6 6 I Dsrbucó Normal Mulvarada Mahl Herrera M. Teorema..5. Sea A ua marz smérca de y X de. Sea Z X AX, eoces Z X AX. Demosracó. Z El j-ésmo elemeo de es X xxa m m Z m x x q + xmamm xxmam m m m x luego eoces Z X AX. xa + xa xa. Normal Mulvarada.. Defcó y roedades La geeralzacó de la fucó de desdad de ua dsrbucó Normal a varas dmesoes juega u ael morae e el aálss de regresó. Ua veaja de la dsrbucó ormal mulvarada are del hecho de que es maemácamee raable y se uede obeer resulados bueos. Frecueemee ese o es el caso co oras dsrbucoes mulvaradas. Aes de defr la dsrbucó Normal Mulvarada, ecesamos defr alguos momeos de u vecor aleaoro, es decr, u vecor cuyos comoees esá

7 Acuaría Aálss de Regresó 7 dsrbudos cojuamee. La meda o eseraza de u vecor aleaoro X m esa defdo or ser el vecor de eserazas: E( x E(X E( x m x x m de Mas geeralmee, s Z (zj es ua marz aleaora de q, eoces E(Z, la eseraza de Z, es la marz cuyo j-ésmo elemeo es E(zj. Auque o eremos e dealle del desarrollo del sguee resulado, es smle comrobar que s B, C y D so marces de cosaes de m, q y m resecvamee, eoces E (BZC + D B E(Z C + D (. S X ee meda μ la marz de varaza-covaraza(varcov de X esa defda or la marz de Σ Cov(X E(X μ(x μ. El elemeo j-ésmo de Σ es E ( ( j x - μ x j - μ j, la covaraza ere las varables x y xj, y el -ésmo elemeo es ( E x - μ, la varaza de x, la marz de varaza-covaraza la odemos oer como Σ es decr, es ua marz de orde y dode j es la covaraza ere la varable j e, como odemos ver los elemeos de la dagoal de Σ so o egavos. Σ es smérca, es decr, Σ Σ. Además, la clase de marces de varaza-covaraza cocde co la

8 8 I Dsrbucó Normal Mulvarada Mahl Herrera M. clase de marces o-egavas defda. Recordemos que ua marz smérca A de m m es o egava defda s y defda osva s α A α 0 ara oda α R m α A α > 0 ara oda α R m. Teorema... La marz Σ de m m es ua marz de varaza-covaraza, s, y solo s es o-egava defda. Demosracó. Suogamos que Σ es la marz de varaza-covaraza de u vecor aleaoro X, dode X ee meda μ, eoces ara oda α R mx, Var (α X E [ (α X α μ (α X α μ ] (. E [α (X μ ( X μ α] α Σ α 0 luego Σ es o egava defda. Ahora suogamos que Σ es ua marz o-egava defda de rago r, dgamos (r m. Escrbmos Σ C C, dode C es ua marz de m r de rago r. Sea Y u vecor de r de varables aleaoras deedees co meda 0 y Cov (Y I ara X CY. Eoces E (X 0 y al que Σ es ua marz varcov. Cov (X E [XX ] E[C YY C ] CE (Y Y C CC Σ, Comúmee hacemos rasformacoes leales de vecores aleaoros y ecesamos saber como las marces de varaza-covaraza so rasformadas. Suogamos que X es u vecor aleaoro de m co meda μx y marz de varazacovaraza Σx y sea Y BX + b, dode B es de k m y b es de k. la meda de Y es, μy B μx + b, y la marz de varaza-covaraza de Y es; Σy E[ (Y μy (Y μy ] (.3 E [ ( BX + b (BμX + b (BX + b (BμX + b ] BE[(X μx (X μx ]B

9 Acuaría Aálss de Regresó 9 B Σ B Recordemos que la dsrbucó ormal uvarada, co meda μ y varaza, ee fucó de desdad: f(x π ahora cosderado el exoee: e xμ - < x < x μ (x μ ( - (x μ odemos geeralzarlo ara u vecor de las observacoes sobre varas varables, X de al que edríamos (X μx Σ (X μx dode el vecor μx de reresea el valor eserado del vecor aleaoro X y la marz Σ es la marz de varaza covaraza. La cosae de la ormal uvarada se susuya or ua cosae π mas geeral, la cosae ara la dsrbucó ormal mulvarada es ( π / Σ /, cosecueemee la desdad ormal dmesoal ara el vecor aleaoro X ee la forma: fx (X / / (π Σ e ( X μx Σ ( X μ X dode - < x <,,...,. y Σ es de rago. La meda de X esa defda or E[X] μ, y la marz de varaza covaraza or E [(X μx(x μx ] Σ. Usualmee la desdad ormal -dmesoal se deoa or N (μ, Σ, la cual es aáloga al caso uvarado. Ahora daremos la defcó formal de la desdad ormal mulvarada. Defcó... S y, y,,y so varables aleaoras y s Y es el vecor de esas varables Y μ R Y μ f(y, y,,y K ( e ( - < y <,,, es la fucó de desdad de ua ormal mulvarada s se cumle a R es ua marz defda osva, rj so cosaes.

10 0 I Dsrbucó Normal Mulvarada Mahl Herrera M. b K es ua cosae osva. c μ es el -ésmo elemeo de μ, μ so cosaes. / R K ( π Hacedo R Σ, eemos la msma fucó deducda aerormee a arr de la fucó de desdad ormal uvarada. Ora defcó alera es la sguee. Defcó... El vecor aleaoro de m X se dce que ee ua dsrbucó ormal m-varada s, ara cada α R mx, la dsrbucó de α X es ormal uvarada. A arr de las defcoes ahora esableceremos alguas roedades de la dsrbucó ormal mulvarada. Teorema... S X es Nm (μ, Σ eoces la fucó caracerísca de X es / v R mx φx (v ex ( v μ ½ v Σ v. (.4 Demosracó. Aquí φ, φx (v E [ ex(v X ] ( vx El lado derecho deoa la fucó caracerísca de la varable aleaora v X evaluada e. Ya que X es Nm(μ, Σ eoces v X se dsrbuye como ua ormal uvarada, v X N(v μ, v Σv al que lo cual comlea la demosracó. ( φ ex ( v μ ½ v Σ v. vx S u co,,, r, so v.a...d co dsrbucó ormal esádar, s U es el vecor de r cuyos elemeos so dchas varables. φu(v E [ ex ( v U ]

11 Acuaría Aálss de Regresó Ahora s oemos r j j j deedeca r ex v j ex v v E ex( vu (or X CU + μ j (or ormaldad dode C es ua marz de m r de rago r al que Σ CC, y μ R mx. Eoces X ee fucó caracerísca (.4, E [ex (v X] E[ ex (v CU ] ex (v μ φu(c v ex ( v μ ex (- ½v CC v ex ( μ v ex ( v μ ½ v Σ v. Vale comear que odríamos haber defdo la dsrbucó ormal mulvarada Nm(μ, Σ or medo de la rasformacó leal sobre varables ormal esádar deedees. Tal que dcha rereseacó e la rácca es muy úl... Formas leales, Margales y Codcoales. Regresado a las roedades de la dsrbucó ormal mulvarada, los sguees resulados muesra que cualquer rasformacó leal de u vecor ormal ee ua dsrbucó ormal. Teorema..3. S X es Nm ( μ, Σ y B es ua marz de dmesó k m, b es u vecor de k, eoces Demosracó. Y BX+b es Nk ( Bμ + b, B Σ B. El hecho de que Y es ormal k-varada es ua cosecueca dreca de la defcó.., ueso que odas las fucoes leales de los comoees de Y so

12 I Dsrbucó Normal Mulvarada Mahl Herrera M. fucoes leales de los comoees de X y esos so odos ormales. La meda y la covaraza de la marz Y esá claramee defdas. Ua roedad morae de la dsrbucó ormal mulvarada es que odas las dsrbucoes margales so ormales. Teorema..4. S X es Nm ( μ, Σ, eoces la dsrbucó margal de cualquer subcojuo de k < m comoees de X es ormal k-varada. Demosracó. Eso se sgue drecamee de la defcó, o del eorema..3. Por ejemlo, hacemos ua arcó de X, μ y Σ como X μ Σ Σ X X, μ, Σ μ Σ Σ dode X y μ so de k y Σ es de k k, oedo B [ Ik : 0] es de dmesó k m y b 0 E el eorema..3 se muesra medaamee que X es Nm ( μ, Σ. Ua cosecueca de ese eorema es que la dsrbucó margal de cada comoee de X es ormal uvarada. Lo verso o es cero e geeral; eso es, el hecho de que cada comoee de u vecor aleaoro o es (margalmee ormal o mlca que el vecor ega ua dsrbucó ormal mulvarada. [Esa es ua de las razoes or la cual el roblema de ruebas (de hóess de ormaldad mulvarada es hasa cero uo u ao comlcado e la rácca]. Recordemos que la deedeca de dos varables aleaoras mlca que la covaraza ere ellas, s esa exse, es cero, ero que el caso coraro e geeral o es cero. Esa caracerísca, ara la dsrbucó ormal mulvarada, es como la muesra el sguee resulado. Teorema..5. S X es Nm ( μ, Σ y X, μ y Σ es ua arcó como la sguee: X X X μ, μ μ Σ Σ, Σ, Σ Σ dode X y μ so de k y Σ es de k k, eoces los subvecores X y X so deedees s, y solo s Σ 0.

13 Acuaría Aálss de Regresó 3 Demosracó. Σ es la marz de covarazas ere los comoees de X y los comoees de X, de al maera que la deedeca de X y X mlca que Σ 0. Sea Σ 0, la fucó de desdad de X es, f(x ( 0 π 0 Σ / Σ / ( / / / π Σ Σ f(xf(x or lo ao X, X so deedees. e e μ Σ μ X 0 X X μ 0 Σ X μ (( ( ( ( X μ Σ X μ + X μ Σ X μ Ese eorema se uede exeder al caso dode se hace arcoes de X e u umero de subvecores. Lo morae de eso es que ara deermar s dos subvecores de u vecor dsrbudo ormalmee so deedees es sufcee comrobar que la marz de covarazas ere lo dos subvecores es cero. Teorema..6. S los vecores aleaoros X y Y de m so deedees y X + Y ee ua dsrbucó ormal m-varada, eoces X y Y se dsrbuye como ormal. Demosracó. Para cada α R mx, la dsrbucó de α (X + Y α X + α Y es ormal (or el eorema..3, ya que X + Y es ormal. Pueso que α X y α Y so deedees, mlca que ambas so ormales, y or lo ao X y Y so ormal m-varada. Ua roedad be coocda de la dsrbucó ormal uvarada es que las combacoes leales de varables ormales deedees so ormales. La geeralzacó a la suacó mulvarada, es como se muesra a couacó. Teorema..7. S X,...,XN so odas deedees, y X es Nm (μ, Σ ara,..., N, eoces ara cualquer cosae fja α,..., αn,

14 4 I Dsrbucó Normal Mulvarada Mahl Herrera M. N N N α X es N m αμ, α Σ. La demosracó de ese eorema se sgue de la defcó.., o or seccó N de la fucó caracerísca de α X. X Teorema..8. S X ~ N(μ, Σ, X R k, co X, ( X X, X so cojuamee μ + Σ Σ X μ, Σ Σ Σ Σ. ormales X X ~ N( ( Demosracó. I 0 Sea A, es claro que A I, s Σ Σ I I 0 X μ X μ W A(X-μ ΣΣ I X μ Σ Σ ( X μ + ( X μ Luego ( f W,W W W W W W ~N 0 Σ 0, 0 0 Σ Σ Σ Σ k/ ( / π Σ e ( Σ W W k ( / / π Σ Σ Σ Σ e ( W W Σ Σ Σ Σ fxx ( X,X WW ( ( f A X-μ I ( f X -μ,( X -μ Σ Σ ( X -μ W W ( π k/ Σ / e ( Σ W W k ( / / π Σ Σ Σ Σ e ( W W Σ Σ Σ Σ ( f X X X X

15 Acuaría Aálss de Regresó 5 k ( / / π Σ Σ Σ Σ e (( X ( X ( ( X ( X ( μ Σ Σ μ Σ Σ Σ Σ μ Σ Σ μ Como odemos ver X X ~ N( ( μ +Σ Σ X μ, Σ Σ Σ Σ. Defcó..3. A Q (X μ Σ (X μ se le deoma la forma cuadráca asocada X μ Σ X μ a la fucó de desdad fx(x K ( ( X e X Teorema..9. S X ~ N(μ, Σ, X R k co forma cuadráca Q, el vecor de medas μ Q es aquel que da la solucó al ssema de ecuacoes 0. X Demosracó. La desdad la odemos oer como fx(x K el valor de X que maxmza fx(x es el valor de X al que Q0, como Q (X μ Σ (X μ y es defda osva, Q sólo uede ser cero e el uo X μ0, es decr el uo e dode X μ, or lo que odemos decr que μ es el uo que maxmza a fx(x. X La solucó al ssema f (X 0 da el uo máxmo de fx(x y or lo X mecoado aerormee al uo es μ. Pero como f X(X Q Q Ke X X X Se sgue que el vecor que sasface f (X 0, es el msmo que sasface X Q ao el vecor μ es la solucó al ssema X 0 e Q Q X 0. Por Ejemlo. Sea x, x, dos varables dsrbudos cojuamee como ua ormal mulvarada co forma cuadráca

16 6 I Dsrbucó Normal Mulvarada Mahl Herrera M. Q x + x xx 3x x+4 A arr de la forma cuadráca deseamos ecorar el vecor de medas y la marz de varaza covaraza. La forma cuadráca la odemos escrbr como Q (X μ Σ (X μ X Σ X El úco érmo que ee érmos de segudo grado es X Σ X x + x xx así eemos que Σ x x x x y Σ X X μ Σ Σ μ + μ Σ μ X Σ X, así eemos que ahora sólo os hace fala obeer la meda, or el eorema aeror esa la odemos Q obeer resolvedo el ssema X 0. Q Teemos que x x 3 0 x Q x + 4x 0 x La solucó al ssema aeror es x, x así eemos que μ y μ..3 Dsrbucó de formas cuadrácas. Recordemos que ua fucó de desdad es u mezcla de fucoes s: co j es al que j 0 y j j Defcó.3. La fucó de desdad f X (x f ( x j j j y fj(x so fucoes de desdad, j,,.

17 Acuaría Aálss de Regresó 7 fx(x; λ, f j + j j 0 dode f+j(x es la fucó de desdad de ua χ (+j y j e (x λ λ j, j 0,,,. j! a la fucó de desdad aeror se le deoma χ o ceral co arámero de o ceralzad λ y grados de lberad ( χ. (, λ Teorema.3. El valor eserado y la varaza de la varable defda aerormee so: E(X +λ V(X (+4λ Demosracó. j λ λ E(X x jf + j(xdx e ( + j +λ j! E(X 0 j 0 j + j 0 j 0 j λ λ x f (xdx j 0 ( e ( + j + ( + j j 0 j! ( + j+4j λ e + ( 4+ 4 j 0 j λ j! + +(4+4λ +4(λ+λ 4λ +8λ + 4λ + + V(X E(X E(X 4λ +8λ + 4λ + + (+λ (+4λ Teorema.3. La fucó caracerísca de ua χ(, λ es; ϕx( ( e λ Demosracó.

18 8 I Dsrbucó Normal Mulvarada Mahl Herrera M. ϕx( x e jf + j(xd 0 j 0 x λ λ x j e e f + (x 0! j j j 0 + j j λ j 0 e λ j! dx j λ λ e j 0 j! ( e λ Corolaro.3... S X se dsrbuye como ua χ(, λ, s λ 0 eoces X es ua χ(. Defcó.3.. S W χ(, λ y U (,0 χ q so dos varables deedees, la varable W V, ee fucó de desdad F o ceral co arámero de o ceraldad λ y U q y q grados de lberad e el umerador y deomador resecvamee ( F(,q,λ. Teorema.3.3. S X N(μ,I eoces X X χ (, λ, co λ μ μ. Demosracó. X X ( ϕ ( Ee E XX e j x ( xjμj j e e dx j j π e ( j π ( x j ( μ xj j +μ j e d x μ j μj ( xj j j ( π e j dx j

19 Acuaría Aálss de Regresó 9 e μ j j ( e j λ S omamos como λ co λ μμ χ, μμ, hemos llegado a la fucó caracerísca de ua (, λ Corolaro.3.3. S X N(0, I eoces X X χ(. Teorema.3.4. S X N(μ,Σ eoces X AX χ (, λ, co rago(a y λ y sólo s, AΣ es demoee. μ A μ, s, Demosracó. La fucó caracerísca de X AX es ϕ ( v e XAX ( π e ( ( X μ Σ ( X μ vx AX ( μ Σ μ e dx ( X ( IvAΣ Σ X +μ Σ X π Σ Σ ( Σ Σ( Σ e dx ( μ Σ μ μ Σ Σ IvAΣ Σ μ e I va e ( Σ I va e ( λ j j v e μ ( I( IvAΣ Σ μ k k μ ( v ( AΣ Σ μ k dode λj so las raíces caraceríscas de AΣ, co AΣ es demoee de rago, valores de λj so uo y so ceros y como ( AΣ AΣ ϕ ( v ( ( v k v e XAX j ( v e k μ AΣΣ μ μ Aμ( ( v

20 0 I Dsrbucó Normal Mulvarada Mahl Herrera M. χ(, λ luego eoces X AX, λ μ μ. A Ahora suoedo que X AX co rago(aσ. χ(, λ, hay que robar que AΣ es demoee Teemos que ϕ ( v ( μ ( I( IvAΣ Σ μ IvAΣ e ( XAX v e μ Aμ( ( v Lo aeror es ara cualquer μ, s erdda de geeraldad omemos a μ0, subsuyedo μ 0 e la gualdad aeror hacedo u v ( v ( IvAΣ ( u ( I uaσ sea λ,λ,,λ las raíces caraceríscas de AΣ, eoces eemos que ( u j ( uλ j ara que la gualdad se cumla debemos eer raíces caraceríscas guales a cero, luego eoces, os queda que ( u j ( uλ j sacado logarmo de ambos lados eemos que los λj so guales a uo, luego eoces AΣ es ua marz demoee co rago(aσ. Corolaro S X N(0,I eoces X AX es demoee. χ( k, co rago(a k,s y sólo s A Corolaro.3.4. S X N(μ,I eoces X AX s, y sólo s, A es demoee. χ, co rago(a y λ (, λ μ μ, A Teorema.3.5. S X ~ N(μ,Σ eoces BΣA 0. X AX y BX so deedees, s, y sólo s

21 Acuaría Aálss de Regresó Demosracó. Por ser A smérca AL L, dode L es de rago comleo. Por lo que Cov(BX, L X E(BX Bμ( L X L μ E( B(X-μ(X-μ L BΣ L Pero como eemos que BΣA 0 eemos que BΣL L 0, como L es de rago comleo L L ee versa y BΣ L L 0 mlca BΣ L 0 Por lo que BX es deedee de L X. Eoces BX es deedee de X L L X X AX. Ahora demosremos que s X AX y BX so deedees eoces BΣA 0. Como X AX y BX so deedees eemos que Cov(BX, X AX 0 Cov(BX, X AX E(BX Bμ( X AX E( X AX BE(X μ( X AX μaμ BE(X μ[(x μ A(X μ+ (X μ Aμ ] BΣAμ lo que sgfca que BΣA 0. Teorema.3.6. S X~N(μ,Σ, A y B smércas, X AX y X BX so deedees s y sólo, AΣB0 (o equvaleemee BΣA 0 (Cosderado que, AΣ y BΣ so demoees y el rago(aq y rago(bq Demosracó. S X AX y X BX so deedees, eemos que X AX+ X BX χ, co q+q y λ ( (, λ X (A+BX se dsrbuye como ua μ A+ B μ. Teemos que (A+BΣ debe ser demoees, luego eoces AΣB0. Ahora demosremos que s AΣB0 eoces X AX y X BX so deedees, ((A+B Σ ((A+B Σ AΣAΣ+ AΣBΣ+ BΣAΣ+ BΣBΣ AΣ+ AΣBΣ+ BΣAΣ+ BΣ (A+BΣ

22 I Dsrbucó Normal Mulvarada Mahl Herrera M. χ(, λ Lo que sgfca que X (A+BX se dsrbuye como ua co y λ defdas como arrba, luego eoces X AX y X BX so deedees. La demosracó del sguee eorema se sgue a arr del eorema.. y los resulados de esá seccó. Teorema.3.5. (Teorema de Cochra Sea Y ~ N(μ, I y A so marces de smércas de rago k,,,. y A A, smérca de rago k, eoces las Y A ' jy~ χ(, λ co rj y λ μ A jμ, será deedees y Y AY~ ' χ co r y λ (, λ μ Aμ s y sólo s I S se cumle algua de las dos a, b y c mlca a, b, c y d. II c y d a y b III c y A, A,, A- demoees co A o egava mlca A demoee y or ao mlca a y or cosguee b y d. a A es demoee ara odo b AAj 0 ara odo j c A es demoee co k k.

23 3 II Modelo de Regresó Leal Mahl Herrera M. II.- Modelo de Regresó Leal.. Esmacó de los arámeros. Para el modelo leal geeral co observacoes y coefcees, e forma vecoral eemos Y Xβ + e co y x x x- y x x x Y, X -, β y x x x - β β β 0 - e, e e, e Dode Y, X so coocdas y β descoocda, además e~ N(0, I y X de rago comleo, ex e e f (e; 0, ( ( I ( I / ( π ( π / ( π / ex ( Y X β ( I ( Y X β ( Y X ( Y X ex β β como los β s so descoocdos, busquemos sus valores esmado or máxma verosmlud, la fucó de verosmlud es; L(,β; e / ( π l π+ l L(L(,β;e ( ( Y X ( Y X ex β β β β ( Y X ( Y X

24 4 II Modelo de Regresó Lea Mahl Herrera M. dado que β XY YXβ L(L( β L(L( ( l π+ l ( X Y + X Xβ 4 β +β β ( YY XY XX + ( YYYXβ+βXXβ 4 + ( ( gualado a cero ambas ecuacoes, Y Xβ YXβ + XY+ XXβ 0 ( β XX XY ( X Y X Xβ + ( YXβ ( YXβ 4 ( YXβ YXβ ( 0 0 Ahora obegamos la eseraza de los esmadores. ( (( E β E X X X Y hacedo S XXy susuyedo Y Xβ + e ( ( β+ E( S X X S Xe E β E S X ( X e β+ β+ ( β S X Ee es decr, β es u esmador sesgado de β, ahora calculemos la eseraza de susuyedo el valor de β E ( E ( Y Xβ YXβ ( (( ( ( ( ( E Y XS X Y Y XS X Y E Y I XS X I XS X Y

25 Acuaría Aálss de Regresó 5 Podemos ver que I XS X es demoee Susuyedo Y Xβ + e ( ( E Y I XS X Y e (( β+ ( ( β+ E X I XS X X E ( X X X XS X X X ( I XS X ( I XS e e X X e ( I XS β ββ β+β + β+ X e Como E(e 0 E ( E I XS X ( e ( e Por lo demosrado e la area 4 (S X es el vecor co X ~ N(0, I y A es demoee de rago k eoces E( X AX k. ( Luego eoces ara oder eer u esmador sesgado de la varaza debemos cosderar a ( Y Xβ ( YXβ - Ahora obegamos la marz de varaza covaraza de β V( β E( β E( β ( β E( β E( β β( β β e susuyedo el valor de Y y de β es claro que S ( S E( S X ( Xβ + e β ( S X ( Xβ+ e β E( β+ S Xeβ( β+ S Xeβ ( ee XS ( S X Eee XS E S X S X XS S

26 6 II Modelo de Regresó Leal Mahl Herrera M. de aquí odemos deducr que β N(β, S... Mímos Cuadrados y Proyeccó Orogoal. E esa seccó veremos la relacó que exse ere el méodo de esmacó de mímos cuadrados emleado e el aálss de regresó co la mejor aroxmacó a u vecor, emecemos co u ejemlo aes de emezar co el formalsmo del ema. Ejemlo. U vesgador recoleca formacó medae la realzacó de medcoes y, y,, ym e los saes,,,m, resecvamee. Por ejemlo, uede realzarse medcoes sobre el desemleo e dsas fechas durae u eríodo. Suógase que se grafca los daos (,y,,(m,ym como uos del lao. A causa de la dsrbucó de ales uos, él esa que exse ua correlacó leal ere y y, al como yc+d. El vesgador esá eresado e ecorar los arámeros c y d de al maera que la reca yc+d reresee el mejor ajuse osble ara los daos recolados. Ua esmacó del ajuse es calcular el error e que reresea la suma de cuadrados de las dsacas vercales de los uos a la reca, eso es, m e (y-c-d Así, su roblema es ecorar las cosaes c y d que mmce a e. Eso lo coduce a cosderar el sguee ssema de ecuacoes : c+dy c+dy mc+dym y o be AX y, dode A, X c y y y. d m ym

27 Acuaría Aálss de Regresó 7 Por suueso que arecería rreal suoer que al ssema ee ua solucó ueso que e la rácca, el úmero de ecuacoes excede co mucho al úmero de cógas, ara resolver ese o de roblema veamos los sguees resulados. Para x, y e F, deoaremos or x,y al roduco ero caóco (ordaro de x, y e F. Lema... Sea A ua marz de m x sobre F, x esá e F, y e F m. Eoces Ax,y m x,a * y Demosracó. ao; Sea Ax c dode c F m y c esá defda or c Ax co,..., m, or Ax,y cy+ + cmym y( A jx j + + ym( Amjx j j m y Ajx j j m j j j j Ax y j j j Por oro lado A * yd dode d esá e F * y d esá defda or dj Aj y co j,,. El lado derecho de la gualdad queda como: m m A y j x,a * y dx+ + dmxm x( A y + +x( A y m m x j Aj y j m m j Ax y Ax,y j j j m A y x j j Lema... Sea A ua marz de m sobre F. Eoces el rago(a * A rago(a. Demosracó. Sólo eemos que demosrar que, ara x e F, A * Ax 0 s y sólo s Ax 0. Claramee s Ax 0 mlca que A * Ax 0. Por ello suógase que A * Ax 0.

28 8 II Modelo de Regresó Leal Mahl Herrera M. Eoces 0 A * Ax,x Ax, A ** x m Ax,Ax m de modo que Ax 0. Corolaro... S A es ua marz de mx al que el rago(a, eoces A * A es verble. Demosracó. Como A es de rago eoces or el lema aeror A * A es de rago ero como A * A es ua marz de x eoces A * A es verble. Teorema... Sea A ua marz de m sobre F, y e F m. Eoces, exse x0 e F al que (A * Ax0 A * y y Ax0 y Ax y ara oda x F. Además, s rago(a, eoces x0(a * A - A * y. Demosracó. Cosdérese a Ax y, defmos a W{Ax: x F }. Hacedo a E la royeccó orogoal sobre W, escójase a x0 e F al que E(yAx0. Eoces or E(y y u y ara oda u e W; eso es, Ax0 y Ax y ara oda x e F. Observemos que como E es ua royeccó orogoal, Ax0 y E(y-y esá e W, eoces Ax,Ax0 y m 0 ara oda x e F. Luego or el Lema, eemos que x,a * (Ax0 y 0 ara oda x e F ; eso es, A * ( Ax0 y0. Así úcamee eemos que ecorar ua solucó ara A * Ax0A * y. S además suoemos que rago(a, eoces or Lema eemos que x0(a * A - A * y. El eorema aeror se mosró que, s rago(a, eoces exse u elemeo x0 F úco al que Ax0, es el uo e W más cercao a y. Por suueso, s rago(a<, exsrá u úmero fo de esos vecores. Esá forma de aroxmacó es mejor coocda como mímos cuadrados es muy úl ara resolver ssemas de ecuacoes cuyos roblemas evuelva e que el úmero de ecuacoes exceda del úmero de cógas, muy ulzado eso e la área de esadísca.

29 Acuaría Aálss de Regresó 9 Regresado a uesro ejemlo aeror, ero ahora co u ejemlo umérco. Suogamos que el vesgador recolo los sguees daos: (,, (,3, (3,5 y (4,7. Eoces A y y 3 ; or lo ao 3 4 A * A y eoces (A * A Por cosguee c x0 d Así, la reca y.7 es la reca de mímos cuadrados. El error E uede calcularse drecamee como Ax y Pero que asa s el rago de A es meor a, ese roblema se resuelve or medo de marces seudoversas..3 Iervalos de Cofaza. Para el modelo leal geeral co observacoes y coefcees a esmar, que e forma vecoral eemos Y Xβ + e co

30 30 II Modelo de Regresó Leal Mahl Herrera M. y x x x- y x x x Y, X -, β y x x x - β β β 0 - e, e e, e Dode Y, X so coocdas y β descoocda, además e~ N(0, I y X de rago comleo, Recordemos que, los esmadores máxmo verosmles del modelo so; ( β XX XY ( Y Xβ YXβ e el caso de la varaza ulzaremos el sesgado. ( Y (I X(X X - X Y De las ecuacoes aerores hemos deducdo que β N(β, S dode S XX, y ambé eemos que ervalos de cofaza. ( - χ (, ahora obegamos alguos.3. Iervalos de cofaza ara β La margal del -ésmo elemeo de β es, β N(β, c, dode c ( S, eoces Z y β β c β T β c N(0, ( S buscamos el valor de k al que P ββ k k α, esé es, k c α ( -

31 Acuaría Aálss de Regresó 3 Pβ ( c ( c α β β+ α - - α lo que acabamos de obeer, es el ervalo de cofaza ara β co el ( α00% de cofaza..3. Iervalo de cofaza ara. Para obeer el ervalo de cofaza de usemos la voal ( - χ (, P k ( - k α P ( - ( - α k k ^ ^ - - (, co ua cofaza del ( α00%, co k k k χ k α ( - χ α ( - y.3.3 Iervalo de cofaza ara E(y ( E(y x,x,,x -. E(y x * β β - 0 x (queremos el valor eserado de y dado que coocemos x0, x, x,,x-. * x β0 x es ua observacó de las varables deedees y β β. x - β -

32 3 II Modelo de Regresó Leal Mahl Herrera M. El esmador de E(y es E( y x * β - β 0 Sabemos que β N(β, S luego eoces x. x * β N( * β, x x * S x *. y Teemos que Z T x β x * * * * x x S x β x β * * β * ( x * S x N(0, ( x * βx * β Pk k α * ( x * S x Px * ( x * S x x * x * ( x * S ( ( * β * α - β β+ α - x α βx ( β x α - * ( x * S x ( - 0, β x + α - * ( x * S x ( es el ervalo de cofaza de - 0 Noa. No hay que olvdar que x0. βx co ua cofaza del ( α00%..3.4 Iervalos de cofaza ara observacoes smuláeas. S eemos x, x *,, * (vecores de, s quséramos ferr * x k smuláeamee ara * β, x * β,, * β buscamos k-ervalos ales que, x x * β I, x * β I,, * β Ik, s a cada uo de esos eveos los desgamos x k or Aj, es decr, cada uo cumle co P(A α, P(A α,, P(Ak αk osoros buscamos que el eveo A A Ak suceda co ua robabldad de or lo meos α x k

33 Acuaría Aálss de Regresó 33 P(A A Ak P(A A Ak c c c c P( A A A k c c c c ( P(A + P(A + + P(A k s P(A k ( α k + α k ++ α k α α k Hacedo P(A α k, P(A α k,, P(A k α, odemos obeer lo k que queremos. De aquí, odemos decr, que ara obeer smuláeamee k-ervalos ara * β, x * β,, * β eemos que calcular los k-ervalos x x k Ij ( * ^β x j α k - * ( * x S x ( j j, * x j ^β + α k - * ( * x S x ( j j Así los k-ervalos ocurre smuláeamee co ua cofaza ( α00%, j,, k. S ahora quséramos u ervalo de cofaza o sólo ara alguos s o ara odo x* lo que buscamos es algo como; P x βx β c α ara odo x* * x * S x * * ( buscado es valor de c, eemos * ( x * βx * β c x * S x ara odo x* ( ( * x * βx * β c x * S x ara odo x* 0 x ( ( ( * c S ββ ββ x * ara odo x* A u Sea W u ce A ce u A u W ce A u ce u W es semdefda osva s, y sólo s ce u A u 0 s, y sólo s A u u 0 ce

34 34 II Modelo de Regresó Leal Mahl Herrera M. Hacedo A S, u ββ y ce c, W es semdefda osva s, y sólo s ( ( c ββ S ββ 0 s, y sólo s ( S ( ββ ββ 0 c Sabemos que β N(β, S luego eoces β β N(0, S ( XX ( β β N(0, I XX β β N(0,I ( ( ( β β ( XX ( β β χ ( ( ββ XX( ββ Como ( - χ, eoces ( F(,, or ao c es el ercel de ua F(,, el ervalo de cofaza buscado es ^ x * β ( x * β F α (, - ua cofaza del ( α00%. * ( x * S x, x * ^ F α - * ( x * S x β + (, co.3.5 Iervalo de cofaza ara y F F F F * Sea y, y,, y s observacoes deedees de ua oblacó N( x β, F F F ( e deedees de y, y,,y es decr, y, y,, y s o esá e la muesra orgal co la que esmamos los coefcees del modelo, aquí x * x x - s F y es u vecor de. S defmos a y F N( x s que x * β N( x * β, x * S x *, luego eoces * β, /s, aerormee vmos

35 Acuaría Aálss de Regresó 35 y F x * β N0, + x* S x* s F y x* β + x* S x* s N(0, F y x* β + x* S x* s ( luego eoces el ervalo de cofaza ara y F es; y ( F x * β ^ α + x* S x* s, x * ( - ^ β + α + x* S x* s ( - es el ervalo de cofaza de y F co ua cofaza del ( α00%..4 Pruebas de Hóess..4. H 0 : β 0 Para el modelo leal geeral co observacoes y coefcees a esmar, que e forma vecoral eemos Y Xβ + e co y x x x- y x x x Y, X -, β y x x x - β β β 0 - e, e e, e Dode Y, X so coocdas y β descoocda, además e~ N(0, I y X de rago comleo,

36 36 II Modelo de Regresó Leal Mahl Herrera M. Deseamos buscar la rueba ara H0:β0. Usado el cocee de verosmlud geeralzada, lo que buscamos, es lo sguee, vamos a rechazar H0, s, SuL( θ, θ Θ 0 λ <k, k ua cosae osva SuL( θ, θ Θ dode L(θ, es la fucó de verosmlud y θ Θ0 so los arámeros descoocdos bajo la hóess ula y θ Θ so odos los arámeros descoocdos, la fucó de verosmlud del modelo es; L(,β; e / ( π ( Y X ( Y X ex β β ara ecorar el deomador de λ, lo úco que se debe de hacer es susur los esmadores máxmos verosímles del modelo e la fucó de verosmlud, eso es: SuL( θ, θ Θ / ( π ( ( Y X Y X ex β β ( dode β XX XYy ( Y Xβ YXβ ( Ahora be, bajo H0 eemos que β 0, así eemos que, L( ; e / ( π ex L(L( ; e ( l π+ l Y Y YY gualado a cero, L(L( + 4 YY + 4 YY 0 0 YY De aquí eemos que el umerador de λ es:

37 Acuaría Aálss de Regresó 37 SuL( θ, θ Θ 0 / 0 ( π ex Y Y 0 sabemos que YY Y de maera semejae, SuL( θ, θ Θ 0 λ SuL( θ, θ Θ ( π 0 ( π ( Y X ( Y X / / β β YXβ ex ex Y 0 YXβ 0 YXβ Y YXβ Y Xβ + Xβ como YXβ Y Xβ, lo aeror os queda como λ + - X β YXβ -

38 38 II Modelo de Regresó Leal Mahl Herrera M. Rechazamos H0 s YXβ que deedees Xβ >k0, ahora busquemos el valor de k0, es fácl verfcar YXβ - Xβ χ( y χ( y como ambas formas cuadrácas so F Xβ YXβ - F(, La robabldad de comeer el error o I sería P(F>k0 α, eso bajo H0, de aquí odemos deducr que k0 F α(,. Alo que hemos llegado, es que, rechazamos H0 s Xβ > F α(, YXβ - Lo que hemos hecho se resume e la sguee abla deomada como la abla de Aálss de Varaza Tabla de Aálss de Varaza Varacó g.l Suma de Cuadrados. Cuadrados medos Debdo a β P Xβ Xβ Error Y Xβ YXβ - Toal N Y Y Prueba F Xβ YXβ -

39 Acuaría Aálss de Regresó H 0 : β 0 Para el modelo leal geeral co observacoes y coefcees a esmar, que e forma vecoral eemos Y Xβ + e β x S realzamos la sguee arcó sobre β, β r es decr β es u β ( r x vecor de r que coee r coefcees de β y β es u vecor de (-r que coee r coefcees de β (dferees de β. Podemos arcoar uesro modelo orgal de la sguee forma β Y (X X + e, X β es de r y X es de ( r Deseamos buscar la rueba ara H0:β0. Usado el cocee de verosmlud geeralzada, lo que buscamos, es que, ara oder rechazar H0. SuL( θ, θ Θ 0 λ <k, k ua cosae osva SuL( θ, θ Θ La fucó de verosmlud del modelo es; L(,β; e / ( π ( Y X ( Y X ex β β el deomador de λ, sería, SuL( θ, θ Θ / ( π ( ( Y X Y X ex β β ( ( dode Y Xβ YXβ ( β XX XYy bajo H0 eemos que β 0, así eemos que, la fucó de verosmlud sería,

40 40 II Modelo de Regresó Leal Mahl Herrera M. L(,β; e / ( π ex ( YX β ( YX β Es claro que, el umerador de λ, es: SuL( θ, θ Θ 0 ( π / 0 ( ( Y X Y X ex β β 0 dode ( XX β XYy 0 ( Y X β YXβ ( sabemos que ( YXβ ( YXβ Y Xβ SuL( θ, θ Θ 0 λ SuL( θ, θ Θ ( π0 ( π 0 / / ex ex YXβ YX β YX β 0 YXβ + YX β YXβ YXβ

41 Acuaría Aálss de Regresó 4 λ X X β β r + r YXβ Rechazamos H0 s Xβ Xβ YXβ r >k0, ahora busquemos el valor de k0, eemos que Xβ X ( ( X β β YX( XX XY y de maera semejae X β ( YX XX XY de las dos aerores desgualdades Xβ ( X β ( ( ( Y X X X X X X X X Y or oro lado eemos que X X X X X X, ara la marz de la forma cuadráca aeror, s hacemos A X( X X y B ( X X XX X. ( A B( A B A AB BA +B A AB BA + B, ero AB B lo que hemos robado que A B es demoee, de aquí eoces odemos decr que, ( ( Y X X X X X( XX X Y formas cuadrácas so deedees χ ( r y Y X β χ( y como ambas F Xβ X β YXβ r F(r,

42 4 II Modelo de Regresó Leal Mahl Herrera M. La robabldad de comeer el error o I sería P(F>k0 α, eso bajo H0, de aquí odemos deducr que k0 F α(r, A lo que hemos llegado, es que, rechazamos H0 s Xβ X β YXβ r > F α(r, Lo que hemos hecho, se resume e la sguee abla de Aálss de Varaza. Tabla de Aálss de Varaza Varacó g.l Suma de Cuadrados. Cuadrados medos A la Hóess r Xβ X β Xβ X β Modelo reducdo r X β r X β -r Error Y Xβ YXβ - Toal Y Y Prueba F Xβ X β YXβ r -