ESTIMACION POR MÍNIMOS CUADRADOS Y MÁXIMA VEROSIMILITUD (MODELOS INTRÍNSECAMENTE NO LINEALIZANTES)

Transcripción

1 EIMACION POR MÍNIMO CUADRADO Y MÁXIMA VEROIMIIUD (MODEO INRÍNECAMENE NO INEAIZANE). INRODUCCIÓN. MINIMO CUADRADO. GAU NEWON. NEWON RAPHON 3. MÁXIMA VEROIMIIUD 3. NEWON RAPHON 3. MÉODO DE CORING 3.3 AGORIMO BERND HA HA HAUMAN Marha Misas Arago

2 Míimos Cuaraos No-lieales Moelos ecoómicos o-lieales e los parámeros ε Forma geeral: oe (N ) vecor e variables iepeiees ( ) vecor e parámeros ε Error aleaorio Variable epeiee Ejemplo: Fució e proucció Cobb-Douglas () () Q α ε Q ( ) ( α ) ( ) α ( Q ) l( α) l l u l Irísecamee liealizae

3 Irísecamee o iealizae X ( ) ( λ) ( λ ) X λ υ 3

4 Esimació e parámeros e moelos irísecamee o-lieales De la misma maera que e el caso lieal la esimació se basa e la miimizació o maimizació e ua ució objeivo. Fucioes objeivo: - uma e errores al cuarao (MCO) - Fució e verosimiliu E el caso el moelo lieal el objeivo se cosigue a ravés e resolver u sisema e ecuacioes ormales lieales. E el caso e los moelos o-lieales la area es u poco mas iícil ebio a que el sisema e ecuacioes ormales es ambié o lieal e los parámeros. Míimos Cuaraos Oriarios Máima Verosimiliu Algorimos Gauss-Newo Newo-Raphso Newo-Raphso Méoo e corig Algorimo BHHH 4

5 5 Caso ieal [ ] E[ ] I E X Y 0 εε ε ε X: (X) : (X) Fució objeivo: Ecuacioes ormales o coicioes e primer ore: X X Y X X X XY YY X X XY X X XY YY M Esimaor e míimos cuaraos oriarios: Y X X X ˆ X X XY YY

6 6 [ ] U U U U U UU U UU UU UU U UU U U U U U U U V U COVU U COVU COVUU U V COVUU COVUU COVUU U V EUU EUU upoieo No correlació Homosceasicia EUU ψ UU E e ese caso I ψ luego I UU E

7 7 Iroucció a Míimos Cuaraos No-ieales Cosieremos el siguiee moelo: ε ε Doe ε Variables aleaorias iepeiees e iéicamee isribuias El esimaor míimo cuaráico o lieal se eie como aquel valor e que miimiza la siguiee suma e resiuales al cuarao: [ ] [ ] ε (3) (4) co meia 0 variaza

8 8 a coició e primer ore o ecuació ormal para el míimo e esa ució esá aa por: [ ] 0 Reoreao érmios e (5) se iee: (5) (6) Ecuació cúbica res posibles solucioes e

9 El esimaor Míimo Cuaráico No-lieal b Es aquella solució que prouce ua suma míima e resiuales al cuarao: Figura Máimo El valor más pequeño para se eie como míimo global. Oros míimos se cooce como míimos locales Esimaor e míimos cuaraos o lieales

10 Esimació Míimo Cuaráica No-lieal para u solo parámero Moelo No-lieal e u solo parámero: ( ) ε (7) ε [ ] Fució Objeivo (8) [ ( ) ] ( ) 0 Coició e primer ore (9) E geeral o es posible uilizar las coicioes e primer ore para erivar ua epresió aalíica para el esimaor e míimos cuaraos o lieales. 0

11 El problema es ecorar el valor e que saisaga la ecuació (9) couzca a u míimo global Algorimo e Gauss-Newo El primer paso cosise e reemplazar ( ) Aproimació e alor e primer ore ( ) ( ) ( ) ( ) (0) Es ecir: ( ) ( ) ( ) ( ) () Peiee e la agee e la curva ( ) e el puo

12 Figura ( ) ( ) A D c B Esa peiee esá represeaa por la razó CB BA a razó e lao erecho e () es ua aproimació a la peiee e la igura esá aa DB por Aicioalmee el lao erecho e () puee ser visa como la BA peiee e ua líea reca que ue los puos D A la cual puee ser uilizaa para aproimar la peiee e CA

13 i eiimos: z ( ) () z ( ) (3) Bajo esa oació eieo e cuea la epasió e alor (0) se iee: [ ] z ~ z i: ( ) (5) (4) [ ] ~ z (6) 3

14 MCO Pseuo moelo lieal: ~ ( ) z ε (7) [ ] z z z ~ ( ) (8) oe z z( ) M ~ z ~ ~ ( ) M Al ar u valor iicial a como aproimao la ució por el poliomio e alor e primer ore ( ) alreeor e eoces el seguo valor esimao para llamao puee ser ecorao a parir e MCO a u uevo pseuomoelo lieal. El proceso se coiua e maera repeia hasa lograr covergecia. 4

15 MCO El proceso puee repeirse ~ (9) ( ) ε z 3 [ ] z z z ( ) ~ ( ) (0) Coiuao co el proceso se obiee ua secuecia e esimacioes: e al orma que: 3 [ ] z ~ z z [ ] z [ ( ) ] z z z [ ] z z z [ ( )] Algorimo e GaussNewo 4 () 5

16 i os esimacioes sucesivas so iguales: De () se iee que : [ ] z () Coició e primer ore aisace la coició ecesaria para ser u míimo Cómo esar seguro e que el proceso couce a u míimo o a u máimo? 6

17 E orma maricial (9) puee ser reescria: [ ( ) ] z X (3) * [ z( ) z( )] E : > 0 * E < 0 s (4) < (5) ep legh [ z( ) z( )] s 7

18 Esimació Míimo Cuaráica No-lieal para más e u parámero Y E ε ( ) k [ ε] ( X ) 0 E[ ] εε I (6) Fució objeivo: s [ ] εε Y X [ Y( X ) ] (7) Coicioes e primer ore: Doe: ( X ) ( X ) (8) [ Y( X ) ] 0 Mariz e erivaas e ore X ( ) El elemeo (k) k 8

19 9 iguieo la oació el caso e u parámero eiimos: X Z M (9) Coició e primer ore: [ ] 0 X Y Z Aproimació e alor: (30) (3) Pseuo moelo: ε ~ Z Y (3)

20 Algorimo e Gauss Newo: [ ] Z Z Z [ Y ( X )] (33) E covergecia bajo las coicioes e primer ore al igual que e el caso aerior se asegura u míimo. Ejemplo: Fució e proucció Cobb-Douglas Q α ε oe E ε ii [ ε ] 0 var( ε ) Q ( ) ( α ) α 0

21 [ ] α α α l l (34) (35) α α α α Z l l l l M M M Z Z l l l l l l l l l l α α α α α α α α (36)

22 [ ] Y Y Y X Y Z l l α α α α α [ ] [ ] X Y Z Z Z Algorimo e Gauss-Newo: Hasa alcazar u ivel e covergecia eseao (37) (38)

23 3 Algorimo Newo - Raphso ε [ ] ε Fució Objeivo (39) (40) Aproimació e alor e seguo ore (4) Caso e u solo parámero

24 Figura 3 ( ) A D c B Epresaa así ( ) ( ) Iica que esamos aproimao la peiee e la agee CA a la peiee e la líea que ue los puos D A meos la caia ( ) 4

25 Usao la oació h Y iereciao (4) co respeco a se obiee (4) ( )( ) h (43) Igualao a 0 resolvieo para se obiee u seguo valor para h Y coiuao ese proceimieo se obiee el valor () e h ( ) (44) (45) 5

26 eoces ˆ 0 (Coició ecesaria para u míimo o máimo) El algorimo irá e irecció correca (hacia u míimo) ese si la segua erivaa h( ) es posiiva. Dao que ésa siempre es posiiva e ua vecia el míimo se irá e ua irecció correca si es suicieemee cercao al míimo. i embargo poría sobrepasarlo por lo cual se hace ecesario iroucir: ea ua variable sep legh luego h E caa ieració se ecuera u.q ( ) < (46) 6

27 Relació ere los algorimos Gauss Newo Newo - Raphso z z Gauss - Newo Comparao esa ecuació co h( ) Newo - Raphso e observa que ambos algorimos so e la orma P oe p z h ( ) z( ) Para Gauss - Newo Para Newo - Raphso 7

28 8 z z Recorao las eiicioes e (47) z h se iee que [ ] [ ] [ ] [ ] z z h (48)

29 9 z z E h E uego los os algorimos so iéicos ecepo por el seguo érmio e la úlima líea e (48) Dao que [ ] E ese érmio iee ua esperaza e 0 (49)

30 30 [ ] h z z E Ejemplo: Usar el algorimo e Newo Raphso para ecorar el valor e que miimiza Nóese que (50) (5) (5) (53)

31 3 [ ] [ ] a ieració () el proceso e Newo Raphso puee escribirse así (54)

32 Caso geeral e parámeros Para el moelo o lieal ( X ) ε (55) Doe es u vecor e parámeros escoocios e imesió a -ieració el algorimo e Newo Raphso iseñao para ecorar el valor e que miimiza oe H (56) ( ) ε ε esá ao por es el vecor graiee evaluao e (57) 3

33 33 H M O M es la mariz Hessiaa e ( ) evaluaa e U esimaor e la mariz e covariazas el vecor miimizaor b es recueemee b b ˆ ˆ oe b ˆ (58) (59)

34 os algorimos e Gauss Newo Newo Raphso so sólo os e u gra úmero e algorimos posibles. a maoría iee la orma P (60) oe es el vecor graiee P es (eseablemee) ua mariz.p llamaa mariz e irecció es u úmero posiivo coocio como sep legh El rasgo que ierecia algorimos aleraivos es la eiició e P 34

35 Moelo geeral: Y Esimació por Máima Verosimiliu ( X ) ε Fució e verosimiliu: l( X) π ( π ) ep ep ( ) oe ε ~ N 0 I [ ( X ) ][ ( X ) ] (6) (6) ogarimo e la ució e verosimiliu: ( ) ( ) X ll X l π l (63) 35

36 E geeral o es posible ecorar ua epresió aalíica para el esimaor máimo verosímil. ~ al que que sea u valor e oe 0 Es posible si embargo ecorar ua epresió para el máimo esimaor verosímil e ~ como ució e : ~ (64) Por cosiguiee la ució og e verosimiliu puee ser epresaa e érmios e ( X) l π l (65) * El esimaor e máima verosimiliu ~ que maimiza * X es iéico al esimaor e míimos cuaraos o lieales que miimiza a: 36

37 Propieaes ( ) ea θ ~ ( ~ ~ ) ea θ el esimaor e máima verosimiliu eθ Bajo coicioes apropiaas e regularia ~ [ [ ] ] / θ θ N0limI( θ) (66) oe I( θ) es la mariz e iormació I ( θ) E θθ E ( ) Z Z 0 (67) 0 / 4 37

38 38 Algorimos aleraivos mariz e covariazas Dao que la mariz e iormació (67) es iagoal ao que a parir e (64) puee obeerse ua vez que ha sio esimao es suiciee cosierar caa algorimo e érmios e Igorao la variable sep legh ua epresió geeral para los res algorimos es: P Co el algorimo e Newo Raphso (68) (69) P

39 39 ~ ~ ~ ~ ~ ˆ E ese caso u esimaor e la mariz asióica e covariazas para puee ecorarse a parir e Mieras que el algorimo e Newo Raphso usa la iversa e la mariz Hessiaa e la ució e log-likelihoo el méoo e scorig usa la iversa el valor esperao e la Hessiaa o la egaiva e la iversa e la mariz e iormació; eso es E P (70)

40 40 E ese caso se iee que Z Z Z Z E (7) U esimaor e la mariz asióica e covariazas para esá ao por ~ ~ ~ ~ ~ ~ ˆ Z Z E (7)

41 4 Para cosierar el algorimo BHHH se requiere log-verosimiliu para ua úica observació [ ] l l π (73) Co ese algorimo P es eiia como ~ ~ P & (74)

42 4 Ahora [ ] (75) Y el algorimo esá ao por (76) [ ] [ ] 4

43 43 Ese algorimo o se parece a iguo que se haa cosierao hasa ahora i embargo ebe oarse que Z Z E (77) uego reemplazao por su esperaza se obiee u algorimo iéico al e Gauss Newo al méoo e scorig. Cuao se usa el algorimo BHHH u esimaor aural para la mariz e covariazas asióica e ~ es [ ] ~ 4 ~ ~ ~ ~ ˆ (78)

44 44 Dao que el algorimo BHHH o se ha simpliicao a uo e los casos especiales cosieraos aeriormee será úil ilusrarlo co el moelo simple e u parámero ε Para ese moelo [ ] [ ] (79) Y (78) se coviere e [ ] 4 ~ ~ ~ ~ ~ var (80)

45 45 Resume e los res algorimos os res algorimos puee escribirse e la orma E P P (8) Para el algorimo Newo - Raphso Para el méoo e scorig Para el algorimo BHHH (8)