METODO DE MAXIMA VEROSIMILITUD. Supongamos una muestra aleatoria de 10 observaciones de una distribución Poisson:

Transcripción

1 Aputes Teoría Ecoométrca I. Profesor: Vvaa Ferádez METODO DE MAIMA VEOSIMILITUD Supogamos ua muestra aleatora de observacoes de ua dstrbucó Posso: 5,,,,, 3,, 3,,. La desdad de probabldad para cada observacó es: f, e!, > Co observacoes depedetes, la desdad cojuta o verosmltud de la muestra es: L f,,...,, e f,! e 736 Esta últma líea da la probabldad de observar esta muestra e partcular, asumedo que ua dstrbucó Posso co parámetro geeró los datos. El prcpo de máma verosmltud teta ecotrar aquel que mamza la fucó de verosmltud para ua muestra dada. Dado que la fucó logartmo atural es mootócamete crecete, es equvalete mamzar l L que L. De la ecuacó ateror, l L l l L codcó de prmer orde

2 l L < codcó de segudo orde Esta últma dca que el valor obtedo es u mámo global. Gráfcamete la fucó de verosmltud luce como: L, Mámo global El prcpo de máma verosmltud també se aplca al caso de dstrbucoes cotuas. La desdad cojuta de observacoes depedetes, las cuales puede prover de ua dstrbucó uvarada o multvarada, es el producto de las desdades dvduales. por: Cuado las so multvaradas, la fucó de verosmltud vee dada f,,...,, f, L, dode es u vector de parámetros,,..., es la matrz de datos. De ello,

3 3 l L, l f, Los valores de los parámetros que mamza esta fucó so los estmadores de máma verosmltud,. La codcó ecesara para mamzar el logartmo de la fucó de verosmltud es: l L, Ecuacoes de Verosmltud Ejemplo Sea Nµ,. Esto es, f π ep µ Para ua muestra de observacoes depedetes: / L, f, π ep µ dode µ.... Por lo tato, l L, l f, lπ l µ Las ecuacoes de verosmltud vee dadas e este caso por:

4 , L l µ µ µ l L l L µ A f de aseguraros que os ecotramos frete a u mámo global, debemos chequear las codcoes de segudo orde: El hesao, l L vee dado por: µ µ µ µ µ 6 l L l L l L l L H S evaluamos H e los estmadores µ, obteemos que: H el cual es egatvo defdo. Ello, porque para cualquer vector a a a se tee que: a a < H a a

5 5 Propedades Astótcas de los Estmadores de Máma Verosmltud Bajo certas codcoes de regulardad para u tratameto rguroso, ver Amema 985 o Whte 98, el estmador de máma verosmltud tee las sguetes propedades astótcas:.- Cossteca: plm d -.- Normaldad Astótca: N, I dode l L l L I E E l L, matrz formacó. Véase el apédce para ua demostracó de esta gualdad. 3.- Efceca Astótca: el estmador es astótcamete efcete alcaza la cota feror de Cramér-ao, I -, para los estmadores cosstetes. ecordemos que el teorema de Cramér-ao establece que la varaza de u estmador sesgado de u parámetro o vector sempre será al meos ta grade como: l L l L I E E dode I es el úmero matrz formacó de la muestra. Por otra parte, se dce que u estmador es astótcamete efcete s es cosstete, astótcamete ormal tee ua matrz varaza-covaraza o más grade que aquella de cualquer estmador cosstete astótcamete ormal..- Ivaraza: el estmador mámo verosíml de γc es c.

6 6 Aplcacoes.- Estmador de Máma Verosmltud e el Modelo Leal Clásco Sea k k N, I Para ua muestra de,,,...,, varables..d. ormales co meda varaza, la fucó de verosmltud vee dada por: / L π ep co, 3... k. El jacobao de cada observacó es. Por lo tato, la fucó de verosmltud para las s vee dada por: / L π ep π / ep Al tomar el logartmo de L, obteemos: l L π l Las ecuacoes de verosmltud so: l L

7 7 l L De lo cual, El hesao vee dado por: k k 6 l L l L l L l L H S tomamos la esperaza de H, los térmos fuera de la dagoal se hace cero: E E E, dode La últma líea de arrba supoe que las s so o estocástcas. S ello o es así, hacemos los cálculos de la esperaza codcoal e los valores de las s. N el aálss los resultados obtedos camba. Por lo tato, k k, I

8 8 De ello, es claro que el estmador de mímos cuadrados ordaros MICO de cocde co el de máma verosmltud. Por lo tato, MICO tee todas las propedades astótcas del estmador de máma verosmltud. ecordemos que el estmador MICO de es, el cual es k sesgado. De ello, resulta evdete que el estmador de máma verosmltud de es sesgado haca cero: E MV k k < S embargo, el estmador MV tee todas las propedades astótcas de los estmadores de máma verosmltud. E partcular, MV d N, Nota: egresores Estocástcos ecordemos que f,,,, fucó de desdad cojuta de la muestra, codcoal e los valores de los parámetros poblacoes, puede descompoerse como el producto de las dstrbucoes de codcoal e de : L f,,, f,,, g Por lo tato, l Ll f. l g. S g o depede de, podemos mamzar las dos partes de el logartmo de la fucó de verosmltud por separado, a f de obteer el cojuto de parámetros descoocdos,.

9 9.- Estmador de Máma Verosmltud para el Modelo Leal Geeral Sea k k N, Ω Para ua muestra de,,,...,, varables aleatoras proveetes de la dstrbucó ormal multvarada N, Ω, teemos: π / / ep L Ω Ω co, 3... k. El jacobao de cada observacó es. Por lo tato, el logartmo de la fucó de verosmltud para las s vee dado por: l l L π Ω Ω Para ua matrz Ω de costates coocdas, las ecuacoes de verosmltud so: L l Ω L l Ω De lo cual, Ω Ω Ω Ω Se puede demostrar de maera aáloga que:

10 MV MV d N, Ω Test de Hpótess bajo Estmacó Vía Máma Verosmltud Veremos tres procedmetos que so astótcamete equvaletes..- azó de Verosmltud Sea u vector de parámetros a ser estmado sea H algua hpótess que queremos cotrastar. Asmsmo, sea N el estmador de máma verosmltud de o restrgdo, sea el estmador mámo verosíml restrgdo. S L N L so las fucoes de verosmltud evaluadas e N, respectvamete, etoces la razó de verosmltud es: λ L L N dode <λ<, dado que L N, L > L N > L. S λ es pequeño, pesaríamos que las restrccoes so falsas. Se puede demostrar que: d l λ χ J dode J es el úmero de restrccoes. Ejemplo ecordemos el ejemplo de la dstrbucó Posso al comezo de estos aputes. Bajo H :.8, L Por otra parte, L N. -8, dado que estmador o restrgdo. Etoces

11 .936 l λ l.7. El valor crítco de ua χ al 95 por ceto de cofaza es de 3.8. Por lo tato, o rechazamos H.- Test de Wald Ua desvetaja práctca del test de razó de verosmltud es que requere que estmemos tato el vector de parámetros restrgdo como el o restrgdo. Ello puede ser, e alguos casos, mu tesvo computacoalmete. El test de Wald el de multplcador de Lagrage éste últmo tratado e el prómo puto solucoa tal desvetaja. Sea el vector de estmadores de máma verosmltud o restrgdos. Postulamos u cojuto de restrccoes del tpo: H : cq dode c es cojuto de fucoes de o ecesaramete leales. S las restrccoes so váldas, etoces debería satsfacerlas e forma apromada, dada la varabldad muestral. El test de Wald toma la forma: W c q Var c q c q χ c dode Var c q Var c C Var C, C Jk, J es el úmero de restrccoes k es la dmesó del vector. La j-ava fla de C cotee las dervadas de la restrccó j-ava co respecto a los k elemetos de. Para cotrastar u cojuto de restrccoes leales, q el test de Wald se basa e: H : cqq d J

12 c q C Jk Etoces, la forma: Var c q Var. Co ello el test de Wald toma W q Var q el cual se dstrbue ch-cuadrado co J grados de lbertad. Ejemplo S queremos cotrastar ua restrccó smple como: H : versus la alteratva H : lo podemos hacer co u test de Wald, el cual e este caso toma la forma: Var W d χ Var d d Pero, z N,, etoces z χ. Var Esto es, cuado se trata de cotrastar la hpótess H : versus la alteratva H :, el test de Wald el test t so astótcamete equvaletes 3.- Test de Multplcador de Lagrage Sea λ el vector de multplcadores de Lagrage. Deseamos mamzar la fucó de verosmltud, L, sujeta al cojuto de restrccoes cq: l L * l L λ cq

13 3 Las codcoes de prmer orde, ecesaras para la mamzacó de la fucó de verosmltud, so las sguetes: l L * l L λ c q l L c λ l L * c q λ S las restrccoes so váldas, el valor mamzado de la fucó de verosmltud o debera cambar sustacalmete. De se tee que: * l L c λ dode es el estmador restrgdo. S las restrccoes fuera váldas, etoces λ. Esto es, las * l L restrccoes o sería operatvas. E dcho caso,. El test de multplcador de Lagrage se basa e la observacó ateror: l L LM l L d I χ J dode l L I E J es el úmero de restrccoes. Es mportate otar que todos térmos e LM se evalúa e el estmador restrgdo. Ua característca mportate de los test de razó de verosmltud, Wald de multplcador de Lagrage es que so astótcamete equvaletes. S embargo, e muestras pequeñas uestras coclusoes puede dferr depededo de qué estadígrafo utlcemos.

14 E térmos gráfcos los tres estadígrafos puede ser descrtos como sgue, cuado H : c: azó de verosmltud l L N L l L Mult. de Lagrage c N Wald l L Aalcemos cada test por separado: azó de verosmltud: S la restrccó c es válda, el mpoerla o debera reducr otoramete el valor del logartmo de la fucó de verosmltud. El test se basa e l L N l L, dode N so los estmadores de máma verosmltud o restrgdo restrgdo, respectvamete. S esta dfereca es pequeña, e térmos estadístcos, etoces o rechazamos H. Wald: S la restrccó es válda, c N debería ser cercaa a cero. echazamos H s c N es sgfcatvamete dstta de cero.

15 5 Multplcador de Lagrage: S la restrccó es válda, la pedete prmera dervada de l L debera ser cercaa a cero cuado es evaluada e el estmador restrgdo. Ejemplo Supogamos que el greso de ua persoa provee de ua dstrbucó de probabldades gama: f,, ρ Γ ρ ρ ρ ep dode so los veles de greso de educacó de la persoa, t Γ ρ t e dt es la fucó gama. p Se desea cotrastar la hpótess H : ρ, esto es, que el vel de greso de cada persoa provee de ua dstrbucó epoecal de parámetro λ. El logartmo de la fucó de verosmltud para el modelo o restrgdo dstrbucó gama está dado por: l L,, ρ ρ l lγ ρ ρ l Las prmeras segudas dervadas está dadas por: l L l L ρ ρ Γ ρ l Γ ρ l

16 6 ρ l L l L ρ Γ ρ Γ ρ Γ ρ Γ ρ 3 l L ρ dode r Γ ρ r ρ l ρ e d r. ρ Los valores de los estmadores de máma verosmltud so obtedos al gualar las prmeras dervadas a cero, s co la restrccó de que ρ. Los resultados obtedos co los datos del Cuadro so los que se detalla e el Cuadro. Cuadro Igreso Años de Educacó Igreso Aual Mles Educacó Años Igreso Aual Mles Educacó Años US$ US$ Fuete: Greee 997 A f de lustrar el uso de los dsttos estadígrafos vstos e estos aputes, cotrastaremos H : ρ por cuatro vías dsttas: Itervalo de cofaza para ρ: U tervalo de cofaza astótco al 95 por ceto se basa e el estmador o restrgdo:

17 7 3.5± [.556;.76] Dado que este tervalo o cotee el valor de, rechazamos la hpótess ula. Test de razó de verosmltud: λ El valor crítco es χ 95% 3.8, por lo cual rechazamos H. c Test de Wald: E este caso cqρ. Por ello, Var c q Var ρ.665. Co ello: Wald H. Como ates, el valor crítco es gual a 3.8. Por lo tato, rechazamos

18 8 Cuadro Estmadores de Máma Verosmltud para el Modelo de Igreso Estmador No Estmador estrgdo estrgdo ρ 3.5. l L l L l L 7.9 ρ l L l L ρ l L ρ Var Varρ.663 Cov, ρ -.76 Test de Multplcador de Lagrage: Las prmeras dervadas del logartmo de la fucó de verosmltud evaluadas e el estmador restrgdo toma el valor de: l L l L l L 7.9 ρ dode ρ.

19 9 I l L, ρ l L, ρ ρ Etoces LM toma la forma: l L, ρ ρ l L, ρ ρ LM Como ates, rechazamos H. Apédce Proposcó l L l L l L E E Demostracó Cosderemos prmero la fucó desdad de probabldades de, f. Supogamos que el rago de o depede del valor de. S al tervalo,, etoces: De lo ateror, f d f d f d dado que el rago de o depede de.

20 Pero f d f d l f f d l f E Dferecemos f d co respecto a uevamete: f d l f f d l f f d l f f d Pero f f l f. Etoces la relacó ateror se reduce a: l f f d l f l f f d lo cual mplca que: E l f l f E l f Cosderemos ahora observacoes depedetes. El logartmo de la fucó de verosmltud de la muestra vee dado por:

21 l L l f co prmeras segudas dervadas: l L l f g, co g l f l L l f H, co H l f l L Por la demostracó ateror sabemos que E E g. Sea gg g... g. Co observacoes depedetes se tee que E gg E g g, dado que Eg g j j. Ahora, E gg E H E H, co H EH, e vrtud de la demostracó ateror. De ello deducmos que: l L l L l L E E El resultado ateror es el utlzado e el algortmo de BHHH Berdt- Hausma-Hall-Hall. Nota: Dado que Eg, VargEgg EH. Vmos que el test de multplcador de Lagrage se basa e el estadígrafo LM g H g d χ Ello, porque bajo la hpótess ula las restrccoes so verdaderas, lo cual mplca que d g N, E H H E H. J p