El algoritmo EM Referecias: Bickel ad Docksum: Mathematical Statistics Casella, G Statistical iferece Lehma, E. Poit Estimatio. Estimació or Máima Verosimilitud Uo de los riciales objetivos e estadistica es estimar arametros descoocidos de u oblació usado muestras tomadas de ellas. Más formalmete, sea X ua variable aleatoria co fució de desidad o fució de robabilidad f; o e otació baesiaa f, dode rereseta el arámetro que se desea estimar usado ua muestra aleatoria X,X,.X. E ua muestra aleatoria cada X i tiee la misma distribiució de X además so ideedietes etres si. Eiste muchos métodos de ecotrar u estimador ˆ T X,... X. Por ejemlo: míimos cuadrados, mometos, métodos baesiaos, etc. Nosotros solo revisaremos aquí el método de máima verosimilitud Defiició: Sea X X,X,.X ua muestra aleatoria de la variable aleatoria X etoces la fució de verosimiltud se defie or L L f.... f f i Defiició: El estimador máimo verosimil MV ˆ del arámetro es aquel valor que maimiza la fució de verosimilitud. Más formalmete, ˆ arg ma L Frecuetemete es más fácil maimizar log-liklogl que Log, debido a que Log es ua fució moótoa el valor de dode ambas fucioes alcaza su máimo es el mismo. Nota: E estadística, or tradició, log rereseta l de cálculo. O sea log Ejemlo: Hallar el estimador máimo verosimil del arametro de la distribució Beroulli Ejemlo : Hallar el estimador MV del arametro λ de ua distribució eoecial Tambié uede haber varios arámetros descoocidos a estimar. O sea ˆ,..., i k
Ejemlo : Hallar el estimador MV del vector de arámetros µ,σ de ua distribució ormal. Por suuesto, los casos más comlicado so cuado la distribució es multivariada co varios arámetros a estimar.. Familia Eoeciales E estadistica, muchas veces el roceso de estimació se agrua segú la forma fucioal de la desidad o de la fució de robabilidad. Los gruos se llama familias. Eiste familias de localizació, familias de escala familias eoeciales etre otras. Nosotros solo revisaremos la estimació de arámetros e familias eoeciales. Caso uiaramétrico Sea f, que rereseta la fució de desidad o de robabilidad de ua variable aleatoria X, se dice que erteece a la familia eoecial si eiste fucioes a, T, b s tales que f e a T b s dode I A rereseta la fució idicadora e el cojuto A, el cual además se suoe que o deede del arámetro. Ejemlo. Mostrar que la fució de robabilidad Beroulli erteece a la familia eoecial Solució: Ua variable aleatoria X tiee ua fució de robabilidad Beroulli co arámetro si está dada or ara 0,. La fució de robabilidad uede ser escrita como I A e[ l l ] De dode, e[ l l ] Luego al- T. Tambié bl- Ejemlo. Mostrar que la fució de desidad eoecial erteece a la familia Eoecial Alguas veces es más coveiete rearametrizar la familia eoecial usado el arámetro ηa. Así que f η e ηt b0 η s I A
dode b o ηba - η. Esta es llamada la reresetació caóica o atural de ua familia eoecial. E el caso de la fució de robabilidad de Beroulli ηl-. Luego, e η - e -. Por lo tato, e -. De ello se obtiee que b o ηle -η e - -le η Derivado la fució geeratriz de mometos de X usado la forma caóica de su desidad se obtiee las siguietes roiedades ara variables aleatorias cuas desidades erteece a la familia eoecial a Valor Eserado de T: E T b' 0 η E el caso de la distribució de Beroulli, b Variaza de T: VAR T b'' 0 η b ' 0 η e η e η c Máima Verosimiltud de. El estimador máimo verosimil de, basado e ua muestra de tamaño, se obtedrá al resolver la ecuació ETXT co resecto a. Aquí X rereseta la variable aleatoria u valor observado de ella. Si se tuviera ua muestra aleatoria X,X,.X de la variable aleatoria X etoces la fució de desidad cojuta tambié es de la familia eoecial el estimador MV de será la solució de E T X i i T i i Caso Multiaramétrico Sea f, co,. k que rereseta la fució de desidad o de robabilidad de ua variable aleatoria X, se dice que erteece a la familia eoecial si eiste fucioes aa, a k, TT,.T k, b s tales que f a T b s e I dode I A rereseta la fució idicadora e el cojuto A, el cual además se suoe que o deede del arámetro. Ejemlo. La distribució Normal co arametros µ σ erteece a la familia eoecial. Ejemlo : Verificar que la distribució multiomial erteece a la familia eoecial verificar sus roiedades. Ejemlo: Máima verosimitud ara u modelo multiomial usado e geética Suogamos que idividuos se asiga al azar co reemlazo a categorias sea A
i el úmero de idividuos e el i-ésima categoría. Suogamos además que las robabilidades de que ua observació erteezca a cada ua de las categorias está dadas resectivamete or, -, -. Dode es u arámetro descoocido que se desea estimar. Etoces el vector aleatorio,,, se distribue multiomialmete co fució de robabilidad!!!!! f Luego, el logaritmo de la fució de verosimiltud será o t Logf L. log log log dode o.t iclue termios costates e or lo tato o iteresa. Derivado co resecto a e igualado a cero se obtiee 0. Lo cual es equivalete a la ecuació cuadrática 0 dode. Esto roducirá el úmero crítico, 8 ˆ que desues de alicar el criterio de la rimera derivada resulta ser el estimador máimo verosimil de. E el caso que se observó 5, 8, 0, resulta que 0.668 9.968 5 ˆ
Más adelate hallaremos este mismo valor usado el algoritmo EM. Descrició del algoritmo EM. Suogamos que rereseta el cojuto de datos observados tambié es llamado el cojuto de datos icomletos. Suoga que rereseta el cojuto de datos comletos, el cual o es observado directamete sio a traves de. Es decir, eiste ua fució h tal que h. Por ejemlo, e u eerimeto se etrae co reemlazamieto bolas de ua ura que cotiee bolas rojas, verdes azules. Uo está iteresado e la distribució de los tres tios de bolas e la muestra. O sea umero de bolas rojas úmero de bolas verdes úmero de bolas azules Pero or algua razó el idividuo que hace las etraccioes o uede distiguir etre las bolas rojas verdes solo registra umero de bolas o azules úmero de bolas azules E este caso, o sea h,,, Sea el cojuto XY{:h}. Sea g que rereseta la fució de desidad de robabilidad de, la cual osee u arámetro descoocido, el cual se desea estimar. Sea f que rereseta la fució de robabilidad o de de desidad del cojuto de datos comleto. Las desidades g f se relacioa or g X Y f d E el algoritmo EM se asume que es más fácil trabajar co f que co g. La fució h o es úica, debe ser determiada de tal maera que sea facil trabajar co f. El algoritmo EM es u roceso iterativo ara estimar. Primero se debe escoger u valor iicial 0 ara el arámetro tal que 0 cosiderar la fució Q E[logf, ] log f k, d Dode rereseta el estado del arámetro e el aso, K, f g. Aquí se esta estimado los datos o observados usado los valores observados el estado actual del arámetro. Sea, el estimado del arámetro e la -ésima iteració. Etoces el estimado e la iteració se ecuetra ejecutado los siguietes dos asos Paso E E es or valor eserado
Se calcula Q Paso M M es or maimizació Se calcula arg ma Q El roceso iterativo termia cuado - <TOL, dode TOL0-6 o 0-7 el estimado será * Ejemlo: Alicar el algoritmo EM ara estimar el arámetro del ejemlo aterior Solució: Primero debemos cosiderar el modelo comleto de la siguiete maera: la rimera categoria que tiee robabilidad de ocurrecia ½, uede ser cosiderada como que está formada or dos subcategorias: ua de ellas co robabilidad de ocurrecia ½ la otra co robabilidad de ocurrecia. Más formalmete, el modelo comleto cosistiría de,,,, 5 dode,, 5. La fució de robabilidad del modelo comleto estaría dado or: f 5!!!!!! 5 5 Notar que, f f { : h } dode h,,,, 5,,, 5,,,. Luego, log f log log 5 log o. t uevamete o.t iclue termios que so costates e. E cosecuecia, Q ψ Elogf, ψ E[ log log 5 log,,,, ψ] Lo cual se reduce a: Q ψ Elog f, ψ log E[, ψ ] log Pero, resulta que or costrucció. log
~Biomial,ψψ E cosecuecia, ψ ψ ψ, E Paso E. De los resultados ateriores se llega a log log log, log f E Q Paso M: Para maimizar Q co resecto a, derivamos rimero se obtiee: ' Q Igualado a cero desejado ara se obtiee Notar que aqui o resultó ua ecuació cuadrática como ocurre e el método de máima verosimilitud. Como Q <0 está garatizado que ha u máimo e cosecuecia El algoritmo EM ara familias eoeciales Cosideremos ua familia eoecial co vector de arametros. La fució de desidad o de robabilidad viee dado or ] e[ s b T a A I f dode I A rereseta la fució idicadora. E este caso el algoritmo EM, tiee la siguiete forma simlificada Notar que, ] [ log s b T a A I f
E cosecuecia, Q a E T, b E s, Sea T E[T, ] u estimado del estadistico suficiete T. La eresió aterior debe ser maimizada e el aso M co resecto a, ero el ultimo termio o deede de. Asi que el aso E se uede reducir a: Paso E: Resolver T E[T, ] Si erder geeralidad odemos cosiderar que teemos u solo arámetro. Derivado, co resecto a resulta Q ' a' ET, b' Por otro lado or la forma de la familia eoecial se uede mostrar que b' E T T e[ a t b s ] d a' Luego, Q ' a' ET, E cosecuecia, Q 0 si solo sí ET, - ET 0 Desues del aso E quedaría, - a' ET T - ET que resulta ser el aso M. 0 Paso M: Determiar como la solució de la ecuació ETT El rocedimieto aquí es equivalete a estimar rimero la arte o observada de la muestra comleta luego alicar Maima verosimilitud ara estimar el arámetro. E el ejemlo multiomial geético
T,,,,5 a0,log,log-,log-,log Luego E[T,,,, ]E{,,,, 5,,,, ]T roducirá el estadístico suficiete T co comoetes, E, E,, 5, Similarmete, E[T,,-, -, Estos estadisticos se sustitue e la fució de desidad de los datos comletos luego se hace la estimació usual or máima verosimilitud se obtiee que La fució e R: emfuctio,,,,tol,start {#Algoritmo EM ar u modelo multiomial usado e geetica #,,, so las frecuecias observadas #tol es el criterio de rueba ara covergecia #usualmete 0^-6 o 0^-7 #start es el valor iicial del arametro siactualstart sisiactual silast0 iter0 while abssilast-si>tol {temoestesiactual, simstetemo$,temo$,, silastsiactual siactualsi iteriter }
cat umero de iteracioes,iter siactual } estefuctiosiactual, {*siactual - list, } mstefuctio,,, {siuevo- } La siguiete fució e Matlab, halla el estimador EM de fuctio siem,,,,tol,start %Algoritmo EM ar u modelo multiomial usado e geetica %,,, so las frecuecias observadas % tol es el criterio de rueba ara covergecia %usualmete 0^-6 o 0^-7 %start es el valor iicial del arametro ; siactualstart; sisiactual; silast0; iter0; while abssilast-si>tol [, ]estesiactual,; simste,,,; silastsiactual; siactualsi; iteriter; ed dis'umero de iteracioes'; disiter; %%%%%%%%%%%%%%%%%%%%%%%%%%%% fuctio [, ]estesiactual, *siactual; -; %%%%%%%%%%%%%%%%%%%%%%%%%%%% fuctio siuevomste,,, siuevo-; %%%%%%%%%%%%%%%%%%%%%%%%%%%%