El algoritmo EM para las estimacion de parametros en mezclas gaussianas. Una mezcla de distribuciones con K componentes tiene la forma

Transcripción

1 E agorto EM para as estaco de paraetros e ezcas gaussaas Edgar Acua. Ua ezca de dstrbucoes co copoetes tee a ora x π x... π x dode cada copoete es ua ucó de probabdad Posso, Boa, etc o ua uco de desdad Nora, Expoeca, Gaa, etc. Notar que π... π. De todas as ezcas a as usada es a ezca de desdades oraes, aada tabé ua Mezca Gaussaa, que tee a ora geera x exp x / π π e esta ezca habra que estar 3 paráetros edas, varazas coecetes. Coo a sua de os coecetes da. e uero de paráetros a estar se puede reducr a 3-.. Estaco de paráetros e ua ezca Gaussaa co dos copoetes. caso Udesoa E este caso a ezca es de a ora Y x e π π e π / x / π sea θ,, θ, θπ,θ,θ vectores de paráetros. Etoces, a ezca ateror se puede escrbr coo Y, θ π N, θ πn, θ dode N represeta a a ucó de desdad Nora o gaussaa. Notar que e vector de paráetros θ cotee 5 paraetrso que debe ser estados usado ua uestra aeatora de taaño de a ezca gaussaa. Sea,,.. a uestra aeatora toada de a dstrbucó de Y. E etodo as usado para estar e vector de paráetros θ es e Maxu Lkehood ML axa

2 verostud. Aquí se axza co respecto a θ, a ucó de verostud deda por Lθ/Y,θ,θ,θ, θ Agua gete usa soo a otacó Lθ otros Lθ;, pero e EM se preere a otacó. Frecueteete es as ac trabaar co LogLθ/Y, que debdo a a ootcdad de a uco Logartca, preserva e axo. Así og L θ / Y og[, θ og, θ E e caso de a ezca gaussaa co dos copoetes, se tedrá og L θ / Y og[ π N, θ πn, θ] π dode N θ.5og.5og, sarete para og, ogn,θ. Habra que axzar 3 co respecto a θπ,θ,θ π,,,,, haado as respectvas dervadas parcaes, pero a preseca de a uco ogarto hace que esto sea copcado. La ateratva as usada es e agorto EM troducdo por Depster, Lard, ad Rub 977. Notar que a varabe aeatora Y correspodete a a ezca Gausaa puede ser obteda coo Y-T*Y T*Y, dode Y~N,, Y~N, T es ua varabe aeatora que asue os vaores 0 co P[T]π. Pero otar que os vaores de T o so observados e a uestra. E agorto EM se basa e e sguete hecho: LogLθ/Y es copcado de resover, pero oglθ/y,t s se puede resover. Y es aada a data observada, T es aada a data o observada ZY,T es aada a data copeta. Cosdereos que para a - esa observacó de a uestra, T s dcha observacó es extraída de a pobacó Y T 0 s a observacó es extraída de a pobacó Y. Etoces a ucó de verostud correspodete, puede ser escrta de a ora T ] [ N, ] L / Y, T [ N, θ θ θ 4 Toado ogartos se tedría LogL / Y, T T og N, θ T og N, θ θ 5 T 3

3 La ecuacó 5 s puede ser axzada as ácete que a ecuacó 3. Pero e proceso debe ser teratvo, porque e cada paso e vaor de T depede de os vaores de π, θ θ. E paso E cacuo de vaor esperado Notar que s e 4 toaos vaor esperado codcoado a θ,y, resuta E[ Q θ / Y, θ ] E T / θ, Y og N, θ E T / θ, Y og N, θ dode QθogLθ/Y,T. Pero, ET /θ,y0*p[t 0/θ,Y]*P[T /θ,y] P[T /θ,y]probcaer e Y/Probcaer Y o Y Cosdereos ahora e proceso teratvo, que coeza cosderado π 0.5, 0 0 rado, rado, S, S, dode S es a varaza uestra. Luego e e -eso paso, π N, θ E[ T / θ, Y ] π N, θ π N, θ Estos vaores so aados as resposabdades se usa para asgar as observacoes a u custer. As a acabar e proceso teratvo s.5 se asga a observacó a custer de o cotraro ra a custer. Luego o que habría que axzar se reduce a Q θ / θ og N, θ og N, θ Agua gete preere a otacó Qθ,θ. Aquí tera a etapa E, La etapa M Maxzacó Aquí se axza a expresó 6 co respecto a θπ,θ,θ π,,,,, esto pca cacua dervadas parcaes de Q co respecto a π,,,, e guaaras a 0. Así dervado Q co respecto a se obtee. Q 0, o cua produce 6

4 . Sarete, Dervado ahora co respecto a se obtee que 0 4 Q, de dode resuta. Sarete,. Faete, por decó de, se tee que π. E agorto se repte hasta que π,,,, o cabe ucho co respecto a paso ateror. Habra que estabecer u ve de toeraca pequeño.. Estaco de paráetros e ua ezca Gaussaa co copoetes. caso Udesoa La uco de desdad esta dada e a ecuacó. Aquí troducos varabes aeatoras T ta que T s a observacó es extrada de a pobacó Y, T0 e otro caso, P[T]π. Notar que π π. Luego, YT Y.T Y. La ucó de og kehood, codcoada a a data copeta, sar a a ecuacó 5 puede se escrta coo

5 LogL / Y, T T og N, θ θ 7 dode T s a -ésa observacó cae e a copoete T 0 e otro caso. Paso E. Aquí as T que aparece e a ecuacó 7 debe ser susttudas teratvaete por π N, θ E[ T / θ, Y ]. Los vaores caes de os π N, θ 0 paráetros so os sos que ates, excepto que π para.. Luego habría que axzar a ucó Q / θ og N, θ θ 8 Paso M: Dervado parcaete 8 co respecto a para,,, se obtee π 3. Caso Mutvarado. Cosdereos que toaos p varabes dstrbudas coutaete co ua ora Mutvarada co vector de eda atrz de covaraza Σ. Esto es que a ucó de desdad de vector aeatoro x tee ucó de desdad exp[ x ' Σ x / ] Σ π x / p /

6 se escrbe x~nm p, Σ Exste uchas estructuras que se puede cosderar para Σ. Etre eas que sea ua atrz dagoa co ua costate. Es decr, Σ I, o que sea soaete dagoa co derete etradas e ea. Sea a varabe aeatora Y que se dstrbue coo ua ezca de Gaussaas utvaradas. Esto es, π NM, Σ... π NM, Σ dode π Itroducedo e so tpo de varabes T coo e e caso, se obtee LogL / Y, T T og NM, θ θ 9 dode θ, Σ para,.. Paso E. Aquí as T que aparece e a ecuacó 9 debe ser susttudas teratvaete por π NM, θ E[ T / θ, Y ]. Los vaores caes para as k π NM, θ edas so k observacoes de as s eegdas a azar. Los vaores caes de as atrces de covaraza depede de a estructura que se haa decddo para a atrz. E prograa cust de R cosdera 6 tpos dsttos de estructuras. Tabé, para.. Luego habría que axzar a ucó Q / θ og NM, θ θ 0 Paso M. Dervado parcaete 0 co respecto a Σ para,,, se obtee π 0

7 Σ p ' π