2. Proceo Etocátco y Cadena de Marov 2. Proceo etocátco y cadena de Marov Proceo etocátco Cadena de Marov Clafcacón de etado en una cadena de Marov Probabldade en etado etaconaro Anál de etado trantoro Proceo de decón arovano Proceo etocátco. Un oceo etocátco de teo dcreto e una decrcón de la relacón entre la varable aleatora X 0,X,...que rereentan alguna caracterítca de un tea en unto dcreto en el teo. Ejelo: runa del jugador: ncalente tengo 2, en lo teo,2,... artco en un juego en el que aueto que gano con robabldad y erdo con robabldad -. Dejo de jugar cuando catal e 4 o he erddo todo catal. S X e la cantdad de dnero que tengo en el teo, X 0,X,... e un roceo etocátco. Un roceo etocátco de teo contnuo e un roceo etocátco en el que el etado del teo e uede exanar en cualquer teo. Ejelo: núero de erona en un uerercado a lo t nuto de abrr Francco R. Vllatoro
2. Proceo Etocátco y Cadena de Marov Cadena de Marov. Cadena de Marov: roceo etocátco de teo dcreto que ara t=0,,2,... y todo lo etado verfca P(X t+ = t+ X t = t, X t- = t-,..., X =, X 0 = 0 )=P(X t+ = t+ X t = t ) Hóte de etabldad: P(X t+ =j X t =)= j (no deende de t) Probabldade de trancón: j Matrz de robabldade de trancón: Se debe verfcar: j j= = P = M 2 M 2 22 2 L L O L 2 M Cadena de Marov. La cadena de Marov que culen la hóte de etabldad e llaan cadena etaconara de Marov. Dtrbucón ncal de robabldad de una cadena de Marov: q=[q,...,q ] donde q =P(X 0 =) Francco R. Vllatoro 2
2. Proceo Etocátco y Cadena de Marov Cadena de Marov. Ejelo: la runa del jugador e una cadena de Marov etaconara Etado: 0,, 2, 3, 4 Matrz de trancón P= 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 La atrz de trancón e uede rereentar con un grafo en el que cada nodo rereenta un etado y cada arco la robabldad de trancón entre etado. - - - 0 2 3 4 Probabldade deué de n ao. S una cadena de Marov etaconara etá en el etado en el teo, cuál e la robabldad de que n eríodo deué la cadena eté en el etado j? P(X +n =j X =)=P(X n =j X 0 =)=P j (n) P j (n) e la robabldad en la etaa n de una trancón del etado al etado j P j ()= j, Pj 2 = j P j (n)= eleento j-éo de P n ( ) = Probabldad de etar en el etado j en el teo n = = q P j ( ) n Francco R. Vllatoro 3
2. Proceo Etocátco y Cadena de Marov Clafcacón de etado en una cadena de Marov. Dado do etado y j, la trayectora de a j e la uceón de trancone que coenza en y terna en j, de fora que cada trancón de la ecuenca tenga robabldad otva. Un etado j e alcanzable dede un etado hay una trayectora de a j. Do etado y j e councan e alcanzable dede j y j e alcanzable dede. Un conjunto de etado S en una cadena de Marov e cerrado (conttuyen una clae de la cadena) n nngún etado fuera de S e alcanzable dede un etado en S. Un etado e aborbente = Clafcacón de etado en una cadena de Marov. Un etado e trantoro hay un etado j alcanzable dede,ero el etado no e alcanzable dede j. Un etado e recurrente no e trantoro. Un etado e eródco con erodo > e el enor núero tal que toda la trayectora que arten del etado y regrean al etado tenen una longtud últlo de. S un etado recurrente no e eródco e aeródco. S todo lo etado de una cadena on recurrente, aeródco y e councan entre í, la cadena e ergódca. Francco R. Vllatoro 4
2. Proceo Etocátco y Cadena de Marov Probabldade en etado etaconaro. S P e la atrz de trancón de una cadena ergódca de etado entonce exte un vector = E decr, l P n j l P n ( n) = j n [ K ] = M tal que A e le llaa dtrbucón de etado etable o de equlbro ara la cadena de Marov 2 M 2 2 2 L L O L M Probabldade en etado etaconaro. e uede deternar a artr de la ecuacón: En fora atrcal = P Ete tea tene un núero nfnto de olucone orque el rango de P ere reulta er enor o gual que - Tabén e debe verfcar: + 2 + K + = j = = j Francco R. Vllatoro 5
2. Proceo Etocátco y Cadena de Marov Interretacón ntutva de la robabldade de etado etable. j ( jj ) = j j Probabldad de que una trancón deternada deje el etado j = robabldad de que una trancón deternada entre al etado j. Probabldad de que una trancón deternada deje el etado j = j ( jj ) Probabldad de que una trancón deternada entre al etado j= j j En el etado etable el flujo de robabldad haca cada etado debe er gual al flujo de robabldad que ale de cada etado: robabldade de equlbro Anál de etado trantoro El coortaento de una cadena de Marov ante de alcanzar el etado etable e llaa coortaento trantoro. Para u etudo e utlzan la fórula dada anterorente ara P j (n). Francco R. Vllatoro 6
2. Proceo Etocátco y Cadena de Marov Teo roedo de rer aaje En una cadena ergódca e llaa teo roedo de rer aaje del etado al etado j j al núero eerado de trancone ante de alcanzar el etado j dede el etado. = + j j j ( + ) Reolvendo el tea anteror e ueden calcular lo teo roedo de rer aaje j Se uede deotrar que = Cadena aborbente Cadena de Marov que ncluyen uno o á etado aborbente. Para la cadena aborbente e deea conocer: S e arte de un etado trantoro, cuánta vece habrá que aar or un deternado etado trantoro ante de llegar a un etado aborbente? S e arte de un etado trantoro, cuál e la robabldad de ternar en cada uno de lo etado aborbente? Se forula la atrz de trancón con lo etado ordenado rero lo trantoro (t, t 2,...,t - ) y deué lo aborbente (a,a 2,...,a ): Q P = 0 R I Francco R. Vllatoro 7
2. Proceo Etocátco y Cadena de Marov Cadena aborbente S e arte de un etado trantoro, cuánta vece habrá que aar or un deternado etado trantoro ante de llegar a un etado aborbente? S etao en el etado trantoro t el núero de erodo que aarán en un etado trantoro t j ante de la aborcón e el j-éo eleento de la atrz (I-Q) - S e arte de un etado trantoro, cuál e la robabldad de ternar en cada uno de lo etado aborbente? S etao en el etado trantoro t la robabldad de er aborbdo or un etado aborbente a j e el j-éo eleento de la atrz (I-Q) - R A la atrz (I-Q) - e le llaa atrz fundaental de la cadena de Marov. Problea de getón de eronal Lo ebro de una organzacón e clafcan en gruo. Durante cada erodo una fraccón j de lo que ncan un erodo en el gruo aan al gruo j y una fraccón + dejan la organzacón. Al rnco de cada erodo la organzacón contrata H ebro del gruo. Francco R. Vllatoro 8
2. Proceo Etocátco y Cadena de Marov Problea de getón de eronal N (t)=núero de ebro del gruo al rnco del erodo t S N (t) tende a un líte N cuando t crece deco que N=(N,N 2,...,N ) e el ceno de etado etable de la organzacón. La ecuacón ara calcular el ceno de etado etable e ( =,2, ) H + N = N, K, Nº de entrada a etado = Nº de alda del etado Proceo de decón arovano Alcacón de la rograacón dnáca a un roceo de decón etocátco La robabldade de trancón entre etado etán decrta or una cadena de Marov. La etructura de recoena del roceo etá decrta or una atrz cuyo eleento ndvduale on el cote o el benefco de overe de un etado a otro. La atrce de trancón y de recoena deenden de la alternatva de decón. Objetvo: deternar la olítca óta que axce el ngreo eerado en un núero fnto o nfnto de etaa. Francco R. Vllatoro 9
2. Proceo Etocátco y Cadena de Marov Proceo de decón arovano Modelo de etaa fnta Objetvo: otzar ngreo eerado al fnal de un eríodo de taaño N P =[ j ] y R =[r j ] atrce de trancón y recoena ara la alternatva f n ()= ngreo eerado óto de la etaa n, n+,...,n el etado del tea al nco de la etaa n e f f n [ ] ( ) = ax r + f ( j) j j n+ N + j = ( j) = 0, j =,2, K,, n =,2, K, N, Proceo de decón arovano Modelo de etaa nfnta No nterean olítca ara la que extan olucone de etado etable Método: Enueracón exhautva: e evalúan toda la olítca etaconara oble del roblea de decón Iteracón de olítca: deterna la olítca óta de fora teratva Francco R. Vllatoro 0
2. Proceo Etocátco y Cadena de Marov Proceo de decón arovano Enueracón exhautva Problea de decón con S olítca etaconara Pao del étodo Calcular el ngreo de una etaa eerado de la olítca dado el etado, =,2,...,: v Calcular la robabldade etaconara de largo lazo de la atrz de trancón aocada a la olítca Deternar el ngreo eerado de la olítca or ao de trancón: E = j = = La olítca óta * e deterna de fora que = j j r v { } E * = axe Proceo de decón arovano Iteracón de olítca Problea de decón con S olítca etaconara Para una olítca eecífca: Rendento total eerado en la etaa n: f = v + f j,,2,, n = K j n + ( ) ( ) j = η núero de etaa que faltan or conderar: f = v + f j, =,2, η j η ( ) ( ) K, j= El coortaento antótco del roceo e etuda hacendo η Francco R. Vllatoro
2. Proceo Etocátco y Cadena de Marov Proceo de decón arovano Iteracón de olítca Ingreo eerado or etaa: E= v + 2 v 2 +...+ v ( ) ( ) Para η grande f = ηe + f η donde f() e un t érno contante que rereenta la ntereccón antóntca de f η (). Suttuyendo en la ecuacón recurva y lfcando E = v + f j f, =,2, K, j j= ( ) ( ) que e un tea de ecuacone y + ncógnta: E, f(),...,f(). Proceo de decón arovano Iteracón de olítca Para deternar el valor áxo de E e gue un roceo teratvo que terna cuando do olítca uceva on déntca: Pao de deternacón del valor: e elge una olítca arbtrara. Suonendo f()=0 e reuelven la ecuacone: E = v + f ( j) f ( ), =,2, K, j= j Pao de ejoraento de olítca: Para cada etado deterna la olítca que roduce ax v + j= j f ( j), =,2, K, La decone óta que reultan ara lo etado,2,..., conttuyen la nueva olítca t. S y t on déntca, t e óta. S no e aí, e rete el roceo con =t. Francco R. Vllatoro 2