. Proceo etocátco y cadena de Marov Proceo etocátco Cadena de Marov Clafcacón de etado en una cadena de Marov Probabldade en etado etaconaro Anál de etado trantoro Proceo de decón arovano Proceo etocátco. Un oceo etocátco de teo dcreto e una decrcón de la relacón entre la varable aleatora X,X,...que rereentan alguna caracterítca de un tea en unto dcreto en el teo. Ejelo: runa del jugador: ncalente tengo, en lo teo,,... artco en un juego en el que aueto que gano con robabldad y erdo con robabldad -. Dejo de jugar cuando catal e 4 o he erddo todo catal. S X e la cantdad de dnero que tengo en el teo, X,X,... e un roceo etocátco. Un roceo etocátco de teo contnuo e un roceo etocátco en el que el etado del teo e uede exanar en cualquer teo. Ejelo: núero de erona en un uerercado a lo t nuto de abrr
Cadena de Marov. Cadena de Marov: roceo etocátco de teo dcreto que ara t,,,... y todo lo etado verfca P(X t+ t+ X t t, X t- t-,..., X, X )P(X t+ t+ X t t ) Hóte de etabldad: P(X t+ j X t ) j (no deende de t) Probabldade de trancón: j Matrz de robabldade de trancón: P M Se debe verfcar: j j M L L O L M Cadena de Marov. La cadena de Marov que culen la hóte de etabldad e llaan cadena etaconara de Marov. Dtrbucón ncal de robabldad de una cadena de Marov: q[q,...,q ] donde q P(X )
Cadena de Marov. Ejelo: la runa del jugador e una cadena de Marov etaconara Etado:,,,, 4 Matrz de trancón P La atrz de trancón e uede rereentar con un grafo en el que cada nodo rereenta un etado y cada arco la robabldad de trancón entre etado. - - - 4 Probabldade deué de n ao. S una cadena de Marov etaconara etá en el etado en el teo, cuál e la robabldad de que n eríodo deué la cadena eté en el etado j? P(X +n j X )P(X n j X )P j (n) P j (n) e la robabldad en la etaa n de una trancón del etado al etado j P j () j, P j (n) eleento j-éo de P P n j ( ) Probabldad de etar en el etado j en el teo n q P j ( n) j
Clafcacón de etado en una cadena de Marov. Dado do etado y j, una trayectora de a j e una uceón de trancone que coenza en y terna en j, de fora que cada trancón de la ecuenca tenga robabldad otva. Un etado j e alcanzable dede un etado hay una trayectora de a j. Do etado y j e councan e alcanzable dede j y j e alcanzable dede. Un conjunto de etado S en una cadena de Marov e cerrado (conttuyen una clae de la cadena) nngún etado fuera de S e alcanzable dede un etado en S. Un etado e aborbente Clafcacón de etado en una cadena de Marov. Un etado e trantoro hay un etado j alcanzable dede,ero el etado no e alcanzable dede j. Un etado e recurrente no e trantoro. Un etado e eródco con erodo > e el enor núero tal que toda la trayectora que arten del etado y regrean al etado tenen una longtud últlo de. S un etado recurrente no e eródco e aeródco. S todo lo etado de una cadena on recurrente, aeródco y e councan entre í, la cadena e ergódca.
Probabldade en etado etaconaro. S P e la atrz de trancón de una cadena ergódca de etado entonce exte un vector [ K ] tal que E decr, l P n j l P n n ( n) j M A e le llaa dtrbucón de etado etable o de equlbro ara la cadena de Marov M L L O L M Probabldade en etado etaconaro. e uede deternar a artr de la ecuacón: En fora atrcal P Ete tea tene un núero nfnto de olucone orque el rango de P ere reulta er enor o gual que - Tabén e debe verfcar: + + K+ j j
Interretacón ntutva de la robabldade de etado etable. j ( jj) j j Probabldad de que una trancón deternada deje el etado j robabldad de que una trancón deternada entre al etado j. Probabldad de que una trancón deternada deje el etado j ( ) j jj Probabldad de que una trancón deternada entre al etado j j j En el etado etable el flujo de robabldad haca cada etado debe er gual al flujo de robabldad que ale de cada etado: robabldade de equlbro Anál de etado trantoro El coortaento de una cadena de Marov ante de alcanzar el etado etable e llaa coortaento trantoro. Para u etudo e utlzan la fórula dada anterorente ara P j (n).
Proceo de decón arovano Alcacón de la rograacón dnáca a un roceo de decón etocátco La robabldade de trancón entre etado etán decrta or una cadena de Marov. La etructura de recoena del roceo etá decrta or una atrz cuyo eleento ndvduale on el cote o el benefco de overe de un etado a otro. La atrce de trancón y de recoena deenden de la alternatva de decón. Objetvo: deternar la olítca óta que axce el ngreo eerado en un núero fnto o nfnto de etaa. Problea del jardnero (TAHA) ESTADOS: BUENO REGULAR MALO DECISIONES: NO ABONAR..5. 7 P.5.5 R ABONAR 6 5..6. 6 P..6. R 7.5.4.55 6 5 4
Proceo de decón arovano Modelo de etaa fnta Objetvo: otzar ngreo eerado al fnal de un eríodo de taaño N P [ j ] y R [r j ] atrce de trancón y recoena ara la alternatva f n () ngreo eerado óto de la etaa n, n+,...,n el etado del tea al nco de la etaa n e f f n [ ] () ax j rj + f n+ ( j) N + j ( j), j,, K,, n,, K, N, Modelo de etaa fnta N nuero total de etaa f n () ngreo eerado óto de la etaa n,n+,,n v v 5. 4.7. -.4 f [ ], n,, N n () ax j rj + fn + ( j) K, j v j r j j Etaa : f () v v f () 5. 4.7 5... -.4.4
Modelo de etaa fnta Etaa K K f () 8. 8.9 8.9 4.75 5.6 5.6 -.6.. Etaa I K K f ().8.74.74 6.87 7.9 7.9. 4. 4. Proceo de decón arovano Modelo de etaa nfnta No nterean olítca ara la que extan olucone de etado etable Método: Enueracón exhautva: e evalúan toda la olítca etaconara oble del roblea de decón Iteracón de olítca: deterna la olítca óta de fora teratva
Proceo de decón arovano Enueracón exhautva Problea de decón con S olítca etaconara Pao del étodo Calcular el ngreo de una etaa eerado de la olítca dado el etado,,,...,: v j Calcular la robabldade etaconara de largo lazo de la atrz de trancón aocada a la olítca Deternar el ngreo eerado de la olítca or ao de trancón: E v La olítca óta * e deterna de fora que r j j E * ax { E } Modelo de etaa nfnta POLITICAS ESTACIONARIAS: I. NO ABONAR NUNCA II. ABONAR SIEMPRE III. ABONAR SI, NO ABONAR SI Ó IV. ABONAR SI, NO ABONAR SI Ó V. ABONAR SI, NO ABONAR SI Ó VI. ABONAR SI Ó, NO ABONAR SI VII. ABONAR SI Ó, NO ABONAR SI VIII. ABONAR SI Ó, NO ABONAR SI
Proceo de decón arovano Iteracón de olítca Problea de decón con S olítca etaconara Para una olítca eecífca: Rendento total eerado en la etaa n: f v + j f n+ j,,, () ( ) n K, j η: Núero de etaa que faltan or conderar fη v + j fη j,,, K, () ( ) j Proceo de decón arovano Iteracón de olítca Ingreo eerado or etaa: E v + v +...+ v ( ) ( ) Para η grande f η ηe + f donde f() e un térno contante que rereenta el efecto obre el ngreo de coenzar en el etado. Suttuyendo en la ecuacón recurva y lfcando E v + j f ( j) f ( ),,, K, j que e un tea de ecuacone y + ncógnta: E, f(),...,f().
Proceo de decón arovano Iteracón de olítca Para deternar el valor áxo de E e gue un roceo teratvo que terna cuando do olítca uceva on déntca: Pao de deternacón del valor: e elge una olítca arbtrara. Suonendo f () e reuelven la ecuacone: E v + f ( j) f ( ),,, K, j j Pao de ejoraento de olítca: Para cada etado deterna la olítca que roduce ax v + f ( j),,, K, j j La decone óta que reultan ara lo etado,,..., conttuyen la nueva olítca t. S y t on déntca, t e óta. S no e aí, e rete el roceo con t. ITERACION DE POLITICAS Polítca ncal I: no abonar nunca Iteracón del valor E 5. +. f () +.5 f () +. f () f () E +.5( f ) +.5 f () f () E + f () f () f () Mejoraento de olítca v I K K + j j f ( j )..5. 7 P.5.5 R f ().88 f () 8 f () ax 6 5.875.6.6 7 9.9 9.9-4.4 4.4
ITERACION DE POLITICAS Nueva oltca II: abonar ere Iteracón del valor E 4.7 +. f () +.6 f () +. f () f () E.+. f () +.6 f () +. f () f () E.4 +.5 f () +.4 f () +.55 f () f () f () Mejoraento de olítca v + I K K j j f ( j )..6. 6 P..6. R 7.5.4.55 6 f () 6.75 f ().79 f () ax 5 4 8.54 8.99 8.99 4.89 6.5 6.5 -.5.5