2. Proceo Etocático y Cadena de Marov 2. Proceo etocático y cadena de Marov Proceo etocático Cadena de Marov Claificación de etado en una cadena de Marov Probabilidade en etado etacionario Análii de etado tranitorio Proceo de deciión aroviano Proceo etocático. Un oceo etocático de tieo dicreto e una decrición de la relación entre la variable aleatoria X 0,X,...que rereentan alguna caracterítica de un itea en unto dicreto en el tieo. Ejelo: ruina del jugador: inicialente tengo 2, en lo tieo,2,... articio en un juego en el que aueto que gano con robabilidad y ierdo con robabilidad -. Dejo de jugar cuando i caital e 4 o he erdido todo i caital. Si X i e la cantidad de dinero que tengo en el tieo i, X 0,X,... e un roceo etocático. Un roceo etocático de tieo continuo e un roceo etocático en el que el etado del tieo e uede exainar en cualquier tieo. Ejelo: núero de erona en un uerercado a lo t inuto de abrir Francico R. Villatoro
2. Proceo Etocático y Cadena de Marov Cadena de Marov. Cadena de Marov: roceo etocático de tieo dicreto que ara t=0,,2,... y todo lo etado verifica P(X t+ =i t+ X t =i t, X t- =i t-,..., X =i, X 0 =i 0 )=P(X t+ =i t+ X t =i t ) Hiótei de etabilidad: P(X t+ =j X t =i)= (no deende de t) Probabilidade de tranición: Matriz de robabilidade de tranición: Se debe verificar: j= = P = M 2 2 22 M 2 O 2 M Cadena de Marov. a cadena de Marov que culen la hiótei de etabilidad e llaan cadena etacionaria de Marov. Ditribución inicial de robabilidad de una cadena de Marov: q=[q,...,q ] donde q i =P(X 0 =i) Francico R. Villatoro 2
2. Proceo Etocático y Cadena de Marov Cadena de Marov. Ejelo: la ruina del jugador e una cadena de Marov etacionaria Etado: 0,, 2, 3, 4 Matriz de tranición 0 0 0 0 0 0 0 P = 0 0 0 0 0 0 0 0 0 0 a atriz de tranición e uede rereentar con un grafo en el que cada nodo rereenta un etado y cada arco la robabilidad de tranición entre etado. - - - 0 2 3 4 Probabilidade deué de n ao. Si una cadena de Marov etacionaria etá en el etado i en el tieo, cuál e la robabilidad de que n eríodo deué la cadena eté en el etado j? P(X +n =j X =i)=p(x n =j X 0 =i)=p (n) P (n) e la robabilidad en la etaa n de una tranición del etado i al etado j P ()=, P ( 2) = i j P (n)= eleento -éio de P n = Probabilidad de etar en el etado j en el tieo n = i = q i P ( n ) Francico R. Villatoro 3
2. Proceo Etocático y Cadena de Marov Claificación de etado en una cadena de Marov. Dado do etado i y j, la trayectoria de i a j e la uceión de tranicione que coienza en i y terina en j, de fora que cada tranición de la ecuencia tenga robabilidad oitiva. Un etado j e alcanzable dede un etado i i hay una trayectoria de i a j. Do etado i y j e counican i i e alcanzable dede j y j e alcanzable dede i. Un conjunto de etado S en una cadena de Marov e cerrado (contituyen una clae de la cadena) in ningún etado fuera de S e alcanzable dede un etado en S. Un etado i e aborbente i ii = Claificación de etado en una cadena de Marov. Un etado i e tranitorio i hay un etado j alcanzable dede i,ero el etado i no e alcanzable dede j. Un etado e recurrente i no e tranitorio. Un etado i e eriódico con eriodo > i e el enor núero tal que toda la trayectoria que arten del etado i y regrean al etado i tienen una longitud últilo de. Si un etado recurrente no e eriódico e aeriódico. Si todo lo etado de una cadena on recurrente, aeriódico y e counican entre í, la cadena e ergódica. Francico R. Villatoro 4
2. Proceo Etocático y Cadena de Marov Probabilidade en etado etacionario. Si P e la atriz de tranición de una cadena ergódica de etado entonce exite un vector = E decir, li P n li P n ( n) = j n [ K ] = M tal que A e le llaa ditribución de etado etable o de equilibrio ara la cadena de Marov 2 M 2 2 2 O M Probabilidade en etado etacionario. e uede deterinar a artir de la ecuación: En fora atricial = P Ete itea tiene un núero infinito de olucione orque el rango de P iere reulta er enor o igual que - Tabién e debe verificar: + 2 + K+ = j = = j Francico R. Villatoro 5
2. Proceo Etocático y Cadena de Marov Interretación intuitiva de la robabilidade de etado etable. j ( jj ) = j j Probabilidad de que una tranición deterinada deje el etado j = robabilidad de que una tranición deterinada entre al etado j. Probabilidad de que una tranición deterinada deje el etado j = j ( jj ) Probabilidad de que una tranición deterinada entre al etado j= j j En el etado etable el flujo de robabilidad hacia cada etado debe er igual al flujo de robabilidad que ale de cada etado: robabilidade de equilibrio Análii de etado tranitorio El coortaiento de una cadena de Marov ante de alcanzar el etado etable e llaa coortaiento tranitorio. Para u etudio e utilizan la fórula dada anteriorente ara P (n). Francico R. Villatoro 6
2. Proceo Etocático y Cadena de Marov Proceo de deciión aroviano Alicación de la rograación dináica a un roceo de deciión etocático a robabilidade de tranición entre etado etán decrita or una cadena de Marov. a etructura de recoena del roceo etá decrita or una atriz cuyo eleento individuale on el cote o el beneficio de overe de un etado a otro. a atrice de tranición y de recoena deenden de la alternativa de deciión. Objetivo: deterinar la olítica ótia que axiice el ingreo eerado en un núero finito o infinito de etaa. Proceo de deciión aroviano Modelo de etaa finita Objetivo: otiizar ingreo eerado al final de un eríodo de taaño N P =[ ] y R =[r ] atrice de tranición y recoena ara la alternativa f n (i)= ingreo eerado ótio de la etaa n, n+,...,n i el etado del itea al inicio de la etaa n e i f f n [ ] ( i) = ax r + f n+ ( j) N + j = ( j) = 0, j =,2, K,, n =,2, K, N, Francico R. Villatoro 7
2. Proceo Etocático y Cadena de Marov Proceo de deciión aroviano Modelo de etaa infinita No interean olítica ara la que exitan olucione de etado etable Método: Enueración exhautiva: e evalúan toda la olítica etacionaria oible del roblea de deciión Iteración de olítica: deterina la olítica ótia de fora iterativa Proceo de deciión aroviano Enueración exhautiva Problea de deciión con S olítica etacionaria Pao del étodo Calcular el ingreo de una etaa eerado de la olítica dado el etado i, i=,2,...,: v i = Calcular la robabilidade etacionaria de largo lazo de la atriz de tranición aociada a la olítica Deterinar el ingreo eerado de la olítica or ao de tranición: E j = i= a olítica ótia * e deterina de fora que = r v i i { } E * = axe Francico R. Villatoro 8
2. Proceo Etocático y Cadena de Marov Proceo de deciión aroviano Iteración de olítica Problea de deciión con S olítica etacionaria Para una olítica eecífica: Rendiiento total eerado en la etaa n: f n i = vi + f n+ j, i =,2, K, ( ) ( ) j = η núero de etaa que faltan or coniderar: fη i = v + fη j, i =,2, ( ) ( ) i K, j = El coortaiento aintótico del roceo e etudia haciendo η Proceo de deciión aroviano Iteración de olítica Ingreo eerado or etaa: E= v + 2 v 2 +...+ v ( ) ( ) Para η grande f η i = ηe + f i donde f(i) e un térino contante que rereenta el efecto obre el ingreo de coenzar en el etado i. Sutituyendo en la ecuación recuriva y ilificando E = vi + f j f i, i =,2, K, j = ( ) ( ) que e un itea de ecuacione y + incógnita: E, f(),...,f(). Francico R. Villatoro 9
2. Proceo Etocático y Cadena de Marov Proceo de deciión aroviano Iteración de olítica Para deterinar el valor áxio de E e igue un roceo iterativo que terina cuando do olítica uceiva on idéntica: Pao de deterinación del valor: e elige una olítica arbitraria. Suoniendo f ()=0 e reuelven la ecuacione: E = v + f ( j) f ( i), i =,2, K, i j = Pao de ejoraiento de olítica: Para cada etado i deterina la olítica que roduce ax v i + j = f ( j), i =,2, K, a deciione ótia que reultan ara lo etado,2,..., contituyen la nueva olítica t. Si y t on idéntica, t e ótia. Si no e aí, e reite el roceo con =t. Francico R. Villatoro 0