ROCESOS DE MARKOV rinciio de Markov: Cuando una robabilidad condicional deende únicamente del suceso inmediatamente anterior, cumle con el rinciio de Markov de rimer Orden, es decir. X ( t ) j X () K, X () K,..., X ( t) i) ( X ( t ) j X ( t) i) ( Definiciones en los rocesos de Markov de rimer Orden: Estados: Las condiciones en las cuales se encuentra un ente ó sucesos osibles. Ensayos: Las ocurrencias reetidas de un evento que se estudia. robabilidad de Transición: La robabilidad de asar de un estado actual al siguiente en un eríodo ó tiemo, y se denota or ij ( la robabilidad de asar del estado i al estado j en una transición ó eríodo) Características de los rocesos de Markov de rimer Orden: Se ueden usar como modelo de un roceso físico ó económico que tenga las siguientes roiedades: a) Que la robabilidad cumla con el rinciio de Markov. b) Existencia de un número finito de estados. c) Las ij son constante con resecto al tiemo ó eríodo. d) Ensayos en eríodos iguales. Si un suceso deende de otro además del inmediatamente anterior, este es un roceso de Markov de mayor orden. or ejemlo, Un roceso de segundo orden describe un roceso en el cual el suceso deende de los dos sucesos anteriores. Los rocesos de Markov también se les llama Cadenas de Markov. Notaciones que utilizaremos: ij robabilidad de transición en un eríodo. [ ij ] nxn matriz de transición formada or los valores de ij, donde cada fila reresenta el estado inicial donde se arte y las columna el estado al que se ira en un eríodo. ( ) k ij ( X ( k) j X () i) reresenta la robabilidad de ir del estado i al estado j en k eríodos. (k) (k ) [ ij ] nxn la matriz de transición de k eríodos. S i (t) robabilidad de encontrarse en el estado i en el eríodo t. S(t) (S (t), S (t),...., S n (t)) vector de robabilidad de estado en el eríodo t. ara n estados. ij
Los sucesos que cumlan con un roceso de Markov, se ueden reresentar or medio de un esquema donde los nodos indique los estados y arcos dirigidos de nodo a nodo con un número que reresenta la robabilidad de transición de ir de un estado a otro, ó or medio de una matriz de transición. Ejemlo:..3..3.4.4.5.3.4 ara calcular: () ( X () X () ).. 3. 3,.,,3.,3,5.,,3 () ( X () X () ).. 3. 3,.,3,3.,4,5.,4,38 () 3 ( X () 3 X () ). 3. 3 3. 33,.,5,3.,3,5.,4,39 luego () () () 3 Otra forma es usando el vector de robabilidades y la matriz de transición, es decir: S() (,, ) S() S(). (,;,3;,5) S() S(). (,3;,38;,39) Cadenas de Markov Ergódicas ó cadenas irreductibles. Describen matemáticamente un roceso en el cual es osible avanzar desde un estado hasta cualquier otro estado. No es necesario que esto sea osible en un aso. Una cadena ergódica es regular: Si ara alguna otencia de la matriz de transición tiene únicamente elementos ositivos de robabilidad (diferente de cero) Ejemlo :
.5.5.4.5.35.3.7.5.43.4.4.6..4.64 luego es regular (y or lo tanto ergódica) Ejemlo :.4.3.6.5.6.4.7.5.5.48.44.4.48.5.56.6 4 r q h r q h Esta matriz reite continuamente este atrón ara todas las otencias de ; or consiguiente no es regular ni tamoco ergódica. roiedades de las Cadenas de Markov..- Las robabilidades de estados deben ser igual a uno, es decir. S (t)s (t)....,s n (t) ara n estados..- ara cada fila de la matriz se cumle: i i... in ara todo i,,..., n 3.- Las transiciones de un eríodo al siguiente se obtienen de la siguiente ecuación: S(t) S(t-). or lo tanto S(t) S(). t 4.- Si S(t) S(t) ara t K, Entonces se dice que el sistema se estabiliza ó que los estados son estacionarios ó estables. Esto imlica que S S., es decir. El vector de estado estacionario sigue siendo igual desués de la transición t. Ejemlo ara calcular el vector de equilibrio o de estado estacionario. Sea : 3/ 5 / 5 7 / 5 8/ 5 3 83/5 4 /5 4 47 / 65 8/ 65 4 / 5 / 5 6 / 5 9 / 5 84 /5 4/5 46 / 65 9 / 65 5 83/ 35 4 / 35 6 / 3 / 3 7 / 3 / 3 84 / 35 4/ 35 / 3 / 3 El roceso se / 3 / 3 estabiliza en el eríodo 6 Otra forma: Se calcula el siguiente sistema queda,4s,8s S S S S. S i en este caso S S S,6S,4S S,8S,S y
cuya solución es: S /3 y S /3 Observación: Las ecuaciones que se obtienen del desarrollo de S S. Siemre hay una ecuación que es combinación lineal de las demás ecuaciones, or lo tanto se omite ara que el sistema quede con n ecuaciones y n variables. Estados Absorbentes: Es aquel estado que tiene una robabilidad de ser abandonado igual a cero, es decir. Una vez en él es imosible dejarlo. Esto quiere decir: Si i es un estado absorbente si se cumle que ij si i j y ii. Una cadena de Markov es Absorbente: Si se cumle: a) Tiene or lo menos un estado Absorbente. b) Es osible ir de cada estado no absorbente hasta or lo menos un estado absorbente. No es necesario efectuar esta transición en un aso; ni es necesario tener la osibilidad de alcanzar cada estado absorbente a artir de cualquier estado no absorbente. Análisis de las cadenas de Markov Absorbentes. A artir del análisis de estas cadenas, es osible determinar los siguientes datos: ) El número eserado de asos antes de que el roceso sea absorbido. ) El número eserado de veces que el roceso está en cualquier estado dado no absorbente. 3) La robabilidad de absorción or cualquier estado absorbente dado. El rimer aso del análisis es construir una submatriz H de formada de estados no absorbentes a estados no absorbentes. Luego H da las robabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en un aso exactamente, H da las robabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos asos exactamente. H 3 da información similar ara tres asos, etc. or lo tanto, H n da esta misma información ara n asos. ara hallar el número eserado de asos antes que el roceso sea absorbido, consiste en calcular el número eserado de veces que el roceso uede estar en cada estado no absorbente y sumarlos. Esto totalizaría el número de asos antes de que el roceso fuera absorbido y or consiguiente el número eserado de asos hacia la absorción. Luego: IHH H 3.. (I-H) - Q or consiguiente Q reresenta el número eserado de eríodos que el sistema estará en cada estado no absorbente antes de la absorción, or lo tanto la suma de cada fila de Q reresenta el romedio de eríodos que transcurren antes de ir a un estado absorbente.
ara hallar la robabilidad de absorción or cualquier estado absorbente dado, se emlea una lógica similar en el análisis. Se construye una submatriz G de formada de estados no absorbente a estados absorbentes y reresenta la robabilidad de ir de un estado no absorbente a un estado absorbente en un aso exactamente, H.G reresenta la robabilidad de ir de un estado no absorbente a un estado absorbente en dos asos exactamente y así sucesivamente. or lo tanto GH.GH.G... ( IHH H 3..).G (I-H) -.G Q.G R, Y esta matriz reresenta la roorción ó robabilidad en que un estado no absorbente asa a un estado absorbente. Número de asos ara alcanzar or rimera vez un estado determinado en cadenas no absorbentes ( Tiemo de la rimera transición) Si definimos a f ij como el romedio de eríodos que transcurre antes de cambiar de un f estado i al estado j or rimera vez. Se tiene que ij ik. f kj y además f ii k j Si Otro método: Consiste en transformar en estado absorbente el estado al cual queremos ir or rimera vez, or ejemlo si j es el estado que queremos llegar or rimera vez, ara ello la matriz se modifica de manera que el estado j aarezca como estado absorbente y obtener la matriz Q de esta transformación y or lo tanto f ia qia donde A reresenta el estado absorbente. Valor Económico Eserado en un roceso ó cadena de Markov. En un roceso de Markov estar en cada estado genera un costo ó beneficio, or lo tanto el valor económico eserado se define: ci E ( C) ci. S i,es decir, el valor económico or la robabilidad del sistema f ii estabilizado.