> Cadenas de Markov. Horacio Rojo y Miguel Investigación Operativa

Transcripción

1 @ 707 Investigación Operativa > Cadenas de Markov Horacio Rojo y Miguel Miranda c 2009 Facultad de Ingeniería, Universidad de Buenos Aires Digitalizado por Virginia Guala $September 2, 2009

2 Cadenas de Markov Indice PROCESOS ESTOCÁSTICOS 3 Definición de Proceso Estocástico 3 2 Clasificación de los Procesos Estocásticos 3 2 CADENAS DE MARKOV HOMOGÉNEAS DE PARÁMETRO DISCRETO 0 2 Estudio de las probabilidades en las cadenas de markov homogéneas 0 22 Clasificación de las cadenas de Markov Homogéneas en ergódicas y no ergódicas 2 23 Estudio del Comportamiento de las Cadenas Ergódicas en el Régimen Permanente Estudio del comportamiento de las cadenas no ergódicas 34 3 CADENAS DE MARKOV HOMOGÉNEAS DE PARÁMETRO CONTINUO 43 3 Estudio de las probabilidades en las cadenas de Markov homogéneas Estudio del comportamiento de las cadenas regulares en el reg permanente 49 4 APLICACIÓN DE CADENAS DE MARKOV A SISTEMAS DE ATENCIÓN 54 4 Definición del problema Modelización mediante una cadena de Markov tipo nacimiento y muerte Modelo general de canales en paralelo de igual velocidad Modelo de dos canales en paralelo de distinta velocidad y cola infinita Modelo de dos canales en paralelo de distinta velocidad y cola finita de una sola posición Modelo de dos canales en serie de distinta velocidad, sin cola intermedia 73 5 APLICACIONES 78 5 Aplicación comercial ( Brand switching ) Planeamiento de Personal Gestión de inventarios Planeamiento de producción Analisis de fallas Analisis de cuentas Estudio de confiabilidad en un sistema de líneas de transmisión 97 BIBLIOGRAFÍA 02

3 Cadenas de Markov 2 PRÓLOGO Las cadenas de Markov comprenden un capítulo particularmente importante de ciertos fenómenos aleatorios que afectan a sistemas de naturaleza dinámica y que se denominan procesos estocásticos Deben su nombre a Andrei Andreivich Markov, matemático ruso que postuló el principio de que existen ciertos procesos cuyo estado futuro sólo depende de su estado presente y es independiente de sus estados pasados Dichos procesos, denominados proceso de Markov, así como un subconjunto de ellos llamados cadenas de Markov, constituyen una herramienta matemática muy general y poderosa para el análisis y tratamiento de un sinnúmero de problemas de característica aleatoria en campos de muy diversa índole, como ser la física, la Ingeniería y La Economía por citar sólo unos pocos En el capítulo se describen los procesos estocásticos y dentro de los mismos se encuadran a los procesos y cadenas de Markov En el capítulo 2 se analizan en detalle a las cadenas de Markov de parámetro discreto, definiéndose las probabilidades de transición y de estado y las ecuaciones generales que rigen el comportamiento de esas cadenas, las que luego se aplican al estudio de las principales cadenas ergódicas y no ergódicas En el capítulo 3 se sigue un esquema similar aplicado a las cadenas de Markov de parámetro continuo, que son luego utilizadas en el capítulo 4 para la modelización de los sistemas de atención Por último en el capítulo 5 se indican otras aplicaciones de las cadenas de Markov Queremos dejar constancia de nuestro profundo agradecimiento a los ingenieros Eduardo Diéguez y Fernando Salvador por la exhaustiva tarea de revisión efectuada y por los invalorables consejos y sugerencias que nos han formulado en la elaboración del texto Los Autores

4 Cadenas de Markov 3 PROCESOS ESTOCÁSTICOS Definición de Proceso Estocástico Un proceso estocástico es un modelo matemático que describe el comportamiento de un sistema dinámico, sometido a un fenómeno de naturaleza aleatoria La presencia de un fenómeno aleatorio hace que el sistema evolucione según un parámetro, que normalmente es el tiempo t cambiando probabilísticamente de estado En otras palabras: al realizar una serie de observaciones del proceso, en diferentes ocasiones y bajo idénticas condiciones, los resultados de las observaciones serán, en general, diferentes Por esa razón para describir el comportamiento del sistema es necesario definir una variable aleatoria: X(t) que represente una característica mesurable de los distintos estados que puede tomar el sistema según sea el resultado del fenómeno aleatorio, y su correspondiente probabilidad de estado asociada: p x (t) Luego el proceso estocástico queda definido por el conjunto: X(t), p x (t), t Ejemplo a En un sistema de generación de energía eléctrica, el pronóstico de la potencia eléctrica horaria requerida para un día es un proceso estocástico, en el cual son: t= 0,, 2 24: horas del día X(t)= pronóstico de la potencia eléctrica requerida px(t)= probabilidad de estado asociada 2 Clasificación de los Procesos Estocásticos Para su estudio los procesos estocásticos pueden clasificarse de diversas maneras, como se indica a continuación 2) Clasificación de los procesos estocásticos según la memoria de la historia de estados

5 Cadenas de Markov 4 Esta clasificación tiene relación con la memoria que guarda el proceso de la historia de los estados anteriores Para efectuar este análisis se define la probabilidad condicional o de transición entre estados mediante la siguiente expresión: P {X(t + Δt) = x t+δt /X(t) = x t, X(t Δt ) = x t Δt, X(t Δt 2 ) = x t Δt2, X(t Δt 3 ) = x t Δt3, } (2) Siendo: x t+δt : un estado particular en el instante t + Δt x t : un estado particular en el instante t x t Δt : un estado particular en el instante t Δt x t Δt2 : un estado particular en el instante t Δt 2 x t Δt3 : un estado particular en el instante t Δt 3 En función de lo anterior se definen los siguientes procesos: a) Procesos aleatorios puros Son procesos en los que se cumple que: P {X(t + Δt) = x t+δt /X(t) = x t, X(t Δt ) = x t Δt, X(t Δt 2 ) = x t Δt2, } = P {X(t + Δt) = x t+δt } (3) Es decir que la probabilidad de que el sistema se encuentre en un estado cualquiera x t+δt en el instante t + Δt se puede calcular independientemente de cuáles hayan sido los estados anteriores x t, x t Δt,

6 Cadenas de Markov 5 x t Δt2,, es un proceso sin memoria de la historia de estados anteriores Ejemplos de dicho proceso se encuentran en todos los ensayos independientes al azar b) Proceso sin memoria tipo Markov Son procesos en los que se cumple que: P {X(t + Δt) = x t+δt /X(t) = x t, X(t Δt ) = x t Δt, X(t Δt 2 ) = x t Δt2, } = P {X(t + Δt) = x t+δt /X(t) = x t } (4) Es decir que la probabilidad de que el sistema se encuentre en un estado cualquiera x t+δt en el instante t + Δt se puede calcular si se conoce cuál ha sido el estado inmediatamente anterior x t, independientemente de cuáles hayan sido los restantes estados anteriores: x t Δt, x t Δt2, : es un proceso sin memoria de toda la historia de estados anteriores, excepto del inmediatamente anterior x t, resumiéndose en éste toda la información necesaria para calcular la probabilidad del estado x t+δt También se lo suele caracterizar como un proceso en el cual dado el presente (x t ), el futuro (x t+δt ) es independiente del pasado (x t Δt, x t Δt2, ) Ejemplo de dicho proceso se encuentran en el funcionamiento de una red de transmisión de energía eléctrica en la cual el estado del sistema está dado por el número de líneas fuera de servicio en un instante dado Otro ejemplo lo constituye un canal de telecomunicaciones, en el cual el estado del sistema es la salida digital del canal En ambos casos los estados futuros dependen del estado actual y no de cómo ha evolucionado para llegar a dicho estado c) Procesos con memoria Son todos los restantes procesos estocásticos cuyas probabilidades condicionales de transición no cumplen con (3) ni (4)

7 Cadenas de Markov 6 Ejemplo b El siguiente es un proceso con tres variantes que permiten ejemplificar cada uno de los tres tipos de procesos mencionados Dado un bolillero con tres bolillas:, 2 y 3, se definen las siguientes experiencias de pruebas repetidas: a) Se extraen bolillas con reposición y los resultados aleatorios, 2 o 3 definen los estados X(t) del siguiente proceso: si, si la bolilla es ó 2 x(t) = t =, 2, 3, no, si la bolilla es 3 éste es un proceso aleatorio puro de ensayos independientes, pues la probabilidad de presentación de no 2/3 /3 los estados si y no en t valen 2/3 y /3 respectivamente, independientemente de cual haya sido el si estado anterior 2/3 Lo dicho se ilustra el siguiente grafo de transiciones sucesivas entre estados, en el cual los nodos representan los estados del proceso, los arcos las transiciones sucesivas posibles entre estados y los atributos de los arcos las probabilidades condicionales de transición entre dos estados sucesivos b) Se estraen bolillas con o sin reposición según sea o 2, y 3 respectivamente, definiéndose los estados X(t) del siguiente proceso: } x(t) = { si, si la bolilla es o 2, (y se reponen todas) no, si la bolilla es 3, (y no se reponen) /3 t =, 2, 3, éste es un proceso tipo Markov pues conocido un estado X(t) en t se pueden calcular las probabilidades de los estados X(t+) en t+, tal como se indica en el grafo de transiciones no si 0 2/3 /3

8 Cadenas de Markov 7 c) se extraen bolillas con o sin reposición según sean, y 2 o 3 respectivamente, definiéndose los estados X(t) del siguiente proceso: } x(t) = { si, si la bolilla es, (y se reponen todas) no, si la bolilla es 2 o 3, (y no se reponen) t =, 2, 3, éste es un proceso con memoria pues la probabilidad del estado X(t+l)= si, requiere el conocimiento de los estados X(t) y X(t-), tal como se indica en el grafo de transiciones; y lo propio para el estado X(t+l)= no /2 (si X(t-)=si) 0 (si X(t-)=no) /2 (si X(t-)=si) (si X(t-)=no) no si 2/3 /3 22) Clasificación de los procesos de Markov según la naturaleza discreta o continua de las variables Referida específicamente a los procesos de, Markov, esta clasificación guarda relación con la naturaleza discreta o continua del espacio de estados de la variable X(t) y del parámetro tiempo t (a) Naturaleza del espacio de estados Cuando X(t) representa una magnitud continua (tensión o corriente eléctrica, fuerza, energía, potencia, presión, etc), el espacio de estados de X(t) deberá ser un intervalo de números reales, y se hablará entonces de un proceso de Markov con estados continuos o brevemente proceso de Markov En cambio cuando X(t) representa una magnitud discreta (cantidad de artículos en stock en un almacén, número de líneas en servicio en un sistema de transmisión de energía eléctrica, cantidad de clientes en un sistema de atención y espera, etc) el espacio de estados de X(t) será una secuencia finita o numéricamente infinita de enteros, y se hablará entonces de un proceso de Markov con estados discretos, o cadena de Markov

9 Cadenas de Markov 8 (b) Naturaleza del parámetro tiempo Dada la naturaleza dinámica del sistema cuyo comportamiento describe, la definición de la variable aleatoria X(t) requiere la especificación del parámetro t, es decir del conjunto de instantes en que se puede observar los estados del sistema Así si las observaciones se realizan en cualquier instante del continuo (t 0), se habla de un proceso o cadena de Markov de parámetro continuo, mientras que en otras ocasiones las observaciones se efectúan en determinados instantes de tiempo (p ej de hora en hora, t = 0,, 2, ) y en este caso se habla de un proceso o cadena de Markov de parámetro discreto Lo anterior se resume en el siguiente cuadro: Naturaleza del parámetro tiempo t Naturaleza del espacio de estados X(t) Discreto Continuo Discreto Cadenas de Markov de Procesos de Markov de (t = 0,, ) parámetro discreto parámetro discreto Continuo Cadenas de Markov de Procesos de Markov de (t 0) parámetro continuo parámetro continuo 23) Clasificación de las Cadenas de Markov según su homogeneidad en el

10 Cadenas de Markov 9 tiempo Con referencia específicamente a las cadenas de Markov, de parámetro discreto o continuo, los distintos estados de la variable X(t) se suelen representar genéricamente con letras: i, j, k, etc En particular los valores de dichos estados dependen de la naturaleza del sistema que se modela, pero habitualmente se utilizan números enteros: 0,, 2,, m Luego para las cadenas de Markov la probabilidad condicional da transición (4) se expresa de la siguiente manera: P {X(t + Δt) = j/x(t) = i} = P ij (t, t + Δt) (5) Una cadena de Markov es homogénea cuando la probabilidad condicional de transición (5) del estado i al estado j en cualquier instante t sólo depende de la diferencia Δt, es decir: P ij (t, t + Δt) = P ij (Δt); t 0 (6) y es no homogénea en caso contrario En base a las tres clasificaciones efectuadas se puede realizar el siguiente cuadro: Procesos aleatorios puros Procesos Procesos de Markov (estados cont) { } { Estocásticos Procesos de Markov Cadenas de p discr homogéneas de Markov de pcont no homogén Los capítulos siguientes se limitaran al análisis de las cadenas de Markov homogéneas, tanto de parámetro discreto como continuo, y sus respectivos problemas de aplicación

11 2 CADENAS DE MARKOV HOMOGÉNEAS DE PARÁMETRO DISCRETO Cadenas de Markov 0 En la primera parte del capítulo se estudian las probabilidades condicionales de transición -definidas en (l5) y (6) - e incondicionales de estado - definida en () - en las cadenas de Markov homogéneas, y se desarrollan las ecuaciones que rigen su comportamiento, las que luego se aplican al estudio del comportamiento de dichas cadenas en los regímenes transitorio y permanente 2 Estudio de las probabilidades en las cadenas de markov homogéneas 2) Probabilidad condicional de transición a) Definición general Tal como se ha expresado en (6), la probabilidad condicional de transición del estado i al estado j en un intervalo Δt: p ij (Δt) en una cadena de Markov homogénea de parámetro discreto es la probabilidad condicional de que el sistema se encuentre en estado j en el instante t + Δt, habiéndose encontrado en el estado i en el instante t, con t y Δt enteros Matemáticamente es: t = 0,, 2, Δt = n = 0,, 2, p ij (Δt) = P {X(t+Δt) = j/x(t) = i}; con: (2) i = 0,, 2,, m j = 0,, 2,, m El intervalo Δt= n = entero se denomina número de pasos o transiciones o avances de la cadena sobre el parámetro t El conjunto de probabilidades de transición p ij (Δt), i,j definen la matriz de probabilidades de transición P (Δt): P (Δt) = i/ j 0 m 0 p 00 (Δt) p 0 (Δt) p 0m (Δt) p 0 (Δt) p (Δt) p m (Δt) m p m0 (Δt) p m (Δt) p mm (Δt) (22)

12 Cadenas de Markov matriz en la que se cumplen las siguientes condiciones: 0 p ij (Δt) ; i, j (23) m p ij (Δt) = ; i = 0,,, m (24) j=0 con Δt = n =, 2, 3, b) Probabilidad de transición de paso Es un caso particular de la (2) y representa la probabilidad condicional de transición del estado i al estado j, en un intervalo Δt= p ij () = P {X(t + ) = j/x(t) = i}; con: { t = 0,, 2, i = 0,, 2,, m j = 0,, 2,, m (25) Análogamente el conjunto de probabilidades de transición de paso p ij, i,j definen la matriz de probabilidades de transición de paso P: P (Δt) = i/ j 0 m 0 p 00 p 0 p 0m p 0 p p m m p m0 p m p mm (26) Ejemplo 2a Si en la cadena de Markov descripta en la experiencia b) del ejemplo lb se denominan: estado 0 = no estado = si el grafo y la matriz de transición de paso son respectivamente:

13 Cadenas de Markov 2 P = i/ j /3 2/3 Ejemplo 2b Si bien la experiencia a) del ejemplo lb corresponde a proceso de ensayos independientes, se lo puede tratar dentro de la teoría de las cadenas de Markov, siendo sus estados, el grafo y la matriz de transición de paso las siguientes: estado 0 = no estado = si 2/3 0 /3 /3 2/3 P = /3 2/3 /3 2/3 0 0 /3 2/3 c) Probabilidad de transición de 2 pasos En forma análoga se define: p ij (2) = P {X(t + 2) = j/x(t) = i}; con: { t = 0,, 2, i = 0,, 2,, m j = 0,, 2,, m (27) Esta probabilidad, en una cadena de Markov, se puede calcular en función de las probabilidades de paso, mediante la ecuación de Chapman-Kolmogorov, cuya expresión, para este caso es: p ij (2) = m k=0 p ik p kj { i = 0,,, m ; j = 0,,, m (28) la cual establece que para todo par de estados i y j separados por un avance Δt= 2 pasos, la probabilidad de transición se puede expresar

14 Cadenas de Markov 3 en función de las probabilidades de transición de paso del estado i a un conjunto exhaustivo de estados k (todos los estados posibles) y de las probabilidades de transición de paso de cada uno de los estados k al estado j Para su demostración se definen los conjuntos A, B k y C cuyos elementos son ternas ordenadas de eventos: la primera componente es el estado del sistema en t, la segunda en t+ y la tercera en t+2 A : conjunto de ternas cuya primera componente es el estado i en t B k : cada conjunto de ternas cuya segunda componente es uno de los estados k en t+ C : conjunto de ternas cuya tercera componente es el estado j en t+2 además se cumple que: P (C A) = P (C/A)P (A) m P (C B k A) m P (C/B k A)P (B k A) L ij (2) = P (C/A) = k=0 P (A) = k=0 P (A) y por ser una cadena de Markov se cumple la (4), luego es: P (C/B k A) = P (C/B k ) con lo cual queda demostrada la (28) pues:

15 L ij (2) = P (C/A) = m P (C B k )P (B k /A) P (A) k=0 P (A) Cadenas de Markov 4 = m p kj p ik Como antes, el conjunto de probabilidades de transición de 2 pasos: p ij (2), i,j definen la matriz de probabilidades de transición de 2 pasos: k=0 P (2) = p 00 (2) p 0 (2) p 0m (2) p 0 (2) p (2) p m (2) p m0 (2) p m (2) p mm (2) (29) y aplicando la ecuación de Chapman (28) a cada uno de los elementos de la matriz (29) queda la expresión matricial de la ecuación de Chapman-Kolmogorov: P (2) = p 00 (2) p 0m (2) p 00 p 0 p 0m p 00 p 0m = x p 0 p m p m0 (2) p mm (2) p m0 p m p mm p m0 p mm P(2)=PP=P 2 (20) Ejemplo 2c La matriz de transición de 2 pasos de la cadena del Ejemplo n 2a, aplicando la ecuación (20) es:

16 Cadenas de Markov 5 P (2) = 0 0 0, 33 0, 67 = 0, 33 0, 67 0, 33 0, 67 0, 22 0, 78 = 0,67 0 0,33 0,22 0,78 La ecuación de Chapman-Kolmogorov (20) es una condición necesaria, pero no suficiente para que una cadena sea Markoviana d) Expresión qeneral de la ecuación de Chapman-Kolmogorov En forma genérica la probabilidad de transición de n pasos es: t = 0,, 2, n =, 2, p ij (n) = P {X(t + n) = j/x(t) = i}; con: (2) i = 0,, 2,, m j = 0,, 2,, m Repitiendo el proceso descripto en el punto anterior para deducir la ecuación (28) se llega a las expresiones algebraicas generales de la ecuación de Chapman-Kolmogorov: p ij (n) = m p ik p kj (n ) : forma a) k=0 m p ik (n )p kj : forma b) k=0 ; con: { n =, 2, i = 0,, 2,, m j = 0,, 2,, m (22) Como antes, el conjunto de probabilidades de transición de n pasos p ij (n), ij definen la matriz de probabilidades de transición de n casos:

17 Cadenas de Markov 6 P (n) = p 00 (n) p 0 (n) p 0m (n) p 0 (n) p (n) p m (n) p m0 (n) p m (n) p mm (n) (23) y la expresión matricial general de la ecuación de Chapman-Kolmogorov, tomando por ejemplo la forma a), queda: P (n) = p 00 (n) p 0m (n) p 00 p 0 p 0m p 00 (n ) p 0m (n ) = x p 0 (n ) p m (n ) p m0 (n) p mm (n) p m0 p m p mm p m0 (n ) p mm (n ) P(n)=PP(n-) extendiendo la ecuación anterior en forma recursiva se obtiene: P(n)= P P(n-l) = P P P(n-2) = P P P P(n-3)= P (n) = P n (24) que es la expresión genérica matricial de la ecuación de Chapman- Kolmogorov Ejemplo 2d Las matrices de transición de 3, 4 y 5 pasos de la cadena del ejemplo

18 Cadenas de Markov 7 2a son, aplicando la ecuación (24): P (2) = P 3 = PP 2 = 0 0, 33 0, 67 0, 222 0, 778 x = 0, 33 0, 67 0, 22 0, 78 0, 259 0, 74 P (4) = P 4 = PP 3 = 0 0, 222 0, 778 0, 259 0, 74 x = 0, 33 0, 67 0, 259 0, 74 0, 247 0, 753 P (5) = P 5 = PP 4 = 0 0, 259 0, 74 0, 247 0, 753 x = 0, 33 0, 67 0, 247 0, 753 0, 25 0, ) Probabilidad incondicional de estado (a) Definición general Tal como se ha expresado en (), la probabilidad incondicional de estado p(t) en una cadena de Markov homogénea de paramétro discreto, es la probabilidad de que el sistema se encuentre en el estado i en el instante t: { t = 0,, 2, p i (t) = p x=i (t) ; con: i = 0,, 2,, m (25) y el conjunto de probabilidades incondicionales de estado p i (t) i, definen el vector de probabilidades de estado p(t): p(t) = p 0 (t) p (t) p 2 (t) p m (t) (26) vector en el cual se cumplen las siguientes condiciones:

19 Cadenas de Markov 8 0 p i (t) ; i (27) m p i (t) = ; con i = 0,, 2, (28) i=0 (b) Probabilidad de estado inicial Es un caso particular de la (25) para t=0 : p j (0) = P x=i (t = 0) ; con i = 0,,, m (29) y el conjunto de probabilidades de estado iniciales p i (0), i definen el vector de probabilidades de estado inicial: p(0) = p 0 (0) p (0) p 2 (0) p m (0) (220) (c) Probabilidad de estado luego de paso En forma análoga se define: p i () = P x=j (t = ) ; con j = 0,,, m (22) Esta probabilidad se puede expresar en función de las probabilidades de estado iniciales aplicando el Teorema de la Probabilidad Total, quedando expresada la llamada ecuación de estado: p j () = m p i (0)p kj ; con j = 0,,, m (222) i=0 Como antes, el conjunto de probabilidades de estado luego de paso p j (), j, definen el vector de probabilidades de estado luego de paso: p() = p 0 () p () p 2 () p m () (223)

20 Cadenas de Markov 9 y aplicando la ecuación de estado (222) a cada uno de los elementos del vector (223) queda la expresión matricial de la ecuación de estado: p() = p 0 () p () p m () = p 0 (0) p (0) p m (0) x p 00 p 0m p 0 p m p m0 p mm p()= p(0) P (224) (d) Expresión general de la Ecuación de Estado En forma genérica la probabilidad de estado luego de n pasos es: { n = 0,, 2, p j (n) = p x=j (t = n) ; con: j = 0,, 2,, m (225) Con las mismas consideraciones hechas para deducir la ecuación (222) se llega a las expresiones algebraicas generales de la ecuación de estado: p j (n) = m p i (0)p ij (n) : forma a) k=0 m p i (n )p ij : forma b) k=0 ; con: { n =, 2, j = 0,, 2,, m (226) Como antes, el conjunto de probabilidades de estado luego de n pasos p j (n) definen el vector de probabilidades de estado: p(n) = p 0 (n) p (n) p 2 (n) p m (n) (227) y la expresión matricial general de la ecuación de estado (226), tomando por ejemplo la forma a), queda:

21 Cadenas de Markov 20 p(n) = p 0 (0) p (0) p m (0) x p 00 (n) p 0m (n) p 0 (n) p m (n) p m0 (n) p mm (n) p(n)= p(0) P(n) (229) Las ecuaciones (228) y (229) constituyen las expresiones genéricas matriciales de la ecuación de estado, las cuales se resumen en la siguiente expresión: p(0)p (n) p(n) = p(n )P (230) Las ecuaciones (24) y (230) permiten calcular la probabilidad de cada uno de los estados de la cadena, luego de un número n cualquiera de pasos, conocidas la probabilidad de estado para un instante dado y la matriz de probabilidades de transición de paso P Ejemplo 2e En la cadena del ejemplo 2a, si se parte de un estado inicial con las siguientes probabilidades: p 0 (0) = 0, 5 p(0) = 0, 5 0, 5 p (0) = 0, 5 las probabilidades de, 2, 3 y 4 pasos serán respectivamente: p() = p(0)p = 0, 5 0, 5 x 0 0, 333 0, 667 = 0, 67 0, 833 p(2) = p(0)p 2 = 0, 5 0, 5 x 0, 333 0, 667 0, 222 0, 778 = 0, 278 0, 722

22 Cadenas de Markov 2 p(3) = p(0)p 3 = 0, 5 0, 5 x 0, 222 0, 778 0, 259 0, 74 = 0, 24 0, 759 p(4) = p(0)p 4 = 0, 5 0, 5 x 0, 259 0, 74 0, 247 0, 753 = 0, 253 0, Clasificación de las cadenas de Markov Homogéneas en ergódicas y no ergódicas A continuación se efectúa una clasificación de las cadenas de Markov homogéneas según la posibilidad o no que tengan de ser reducibles o separables en cadenas más chicas para el estudio de su comportamiento en los llamados regímenes transitorio y permanente Esta clasificación dará lugar a la definición de las cadenas ergódicas o irreductibles y las cadenas no ergódicas o separables Previamente se requiere dar la definición de estados accesibles y comunicantes y luego clasificar los estados en clases 22) Definición de estados accesibles y comunicantes Un estado j es accesible desde un estado i si se cumple que para algún paso n es p ij (n) > 0, lo cual significa que es posible pasar desde el estado i al estado j luego de un número n de transecciones, y se escribe: i j La accesibilidad es una propiedad transitiva, es decir: si i j y j k i k Ejemplo 2f En la cadena de la figura el estado 6 es accesible desde el 5 en un paso y desde el 4 en dos pasos, a través del 5 El estado no es accesible desde el 2

23 Cadenas de Markov Accesibilidad en una transición i/ j x x 2 x x x 3 x x 4 x x x 5 x 6 x x 7 x x x Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y se escribe: i j La comunicación es también una propiedad transitiva, es decir: si i j y j k i k En el ejemplo 2f los estados 5 y 7 son comunicantes 222) Clasificación de estados en clases comunicantes y estados sin retorno Una clase comunicante es un conjunto de estados que se comunican todos entre si Como caso particular la clase puede consistir en un sólo estado En el ejemplo 2f se pueden formar las siguientes clases comunicantes: C = {2} C 2 = {3, 4} C 3 = {5, 6, 7} Las clases comunicantes se pueden clasificar en recurrentes y transitorias (a) Clases recurrentes- Estados absorbentes Una clase es recurrente cuando la probabilidad de que la cadena se encuentre en un estado de dicha clase después de transiciónes es positiva; esto significa que una vez que la cadena ha alcanzado dicha

24 Cadenas de Markov 23 clase, siempre regresará a ella En el ejemplo 2f la clase C 3 es recurrente Un caso especial de clases recurrentes lo constituyen los llamados estados absorbentes, que son aquellos estados que una vez que la cadena los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles desde otros estados no absorbentes de la cadena, no se cumple la inversa De lo anterior se deduce que un estado absorbente i tiene una probabilidad p ii = (b) Clases transitorias Una clase es transitoria cuando la probabilidad de que la cadena se encuentre en un estado de dicha clase después de transiciones es nula; esto significa que una vez que la cadena ha alcanzado dicha clase, existe una probabilidad de que no retorne nunca a ella En el ejemplo 2f las clases C y C 2 son transitorias Estados sin retorno son aquellos estados que no se comunican con ningún otro estado, ni siquiera consigo mismo; esto significa que una vez que la cadena ha alcanzado dicho estado la probabilidad de que retorne a él es nula En el ejemplo 2f los estados 0 y son sin retorno Resumiendo lo anterior, los estados pueden clasificarse de la siguiente manera: Estados sin retorno { transitorias Clases comunicantes { recurrentes estados absorbentes 223) Clasificación de las cadenas de Markov homogéneas en ergódicas y no ergódicas Una cadena de Markov homogénea es ergódica o irreductible cuando todos sus estados se comunican, es decir constituyen una única clase comunicante recurrente Las cadenas ergódicas pueden ser clasificadas en regulares y periódicas

25 Cadenas de Markov 24 (a) Cadenas regulares Una cadena ergódica es regular o aperiódica cuando todos los estados pueden comunicarse simultáneamente en una cantidad r de pasos; en estas condiciones la potencia r de la matriz P : P r es una matriz con todos sus elementos no nulos Un criterio para comprobar que una cadena es regular consiste en calcular las sucesivas potencias de P hasta encontrar un número r de pasos tal que la matriz P r tiene todos sus elementos no nulos Ejemplo 2g Dada la siguiente cadena: 0,5 0 0,5 0,2 0,6 2 0,2 P = 0, 5 0, 5 0, 2 0, 2 0, 6 se cumple que para r = 3 P 3 = 0, 545 0, 245 0, 20 0, 58 0, 398 0, 084 0, 350 0, 350 0, 300 todos sus elementos son no nulos, por lo tanto es una cadena ergódica regular Como ejemplo: desde el estado 3 se puede acceder al mismo estado recién en 3 pasos (b) Cadenas periódicas Una cadena ergódica es periódica cuando no se puede encontrar una potencia r de P para la cual todos los elementos de P r sean no nulos; en estas condiciones las sucesivas potencias de la matriz P r denotan un patrón periódico que permite asegurar siempre la presencia de al menos un cero en P r Ejemplo 2h Dada la cadena siguiente:

26 Cadenas de Markov 25 0 /2 2 /2 P = 0 0 /2 0 /2 0 0 es ergódica periódica pues sus sucesivas potencias son: P 2 = /2 0 /2 0 0 /2 0 /2 ; P 3 = 0 0 /2 0 /2 0 0 ; P 4 = /2 0 /2 0 0 /2 0 /2 como puede observarse se cumple el patrón de repetición periódico: { P = P 3 = P 5 = = P m ; con m : impar P 2 = P 4 = P 6 = = P n ; con n : par con la presencia siempre de ceros en las matrices Una cadena de Markov homogénea es no ergódica o reducible o separable cuando no todos sus estados se comunican, en esas condiciones la cadena es separable en un conjunto de clases comunicantes y estados sin retorno Ejemplo 2i Dada la siguiente cadena: 0,5 0, ,5 0,2 0,7 0,6 3 0,8 0,4 P = 0, 5 0, , 8 0, , 7 0, , 6 0, 4 es separable en dos clases comunicantes recurrentes C C 2 = {2, 3} La cadena del ejemplo 2f es separable en: = {0, } y

27 Cadenas de Markov 26 clase comunicante recurrente : C 3 = {5, 6, 7} 2 clase comunicante transitoria : C = {2} y C 2 = {3, 4} 2 estados sin retorno : 0 y Dentro de las cadenas no ergódicas merecen especial atención dos tipos particulares de cadenas denominadas respectivamente cadenas absorbentes y cadenas cíclicas (a) Cadenas absorbentes Una cadena absorbente es una cadena no ergódica separable en o varios estados absorbentes y o varios estados no absorbentes, constituídos por clases comunicantes transitorias o estados sin retorno, desde los cuales se puede acceder a por lo menos un estado absorbente Ejemplo 2j Dada la siguiente cadena: 0,3 0 0,7 0,5 0,5 2 P = i/ j , 7 0, 3 0, 5 0, 5 2 es una cadena absorbente separable en una clase comunicante transitoria C={ 0,} y un estado absorbente 2, para el cual se cumple que p 22 = (b) Cadenas cíclicas Una cadena cíclica es una cadena no ergódica en la cual el proceso pasa de un estado a otro cíclicamente según un cierto patrón de comportamiento El ciclo es un camino cerrado entre estados de una clase recurrente Para que una cadena sea cíclica debe cumplirse que: tenga por lo menos un ciclo, y

28 Cadenas de Markov 27 sea posible entrar en el ciclo Ejemplo 2k Dada la siguiente cadena: 0,5 0 0,2 0,3 2 P = i/ j , 5 0, 2 0, 3 2 es una cadena cíclica separable en una clase comunicante transitoría C ={ 0 } una clase comunicante recurrente C 2 ={, 2 }, que forma un ciclo Muchas características de comportamiento de las cadenas no ergódicas después que se han producido un número elevado de transiciciones (en lo que luego se definirá como régimen permanente), se estudian mediente el análisis de sus clases comunicantes recurrentes como si fueran cadenas ergódicas independientes En resumen las cadenas de Markov homogéneas se pueden clasificar en: { Cadenas ergódicas: una clase comunicante recurrente Cadenas no ergódicas: separables en clases comunicantes más estados sin retorno { absorbentes cíclicas regulares periódicas A partir de esta clasificación en los puntos siguientes se estudia el comportamiento de las cadenas ergódicas y no ergódicas mencionadas 23 Estudio del Comportamiento de las Cadenas Ergódicas en el Régimen Permanente Se define como régimen permanente o estado estacionario de una cadena de Markov homogénea a la situación que el sistema alcanza luego de un periodo relativamente largo de tiempo En dicho régimen la cadena ya ha entrado en una condición de equilibrio estocástico, lo cual significa que sus probabilidades

29 Cadenas de Markov 28 de estado devienen estables en el tiempo En cambio régimen transitorio es la situación en que el sistema se encuentra luego de un período relativamente corto de tiempo En dicho régimen la cadena no ha encontrado todavía una condición particular de equilibrio estocástico, es decir sus probabilidades de estado no son estables en el tiempo Dentro de las cadenas ergódicas regulares y periódicas interesa estudiar específicamente sus comportamientos en el régimen permanente, y sus conclusiones, según se ha dicho más arriba, son extensibles a las clases recurrentes de las cadenas no ergódicas 23) Estudio del comportamiento de las cadenas regulares en el régimen permanente Tal como se ha definido en 223, una cadena regular es una cadena ergódica en la cual todos sus estados pueden comunicarse simultáneamente en una cantidad r de pasos Para describir el comportamiento de una cadena regular en el régimen permanente o a lago plazo es preciso conocer las probabilidades de transición y de estado cuando el número n de transiciones tiende a Se puede demostrar que si la cadena es regular, el límite de la matriz de probabilidades de transición P(n) cuando n tiende a es una matriz regular (todos sus elementos son positivos), con todas sus filas iguales, es decir, de (24) es: lim P (n) = lim n P n = p 0 p j p m p 0 p j p m p 0 p j p m (23) y el límite del vector de probabilidades de estado queda, tomando la ra igualdad de la (230):

30 Cadenas de Markov 29 lim p(n) = p(0) lim P (n) = p 0(0) p i (0) p m (0) x n n y por cumplirse que: m p i (0) =, queda: i=0 p 0 p j p m p 0 p j p m p 0 p j p m lim n p(n) = p 0 p j p m (232) las (23) y (232) expresan que en una cadena de Markov regular, luego de un número suficientemente grande de transiciones (n ), sus probabilidades de transición p ij (n) y de estado P j (n) se estabilizan en valores límites iguales para cada estado j, e independientes del estado inicial i Este estado se conoce como régimen permanente o estacionario, y sus probabilidades de estado p j representan los porcentajes de tiempo que la cadena permanece en cada estado j luego de un período largo de tiempo Esta distribución de estados límites se puede determinar mediante tres caminos alternativos (a) mediante el límite de la ecuación (23):lim P (n) = lim P n ; n (b) mediante una ecuación que se deriva de la 2da igualdad de la ecuación de estado (230) Para n, según lo expresado más arriba se cumple que: lim p(n) = lim p(n ) = p n n reemplazando en la 2da igualdad de la (230) quedan: p = p P (233) siendo: m j=0 p j = (234)

31 Cadenas de Markov 30 luego con las ecuaciones (233) y (234), conocida la matriz de transición P de la cadena regular, se puede calcular el vector de probabilidades p del régimen permanente (c) mediante la llamada ecuación de balance de flujos probabilísticos, que se deriva de la ecuación (233) En efecto, si se desarrolla ésta última es: P = p 0 p j p m = p 0 p i p m x p 00 p 0j p 0m p i0 p ij p im p m0 p mj p mm en la cual el elemento genérico p j es: m m p j = p i p ij = p i p ij + p j p jj i=0 i =j agrupando queda: m p i p ij = p j ( p jj ) i =j y aplicando la ecuación (24) a las transiciones del estado j a un conjunto exhaustivo de estados k es: p jk = p jj = p jk k =j k reemplazando queda: p i p ij = p j p jk ; j = 0,, n (235) i =j k =j

32 Cadenas de Markov 3 que es la ecuación de balance de flujos probabilísticos, la cual expresa que para un nodo genérico j la suma de los flujos probabilísticos que concurren al nodo es igual a la suma de los flujos probabilísticos que salen del nodo i j k Ejemplo 2l Dada la siguiente cadena: 0,5 0 0,5 0,2 0,6 2 0,2 P = 0, 5 0, 5 0 0, 2 0, 2 0, la cual es ergódica regular pues P 3 : P 2 = 0, 35 0, 35 0, 30 0, 74 0, 4 0, 2 0, 50 0, 50 0 P 3 = 0, 545 0, 245 0, 20 0, 58 0, 398 0, 084 0, 350 0, 350 0, 300 tiene todos sus elementos no nulos, se puede determinar el vector de probabilidades p del régimen permanente mediante el cálculo de las sucesivas potencias de P n : P 4 = 0, 535 0, 325 0, 470 0, , , , , , 200 ; P 8 = 0, , 358 0, 858 0, , , 93 0, , , 827 P 6 = 0, 5 0, 325 0, 875 0, 5 0, 325 0, 875 0, 5 0, 325 0, 875 = p 7 = p 8 = lim P n n

33 Cadenas de Markov 32 se observa que a medida que aumenta n, los elementos p ij (n) tienden a un límite fijo, independiente del valor de i Luego por (232) es: p = lim n p(n) = p 0 p p 2 = 0, 5 0, 325 0, 875 (232) Análogo resultado puede obtenerse mediante la aplicación de las ecuaciones (233) y (234), que en este ejemplo son: ordenando queda: p 0 p p 2 = p 0 p p 2 x p 0 + p + p 2 = 0, 5 0, 5 0 0, 2 0, 2 0, , 5 p 0 0, 2 p p 2 = 0 0, 5 p 0 + 0, 8 p = 0 0, 6 p + p 2 = 0 p 0 + p + p 2 = sistema de cuatro ecuaciones con tres incógnitas Eliminando una cualquiera de las tres primeras ecuaciones, por ejemplo la 3ra ecuación ( la cuarta no se puede eliminar porque las tres primeras satisfacen la solución trivial), queda: 0, 5 p 0 0, 2 p p 2 = 0 0, 5 p 0 + 0, 8 p = 0 p 0 + p + p 2 = ecuación del tipo: p A = B, siendo: 0, 5 0, 5 0 0, 2 0, 2 0, ; B = 0 0

34 resolviendo la ecuación se llega al resultado anterior: p = BA = 0, 5 0, 325 0, 875 Cadenas de Markov 33 Al mismo sistema de ecuaciones podría haberse arribado partiendo de la ecuación de balance de flujos probabilísticos (235) y la ecuación (234): para el nodo 0: 0, 2 p + p 2 = 0, 5 p 0 0, 5 p 0 0, 2 p p 2 = 0 para el nodo : 0, 5 p 0 = (0, 2 + 0, 6) p 0, 5 p 0 + 0, 8 p = 0 para el nodo 2: 0, 6 p = p 2 0, 6 p + p 2 = 0 y de la (234): p 0 + p + p 2 = 232) Estudio del comportamiento de las cadenas periódicas en el régimen permanente Tal como se ha definido en 223, una cadena periódica es una cadena ergódica en la cual no se puede encontrar una potencia r de la matriz P para la cual todos los elementos de P 2 sean no nulos A diferencia de las cadenas regulares, en las cadenas periódicas no pueden lograrse valores límites de la matriz P (n) = P 2 cuando n tiende a No obstante la cadena se estabiliza en valores límites de probabilidades de estado a largo plazo, los cuales, como en el caso anterior representan los porcentajes de tiempo que el proceso permanece en cada estado, y que se pueden calcular a partir de las expresiones (233) y (234) o de las (235) y (234) indistintamente Ejemplo 2m Dada la cadena periódica del ejemplo 2h 0 /2 2 /2 P = 0 0 /2 0 /2 0 0 según se ha visto en dicho ejemplo el límite de P n cuando n tiende a

35 Cadenas de Markov 34 no existe, no obstante aplicando las ecuaciones (233) y (234) son: p 0 p p 2 = p 0 p p 2 x p 0 + p + p 2 = 0 0 /2 0 /2 0 0 eliminando una de las tres primeras ecuaciones, y resolviendo el sistema resultante quedan: p 0 = p 2 = /4 ; p = /2 24 Estudio del comportamiento de las cadenas no ergódicas Según se ha dicho anteriormente, dentro de las cadenas no ergódicas merecen especial atención las cadenas absorbentes y las cadenas cíclicas Además, de las mismas interesa fundamentalmente estudiar su comportamiento en el régimen transitorio, pues en el permanente queda caracterizado por el estudio del comportamiento de sus clases recurrentes como cadenas ergódicas independientes 24) Estudio del comportamiento de las cadenas absorbentes Como se ha definido en 223, una cadena absorbente es una cadena no ergódica separable en: uno o varios estados absorbentes (estados con probabilidad nula de ser abandonados, por lo tanto cuando son alcanzados por el proceso, éste se detiene definitivamente o se detiene para luego comenzar desde otro estado), y uno o varios estados no absorbentes constituidos por clases comunicantes transitorias o estados sin retorno, desde cada una de las cuales se puede acceder a por lo menos un estado absorbente Ejemplos de cadenas absorbentes se pueden encontrar en múltiples procesos de la realidad Uno de los más ilustrativos lo constituyen los procesos de inspección como el del siguiente problema Ejemplo 2n Se tiene que inspeccionar una muestra de tres piezas hasta encontrar una

36 pieza que sea mala, con probabilidad p, o las tres piezas buenas Se tienen los siquientes estados: Estados Buenas Situación Malas con los siguientes grafo y matriz de transición: Cadenas de Markov 35 p 0 2 p p p 4 5 p 6 p 3 P = p ( p) 2 p ( p) 3 4 p ( p) 5 6 Se puede observar la presencia de cuatro estados absorbentes:, 3, 5 y 6 y das tres estados sin retorno: 0, 2 y 4 En las cadenas absorbentes es de interés conocer: (a) el número esperado de veces que el proceso pasa por cada estado no absorbente antes de ser absorbido (b) el número esperado de transiciones que el proceso tarda en ser absorbido (c) la probabilidad de absorción por cada estado absorbente Para realizar estos análisis se opera con la matriz de transición P, pero reagrupada en cuatro submatrices, constituyendo lo que se conoce cono forma canónica o estándar Para un proceso de a estados absorbentes y n estados no absorbentes, dicha forma es:

37 Cadenas de Markov 36 P = I 0 a estados A N n estados a n estados estados en donde son: * I(axa): matriz identidad; cada elemento representa la probabilidad de permanecer en un estado absorbente en un paso * 0(axn): matriz nula; cada elemento representa la probabilidad de pasar de un estado absorbente a uno no absorbente en un paso * A(nxa): matriz de estados absorbentes; cada elemento representa la probabilidad de ser absorbido (pasar de un estado no absorbente a uno absorbente) en un paso * N(nxn): matriz de estados no absorbentes; cada elemento representa la probabilidad de no ser absorbido (pasar de un estado no absorbente a otro no absorbente) en un paso En la cadena del ejemplo 2n sería: P = p ( p) 2 p ( p) 4 p ( p) Para los análisis que siguen se utilizarán las matrices A y N (a) Número esperado de veces que el proceso pasa por cada estado no absorbente antes de ser absorbido De acuerdo a lo visto anteriormente cada elemento de N representa

38 Cadenas de Markov 37 la probabilidad de pasar de un estado no absorbente i a otro estado no absorbente j en un paso Luego cada elemento de la matriz N 2 representa la probabilidad de pasar de un estado no absorbente i a otro estado no absorbente j en dos pasos, y en forme genérica cada elemento de la matriz N n representa la probabilidad de pasar de un estado no absorbente i a otro estado no absorbente j en n pasos Por lo tanto el número esperado de veces que la cadena puede pasar por un estado no absorbente j, habiendo comenzado en un estado no absorbente genérico i, está dado por: n j/i = xi }{{} al comienzo + xn }{{} en un paso + xn 2 } {{ } en dos pasos + + } xn {{ n } + = I I N = en n pasos siendo lim n N n = 0 = n j/i = (I N) (236) Ejemplo 2ñ Dada la siguiente cadena absorbente: /2 0 3 /4 3/4 /2 2 P = /2 /2 2 /4 3/4 3 su forma estándar es: P = /2 /2 2 3/4 /4

39 Cadenas de Markov 38 donde son: N = /2 2 /4 ; A = 3 0 /2 2 3/4 luego resulta: I N = /2 /4 (I N) = /7 4/7 2 2/7 8/7 por lo tanto si la cadena comienza en el estado no absorbente 0, pasará en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el estado 2: 4/7 veces, antes de ser absorbida por los estados ó 3; si en cambio la cadena comienza en el estado no absorbente 2, pasará en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el estado 0: 2/7 veces, antes de ser absorbida por los estados ó 3 (b) Número esperado de transiciones que el proceso tarda en ser absorbido En función de lo anterior, cuando la cadena comienza en un estado no absorbente i, el número esperado de pasos que tarda en ser absorbida es la suma de los elementos de la fila i, de la matriz (I N), por lo tanto queda expresado como: N i = j n j/i = (I N) x (237) Ejemplo 2o Para la cadena del ejemplo 2ñ es:

40 Cadenas de Markov 39 N i = /7 4/7 2 2/7 8/7 x = 0 2/7 2 0/7 Es decir que si la cadena comienza en el estado no absorbente 0 tardará 2/7 transiciones en promedio antes de ser absorbida, si en cambio comienza en el estado 2, tardará 0/7 transiciones b) Extensión para cadenas no absorbentes Para determinar el número de pasos promedio para alcanzar un estado cualquiera j determinado, se procede de manera análoga al punto anterior, suponiendo que el estado j es absorbente Ejemplo 2p 0,4 0 0,6 0,2 0,3 0,3 2 0,3 0,5 P = 0, , 4 0, 3 0, 3 0, 2 0, 5 0, 3 2 0, 6 0, 4 0 Para averiguar el número de transiciones que se realizan hasta alcanzar por primera vez el estado 2, se debe considerarlo absorbente; es decir, la nueva matriz de transición será en su formato estándar: P = , 3 0, 4 0, 3 0, 3 0, 2 0, 5 luego: I N = 0 0 0, 4 0, 3 0, 2 0, 5 = 0, 6 0, 3 0, 2 0, 5

41 Cadenas de Markov 40 (I N) = 2, 08, 25 0, 82 2, 50 (I N) x = 3, 33 3, 32 es decir, partiendo del estado 0, el número promedio de pasos que transcurren entes de alcanzar el estado 2 es 333, y partiendo del estado, el número promedio de pasos que transcurren antes de alcanzar el estado 2 es 332 (c) Probabilidad de absorción por cada estado absorbente Para cada estado no absorbente i interesa conocer la probabilidad de ser absorbido por cada estado absorbente j Este valor es igual a la probabilidad de ir desde i a j en un paso, más la probabilidad da hacerlo en dos pasos, más la probabilidad de hacerlo en tres pasos, etc Luego: P (i j) = P (i jen un paso) +P (i jen 2 pas) +P (i jen 3 pas) + = A +N x A +N xn x A + = (I + N + N 2 + N 3 + ) x A P (i j) = (I N) x A (238) Ejemplo 2q Para el ejemplo 2ñ es: P (i j) = (I N) x A = /7 4/7 2 2/7 8/7 x 3 0 / /4 = = 3 0 4/7 3/7 2 /7 6/7

42 Cadenas de Markov 4 es decir, comenzando en el estado 0 la probabilidad de terminar en el estado es 4/7 y en el estado 3 es 3/7, y comenzando en el estado 2 la probabilidad de terminar en el estado es /7 y en estado 3 es 6/7 242) Estudio del comportamiento de las cadenas cíclicas Como se ha definido en 223, una cadena cíclica es una cadena en la cual el proceso pasa de un estado a otro cíclicamente según un cierto patrón de comportamiento, cumpliéndose las condiciones: * tiene por lo menos un ciclo (camino cerrado entre estados de una clase comunicante recurrente), * es posible entrar en el ciclo En el régimen transitorio (corto plazo) se puede determinar el número de intentos promedio que se realizan para alcanzar el ciclo Este cálculo se puede hacer suponiendo que el ciclo es un estado absorbente Ejemplo 2r En la cadena cíclica del ejemplo 2k, haciendo: P = y 2 0 y , 5 0, 5 I N = 0, 5 = 0, 5 ( N) = 2 (I N) x = 2 x = 2 N 0 = 2 En el régimen permanente (largo plazo) el sistema es cíclico, y el tiempo que el proceso pasa en cada estado del ciclo se calcula con el procedimiento visto para las cadenas ergódicas, ecuaciones (233) y (234) Para el ejemplo 2r sería: p(0) p() p(2) x 0, 5 0, 2 0, = p(0) p() p(2)

43 Cadenas de Markov 42 p(0) x 0, 5 = p(0) 0, 2 x p(0) + p(2) = p() p(0) + p() + p(2) = { p(0) = 0 p() = p(2) = 0, 5 El ciclaje es común en operaciones de máquinas, en ciertas funciones matemáticas y en algunos sistemas físico-económicos

44 3 CADENAS DE MARKOV HOMOGÉNEAS DE PARÁMETRO CONTINUO Cadenas de Markov 43 Se sigue a continuación un desarrollo análogo al de las cadenas de parámetro discreto definiéndose primero las probabilidades condicionales de transición e incondicionales de estado, y estudiándose luego el comportamiento de las cadenas regulares en el régimen permanente 3 Estudio de las probabilidades en las cadenas de Markov homogéneas 3) Probabilidad condicional de transición (a) Definición general La probabilidad condicional de transición es: p ij (Δt) = P {X(t + Δt) = j/x(t) = i}; con: t 0 Δt 0 i = 0,, 2,, m j = 0,, 2,, m (3) y la matriz de probabilidades de transición es: P (Δt) = i/ j 0 m 0 p 00 (Δt) p 0 (Δt) p 0m (Δt) p 0 (Δt) p (Δt) p m (Δt) m p m0 (Δt) p m (Δt) p mm (Δt) (32) cumpliéndose: 0 p ij (Δt) ; i, j (33) m p ij (Δt) = ; i = 0,,, m (34) j=0 con Δt 0

45 Cadenas de Markov 44 Además en el caso de parámetro t continuo, las probabilidades de transición deben ser continuas en t = 0, es decir que deben cumplirse las siguientes condiciones: Ejemplo 3a { 0 ; si i = j (35) lim P ij (Δt) = t 0 ; si i = j (36) El siguiente es un ejemplo de matriz de probabilidades condicionales de transición correspondiente a una cadena de Markov homogénea de parámetro continuo con dos estados: 0 y P (Δt) = con Δt 0 p 00(Δt) p 0 (Δt) p 0 (Δt) p (Δt) = 0, 7 + 0, 3e Δt 0, 3 0, 3e Δt 0, 7 0, 7e Δt 0, 3 + 0, 7e Δt luego para cada valor de Δt se tiene una matriz distinta, por ejemplo: para Δt = 0 P (0) = 0 0 para Δt = 0, 5 P (5) = para Δt P ( ) = 0, 88 0, 2 0, 28 0, 72 0, 7 0, 3 0, 7 0, 3 0,88 0, ,2 0,28 0,3 0,7 0,72 0,3 (b) Tasas o intensidades de transición Al estudiar el comportamiento de una Cadena de Markov homogénea de parámetro continuo, es necesario trabajar con probabilidades de transición entre instantes de tiempo muy próximos Esta situación

46 Cadenas de Markov 45 conduce, por la ecuación (35) a probabilidades de transición que tienden a cero, es decir que cuando Δt 0 p ij (Δt) 0 Para solucionar el inconveniente de tener que trabajar con probabilidades p ij (Δt) diferenciales, se introduce el concepto de la derivada de la probabilidad de transición entre dos estados i y j distintos en Δt = 0 Esta nueva magnitud, llamada tasa o intensidad de transición, expresa la variación de la probabilidad de transición entre estados diferentes de la cadena en un intervalo Δt pequeño, referida a un Δt unitario (por el concepto de derivada), y queda definida matemáticamente como: d ij = [ ] d dt p ij(δt) Δt=0 (37) Formalmente, esta tasa de transición en una cadena de parámetro continuo es la magnitud equivalente a la probabilidad de transición de un paso en las cadenas de parámetro discreto Para i = j el valor resultante se denomina tasa o intensidad de permanencia en el estado i, y matemáticamente es: d ij = [ ] d dt p ij(δt) Δt=0 (38) Nuevamente el conjunto de tasas de transición y permanencia definen la matriz de tasas de transición D: D = d 00 d 0 d 0m d 0 d d m d m0 d m d mm (39) Entre las tasas de transición y permanencia se puede establecer una relación análoga a la (34):

47 Cadenas de Markov 46 de (34) m p ij (Δt) = j=0 derivando: [ m ] d p ij (Δt) = Δt j=0 Δt=0 m j=0 d Δt [p ij(δt)] Δt=0 = m d ij = 0 j=0 luego: d ii = j =i d ij (30) La ecuación (30) expresa que los elementos de la diagonal principal de la matriz D se calculan como la suma de los elementos de su fila cambiada de signo Ejemplo 3b La matriz de tasas D correspondiente al ejemplo 3a es: D = 0, 3 0, 3 0, 7 0, 7 en la cual se observa el cumplimiento de la ecuación (30) (c) Ecuación de Chapman-Kolmogorov La ecuación de Chapman-Kolmogorov (22) y (24) es también aplicable al caso continuo, adoptando la siguiente forma en sus expresiones algebraicas: m t 0 Δt 0 p ij (t) = p ik (t Δt)p kj (Δt); con: (3) i = 0,, 2,, m o matricial: k=0 j = 0,, 2,, m