CADENAS DE MARKOV DE PARÁMETRO CONTINUO Rosario Romera Febrero 2009

Transcripción

1 CADENAS DE MARKOV DE PARÁMETRO CONTINUO Rosario Romera Febrero 29. Nociones básicas Para las cadenas de Markov con parámetro de tiempo discreto hemos visto qe la matriz de transición en n etapas pede ser expresada en términos de la matriz de transición en na etapa P. En el caso contino el papel homólogo a la matriz de transición P lo jega, considerando nidades in nitesimales de tiempo entre transiciones, dt, na matriz Q llamada de tasas de transición, to generador in nitesimal de la cadena. De nición El proceso estocástico fx t g t, con conjnto de estados nmerable S Z + es na Cadena de Markov con parámetro de tiempo contino si 8s; t, y 8i; j, tales qe X k 2 Z + se cmple qe: P (X t+s = j=x s = i; X k = x k ; k < s) = P (X t+s = j=x s = i) De nición El proceso estocástico fx t g t es na Cadena de Markov homogénea. Si: P (X t+s = j=x s = i) = P (X t = j=x = i) 8s Observación Si i = variable aleatoria tiempo en el estado i hasta transición al estado j, con j 2 S, y j 6= i, entonces: P ( i > s + t= i > s) P ( i > t) 8s; t esto es, i es Markoviana lo cal implica qe i es Exponencial. Observación: Caracterización de na Cadena de Markov con parámetro contino Toda Cadena de Markov con parámetro contino cada vez qe entra en n estado i 2 S veri ca

2 2. i exp(v i ), esto es, la distribción del tiempo qe permanece antes de transitar a otro estado es exponencial. 2. cando abandona el estado i, si p ij = P (transitar a j/ el proceso está en i), entonces veri ca qe: P j6=i p ij = Para realizar el estdio distribcional de la cadena, vamos a introdcir el concepto de transición instantánea (en n intervalo in nitesimal) y la probabilidad de qe ello sceda. De nición: Tasas de Transición Probabilidad instantánea con la qe el proceso realiza na transición de los estados i! j, dada por: q ij = i p ij 8i 6= j Observación: i = P j q ij 8i De nicion: Un estado i 2 S se llama absorbente si i =, estable si < i <, instantáneo si i =. Si i < y i = P j6=i q ij entonces el estado i se llama estable o reglar. Comentario. La tasa de Permanencia en el estado i viene representada por q ij qe será n valor negativo porqe la probabilidad de permanecer en el mismo estado decrece al amentar t. 2. Se impone i <, esto es, se exclyen estados instantáneos con i =. 3. Se dice qe fx t g t es Cadena Markov reglar si el número de transiciones en tiempo nito es na cantidad nita. Contraejemplo: p i, i + = con i = i 2 Para realizar el estdio distribcional de la cadena, vamos a introdcir el concepto de transición instantánea (en n intervalo in nitesimal) y la probabilidad de qe ello sceda. De nición: Probabilidades de transición en tiempo t Denotaremos la probabilidad de transición del estado i al estado j en n intervalo de longitd t, donde s; t, por Lema p ij (t) = P fx t+s = j=x s = ig; P ij = jjp ij (t)jj matriz de transición. lm t! p ii (t) t = i ( q ii ) 2. lm t! p ij (t) t = q ij ; i 6= j

3 3 3. Ecación de Chapman-Kolmogorov en tiempo contino. Para todos i; j 2 S y para calqier s; t : p ij (t + s) = X k2s p ik (t) p kj (s) Teorema: Ecaciones Diferenciales de Kolmogorov Spongamos qe i < para cada i 2 S entonces las probabilidades de transición p ij (t) son diferenciables para todo t y todos i; j 2 S. Es más:. p ij(t) = P k6=i q ik p kj (t) i p ij (t) (Backward eqation) 2. P ij(t) = P k6=j q kj p ik (t) j p ij (t) (Forward eqation) Demostración A partir del apartado 3 del Lema: p ij (t + ) p ij (t) = X k6=i p ik ()p kj (t) [ p ii ()]:p ij (t) formando el límite del cociente incremental lm p ij (t + ) p ij (t) = :::: = X k6=i p kj (t): lm p ik () p ij (t): i Lema: () ) p ij(t) = X k6=i q ik p kj (t) + q ii p ij (t) = X k q ik p kj (t) ) () BACKWARD Análogamente Lema: (3) ) p ij (t + ) p ij (t) = X k6=j p ik (t)p kj () [ p jj ()]:p ij (t) de donde lm p ij (t + ) p ij (t) = ::: = X k6=j p ik (t) lm p kj () p ij (t) j Lema: () ) p ij(t) = X k6=j p ik (t)q kj + p ij (t)q jj = X k p ik (t)q kj ) (2)FORWARD En términos matriciales P (t) = Q:P (t) (Backward)

4 4 P (t) = P (t):q (Forward) Las condiciones iniciales para ambos conjntos de ecaciones son P () = I Formalmente, la solción de los conjntos de ecaciones diferenciales de Kolmogorov pede ser dada como: X P (t) = e Q:t t i Q i = i! Cando Q es na matriz de dimensión nita, la serie anterior es convergente y es la única solción para los dos sistemas de ecaciones. Si Q es de dimensión in nita no podemos a rmar nada. Spongamos qe Q es n matriz de dimensión nita y diagonalizable. Spongamos además qe ; ; : : : ; n son los valores propios de Q. Entonces existe na matriz A tal qe y en tal caso Probabilidades Límite: B Q = B P (t) = i=... n e t... e n t C A :A C A :A Una Cadena de Markov con tiempo contino es n Proceso Semi-Markoviano con i exponencial ( i ) para todo i. Entonces Si P = jjp ij qe siendo f j g la solción de: jj es irredcible, aperiódica y recrrente positiva ( ergódica) se dedce Proceso de Nacimiento y Merte ) p j = lm p ij (t) = P j= j t! i = i = P j = Es na Cadena de Markov en tiempo contino con S = Z + tal qe q ij =, si ji jj >. Sean: i = q i;i+, con i i = q i;i, con i i

5 5 Observación: Como i = X j q ij ) [ i = i + i ] siendo q ij = i p ij ; i 6= j, entonces: p i;i+ = i i + i = p i;i Distribción límite: Ecaciones de balance ya qe: ) p = p n p n = n p n + n+ p n+ n p n ESTADO TASA ABANDONO TASA INGRESO p p n > ( n + n )p n n+ p n+ + n p n Resolviendo las ecaciones de balance: Ejemplos: si X j. Cola M/M/ p = p : : : = : : : p n = n n 2 : : : n n : : : 2 :p p j = ) = p + p X ) 8 >< >: P p = p n = n Q i= n : : : n : : : ::: n P con < 2 ::: n i = Q n i= i p con n > Es Proceso de Nacimiento y Merte con n =, n = si = < s distribción límite es Geom 2. Cola M/M/s Proceso de Nacimiento y Merte con n = con n > n n s n = s n > s

6 6 3. Cola M/M//N Sean n = con n n = (N n) n N n > N Ejemplo Una máqina pede fallar a casa de dos sitaciones diferentes. La probabilidad de qe la máqina falle en el intervalo de tiempo (t; t + h) a casa de calqiera de las dos sitaciones es en cada caso h + o(h). Lego de la falla la máqina es reparada. El tiempo qe dra la reparación es na variable aleatoria con distribción exponencial con parámetro. Calclar la probabilidad de qe en el tiempo t la máqina se encentre fncionando. Solción X t =. es tado de la máqina en el tiempo t". (X t ) t es na cadena de Markov con conjnto de estados S = f; ; 2g donde estado : "máqina fnciona" estado : "máqina fera de servicio a casa de la primera sitación" estado 2: "máqina fera de servicio a casa de la segnda sitación" En este caso tenemos como generador in nitesimal de la cadena a la matriz: 2 Q A De donde p (t) = + 2e t con = 2 +