Maestría en Bioinformática Probabilidad y Estadística: Clase 10

Transcripción

1 Maestría en Bioinformática Probabilidad y Estadística: Clase 10 Gustavo Guerberoff gguerber@fing.edu.uy Facultad de Ingeniería Universidad de la República Mayo de 2010

2 Contenidos 1 Procesos aleatorios en tiempo continuo Procesos puntuales Proceso de Poisson homogéneo 1 Matrices de transición Propiedades del semigrupo de transiciones Matriz de tasas de cambio

3 Procesos aleatorios en tiempo continuo Consideraremos en estas clases procesos aleatorios en tiempo continuo. Recordemos que, en general, un proceso aleatorio en tiempo continuo, con espacio de estados E, es una familia de variables aleatorias, {X(t) : t 0}, donde X(t) E para cada t 0. Antes de introducir las cadenas de Markov en tiempo continuo veamos algunos conceptos previos.

4 Definición Un proceso puntual aleatorio es una sucesión de variables aleatorias no negativas, T 0, T 1, T 2,..., T n,..., tales que (con probabilidad 1) se cumple: i) T 0 = 0, ii) 0 < T 1 < T 2 < T 3 <..., iii) lím n T n =. A partir de un proceso puntual se construyen las siguientes cantidades de interés: Para cada n 1 se define: S n = T n T n 1 ; estas son las distancias inter-arribos.

5 Para cada intervalo (a, b] se define la variable: N(a, b] = cantidad de puntos en el intervalo (a, b]. Para cada t 0 se define: N(t) = N(0, t]. Observación: Notar que N(0) = 0 y que N(a, b] = N(b) N(a). El proceso de tiempo continuo {N(t) : t 0} es el proceso de conteo asociado al proceso puntual. De todos los procesos puntuales hay uno que se destaca por su importancia.

6 Proceso de Poisson homogéneo Definición Un proceso puntual es un proceso de Poisson homogéneo de tasa λ si: i) Las variables aleatorias N(t i, t i+1 ] son independientes, para cualquier conjunto de tiempos 0 t 1 t 2 <... t k. ii) Para cada intervalo (a, b] la variable N(a, b] es una variable de Poisson de parámetro λ(b a). Por lo tanto: P(N(a, b] = k) = [λ(b a)]k e λ(b a), para cada k 0. k!

7 Además: E(N(a, b]) = λ(b a); de manera que el parámetro λ representa el número medio de puntos del proceso por unidad de tiempo.

8 En lo que sigue consideramos un espacio de estados E finito o numerable. Un proceso en tiempo continuo queda caracterizado por la familia de probabilidades: P(X(t 1 ) = i 1, X(t 2 ) = i 2,..., X(t k ) = i k ), para cada conjunto de tiempos t 1, t 2,..., t k 0 y estados i 1, i 2,..., i k E. Una clase muy importante de procesos son aquellos que cumplen la siguiente condición:

9 Condición de Markov P(X(t + s) = j X(s) = i, X(s k ) = i k,..., X(s 1 ) = i 1 ) = P(X(t + s) = j X(s) = i), para todos los valores de i, j, i 1,..., i k E, t, s 0, 0 s 1 s 2... s k s. Los procesos que cumplen esta condición se llaman cadenas de Markov en tiempo continuo. Si las probabilidades de transición P(X(t + s) = j X(s) = i) no dependen de s decimos que la cadena es homogénea. En tal caso denotamos, para cada t 0: p ij (t) = P(X(t + s) = j X(s) = i) = P(X(t) = j X(0) = i).

10 Matrices de transición Supongamos, para simplificar, que el espacio de estados es E = {1, 2,..., r}. Agrupando las cantidades {p ij (t)} en una matriz obtenemos, para cada t 0, la matriz de transición de la cadena de Markov: Matrices de transición Para cada t 0: P(t) = p 11 (t) p 12 (t)... p 1r (t) p 21 (t) p 22 (t)... p 2r (t) p r1 (t) p r2 (t)... p rr (t) La familia de matrices {P(t) : t 0} se llama el semigrupo de transiciones.

11 Observación: A diferencia de lo que ocurre con las cadenas de Markov en tiempo discreto, en las que se especifican para cada problema las matrices de transición, en el contexto de cadenas de Markov en tiempo continuo hay que calcular, para cada proceso, P(t) como función de t. Ejemplo: Proceso Flip-Flop Consideremos un proceso de Poisson de tasa λ. A partir del proceso de conteo introducido anteriormente se define el proceso flip-flop, {X(t) : t 0}, con espacio de estados E = {1, 1}, de la siguiente manera: X(t) = X(0)( 1) N(t), donde X(0) es una variable aleatoria que representa el estado inicial.

12 Para calcular la matriz P(t) en este ejemplo observemos que el estado X(t + s) se obtiene a partir de X(s) y de N(s, s + t]. Se tiene: P(X(t + s) = 1 X(s) = 1) = P(X(t + s) = 1 X(s) = 1) = P(N(s, s + t] sea impar ) = 1 2 (1 e 2λt ), y, de manera análoga: P(X(t + s) = 1 X(s) = 1) = P(X(t + s) = 1 X(s) = 1) = P(N(s, s + t] sea par ) = 1 2 (1 + e 2λt ).

13 De manera que, para cada t 0: ( 1 P(t) = 2 (1 + e 2λt 1 ) 2 (1 e 2λt ) 1 2 (1 e 2λt 1 ) 2 (1 + e 2λt ) ). Propiedades La familia de matrices {P(t) : t 0} cumple las siguientes propiedades: Para cada t 0, P(t) es una matriz estocástica. P(0) = I. Para cada t, s 0 se cumple: P(t + s) = P(t)P(s).

14 Condición de continuidad: En nuestro curso consideraremos procesos continuos, esto es, que cumplen la condición: lím P(h) = P(0) = I. h 0 Puede probarse que esta condición implica la siguiente: lím p ij(t + h) = p ij (t), h 0 para cada t 0 y para cada i, j E. Veremos más adelante cómo calcular {P(t) : t 0} para cada proceso. Observación: Una vez que se conoce la familia de matrices {P(t) : t 0} y un estado inicial π(0), el proceso queda completamente especificado.

15 Si π(t) = (P(X(t) = 1), P(X(t) = 2),..., P(X(t) = r)) denota el estado del proceso al tiempo t, entonces: π(t) = π(0)p(t). Para calcular la probabilidad de cualquier trayectoria se procede de la siguiente manera: P(X(t 0 ) = i 0, X(t 1 ) = i 1, X(t 2 ) = i 2 ) = π i0 (t 0 ) p i0 i 1 (t 1 t 0 ) p i1 i 2 (t 2 t 1 ).

16 A partir de las propiedades de {P(t) : t 0} se prueba el siguiente resultado válido para procesos continuos: Teorema i) Para cada par de estados i j existe: y además q ij 0. q ij = dp ij p ij (h) (0) = lím dt h 0 h, ii) Para cada estado i E existe: y además q ii 0. q ii = dp ii (0) = lím dt h 0 p ii (h) 1, h

17 Notación: Para cada estado i E denotamos: q i = q ii. De manera que q i 0. Observación: Supongamos que el espacio de estados E es finito. Para cada t 0 se cumple: p ij (t) = 1. j E Derivando a ambos lados de esa igualdad y evaluando la derivada en t = 0 se obtiene: Esto es, para cada i E: q ij = 0. j E q i = j E:j i q ij.

18 Observación: Notar que para i j y h 0 se tiene: P(X(t + h) = j X(t) = i) = q ij h + o(h); de manera que el parámetro q ij puede interpretarse como la tasa (o la velocidad) de cambio del estado i al j. Estos parámetros se agrupan en una matriz formando la matriz de tasas de cambio o generador infinitesimal del proceso. Matriz de tasas de cambio Consideremos E = {1, 2,..., r}. La matriz de tasas de cambio se define de la siguiente manera: A = q 11 q q 1r q 21 q q 2r q r1 q r2... q rr

19 Observemos que las filas de esta matriz suman 0. Cada proceso queda caracterizado por la matriz de tasas de cambio. Más adelante veremos cómo calcular P(t) a partir de A. Ejemplo: Usando la igualdad A = P (0) se obtiene la matriz de tasas de cambio para el proceso Flip-Flop: ( ) λ λ A =. λ λ