Una invitación al estudio de las cadenas de Markov

Transcripción

1 Una invitación al estudio de las cadenas de Markov Víctor RIVERO Centro de Investigación en Matemáticas A. C. Taller de solución de problemas de probabilidad, de Enero de / 1

2 Potencias de una matriz mediante diagonalización Si {X n, n 0} es una cadena de Markov (π, P) con espacio de estados finitos y P es diagonalizable, es decir existen una matriz diagonal D y una matriz C con inversa tal que entonces D = C 1 P C, P n = CD (n) C 1, n 0. Ver ejercicio 1 para un ejemplo de este método. 2/ 1

3 Clasificación de los estados Clasificación de los estados Definición Sea (Ω, F, P) un espacio de probabilidad y {X n, n N} una cadena de Markov (π, P) definida sobre Ω y con espacio de estado E. Para x, y E, se dice que: (i) de x se accede a y si existe un n 0 tal que P (n) x,y > 0 y esto se denota por x y. (ii) x y y se comunican entre si x y y y x, esto se denota por x y. 3/ 1

4 Clasificación de los estados Ejemplo Sea {X n, n N} una cadena de Markov con espacio de estados E = {1, 2,..., 6} y matriz de transición P = 1/2 1/ / /3 1/ /2 1/ Determinar cuales estados se comunican entre si. Es claro que 1 2, 2 3, 1, 2, 3 4, 3 5, 4 5, / 1

5 Clasificación de los estados Hay otras definiciones equivalentes. Teorema Para cualesquiera x, y E, se tiene que las siguientes afirmaciones son equivalentes: (i) x y. (ii) P x,x1 P x1,x 2 P xn 2,x n 1 P xn 1,y > 0, para algunos x 1,..., x n 1 E; o dicho de otro modo, con probabilidad positiva existe una trayectoria que lleva de x a y. (iii) P(X n = y para algún n 1 X 0 = x) > 0. 5/ 1

6 Clasificación de los estados Encontrar los estados que se comunican entre si para la cadena de Markov con matriz de transición 1/2 0 1/8 1/4 1/ P = /2 0 1/ /2 1/ /2 1/2 Se ve que y por lo tanto ; 0 0, 0 2, 0 3, 0 4, / 1

7 Clasificación de los estados Proposición es una relación de equivalencia y da lugar a una partición del espacio de estados E en clases de equivalencia. Definición Diremos que un subconjunto C E es una clase de comunicación si cualesquiera dos estados x, y C se comunican entre si. Para todo x E la clase de comunicación de x se denota por C (x) y esta formada por C (x) = {y E : x y}. Se dice que un conjunto de estados de B E es cerrado si ningún estado de E \ B puede ser accedido desde un estado de C. Un estado x es absorbente si el conjunto {x} es cerrado, o equivalentemente P (1) x,x = 1. Diremos que una cadena es irreducible si E es la única clase de comunicación. 7/ 1

8 Clasificación de los estados Ejemplo Sea {X n, n N} una cadena de Markov con espacio de estados E = {1, 2,..., 6} y matriz de transición P = 1/2 1/ / /3 1/ /2 1/ Determinar cuales estados se comunican entre si. Es claro que 1 2, 2 3, 1, 2, 3 4, 3 5, 4 5, 5 6. Se tiene que los estados de la cadena se pueden agrupar en las clases de comunicación {1, 2, 3}, {4}, {5, 6} que estan compuestas por los estados que se comunican entre si. Observemos que una vez que llegamos al estado 5 ó 6 ya no podemos salir de dichos estados, es decir la clase de estados {5, 6} es cerrada. 8/ 1

9 Clasificación de los estados La cadena de Markov con matriz de transición P = 0 2/3 1/3 0 1/2 1/2 Tiene dos clases de comunicación {1} y {2, 3}, y ambas son cerradas. Sin embargo la cadena con matriz de transición 1/3 1/3 1/3 P = 0 2/3 1/3 0 1/2 1/2 tiene las mismas clases de comunicación: {1} y {2, 3}, pero solo la segunda de estas es cerrada. 9/ 1

10 Clasificación de los estados Definición Diremos que un estado x E es recurrente si P(X n = x para algún n 1 X 0 = x) = 1. Diremos que un estado x E es transitorio si P(X n = x para algún n 1 X 0 = x) < 1. 10/ 1

11 Clasificación de los estados ρ x = P(regresar a x en un tiempo finito X 0 = x) = { < 1 si x transitorio = 1 si x recurrente. Proposición Si x es recurrente Si x es transitorio P(X n = x para una infinidad de n s X 0 = x) = 1 P(X n = x para una infinidad de n s X 0 = x) = 0. Sea N x la variable aleatoria que cuenta el numero total de visitas al estado x. Se tiene que N x sigue una ley geométrica, es decir que P(N x = k X 0 = x) = (ρ x ) k 1 (1 ρ x ), k 1. 11/ 1

12 Clasificación de los estados En el caso en que X = {X n, n 0} es una cadena de Markov com Matriz de transición 1/2 0 1/8 1/4 1/ P = , /2 0 1/ /2 1/ /2 1/2 se tienen las clases de comunicación {0} {1, 2, 3} y {4, 5, 6} Las dos ultimas son cerradas y todos sus estados son recurrentes y la primera no es cerrada y sus estados son transitorios. 12/ 1

13 Clasificación de los estados Proposición Si E es finito toda cadena irreducible tiene todos sus estados recurrentes. Toda clase de comunicación irreducible y cerrada está formada por estados recurrentes. Toda clase de comunicación irreducible no cerrada es transitoria. Todos los estados de una misma clase de comunicación son del mismo tipo, es decir si alguno es recurrente entonces todos son recurrentes y si alguno es transitorio todos son transitorios. 13/ 1

14 Clasificación de los estados Proposición Si n=0 P(n) x,x = entonces x es recurrente. Si n=0 P(n) x,x < entonces x es transitorio. Observación: Sea T x el primer tiempo 1 de regreso a x. Se tiene que {T x < } = {X n = x para algún n 1}, y por lo tanto x es recurrente si y x es transitorio si Si x es transitorio se tiene que P(T x < X 0 = x) = 1 P(T x < X 0 = x) < 1. lim n P(n) x,x = 0. 14/ 1

15 Caminatas aleatorias Caminatas aleatorias S 0 Z, Y i, i {1, 2,...}, v.a.i.i.d. y con ley Binomial(p). n S n = S 0 + Y i, n 1. i=1 Lema Se tiene que para todo a, b enteros y n 0 P(S n = j S 0 = a) {( n = (n+b a)/2) p (n+b a)/2 q (n b+a)/2 si (n + b a)/2 Z 0 en otro caso. Una trayectoria que lleva de (0, a) a (0, b) en n pasos tiene r pasos para arriba (+1) y l pasos hacia abajo ( 1), estos son tales que r + l = n y r l = b a. (Pues S n = r(+1) + l( 1) = b a.) Lo que implica que r = (n + b a)/2 y l = (n b + a)/2, cada trayectoria que lleva de a a b en n pasos tiene probabilidad p r q l, y hay ( n (n+b a)/2) trayectorias 15/ 1

16 Caminatas aleatorias P(S n = 0 S 0 = 0) = n 0 n=0 P (n) 0,0 = k 0 ( ) 2k p k q k. k Se tiene que pq 1/4 con la igualdad si y solamente si p = q = 1/2. Por la identidad de Stirling n! n n+1/2 e n 2π, se tiene que para k suficientemente grande ( ) 2k (2k)2k+1/2 e 2k ( k 2π k k+1/2 e k) 2 ( 2π) 1 2 2k+1/2 k 1/2. Se sigue que el termino general de la serie está dado por la aproximación ( ) 2k ( π) 1 4 k k 1/2 (pq) k, para k suficientemente grande. k Si p = q = 1/2 es del orden de k 1/2 por lo que en este caso la serie no es convergente. En el caso en que p q se tiene que a = 4pq < 1 lo que implica que el termino general de la serie es del orden de k 1/2 a k a k, y por lo tanto la serie es convergente. 16/ 1

17 Caminatas aleatorias Sea T j = inf{n 0 : S n = j }, para j Z. Lema (Problema de la ruina) Sea h j la probabilidad de que una caminata aleatoria que parte del estado j llegue al nivel 0 antes de llegar al nivel N, es decir P(T 0 < T N S 0 = j ) = h j. Se tiene que ( q p ) j ( q p ) N p q, h j = 1 ( q p ) N 1 j N p = q = 1/2 17/ 1

18 Caminatas aleatorias Se obtiene condicionando con respecto al estado visitado al primer paso que h j = ph j +1 + qh j 1, si j {2,..., N 1} y h 0 = 1 y h N = 0. Re-escribiendo esta ecuación se tiene que h n = ph n+1 +qh n 1 q (h n h n 1 ) = p (h n+1 h n ) n 1. En el caso en que q = p tenemos que la función h n tiene una pendiente constante c = h n+1 h n y por lo tanto h n = 1 + n h j h j 1 = 1 + nc, 1 n N, j =1 y puesto que h N = 0 se puede concluir que c = 1/N. 18/ 1

19 Caminatas aleatorias Cuando q p, tomamos {x n, n N} definida por x 0 R, y x n = h n h n 1, 1 n N. De lo anterior se deduce que la sucesión {x n, 1 n N } satisface x n+1 = q p x n, 1 n N, es decir que x n = ( ) n q x 0, 0 n N. p Usando esto se tiene que la sucesión h n está dada por h n = h 0 + n (h j h j 1 ) j =1 n ( ) j q = h 0 + x 0 p j =1 ( ) n q ( ) 1 q p = h 0 + x 0 ( ). p q 1 p 19/ 1

20 Caminatas aleatorias Sabemos que h N = 0 y que h 0 = 1, y en consecuencia x 0 es igual a ( ) p 1 q p x 0 = ( ) N ), q 1 de donde que h n = 1 q ( p ( 1 ) 1 q p ) ) N ( q p ( q p ( ) 1 q p 1 ( q p ( q p ) n ) = ( q p ) n ( q 1 ( q p p ) N ) N. 20/ 1

21 Cadenas de nacimiento y muerte Cadenas de nacimiento y muerte Sean E = {0, 1, 2,..., N } con N, y {X n, n 0} una cadena de Markov con espacio de estados E y matriz de transición q x si y = x 1 r x si y = x P x,y = p x si y = x en otro caso, con 0 p x, r x, q x 1 y q x + r x + p x = 1 para todo x E y q 0 = 0 y p N = 0 si N <. Diremos que una cadena de Markov con espacio de estados y matriz de transición de esta forma pertenece a la clase de Cadenas de Nacimiento y Muerte. Ejemplos: Ehrenfest, la ruina del jugador, la caminata aleatoria con barreras reflejantes... 21/ 1

22 Cadenas de nacimiento y muerte Proposición Sea H x el primer tiempo de llegada al estado x H x = inf{n 0 : X n = x}, x E. Supongamos que p x > 0 y q x > 0 para todo x {1, 2,..., N 1} y que p 0 > 0 y q N > 0 si N <. Se tiene que la cadena es irreducible y para todo a < b, a, b E b 1 γ y y=z y=a z 1 γ y P z (H a < H b ) =, P b 1 z (H b < H a ) =, para todo a < z < b, b 1 γ y γ y y=a y=a con γ y = y j =1 ( qj p j ), y > 0, y γ 0 = 1. 22/ 1

23 Ley fuerte Sea N y n el número de visitas al estado y en n pasos. Teorema (Ley fuerte) Para y E estado transitorio N y n < con probabilidad 1. Para y E estado recurrente, y 1 lim n n N n y = 1 {T y < }, con probabilidad 1. E(T y X 0 = y) 1 lim n n E (N n y X 0 = x) = P(T y < X 0 = x), x E. E(T y X 0 = y) Si E es finito e irreducible entonces el vector π(y) = 1 E(T y X 0 = y), x E, es el único vector de probabilidad invariante. 23/ 1

24 Ley fuerte El sistema Bonus-Malus en el seguro de automóviles En Hong Kong y en otros lugares del mundo, se usa un sistema para fijar las primas de seguro de automóvil conocido como Bonus-Malus que consiste de 6 clases de tarificación, de 1 fort bonus a 6 fort malus, que se rige por las siguientes reglas: si un asegurado no tuvo siniestros durante el periodo, entonces pasa de la categoría i a la categoría max{1, i 1}, si el asegurado tiene al menos un siniestro entonces pasa de la categoría i a la 6. Si X n denota la categoría en cual se encuentra un individuo al n-ésimo periodo entonces {X n, n 0} es una cadena de Markov con espacio de estados {1, 2,..., 6} 24/ 1

25 Ley fuerte La matriz de transición asociada está dada por p p p p P = 0 p p 0 0 p p p 0 1 p p 1 p Si p (0, 1) el único vector π = (π(1), π(2),..., π(6)) que es invariante para la matriz P, es decir π P = π, y que satisface que π(1) + π(2) + + π(6) = 1, es el vector dado por π(1) = p 5, π(2) = p 4 (1 p), π(3) = p 3 (1 p), π(4) = p 2 (1 p), π(5) = p(1 p), π(6) = (1 p). 25/ 1

26 Ley fuerte Cual es la proporción de tiempo que un cliente pasa en el estado j después de n pasos, n 1 N j n, dado que X 0 = j? Dado que la cadena es irreducible y con espacio de estados finito 1 n N n j 1 π(j ) = E(T j X 0 = j ), con probabilidad 1. Cual es la prima promedio que paga un asegurado? Denotemos por c una función que determina la prima a pagar en función de la categoría. c es una función definida en {1, 2,..., 6} no-decreciente que toma solo valores positivos. La prima promedio que pagará un individuo en n periodos será entonces: 1 n n c(x j ), = j =1 6 j =1 c(j ) N (n) j n 6 π(j )c(j ), j =1 con probabilidad 1. 26/ 1

27 leyes invariantes Definición Diremos que un vector de probabilidad π = (π(x), x E), es una distribución o ley invariante para la cadena con matriz de transición P si la ecuación πp = π es satisfecha, la ecuación anterior es la notación matricial del sistema de ecuaciones π(y)p y,x = π(x), x E. y E 27/ 1

28 leyes invariantes Teorema (Estacionaria) Sea X = {X n, n 0} una cadena de Markov con características (λ, P) y supongamos que λ es invariante para P. Entonces se tiene que Para todo m N se tiene λp (m) = λ, es decir que P(X m = y) = λ(y), y E; La cadena de Markov X es estacionaria, es decir que para todo m, n N se cumple que el vector (X m+1,..., X m+n ) tiene la misma ley que (X 1,..., X n ), esto es P (X m+1 = x 1,..., X m+n = x n ) = P (X 1 = x 1,..., X n = x n ), para todo x 1,..., x n E. 28/ 1

29 leyes invariantes Teorema (Equilibro) Sea X = {X n, n 0} una cadena de Markov con espacio de estados finito y matriz de transición P. Supongamos que para algún x E se cumple que lim P x,y (n) := π(y), y E, n Entonces, el vector (π(y), y E) es un vector de probabilidad invariante. 29/ 1

30 leyes invariantes Es inmediato que 0 π(y) 1, para todo y E pues esto se vale para las potencia de la matriz de transición P, 0 P x,y (n) 1, para todo n 1 y x, y E. Es un vector de probabilidad: π(y) = lim P x,y (n) = lim P x,y (n) = 1. n n y E y E y E Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos que para todo y E. π(y) = lim P x,y (n+1) = lim P x,z (n) P z,y n n z E = lim P x,z (n) P z,y = π(z)p z,y n z E z E 30/ 1

31 leyes invariantes Sea X = {X n, n 0} una cadena de Markov con matriz de transición P = 0 1/2 1/2. 1/2 0 1/2 Encontrar una ley invariante para X. Debemos resolver el sistema (π 1, π 2, π 3 )P = /2 1/2 = π 1 π 2, 1/2 0 1/2 π 3 31/ 1

32 leyes invariantes Equivalentemente, resolver el sistemas de ecuaciones π 1 = 1 2 π 3, π π 2 = π 2, 1 2 π π 3 = π 3. Su solución queda determinada en términos de π 3 pues π 1 = 1 2 π 3, π 2 = π 3. Para determinar el valor de π 3 se utiliza la condición, π 1 + π 2 + π 3 = 1. Después de algunos cálculos elementales se llega a la solución: π = ( 1 5, 2 5, 2 5). 32/ 1

33 leyes invariantes La n-ésima potencia de la matriz de transición está dada por P (n) 1,1 = 1 ( ) n ( 1 4 ( nπ ) cos 2 ( nπ ) ) 2 5 sin. 2 Por lo tanto, lim n P(n) 1,1 = 1 5 = π(1). 33/ 1

34 leyes invariantes Teorema En el caso en que el espacio de estados E es finito siempre existe una ley invariante 34/ 1

35 leyes invariantes Teorema Sea P una matriz estocástica asociada a una cadena de Markov {X n, n N} con espacio de estados E finito y supongamos que existe un entero n tal que P (n) tiene todas sus entradas estrictamente positivas. Se tienen las siguientes propiedades. Cuando n tiende a infinito, P (n) converge entrada por entrada a una matriz Π tal que todos sus renglones son iguales a un mismo vector de probabilidad π cuyas entradas son estrictamente positivas. El vector π es el único vector de probabilidad invariante para P, eso es π P = π; cualquier otro vector v tal que v P = v es un múltiplo de π; Se tienen las siguientes convergencias: y lim P(X n = x) = π(x), x E, n lim P y(x n = x) = π(x), x, y E, n con π(x) la componente x del vector π. 35/ 1