Capítulo 8 CADENAS DE MARKOV. por Jorge Yazlle

Transcripción

1 Capítulo 8 CADENAS DE MARKOV por Jorge Yazlle Un proceso estocástico es una familia arbitraria de variables aleatorias {X t } t T, en donde cada X t es una función del espacio muestral en algún conjunto E (el espacio de estados). Se distinguen diferentes casos, según T sea un conjunto continuo (generalmente R) o discreto (en general N), y según la cardinalidad de E. Es usual interpretar a t como el tiempo transcurrido desde el instante inicial (t = 0), y que en cada instante t T se lleva a cabo un experimento de cuyo resultado queda determinado el valor de X t. Principalmente, interesa saber con qué probabilidad cada X t asume valores en ciertos subconjuntos de E, y también si esta probabilidad está influenciada de alguna manera por los valores observados en los instantes de tiempo anteriores (la historia del proceso). Nos interesa aquí el caso en que T = N = {0,1,2,3,...} y E es un conjunto a lo sumo numerable. Definición 8.1. Sea E un conjunto a lo sumo numerable (de estados) y {X n } n N un proceso estocástico a valores en E. Se dice que el proceso satisface la propiedad markoviana si para todo entero n 0 y todos j,i n,...,i 0 E, se cumple: P(X n+1 = j X n = i n,...,x 0 = i 0 ) = P(X n+1 = j X n = i n ) Una cadena de Markov es un proceso estocástico que satisface la condición markoviana. Es decir, en una cadena de Markov el conocimiento de los valores de X 0,...,X n 1 no agrega información a lo que puede esperarse como valor de X n+1 si se sabe el valor de X n. Si X 0 = e, se dice que la cadena empezó en e. Si X n = e, decimos que, en el instante n, la cadena está en e, o que la cadena visita e. Si X 0 = i 0, X 1 = i 1,..., X n = i n, decimos que la sucesión de estados i 0,i 1,...,i n es una historia completa de la cadena hasta el instante n. La propiedad markoviana establece que la probabilidad de que en el instante n + 1 la cadena pase al estado j habiendo ocurrido una historia completa i 0,...,i n sólo depende del estado i n. Notar que, en general, P(X n+1 = j X n = i) podría depender no sólo de i y de j, sino también de n. Aquellas cadenas en las que P(X n+1 = j X n = i) depende sólo de i y de j constituyen una importante clase. Definición 8.2. Una cadena de Markov se dice homogénea si para todo n 0 y todos i,j E, esp(x n+1 = j X n = i) = P(X 1 = j X 0 = i). En este caso, el númerop(x n+1 = j X n = i) es denotado mediante p ij, y se denomina matriz de transición de la cadena a la matriz P = (p ij ) i,j E. Aquí trabajaremos sólo con cadenas homogéneas. En estos casos, es usual interpretar a E como el conjunto de estados en que puede estar un sistema dinámico discreto (es decir, un sistema que cambia a intervalos de tiempo igualmente espaciados), y a X n como el estado del sistema al momento n, de modo que p ij representa la probabilidad de cambiar al estado j en la próxima etapa, suponiendo que en la etapa actual el sistema está en el estado i. Una buena representación para una cadena homogénea es a través de un grafo cuyos vértices son los estados de E, habiendo arista desde i E hasta j E si, y sólo si, p ij > 0. De haber arista de i a j, se le asocia el valor numérico p ij, y representa la probabilidad de transición (en un paso) del estado i al estado j. A su vez, una interpretación conveniente para este grafo es que los vértices son ciudades, las aristas son autopistas entre ellas (habiendo a lo sumo una autopista entre dos 119

2 CADENAS DE MARKOV ciudades, y pudiendo una autopista empezar y finalizar en una misma ciudad), y un automóvil recorre esta red yendo de ciudad en ciudad día tras día, de modo que, estando en alguna ciudad, debe elegir alguna de las autopistas que salen de esa ciudad, de manera aleatoria, de acuerdo a las probabilidades que las aristas tienen asignadas. La ciudad en la que el auto se encuentra al día n equivaldría al estado del sistema en el instante n. La propiedad markoviana establece que la siguiente ciudad visitada depende sólo de cuál es la ciudad actual, ignorando completamente la sucesión de ciudades anteriormente visitadas. En este grafo, la probabilidad de recorrer un camino i 0 i 1 i 2 i n 1 i n que va desde la ciudad i 0 a la i n, sabiendo que empezamos en i 0, es p i0 i 1 p i1 i 2 p in 1 i n. Si estamos en una ciudad i y queremos saber por la probabilidad de que n días más tarde estemos en la ciudad j, debemos sumar las probabilidades de todos los caminos de longitud n desde i hasta j. Surgen entonces preguntas naturales respecto de la evolución del sistema: Dado que la evolución es aleatoria, no se espera saber exactamente el estado del sistema al momento n, pero sí probabilísticamente: cuál es la que probabilidad de que el sistema, al instante n, se encuentre en un cierto estado i? Suponiendo que en el instante 0 el estado del sistema es i E, cuánto tarda, en promedio, en retornar al estado i en algún instante posterior, si es que eso ocurre? O bien, cuánto tarda, en promedio, en pasar a un cierto estado j? Ejemplo 8.3. Una moneda honesta se revolea reiteradamente y se asigna a X n el valor mostrado por la cara superior de la moneda en el n-ésimo tiro. Entonces, {X n } n 0 es una cadena de Markov con E = {C,X} (cara, cruz), teniendo que p CX = p CC = p XC = p XX = 1/2, por lo que para este proceso es ( ) 1/2 1/2 P = 1/2 1/2 Ejemplo 8.4. Un dado honesto se arroja repetidamente y se asigna a X n el máximo de los valores salidos hasta el n-ésimo tiro. Entonces, {X n } n 0 es una cadena de Markov con E = {1,2,3,4,5,6}, teniendo la siguiente matriz de transición: P = 1/6 1/6 1/6 1/6 1/6 1/6 0 1/3 1/6 1/6 1/6 1/ /2 1/6 1/6 1/ /3 1/6 1/ /6 1/ Ejemplo 8.5. Una compañía con sedes en Tucumán y Salta alquila autos por día, con la siguiente modalidad: un cliente alquila un auto en alguna de las dos ciudades, y lo devuelve al día siguiente en una de esas dos ciudades, a su propia elección. La compañía posee 2000 autos, disponiendo inicialmente 1000 en cada ciudad. De los registros históricos, se determina que, de los autos alquilados en Salta, el 60 % es devuelto en Salta, y el 40 % en Tucumán; y de los autos alquilados en Tucumán, el 70 % es devuelto en Tucumán, y el 30 % restante en Salta. Se desea analizar cómo varía la proporción de los autos que la compañía tiene en ambas ciudades. Ese análisis puede hacerse considerando itinerarios de un auto promedio, que va recorriendo las dos ciudades (E = {S,T}), asignando a X n la ciudad en que el auto está al n-ésimo día (con P(X 0 = S) = P(X 0 = T) = 1/2, ya que la compañía arranca con iguales cantidades de autos en ambas ciudades). {X n } n 0 es una cadena de Markov con matriz de probabilidades de transición dada por: p SS = 0,6, p ST = 0,4, p TS = 0,3, p TT = 0,7. Ejemplo 8.6. (Paseo aleatorio) Un caminante se encuentra sobre la recta numérica Z (originalmente en 0) y tiene una moneda honesta. En cada unidad de tiempo la revolea; si sale cara,

3 8. CADENAS DE MARKOV 121 se mueve una unidad en el sentido positivo, y en caso contrario una unidad en sentido negativo. Interesa saber qué posiciones de la recta visita. Llamando X n a la posición en el instante n, se tiene que {X n } n 0 es una cadena de Markov con E = Z y matriz de transición como sigue: P = /2 0 1/ /2 0 1/ /2 0 1/ (Comparar con el ejemplo 7.2.) Este ejemplo muestra que E podría ser un conjunto infinito. La intuición seguramente indica al lector que, en relación al ejemplo 8.3, la probabilidad de que X n = C es 1/2, independientemente de n. En relación al ejemplo 8.4, para un n grande es de sospechar que P(X n = 1) es pequeña y P(X n = 6) es cercana a 1. A no afligirse si, en relación al ejemplo 8.5, la intuición no arroja pistas sobre la probabilidad de que un auto, al día 50, esté en Tucumán. Más adelante veremos cómo, en muchos casos, los interrogantes que se plantean respecto de la evolución del sistema pueden responderse mediante manipulación algebraica de la correspondiente matriz de transición. Observación 8.7. La matriz de transición de un proceso de Markov es una matriz estocástica, lo cual quiere decir que es una matriz a valores no negativos (pues corresponden a probabilidades de paso de un estado a otro) y que la suma de los elementos de cualquier fila da 1: para cualquier i E, tenemos p ij = ( 1 = j X 0 = i) = P X 1 j E j EP(X ) j X 0 = i j E = P(X 1 E,X 0 = i) = P(X 0 = i) P(X 0 = i) P(X 0 = i) = 1 Queda como ejercicio mostrar que cualquier potencia natural de una matriz estocástica es otra matriz estocástica. La condición markoviana se refiere a probabilidades de cambios de estado que involucran historias completas de la cadena. Veremos ahora una condición equivalente pero que tiene que ver con historias incompletas, mostrando que, de alguna manera, las probabilidades de cambios hacia nuevos estados están influenciadas sólo por el último estado conocido de la historia. Lema 8.8. Sean {X n } n 0 una cadena de Markov, n 0,n 1,...,n k (k 0) enteros tales que 0 n 0 < n 1 < < n k, e i n0,i n1,...,i nk,j estados cualesquiera. Entonces, P(X nk +1 = j X nk = i nk,...,x n1 = i n1,x n0 = i n0 ) = P(X nk +1 = j X nk = i nk ) Demostración. Llamemos F al conjunto de instantes que faltan para completar la historia hasta el momento n k, es decir, F = {x Z : 0 x n k } {n k,...,n 1,n 0 } y veamos, por inducción en la cantidad de elementos de F, el cumplimiento de la proposición. Si F = 0, es F = y el enunciado es verdadero pues corresponde a la condición markoviana. Ahora supongamos F. Sea n un elemento de F, debiendo ser n < n k. Usando el hecho de que P((A B) C) = P(A (B C))P(B C), resulta que P(X nk +1 = j X nk = i nk,...,x n1 = i n1,x n0 = i n0 ) = = e E P(X n k +1 = j,x n = e X nk = i nk,...,x n1 = i n1,x n0 = i n0 ). = e E P(X n k +1 = j X nk = i nk,...,x n1 = i n1,x n0 = i n0,x n = e) P(X n = e X nk = i nk,...,x n1 = i n1,x n0 = i n0 )

4 CADENAS DE MARKOV Por hipótesis inductiva, tenemos que, para cualquier e E, P(X nk +1 = j X nk = i nk,...,x n0 = i n0,x n = e) = P(X nk +1 = j X nk = i nk ) y, por lo tanto, P(X nk +1 = j X nk = i nk,...,x n0 = i n0 ) = = e E P(X n k +1 = j X nk = i nk ) P(X n = e X nk = i nk,...,x n0 = i n0 ) = P(X nk +1 = j X nk = i nk ) e E P(X n = e X n k = i nk,...,x n0 = i n0 ) = P(X nk +1 = j X nk = i nk )P(X n E X nk = i nk,...,x n0 = i n0 ) = P(X nk +1 = j X nk = i nk ) según queríamos demostrar. Teorema 8.9. El proceso estocástico {X n } n 0 es una cadena de Markov si, y sólo si, para cualquier sucesión finita de enteros 0 n 0 < n 1 < < n k, cualquier entero m 1 y cualquier selección de estados i n0,i n1,...,i nk,j E, se cumple que P(X nk +m = j X nk = i nk,...,x n1 = i n1,x n0 = i n0 ) = P(X nk +m = j X nk = i nk ) Demostración. Primero veamos la ida por inducción en m 1. El caso m = 1 es el lema 8.8. Suponiendo ahora la propiedad válida para m, tenemos: P(X nk +m+1 = j X nk = i nk,...,x n0 = i n0 ) = = e E P(X n k +m+1 = j,x nk +m = e X nk = i nk,...,x n0 = i n0 ) = e E P(X n k +m+1 = j X nk +m = e,x nk = i nk,...,x n0 = i n0 ) P(X nk +m = e X nk = i nk,...,x n0 = i n0 ) = e E P(X n k +m+1 = j X nk +m = e)p(x nk +m = e X nk = i nk ) = e E P(X n k +m+1 = j X nk +m = e,x nk = i nk )P(X nk +m = e X nk = i nk ) = e E P(X n k +m+1 = j,x nk +m = e X nk = i nk ) = P(X nk +m+1 = j X nk = i nk ) con lo que queda demostrada la ida. Para la vuelta, supongamos válida la condición, y consideremos dados n 0, j,i n,...,i 0 E; tomando m = 1, n k = n,..., n 1 = 1, n 0 = 0, y reemplazando en la condición, queda la propiedad markoviana, completando así la demostración del teorema. En lo sucesivo, {X n } n 0 representará una cadena de Markov con conjunto de estados E (a lo sumo numerable) y matriz de transición P Las Ecuaciones de Chapman-Kolmogorov. Para lo que sigue, δ ij representará el delta de Kronecker, es decir, δ ii = 1, y δ ij = 0 para i j. Suponiendo que una cadena de Markov homogénea está en un estado i en el instante m 0, interesa conocer cuál es la probabilidad de que, n unidades de tiempo después, esté en un dado estado j. Designaremos por p ij (n) a esta probabilidad, es decir, p ij (n) = P(X m+n = j X m = i)

5 8. CADENAS DE MARKOV 123 y por P n a la matriz con índices en E cuya posición i,j es p ij (n). Por la suposición de homogeneidad, P(X m+n = j X m = i) no depende de m (su demostración queda de ejercicio) así que p ij (n) está bien definida, y se cumple que p ij (n) = P(X n = j X 0 = i). Obviamente, se cumple que p ij (0) = δ ij y que P 1 = P. Por otro lado, para cualquier n 1 y cualesquiera i,j E, tenemos que, de acuerdo al teorema 8.9, (P n+1 ) ij = p ij (n+1) = P(X n+1 = j X 0 = i) = e EP(X n+1 = j,x n = e X 0 = i) = e EP(X n+1 = j X n = e,x 0 = i)p(x n = e X 0 = i) = e EP(X n+1 = j X n = e)p(x n = e X 0 = i) = e E p ie (n) p ej = (P n P) ij y, por lo tanto, P n+1 = P n P (producto matricial de P n y P). De aquí se puede ver que, para cualquier n 1, es P n = P n (la n-ésima potencia de la matriz P) y, en consecuencia, para todos m,n 1, es P m+n = P m P n. Estas dos últimas expresiones son las denominadas ecuaciones de Chapman-Kolmogorov, claves para el entendimiento de la evolución del sistema. Observación Con las ecuaciones, es directo ver que p ij (m+n) p ik (m)p kj (n) cualesquiera sean i,j,k E, m,n 1, pues p ij (m+n) = (P m+n ) ij = (P m P n ) ij = e E p ie (m)p ej (n) p ik (m)p kj (n) Más generalmente, p ij (m 1 +m 2 + +m r ) p ik1 (m 1 )p k1 k 2 (m 2 ) p kr 1 j(m r ) cualesquiera sean los enteros m 1,m 2,...,m r 1 y los estados i,j,k 1,k 2,...,k r 1. En muchos sistemas, es conocido el estado del mismo en el instante 0 (en el cual comienza el proceso). En otros, sólo se conoce la distribución de X 0. Designemos por µ (0) al correspondiente vector de distribución, es decir, µ (0) i = P(X 0 = i). Más generalmente, designemos µ (n) al vector de distribución de X n, vale decir, µ (n) i = P(X n = i). Lema Para todo n 1, se tiene que µ (n) = µ (0) P n. Demostración. Para cualquier j E, µ (n) j = P(X n = j) = e E P(X n = j X 0 = e)p(x 0 = e) = e E µ (0) e P n ej = ( µ (0) P n )j Una cuestión central es saber si µ (n) converge a algo cuando n tiende a infinito. Para ello, nos preguntamos si P n converge a alguna matriz fija. Habrá casos en que no. Por ejemplo, para la matriz estocástica ( ) 0 1 P = 1 0 tenemos que ( ) ( ) P 2k = P 0 1 2k+1 = 1 0 Para la matriz P del ejemplo 8.3, es P n = P, cualquiera sea n. Para la matriz P del ejemplo 8.5, tenemos las siguientes aproximaciones: ( ) ( ) 0, , , , P 5 = P 0, , = P 0, , = ( 0, , , , )

6 CADENAS DE MARKOV y para n 14, P n está estabilizada (dentro de esas aproximaciones). A fin de obtener condiciones para la convergencia de P n, es necesario desarrollar nuevas herramientas, tarea que llevaremos a cabo en las próximas dos secciones Clasificación de estados. Un estado e E se dice persistente (o recurrente) si, con probabilidad 1, la cadena vuelve a e habiendo empezado en e; es decir, si P(X n = e para algún n 1 X 0 = e) = 1. Esto es lo mismo que decir que P((X 1 = e X 2 = e...) X 0 = e) = 1. Un estado que no es persistente se denomina transitorio. Ejemplo Sea E = {i,j}, y tomemos p ii = 0,25, p ij = 0,75, p ji = 0, p jj = 1. Verifiquemos por inducción en n 1 que p ii (n) = 4 n : p ii (1) = p ii = 4 1 y, suponiendo que vale para n, p ii (n+1) = P n+1 ii Ahora mostremos que el estado i es transitorio: P((X 1 = i X 2 = i...) X 0 = i) Por otro lado, el estado j es persistente, pues = (P n P) ii = P n iip ii +P n ijp ji = 4 n 4 1 +P n ij 0 = 4 n 1 P(X n = i X 0 = i) = 4 n < 1 1 P((X 1 = j X 2 = j...) X 0 = j) P(X 1 = j X 0 = j) = p jj = 1 resultando entonces P((X 1 = j X 2 = j...) X 0 = j) = 1. Buscamos ahora criterios para caracterizar a los estados persistentes y transitorios. Definición Para i,j E y n 1, f ij (n) denota a P(X n = j,x n 1 j,...,x 1 j X 0 = i). Es decir, f ij (n) es la probabilidad de que la cadena, habiendo empezado en el estado i, en el instante n esté en el estado j por primera vez (sin considerar el instante inicial). Convenimos que f ij (0) = 0 cualesquiera sean i,j E. Designamos f ij a la probabilidad de que la cadena, habiendo empezado en i, visite j en algún instante posterior. Es decir, f ij = f ij (n) (por nuestra convención, la suma puede empezar desde 0). Se tiene que j es persistente si, y sólo si, f jj = 1: el evento X 1 = j X 2 = j es equivalente al evento (X 1 j,...,x n 1 j,x n = j) n 1 en donde la unión es disjunta, y entonces j es persistente si, y sólo si, 1 = P(X 1 j,...,x n 1 j,x n = j X 0 = j) = f jj (n) = f jj Dados i,j E, designaremos P ij (x) a la función generatriz de la sucesión {p ij (n)} n 0, y F ij (x) a la de {f ij (n)} n 0. Es decir, P ij (x) = p ij (n)x n F ij (x) = f ij (n)x n Nótese que F ij (1) = f ij. Lema Para todos i,j E, P ij (x) = δ ij +F ij (x)p jj (x) (donde el producto de series es el que se definió en el capítulo de funciones generadoras, siguiendo la idea de la distributividad del producto de polinomios).

7 8. CADENAS DE MARKOV 125 Demostración. Para n 1, designemos por A n al evento {X n = j} y por B n al evento {X n = j, X n 1 j,...,x 1 j}. La familia de los B n es dos a dos disjunta. El evento A n es equivalente al evento A n n r=1 B r, por lo que, por propiedades de las probabilidades condicionales y por la propiedad markoviana, resulta ( n ) n P(A n X 0 = i) = P (A n B r ) X 0 = i = P(A n B r,x 0 = i)p(b r X 0 = i) = = r=1 r=1 n P(X n = j X r = j)p(x r = j,x r 1 j,...,x 1 j X 0 = i) r=1 n p jj (n r)f ij (r) r=1 es decir, p ij (n) = n r=1 p jj(n r)f ij (r). Por lo tanto, n P ij (x) = δ ij + p ij (n)x n = δ ij + p jj (n r)f ij (r)x n = δ ij +P jj (x)f ij (x) r=1 según deseábamos demostrar. Teorema Un estado j es persistente si, y sólo si, p jj(n) =. Consecuentemente, un estado j es transitorio si, y sólo si, p jj(n) <. Demostración. Usaremos, sin demostrarlo, el Lema de Abel: Si {a n } n N es una sucesión de reales no negativos tal que lím sup entonces lím a n x n = a n. x 1 n an 1, Notar que, siendo 0 f jj (n) 1 y 0 p jj (n) 1, se cumplen para ambas sucesiones las hipótesis del Lema de Abel, por lo que lím x 1 F jj(x) = lím f jj (n)x n = f jj (n) x 1 lím x 1 P jj(x) = lím x 1 p jj (n)x n = p jj (n) Para la ida del teorema, supongamos j persistente. Entonces, por propiedad demostrada anteriormente, es f jj = 1, es decir, f jj(n) = 1. Luego lím x 1 F jj (x) = 1. Del lema 8.14, se tiene que 1 P jj (x) = 1 F jj (x) así que lím x 1 P jj (x) =, por lo que p jj(n) =. La afirmación recíproca se obtiene de manera análoga. Corolario Sean i, j E. 1. Si j es persistente y f ij > 0, entonces p ij(n) =. 2. Si j es transitorio, entonces p ij(n) <. Demostración. Del lema 8.14, tenemos que p ij (n) = P ij (1) = δ ij +F ij (1)P jj (1) = δ ij +f ij p jj (n)

8 CADENAS DE MARKOV Si j es persistente y f ij > 0, se tiene, por el teorema 8.15, que p jj(n) =, y entonces p ij(n) =. Si j es transitorio, entonces p jj(n) <, de donde p ij(n) <. Corolario Cualquier cadena de Markov con cantidad finita de estados posee al menos un estado persistente. Demostración. Supongamos que todos los estados de la cadena son transitorios. Entonces, p ij(n) < para todos i,j E (corolario 8.16). Consideremos i E fijo. Ocurriría que j E p ij(n) <. Sin embargo, esto no puede ser pues P n es una matriz estocástica y entonces j E p ij(n) = j E p ij(n) = contradicción proviene de suponer que no hay estados persistentes. j E (P n) ij = 1 =. La Cada estado persistente de una cadena cae en una de dos categorías de acuerdo al tiempo promedio que tarda la cadena en regresar a ese estado, suponiendo que empezó en él. Definición Dado e E, el tiempo de la primera visita a e, denotado T e, es el menor de los enteros positivos n tales que X n = e, con la convención de que T e = si no existe tal n. En símbolos, { mín{n 1 : Xn = e} si existe n tal que X T e = n = e si no Es decir, T e es lo que demora la cadena en visitar a e en un instante posterior al del inicio de la cadena (la cadena podría o no empezar en e). Por supuesto, T e es una variable aleatoria, por lo que podemos preguntarnos por su valor medio si suponemos que la cadena empieza en e. Definición El tiempo medio de retorno a e, denotado R e, se define mediante { R e = E(T e X 0 = e) = nf ee(n) si e es persistente si e es transitorio Obsérvese que, aún siendo e persistente, la suma infinita podría divergir a infinito. Por esta razón, distinguiremos dos clases de estados persistentes. Definición Un estado persistente e se dice nulo si R e =, y positivo (o no nulo) si R e <. Más adelante (observación 8.26) enunciaremos un criterio para decidir si un estado persistente es positivo o nulo, en términos de la matriz P Comunicación de estados. Veremos ahora una importante relación de equivalencia en el conjunto de estados de una cadena de Markov, en función de las probabilidades de pasar de un estado a otro. Posteriormente, deduciremos propiedades fundamentales de las respectivas clases de equivalencia. Definición Dadosi,j E, decimos queise comunica con j (denotadoi j) si existe n 0 tal que p ij (n) > 0, es decir, si la cadena visita j (con probabilidad positiva) habiendo empezado en i. Si i j y j i, decimos que i se intercomunica con j, y escribimos i j. Se tiene que es una relación de equivalencia en E, quedando como ejercicio la demostración de este hecho. Proposición Si i j, entonces son ambos transitorios o ambos persistentes. Demostración. Supongamos que i j. Tomemos m y n tales que p ij (m) > 0 y p ji (n) > 0. Designemos α = p ij (m)p ji (n) > 0. Sea k cualquier entero mayor o igual que 0. Tenemos que p ii (m+k +n) p ij (m)p jj (k)p ji (n) = αp jj (k) (observación 8.10), y simétricamente p jj (m+k +n) αp ii (k). En consecuencia, las series k 0 p ii(k) y k 0 p jj(k) son ambas convergentes, o bien ambas divergentes, y el resultado se sigue del teorema 8.15.

9 8. CADENAS DE MARKOV 127 Definición El período de un estado e, denotado d(e), es el máximo común divisor de todos los enteros positivos n tales que el retorno de e a e en n pasos tiene probabilidad positiva: d(e) = mcd{n 1 : p ee (n) > 0} (si n 1,p ee (n) = 0, se define d(e) = ). En el caso en que d(e) = 1, e se dice aperiódico. Si e es persistente positivo y aperiódico, se dice que e es ergódico. De la definición, vemos que p ee (n) = 0 si n no es múltiplo de d(e) (aunque podría ser p ee (n) = 0 aún siendo n múltiplo de d(e)). Proposición Si i j, entonces d(i) = d(j). Demostración. Sean m,n tales que p ij (m) > 0 y p ji (n) > 0. Designemos por R(i) al conjunto {k N : p ii (k) > 0}, y similarmente R(j) = {k N : p jj (k) > 0}, siendo entonces d(i) = mcd(r(i)) y d(j) = mcd(r(j)). Notemos que p jj (m+n) p ji (n)p ij (m) > 0, por lo que m+n R(j), de donde d(j) divide a m+n. Además, sea k R(i) cualquiera. Se tiene que p jj (m+k +n) p ji (n)p ii (k)p ij (m) > 0. Luego m+k+n R(j), y entonces d(j) divide también a m+k+n. Por lo tanto, d(j) divide a k. Ya que k se eligió arbitrariamente en R(i), vemos que d(j) es divisor común de todos los elementos de R(i), y, por lo tanto, d(j) d(i). Análogamente, d(i) d(j) y, en consecuencia, d(i) = d(j). Un subconjunto C E se dice irreducible si todos sus estados están intercomunicados. Si E es irreducible, la cadena se dice irreducible (y a su correspondiente matriz de transición se le llama también irreducible). Por nuestro resultado anterior, en una cadena irreducible todos los estados tienen igual período. Una cadena aperiódica es una que tiene todos sus estados aperiódicos; en tal caso, decimos también que su matriz es aperiódica. Como es de esperarse, una cadena irreducible que tiene todos sus estados persistentes positivos y aperiódicos se dice ergódica. Un subconjunto C E se dice cerrado si p ij = 0 para todos i C,j / C. Si juntamos nuestras dos proposiciones anteriores, tenemos el siguiente resultado, conocido como el Teorema de la Descomposición. Teorema El conjunto E de estados de una cadena de Markov se puede particionar de manera única como E = T C 1 C 2 en donde T es el conjunto de estados transitorios de la cadena, y C 1,C 2,... son conjuntos irreducibles y cerrados de estados persistentes. Demostración. De la Proposición 8.22, resulta E = T R, donde T es el conjunto de estados transitorios y R el de estados recurrentes. Sean C 1,C 2,... las clases de equivalencia (definidas de manera única) de la relación de intercomunicación cuyos estados son persistentes. Entonces R = C 1 C 2, por lo que sólo resta probar que cada C k es cerrado. Supongamos que existen i C k y j / C k tales que p ij > 0. No puede ser que j i (pues i y j no están intercomunicados), así que P(X 2 = i X 3 = i... X 1 = j,x 0 = i) P(X n = i X 1 = j,x 0 = i) De allí, = = n=2 P(X n = i X 1 = j) n=2 p ji (n 1) = 0 n=2 P(X 2 i,x 3 i,... X 1 = j,x 0 = i) = 1

10 CADENAS DE MARKOV y entonces P(X 1 = i X 2 = i X 3 = i... X 0 = i) = = 1 P(X 1 i,x 2 i,x 3 i,... X 0 = i) 1 P(X 1 = j,x 2 i,x 3 i,... X 0 = i) = 1 P(X 2 i,x 3 i,... X 1 = j,x 0 = i)p(x 1 = j X 0 = i) = 1 p ij < 1 contradiciendo que el estado i es persistente. Observación Aunque no lo haremos aquí, es posible probar que si i j y j es periódico de período finito d, entonces lím p ij (n) = d/r j. Luego, un estado persistente j es nulo si, y sólo si, lím p jj (n) = 0, y, si esto se cumple, entonces lím p ij (n) = 0 para todo i E. Usando el resultado de la observación anterior, queda de ejercicio probar que una cadena con cantidad finita de estados no tiene estados persistentes nulos Distribuciones estacionarias y comportamiento límite. Definición Sea v un vector con índices en E. Se dice que v es un vector de distribución si para todo i E,0 v i 1 y i E v i = 1. Un vector de distribución v es una distribución estacionaria para una cadena de Markov si vp = v, donde P es la matriz de transición de la cadena. Por qué se denomina estacionario a tal vector, si es que existe? Porque supongamos que µ (0) = v. Entonces, por el lema 8.11, tenemos que µ (1) = µ (0) P = vp = v µ (2) = µ (0) P 2 = (vp)p = vp = v y, en general, µ (n) = v. Como vemos, en ese caso es lím µ (n) = v, es decir que para cualquier j E tenemos lím P(X n = j) = v j. Hay cadenas que no admiten una distribución estacionaria, como es el caso de la del ejemplo 8.6 (ejercicio). Hay también cadenas que poseen más de una; por ejemplo si E = {i,j} con p ii = p jj = 1 y p ij = p ji = 0, cualquier vector de distribución es una distribución estacionaria para la cadena. El siguiente resultado nos da una condición suficiente para que una cadena admita distribución estacionaria única, garantizando que µ (n) siempre converge a esa distribución (independientemente de la distribución inicial). Teorema Sea {X n } n N una cadena de Markov irreducible y aperiódica con matriz de transición P, con todos sus estados persistentes positivos. Para cada estado j, hagamos v j = 1/R j, y consideremos v = (v j ) j E. Entonces, v es la única distribución estacionaria que posee la cadena. Demostración. Sin pérdida de generalidad, y para simplificar notación, podemos suponer que E = N (y si E fuese finito, considerar p ij = 0 si i E o j E ). Por hipótesis, y de acuerdo a la observación 8.26, para cualquier j E, lím p ij (n) = v j, independientemente del estado i. Consideremos j arbitrario en E. Nótese que, para cualquier M E, v j = lím p ij(n) = lím p ij (n) lím p ij (n) = 1

11 8. CADENAS DE MARKOV 129 así que v j 1. Por otra parte, para cualesquiera i,m E y n 0, p ij (n+1) = p ie(n)p ej M p ie(n)p ej, de modo que v j = lím p ij (n) = lím p ij (n+1) lím p ie (n)p ej = p ej lím p ie (n) = v e p ej de donde v j v ep ej, cualquiera sea j E. Para mostrar que esta desigualdad es en realidad una igualdad, supongamos que fuese estricta para algún j E. Tendríamos entonces v j > v e p ej = v e p ej = lo cual es una contradicción. Luego, cualquiera sea j E, es v j = v ep ej. Si definimos el vector u mediante u j = v j / v e, vemos que se cumple v j u j = k=0 v = v kp kj v k p kj e v = e v = u k p kj = (up) j e y que u j = k=0 v j v e k=0 = v j v = 1 e mostrando así que u es vector de distribución estacionaria, es decir, la cadena admite una distribución estacionaria. Ahora sea w cualquier distribución estacionaria para la cadena. Ya vimos que esto implica quewp n = w cualquiera sean 1. Luego,w j = w ep ej (n) M w ep ej (n) cualesquiera sean j,m E y n 1, y, por lo tanto, w j lím para todo M, de donde w e p ej (n) = w e lím p ej (n) = w j v j w e = v j Pero también, para cualquier n 1 y M E, w j = w e p ej (n) = w e p ej (n)+ w e p ej (n) así que w j lím w e p ej (n)+ e=m+1 w e = e=m+1 w e v j + e=m+1 v e M w e v j = v j w e p ej (n)+ M w e = v j w e + w e e=m+1 e=m+1 cualquiera sea M E. Por lo tanto, haciendo tender M a, y teniendo en cuenta que w e = 1, tenemos que w j v j lím M w e + lím M w e = v j Hemos probado entonces que w j = v j, es decir, que la cadena posee una única distribución estacionaria, que es v. Por lo tanto, para una cadena irreducible y aperiódica con estados persistentes positivos, la matriz P n converge a una matriz cuyas filas son idénticas, e iguales al vector de distribución estacionaria. Esto proporciona un método para encontrar la distribución estacionaria en tales w e w e

12 CADENAS DE MARKOV cadenas: multiplicar por sí misma la matriz un número de veces suficientemente grande, y observar cualquiera de sus filas Una aplicación de cadenas de Markov. La página web de Google es famosa, entre otras cosas, por su motor de búsqueda de información en Internet. Al realizar allí una búsqueda mediante palabras clave, se devuelve una lista con una serie de sitios web que contienen las palabras clave, y resulta sorprendente la inteligencia en la enumeración: generalmente, las primeras páginas de la lista devuelta siempre son más relevantes que las otras, en relación al tópico buscado. Esto es porque los sitios web de Internet que Google reconoce están rankeados, y ese ranking es el que se utiliza para confeccionar el orden de las páginas devueltas como resultado de la búsqueda. Lo asombroso es que el ranking es elaborado automáticamente sin intervención humana por un software de Google en base a una cadena de Markov, como explicaremos a continuación. Aclaremos primero que Google lleva un registro de direcciones web que se actualiza periódicamente (a través de programas robot que tienen la misión de buscar automáticamente e incorporar páginas al registro, o a solicitud expresa del dueño de un sitio web). Las búsquedas ordenadas por un usuario se hacen en las páginas cuyas direcciones figuran en este registro, y no en todas las páginas web existentes. Digamos que el registro de Google posee las direcciones de N sitios (actualmente, N vale del orden de miles de millones). Google asocia entonces biyectivamente, a cada página web registrada en su base de datos, un número desde 1 hasta N, y se construye un grafo G con conjunto de vértices E = {0,1,...,N} y aristas de acuerdo a lo siguiente: No hay aristas desde un nodo hacia ese mismo nodo. Hay una única arista desde 0 hasta cada i {1,...,N}. Hay una única arista desde cada i {1,...,N} hasta 0. Para i,j positivos y distintos, hay una única arista de i a j si, y sólo si, en la página web i hay algún enlace referenciando a la página web j. Como puede verse, en G hay a lo sumo una arista entre dos nodos. Para i E, se define S(i) como la cantidad de aristas que salen del vértice i en G. Es decir, S(i) es una unidad mayor que la cantidad de páginas web a las que puede accederse por enlace desde la página i, siendo, por definición de G, S(0) = N. Obsérvese que S(i) 1 para todo i E. A continuación, se selecciona un parámetro de amortiguamiento p entre 0 y 1 (por ejemplo, p = 0,75) y se define la matriz P con índices en E del siguiente modo: Para todo i E, P ii = 0. Para todo i {1,...,N}, P 0i = 1/N. Para todo i {1,...,N}, { 1 si S(i) = 1 P i0 = 1 p si S(i) > 1 Para todos i,j {1,...,N} con i j, { p si hay arista de i a j en G S(i) 1 P ij = 0 en caso contrario (Por supuesto, Google no necesita construir el grafo, sino sólo la matriz P en base a los enlaces entre las páginas.) La matriz P así definida es estocástica, y corresponde a una cadena de Markov irreducible y aperiódica ( por qué?) que tiene todos sus estados persistentes positivos, de donde, por teorema 8.28, admite una única distribución estacionaria v. Google interpreta a v j como el ranking de la página j, ya que supone que, cuanto más relevante es la página, mayor es la cantidad de visitas a ella en un recorrido aleatorio largo por el grafo G (empezando en cualquier nodo y escogiendo cada arista en cada paso de acuerdo a su probabilidad), siendo la frecuencia de esas visitas medida por v j.

13 8. CADENAS DE MARKOV 131 Cabe destacar que la distribución estacionaria v no se encuentra resolviendo la ecuación vectorial vp = v (pues esto llevaría a un sistema de N N, con N enorme) sino calculando P n para n suficientemente grande y observando su primera fila (teorema 8.28). Esto es, computacionalmente, mucho más rápido que resolver la ecuación. Además, la construcción de v no se efectúa cada vez que un usuario ordena una búsqueda, sino periódicamente, después de dar de alta a nuevas páginas en los registros y de actualizar la matriz P, de modo que el ranking ya está disponible cuando se ordena una búsqueda.