Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropiedades:

Transcripción

1 Capítulo 3: Cadenas de Markov. Una propiedad de especial importancia que poseen los ya estudiados caminos aleatorios y procesos de ramificación, es que sus valores en el n ésimo paso sólo dependen de los valores en el (n 1) ésimo paso, y no de los anteriores. Esta propiedad conocida como propiedad markoviana es de gran importancia en el estudio de estos procesos, y en el estudio general de la teoría de procesos estocásticos, y por ello prestamos especial dedicación en este capítulo. A lo largo del capítulo se supondrá que trabajamos con procesos de parámetro discreto, que toman valores discretos en un conjunto numerable Cadenas de Markov Definición 3.1 Un proceso X = {X n : n 0}, es una cadena de Markov si satisface la siguiente condición, llamada condición de Markov: P(X n = x n X 0 = x 0, X 1 = x 1,...,X n 1 = x n 1 ) = P(X n = x n X n 1 = x n 1 ) n 1 y x 0, x 1,...,x n 1, x n S. Observación: Intuitivamente, se interpreta esta ecuación como que, dado el presente del proceso, el futuro es independiente del pasado. Es decir, una cadena de Markov es una sucesión de v.a. que ven el pasado a través del último suceso. Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropiedades: 1. P(X n = x n X n1 = x n1, X n2 = x n2,...,x nk = x nk ) = P(X n = x n X nk = x nk ) n 0, k; 0 n 1 n 2... n k n; x n1,...,x nk, x n S. 2. P(X n+m = x n+m X 0 = x 0,...,X n = x n ) = P(X n+m = x n+m X n = x n ) n 0, m 1; x 0,...,x n, x n+m S. Es decir, el valor en el instante n ésimo depende solamente de la última observación, que no tiene porque ser la del instante (n 1) ésimo. 41

2 Nota 3.2 La evolución de una cadena de Markov viene descrita por sus probabilidades de transición, p n ij = P(X n+1 = j X n = i), que en un principio dependen de n, i y j. Restringiremos nuestro estudio al caso de que no dependa de n, y sólo sean relevantes i y j. No obstante, señalar que cuando las probabilidades de transición dependan de la etapa n, se dirá que la cadena de Markov es no homogénea. Definición 3.2 Diremos que una cadena de Markov X es homogénea si P(X n+1 = j X n = i) = P(X 1 = j X 0 = i) es decir, la probabilidad de transición no depende de la etapa n. Nota 3.3 A partir de ahora consideraremos que todas las cadenas de Markov que tratemos son homogéneas, a no ser que se diga explícitamente lo contrario. Definición 3.3 Dada una cadena de Markov X, definimos su matriz de transición, P, como la matriz de las probabilidades de transición de dimensión S S, Esto es: P = (p ij ) i,j S donde p ij = P(X 1 = j X 0 = i). Ejemplo: (El clima en la tierra de Oz) Según el cuento, en la tierra de Oz nunca hay dos días seguidos con buen tiempo. A un día soleado siempre le sigue (con igual probabilidad) un día de lluvia o nieve. Por otra parte, si un día tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al día siguiente o que cambie. De este modo, si un día nieva (o llueve) al día siguiente nevará (o lloverá) con probabilidad 1 ; pero si cambia el tiempo sólo la mitad de las veces será un 2 día soleado. Resolución: Sea X n Tiempo en la tierra de Oz el día n-ésimo. (X n )es una cadena de Markov, ya que el tiempo en el día n-ésimo sólo dependerá del tiempo que haga el día anterior. Para estudiar este problema, en primer lugar calculamos las probabilidades de transición; es decir, las probabilidades de que teniendo cierto tiempo un día determinado al día siguiente el tiempo cambie. Para ello, notaremos por s si el día está soleado, con l si llueve y con n si nieva. n, 42

3 p ss = 0 de un día soleado a un día soleado p sl = 1/2 de un día soleado a un día lluvioso p sn = 1/2 de un día soleado a un día con nieve p ll = 1/2 de un día lluvioso a un día lluvioso p ls = 1/4 de un día lluvioso a un día soleado p ln = 1/4 de un día lluvioso a un día con nieve p nn = 1/2 de un día con nieve a un día con nieve p nl = 1/4 de un día con nieve a un día lluvioso p ns = 1/4 de un día con nieve a un día soleado Ordenamos todos estos datos en la siguiente tabla: s l n s 0 1/2 1/2 l 1/4 1/2 1/4 n 1/4 1/4 1/2 donde las filas indican el tiempo en un día determinado, las columnas el tiempo que hace al día siguiente y las entradas son las probabilidades de cambio o transición. A partir de aquí obtenemos la matriz de transición: P = 0 1/2 1/2 1/4 1/2 1/4 1/4 1/4 1/2 Ejemplo: Sea el proceso estocástico X = {X n : n 0}, definido por: p si j = i + 1 P(X n = j X n 1 = i) = q si j = i donde q = 1 p. 0 en casao contrario Tenemos que, P(X n = j X n 1 = i, X n 2 = x n 2,...,X 0 = x 0 ) = P(X n = j X n 1 = i) Luego verifica la condición de Markov. Veamos ahora la matriz de transición. Dado que S = {0, 1, 2,...}, la matriz de transición va a ser de dimensión infinita: 43

4 q p q p q p 0. P = q p q Proposición 3.1 La matriz de transición de una cadena de Markov P es una matriz estocástica, es decir, verifica: Cada elemento de P es no negativo, p ij = P(X n+1 = j X n = i) 0; i, j S. Cada fila de P suma 1, p ij = P(X 1 = j X 0 = i) = 1 j S j S Estudiaremos las cadenas de Markov a corto plazo y a largo plazo. Como ya hemos visto, la matriz de transición nos permite el estudio a corto plazo, describiremos la evolución a largo plazo como sigue: Definición 3.4 La matriz de transición del n-ésimo paso, P n = (p ij (n)), es la matriz de las probabilidades de transición en el n ésimo paso desde el origen, p ij (n) = P(X n = j X 0 = i) Es decir, es la probabilidad de partiendo de i llegar a j en n pasos. Nota 3.4 Trivialmente P 1 = P. En el siguiente teorema, mostraremos la relación que existe entre el desarrollo a largo plazo y el desarrollo a corto plazo, y veremos como X n depende de la variable inicial X 0. Teorema 3.1 (Ecuaciones de Chapman-Kolmogorov) p ij (m + n) = k S p ik (m)p kj (n) 44

5 Demostración: p i,j (m + n) = P(X n+m = j X 0 = i) prob. total = = k S P(X n+m = j, X m = k X 0 = i) = k S P(A B C) = P(A B C)P(B C) } {{ } P(X n+m = j X m = k, X 0 = i)p(x m = k X 0 = i) = cond. Markov = = k S P(X n+m = j X m = k)p(x m = k X 0 = i) = = k S p ik (m)p kj (n) Nota 3.5 De aquí se deduce que P m+n = P m P n y, por lo tanto, que P n = P n. Estudiaremos ahora la función de probabilidad de la variable aleatoria X n, notaremos x n i = P(X n = i) Probabilidad de que la cadena en la etapa n esté en el estado i. x n = (x n 1,...,x n S ). Veamos la relación que hay entre x n i y la matriz de transición. Lema 3.1 x m+n = x m P n y, por lo tanto, x n = x 0 P n. Demostración: x m+n j = P(X m+n = j) P.T. = P(X m+n = j, X m = i) = i S = i S P(X m+n = j X m = i)p(x m = i) = i S x m i p ij(n) = (x m P n ) j = (x m P n ) j. Observación: La evolución aleatoria de una cadena de Markov queda completamente determinada por su matriz de transición P y su distribución de densidad inicial x 0. Por lo tanto, el estudio de las cadenas de Markov es reducible al estudio algebraico de las propiedades de las matrices de transición. Ejemplo: Camino Aleatorio. S = {0, ±1, ±2,...}. Partícula que se mueve hacia arriba o hacia abajo. p si j = i + 1 p ij = q si j = i 1 P = (p ij ) 0 e.c.c. 45

6 Calcular la matriz de transición del n ésimo paso. Podríamos intentar calcular P n partiendo de la matriz anterior por sucesivas multiplicaciones, pero en éste caso podemos proceder: Si hubiese u pasos hacia arriba, tenemos p ij (n) = ( n u ) p u q n u como j i = u (n u) j i = 2u n u = j i + n Z. Por tanto: 2 ( ) n n+j i p n+j i 2 q n j+i 2 si n + j i par p ij (n) = 2 0 en caso contrario Ejemplo: Número de caras en sucesivos lanzamientos de una moneda. Sea la cadena Y = {Y n : n 0}, con Y 0 = 0, que representa el número de caras en n lanzamientos. } P(Y n+1 = s + 1 Y n = s) = p n 0; 0 < p < 1. P(Y n+1 = s Y n = s) = q = 1 p Calcular p ij (m): p ij (m) = P(Y n+m = j Y n = i) = ( m j i Luego que en m lanzamientos salgan j i caras Bi(m, p). Ejemplo: Si perturbamos el proceso anterior y definimos, donde X n = Y n (mod. 10). X = {X n : n 0} ) p j i q m j+i, j i. En este caso, tenemos solo 10 estados, S = {0, 1,..., 9}. Luego la matriz de transición es de orden 10 10: q p q p q p 0 P = q p p q 46

7 Ejemplo: El nivel de negocio de la Bolsa puede considerarse cada día alto (A) o bajo (B). Para un periodo de 5301 días se dispone de la secuencia BAABBA..., y que nos permite representar la alternancia mediante el cuadro adjunto: B A B A Podría indicar alguna relación entre la duración de ciclos de días de nivel alto con los días de nivel bajo a tenor de dichos datos? Debemos normalizar la matriz por filas: B A B A = P Supongamos que la bolsa está regida por dicho matriz de probabilidad. Si la bolsa está baja la probabilidad de que al día siguiente esté baja es Si elevamos la matriz al cuadrado, P 2, significa el pasar de A a B o de B a A en dos días. Si vamos calculando potencias de P, veamos por ejemplo P 8, P = observamos que las dos filas se van pareciendo cada vez más, el sistema se va estabilizando. Nosotros estamos interesados en lo que ocurre en el límite, es decir, [ ] lím n Pn = (se obtiene resolviendo πp = π) Esto va a representar la fracción de tiempo que la bolsa está en B y la fracción de tiempo que la bolsa está en A. Entonces nos dice que la bolsa está más tiempo en baja que en alta. Nota 3.6 π i probabilidad estacionaria de estar en el estado i. Siendo µ i = 1 π i frecuencia que tarda en ser visitado el estado i. 47

8 Así, µ 1 = 1.4 la bolsa tarda en volver a baja 1.4 días. µ 2 = 3.3 la bolsa tarda en volver a alta 3.3 días. tarda en volver a alta más del doble que en volver a baja. } Nota 3.7 Nos interesa, para estos modelos, ver si se ajusta a una cadena de Markov y, en tal caso, hallar la matriz de transición y su comportamiento límite. Ejemplo: Un taller de reparación se ocupa de dos tipos de motores. La reparación de un motor de tipo M 1 requiere dos días y la del tipo M 2 sólo un día. La probabilidad de avería para los motores de tipo uno es de 1/3 mientras que es de 1/2 para los de tipo dos. Los trabajos no admitidos en el taller se encargan al exterior. Sabiendo que si una jornada de reparación ha sido asignada a un motor de tipo uno, se rechaza todo trabajo que pueda presentarse al día siguiente; en otro caso se admitirá cualquier tarea si no se presenta más que una. Decidir que política es mejor: dar prioridad a los motores de tipo uno (dos) cuando se presenten para su reparación motores de ambos tipos. Podemos tener el taller sin trabajo, con un motor de tipo 1 en un día,con un motor de tipo 1 en dos días o con un motor de tipo 2. Al día siguiente el taller puede estar en tres estados distintos, de los cuatro posibles. Intentemos determinar la matriz de transición dando prioridad al motor de tipo 1, M 1 : NO TRABAJO ESTADO: 0 M 1 (1) ESTADO: 1 M 1 (2) ESTADO: 2 M 2 ESTADO: 3 ( )( ) ( ( )( ) ( )( ) /3 1/3 0 1/ /3 1/3 0 1/3 1/3 1/3 0 1/3 Dando prioridad al motor de tipo 2, M 2, tenemos: ) ( ) ) (

9 1/3 1/6 0 1/ /3 1/6 0 1/2 1/3 1/6 0 1/2 El taller tiene dos comportamientos según elijamos la política de dar prioridad a M 1 ó a M 2, que están regidos por las dos matrices de transición. Si calculamos la matriz límite, haciendo π = πp tenemos: [ 1 π = 4, 1 4, 1 4, 1 ] para el primer caso. 4 [ 2 π = 7, 1 7, 1 7, 3 ] para el segundo caso. 7 Así, dado que no queremos tener mucho tiempo el taller( parado, nos interesa la política 2 del tipo 1, pues a largo plazo tiene mas ocupado el taller, 7 > 1 ) Clasificación de estados. Podemos pensar en el desarrollo de una cadena como el movimiento de un partícula que salta entre los estados de S en cada momento. Nos interesaremos por el número (posiblemente infinito) de instantes que tarda la partícula en regresar a su punto de origen. Sin embargo, ha de volver la partícula a su punto inicial? Con esta pregunta en mente realizamos la siguiente definición. Definición 3.5 El estado i es persistente ( o recurrente) si: P(X n = i para algún n 1 X 0 = i) = 1 es decir, si la probabilidad de que la partícula regrese al estado i, habiendo empezado en i, es 1. Si el estado i no es persistente lo llamaremos al estado transitorio, es decir, si esta probabilidad es menor que la unidad. También estamos interesados en el número de pasos hasta la primera visita al estado j partiendo del estado i. La probabilidad de que partiendo del estado i lleguemos por primera vez al estado j en n pasos la representamos por: { fij (n) = P(X 1 j, X 2 j,...,x n 1 j, X n = j X 0 = i) f ij (0) = 0 49

10 Notaremos la probabilidad de que partiendo del estado i alcancemos alguna vez el estado j será: f ij = n 1 f ij (n) Claro es que el estado i es persistente si y sólo si f ii = 1. Ahora buscamos un criterio para determinar si un estado es persistente o no, basándonos en las probabilidades de transición. Como ya hicimos en las caminos aleatorios, definimos las siguientes funciones generatrices: P ij (s) = n 0 p ij (n)s n F ij (s) = n 1 f ij (n)s n Con la convención de que p ij (0) = δ ij (delta de Kronecker) y f ij (0) = 0 i, j S. Claramente se tiene que f ij = F ij (1). A continuación, veremos que se verifican relaciones análogas al caso de los caminos aleatorios entre las dos funciones generatrices F ij y P ij. Teorema 3.2 Se verifican las siguientes relaciones: 1. P ii (s) = 1 + P ii (s)f ii (s). 2. P ij (s) = P jj (s)f ij (s) si i j. Demostración: Fijamos i, j S, sea A m = {X m = j} y B m el suceso de que la primera visita a j ocurra en el instante m, es decir, B m = {X r j para 1 r < m, X m = j}. Los B m son disjuntos luego tenemos: P(A m X 0 = i) P.T. = m P(A m B r X 0 = i) r=1 Utilizando la propiedad de Markov y la definición de probabilidad condicionada tenemos: P(A m B r X 0 = i) = P(A m B r X 0 = i)p(b r X 0 = i) = = P(A m X r = j)p(b r X 0 = i) = p jj (m r)f ij (r) Así pues: p ij (m) = P(A m X 0 = i) = m p jj (m r)f ij (r), m 1. r=1 50

11 Ahora basta multiplicar por s m y sumar en m aplicando las propiedades sobre convolución para llegar a lo que queríamos. Así, Luego, p ij (m)s m = m=1 = = m p jj (m r)f ij (r)s m = m=1 r=1 r=1 m=r p jj (m r)s m r f ij (r)s r = p jj (m r)s m r f ij (r)s r. m=r r=1 P ij (s) δ ij = P jj (s)f ij (s). Veamos ahora como caracterizamos los estados a partir de las probabilidades de transición. Corolario 3.1 Los estados de una cadena de Markov se clasifican en: 1. Un estado j es persistente p jj (n) =. Además, en este caso: n=0 p ij (n) =, i tal que f ij > 0. n=0 2. Un estado j es transitorio p jj (n) <. Además, n=0 p ij (n) <, n=0 i. Demostración: 1. Sea I {Xn=i} la variable indicador de {X n = i}. I {Xn=i} = { 1 si Xn = i 0 si X n i } I {Xn=i} Be(p) ; con p = P[X n = i X 0 = i] 51

12 Sea N i el número de veces que se visita el estado i (dado X 0 = i) E[N i ] = E[ I {Xn=i} X 0 = i] = n=0 P[X n = i X 0 = i] = n=0 n=0 E[I {Xn=i} X 0 = i] = n=0 Ya sólo quedaría probar el paso ( ): P[N i = n] = f n 1 ii (1 f ii ) ; n = 1, 2,... Ni Ge(p) ; p = 1 f ii. p ii (n) = ( ) i es recurrente. N(i) Ge(p) = E[N i ] = 1 p = E[N i] = 1 1 f ii E[N i ] = f ii = 0 i es recurrente. Del apartado 1. del teorema 3.2 tenemos que P jj (s) = si tomamos límite tenemos lím P jj(s) = lím F jj (s) = 1 f jj = 1 s 1 s 1 1, s < 1. Entonces, 1 F jj (s) es decir, P jj (1) = p jj (n) = j es persistente. n=0 Cuando i j se tiene P ij (s) = F ij (s)p jj (s) s 1 = n=0 p ij (n) = f ij }{{} 0 p jj (n) =. n=0 Para b,razonamos por exclusión, si la suma es infinita el estado es persistente. Por tanto, si la suma es finita el estado será transitorio. Corolario 3.2 Si j es transitorio p ij (n) n 0, i. Demostración: Basta aplicar el corolario anterior: j es transitorio n=0 p jj (n) <, i p ij (n) n 0, i. 52

13 Observación: Así pues cada estado es ó persistente ó transitorio. Es intuitivamente claro que el número N(i) de veces que la cadena visita el estado i satisface: { 1 si i es persistente P(N(i) = ) = 0 si i es transitorio Ya que tras cada visita a i el regreso es cierto si y solo si f ii = 1, es decir, si i es persistente. Supongamos {X n : n 0} una cadena de Markov tal que X 0 = i. Otra forma de clasificar los estados es a través de la variable que nos indica el número de instantes antes de la primera visita al estado i : T i = mín{n 1 : X n = i} Tomamos el convenio de que T i = cuando tal visita nunca ocurra. Tenemos que P(T i = X 0 = i) > 0 si y solo si i es transitorio, y en este caso, E[T i X 0 = i] =. Definición 3.6 Definimos el tiempo medio de recurrencia µ i del estado i como: µ i = E[T i X 0 = i] = nf ii (n) es decir, como el número de instantes esperado para regresar al estado i por primera vez. Nota 3.8 Si i es transitorio = µ i =. Nota 3.9 Puede darse el caso de que siendo i persistente el tiempo medio de recurrencia, µ i, sea infinito; siendo éste el caso en el que aunque el regreso a i es cierto se necesita un tiempo infinito. Así pues, realizamos la siguiente distinción entre los estados persistentes. Definición 3.7 Sea i un estado persistente, entonces: { i es un estado persistente nulo si µi = n=0 i es un estado persistente no nulo si µ i < El siguiente teorema nos da una caracterización para estados persistentes nulos. Teorema 3.3 Un estado i es persistente nulo p ii (n) n 0. Además, en este caso, p ji (n) n 0, j. 53

14 Nota 3.10 Destacar que al ser un estado j persistente se tiene que p ij (n) =, y así para ser persistente nulo tiene que darse que p ij (n) n 0, i. También destacar que la condición p ij (n) n 0 es necesaria para que un estado sea transitorio, pero no suficiente como se mostró en el corolario 3.2. n=0 Ejemplo: Recorrido Aleatorio. Supongamos un recorrido aleatorio, y sean Calcular P 0 (s) y F 0 (s). p 0 (n) probabilidad de volver al estado 0 tras n pasos. f 0 (n) probabilidad de 1 a visita al estado 0 tras n pasos. Como P 0 (s) = 1 F 0 (s)p 0 (s), basta calcular una de ellas. ( ) n n p n 2 q n 2 si n par p 0 (n) = 2 0 si n impar Con p 0 (n) podemos calcular la f.g.p.: P 0 (s) = p 0 (n)s n = p 0 (2k)s 2k = n=0 k=0 k=0 ( 2k k ) p k q k s 2k = (1 4pqs 2 ) 1 2. Por tanto, P 0 (s) = (1 4pqs 2 ) 1 2 P 0 (s) = 1 F 0 (s)p 0 (s) } = F 0 (s) = 1 (1 4pqs 2 ) 1 2 En base a ello podemos clasificar los estados de la cadena: Si p = 1 2 p 0 (n) = P 0 (1) = n=0 ( ) =. Luego el estado 0 es persistente ( por conexión, todos los estados son persistentes). Para ver si son persistentes nulos o no nulos, calculamos µ 0 : µ 0 = nf 0 (n) = F 0 (1) =... = s 1 s 2 = s=1 n=0 Luego el estado 0 es persistente nulo. Aunque la probabilidad de volver al estado 0 es 1 (persistente), el n o medio de pasos para volver es. 54

15 Si p 1 2 P 0(1) = (1 4pq1) 1 2 < el estado 0 es transitorio. ( todos los estados son transitorios). Finalmente, introducimos una definición que nos permite estudiar sobre los periodos de tiempo en los cuales el regreso al punto de partida es posible. Definición 3.8 Definimos el periodo d(i) de un estado i S como: d(i) = mcd{n : p ii (n) > 0} es decir, como el mayor común divisor de los lapsos de tiempo tomados en regresar a i cuando el regreso a i es posible. Diremos que un estado i es periódico si d(i) > 1 y que un estado i es aperiódico si d(i) = 1. Las cadenas de mayor aplicación son aquellas en las que los estados tienen mejor comportamiento, por ello damos la siguiente definición Definición 3.9 Diremos que un estado i es ergódico si es persistente no nulo y aperiódico. Es decir, si P(X n = i para algún n 1 X 0 = i) = 1, µ i < (el tiempo esperado de regreso es finito) y mcd{n : p ii (n) > 0} = Clasificación de las cadenas. Comenzaremos viendo la forma en la que los estados de una cadena de Markov se relacionan entre sí. Definición 3.10 Sean i, j S. Diremos que i comunica con j(se denota i j), si la cadena visita el estado j con probabilidad positiva partiendo del estado i. Es decir, si n 0 tal que p ij (n) > 0. Diremos que i y j están intercomunicados(se denota i j), si i j y j i. Es decir, si n, m 0 tales que p ij (n) > 0 y p ji (m) > 0. Nota 3.11 La relación es de equivalencia y, por tanto, define una partición en el conjunto de estados S en clases de equivalencia. Dentro de cada clase de equivalencia todos los estados son del mismo tipo como veremos en el siguiente teorema. Teorema 3.4 Supongamos que i j, entonces: 1. d(i) = d(j), es decir, i y j tienen el mismo periodo. 55

16 2. i es transitorio j es transitorio. 3. i es persistente nulo j es persistente nulo. Demostración: 1. Si i j m, n tales que p ij (m) > 0 y p ji (n) > 0. Por el teorema de Chapman-Kolmogorov, tenemos: p ii (m + n) p ij (m)p ji (n) > 0 m + n es múltiplo de d(i). ( ) p jj (m + n) p ji (n)p ij (m) > 0 m + n es múltiplo de d(j). ( ) p ii (m + d(j) + n) p ij (m)p jj (d(j))p ji (n) > 0 m + d(j) + n es múltiplo de d(i). ( ) p jj (m + d(i) + n) p ij (n)p jj (d(i))p ji (m) > 0 m + d(i) + n es múltiplo de d(j). ( ) De aquí, ( ) y ( ) d(j) es múltiplo de d(i) ( ) y ( ) d(i) es múltiplo de d(j) } d(i) = d(j). 2. Supongamos i transitorio n p ij (n) < j, p ij (n) <. Supongamos ahora que i es transitorio y que hay otro estado j que comunica con él que no lo es. Así, i transitorio, j no transitorio, i j. Entonces, m, n tales que p ij (m) > 0 y p ji (n) > 0. Por el teorema de Chapman-Kolmogorov, tenemos: n p ii (m + r + n) p ij (m)p jj (r)p ji (n) = αp jj (r), r, donde α = p ij (m)p ji (n) > 0. Sumando en r esta expresión, > r p ii (m + r + n) α r p jj (r) α>0 = r p jj (r) < j es transitorio. 3. Supongamos i persistente no nulo p ii (n) n 0. Análogamente a la demostración de 2., pero usando la caracterización anterior, se llega a que si i es persistente nulo j también lo es, pues p ii (m + r + n) n 0, y p ii (m + r + n) αp jj (r) 56

17 con α = p ij (m)p ji (n) > 0. Entonces, p jj (r) r 0 j es persistente nulo. Nota 3.12 Por exclusión, si i es persistente no nulo, como j no puede ser ni transitorio ni persistente nulo j será persistente no nulo. A continuación definimos distintos tipos de clases de estados: Definición 3.11 Sea C S un conjunto de estados, diremos que C es: i. cerrado si i C, j / C, p ij = 0. ii. irreducible si i, j C, i j. Observación: Una vez que la cadena toma un valor en una clase cerrada de estados C entonces nunca la dejará en el futuro. Si un conjunto de estados cerrado está formado por un único estado, a este estado se le llamará absorbente. Es claro que las clases de equivalencia de son irreducibles. Diremos que C tiene una propiedad si todos los estados de C tienen dicha propiedad. Si todo el conjunto de estados S es irreducible entonces diremos que la cadena es irreducible. Podemos ya formular el siguiente importante teorema. Teorema 3.5 (Teorema de descomposición de las Cadenas de Markov) El espacio de estados S de una cadena de Markov X, tiene la siguiente partición única: S = T C 1 C 2 donde T es un conjunto de estados transitorios, y C i son clases cerradas e irreducibles de estados persistentes. Nota 3.13 El teorema de descomposición nos muestra las posibilidades que pueden darse en una cadena de Markov. Esto es, si X 0 C r, entonces la cadena nunca abandonará la clase C r y entonces, podemos considerar el espacio de estados S = C r. Por otra parte, si X 0 T entonces, o la cadena permanece por siempre en T o se mueve a una clase C k y permanece ahí por siempre. Así, o la cadena siempre toma valores en el conjunto de estados transitorios o acaba en un conjunto cerrado persistente de estados donde permanecerá por siempre. Veamos ahora que en el caso en el que S sea finito la primera situación no puede darse. Nota 3.14 Eventualmente T puede ser vacío. Nota 3.15 Si S < + las cadenas son más sencillas. 57

18 Teorema 3.6 Si S es finito, todos los estados no pueden ser transitorios, siendo todos los estados persistentes no nulos. Demostración: Por reducción al absurdo, supongamos que todos los estados son transitorios. Entonces tendríamos que i, p ij (n) = 1 Además, por el corolario 3.2, tenemos que Luego: 1 = lím n 1 = lím j S p ij (n) n 0, i, j S. n j S p ij (n) fta. = lím p ij(n) = 0 = 0 n j S j S Llegaríamos a la misma contradicción si supusiésemos que existe un estado persistente nulo, ya que en este caso también se tiene que p ij (n) n 0. Ejemplo: Sea S = {1, 2, 3, 4, 5, 6}. 1/2 1/ /4 1/ /4 1/4 1/4 1/4 0 0 P = 1/4 0 1/4 1/4 0 1/ /2 1/ /2 1/2 Clasificación de los estados: El estado 3 es transitorio, ya que para ser persistente tendría que tener probabilidad 1 de volver a 3 saliendo de 3 y si salimos al estado 1 ya no volvemos a 3. El estado 4 también es transitorio. Luego, T = {3, 4} La clase {1, 2} es irreducible, al igual que {5, 6}. Con la matriz de transición es suficiente para conocer una cadena. Utilizando los teoremas anteriores, tenemos que dada una cadena de Markov sobre el espacio S, el conjunto de estados puede descomponerse como: S = T C 1 C 2 58

19 Renombrando a los estados adecuadamente llegamos a que la matriz de transición se puede expresar como sigue: C C P = C m 0 D 1 D 2 D m Q donde C i son las matrices correspondientes a los estados persistentes, y D i a los transitorios. Ejemplo: Sea X una cadena de Markov con S = {1, 2,..., 10}. Sea 1/2 0 1/ / / /3 1/ /3 0 P = /4 0 3/ /4 1/ /4 0 1/ Hacemos el siguiente grafo: 0 1/ / / , 3 8, 5, 4, 10 2, 7, 9 y así, 59

20 {1, 3} {2, 7, 9} {6} conjuntos cerrados, irreducibles, recurrentes, no nulos. {4, 5, 8, 10} conjunto transitorio. {1, 3, 2, 7, 9, 6} ninguno es transitorio o recurrente nulo. {6} es absorvente. Luego la matriz de transición se puede expresar del siguiente modo: /2 1/ /3 2/ P = /4 3/ /3 1/3 1/ / /4 0 1/4 1/ / /3 0 1/3 Ejemplo: Sean las cadenas de Markov dadas por las siguientes matrices de transición. Identificar gráficamente el tipo de estado al que pertenecen cada uno de ellos. a) 1/2 0 1/ /4 0 3/4 0 P 1 = 0 0 1/3 0 2/3 1/4 1/2 0 1/4 0 1/3 0 1/3 0 1/3 Hacemos en primer lugar un grafo de los estados. A través del grafo se puede identificar qué estados son recurrentes y cuáles transitorios. Asignamos a un estado cualquiera los signos ±. Por ejemplo, al estado 1. Si se señala un estado con un signo + (por ejemplo el i) se señalan también con + los estados j que siguen al i. Por ejemplo, hemos señalado 1 con +, entonces seguirá el estado 3 con + y, después del estado 3, el estado 5 también con +. Si se señala un estado con signo, se señalan también con a todos los estados que lo preceden. Por ejemplo, si el 1 tiene signo, ponemos signo también a los estados 4 y 5; como el 3 precede al 5 le ponemos también signo, y como el 2 precede al 4, le ponemos también signo. 60

21 Aquellos estados señalados con el doble signo ± forman una clase de estados comunicados. En nuestro caso, forman esa clase los estados 1,3,5. Para ver lo que les ocurre a los estados restantes, le damos ± de partida a otro estado que no esté en la clase que ya nos ha salido y repetimos los mismos pasos. En nuestro caso, le damos ± al estado 2 por ejemplo, obteniendo que {2, 4} forman una clase comunicada Tenemos entonces dos clases comunicadas, {1, 3, 5} y {2, 4}, ya que si cogemos otros estados distintos de partida para asignarles el ± nos salen las mismas clases. {2, 4} son estados transitorios porque cuando salen ya no vuelven. Una cadena finita nunca puede tener todos sus estados transitorios. Ahora reescribimos la matriz P 1 de forma que los elementos de una misma clase estén juntos. Así, nos queda: 61

22 P 1 = 1/2 1/ /3 2/ /3 1/3 1/ /4 3/4 1/ /2 1/4 b) P 2 = {1, 2, 6, 7} Transitorios {3, 4, 5} Reescribimos la matriz P 2 : P 2 = Ahora nos interesa saber que ocurre con la cadena {X n } cuando n. La matriz P en conjunto no tiene un estado límite, sino cada uno de los estados que están en la misma clase. 62

23 3.4. Distribuciones estacionarias y teoremas límite. Cómo se comportará una cadena cuando haya pasado un largo período de tiempo? Definición 3.12 El vector π = (π j ) j S es una distribución estacionaria de la cadena si: 1. Es una distribución de probabilidad, es decir: π i 0, π i = 1. i S 2. π = πp, i.e., π j = i S π i p ij j S. Observación: Se dice distribución estacionaria, pues si iteramos se obtiene: πp 2 = (πp)p = πp = π... πp n = π n 0. Luego si X 0 sigue la distribución dada por π, se tiene que dicha distribución no será modificada, es decir, n, X n tiene la misma distribución. A continuación enunciamos un teorema importante. Teorema 3.7 (Teorema fundamental de las cadenas de Markov) Una cadena de Markov tiene una distribución estacionaria π si y sólo si todos sus estados son persistentes no nulos; en cuyo caso, la distribución π es única y viene dada por π i = µ 1 i para cada i S, donde µ i es el tiempo medio de recurrencia del estado i. Ejemplo: Sea P = [ 1/2 1/2 1/4 3/4 πp = π (π 1, π 2 ) = (π 1, π 2 ) Nota 3.16 Observemos que: ] { π1 = 1 2 π π 2 π 2 = 1 2 π π 2 ( 1/2 1/2 1/4 3/4 ) = 1 π 2 1 = 1π π 2 = 1π 2 1 π 1 + π 2 = 1 ( 1 2 π π 2, 1 2 π ) 4 π 2 π 1 = 1 3 π 2 = 2 3 i. Si la cadena es transitoria o recurrente nula, como µ j =, entonces p ij (n) n 0, i, j S. 63

24 ii. Si la cadena es persistente no nula, p ij (n) n π j = µ 1 j. iii. P(X n = j) = i P(X 0 = i)p ij (n) n 1 µ j. Notese que lím n p ij (n) no depende del punto inicial X 0 = i. iv. Si X es periódica de periodo d, Y = {Y n = X nd : n 0} es una cadena aperiódica: p jj (nd) = P(Y n = j Y 0 = j) n d µ j. Nota 3.17 Si X es irreducible y aperiódica, el sistema siguiente tiene solución única. π(j) = π(i)p ij j S i S π(j) = 1 Además, se tiene j S π(j) = lím Pij n n i, j S Una cadena de Markov no tiene porque tener distribución estacionaria, para que así sea ha de ser una cadena irreducible y todos sus estados deben ser persistentes no nulos. Luego para estudiar el comportamiento límite de una cadena cualquiera, hay que considerar cada una de sus clases C i, ya que cada una va a tener un comportamiento límite. También la clase de estados transitorios T va tener su comportamiento; aunque acabe por desaparecer, nos interesa ver en cuanto tiempo. Por tanto, es fundamental para el estudio del comportamiento límite la separación de una cadena en estados persistentes y transitorios, pues es en la separación donde está el comportamiento límite. Se estudia cada una por separado, se hace π = πc i. La matriz límite de P n va a coincidir en cada fila con la distribución estacionaria: P = si la cadena es irreducible. A continuación vemos resultados sobre el comportamiento asintótico de las cadenas de Markov con estados periódicos. π π π 64

25 Lema 3.2 Sea X una cadena de Markov irreducible con estados periódicos recurrentes de período δ. Entonces, los estados se dividen en δ clases disjuntas B 1, B 2,...,B δ (clases cíclicas), tales que p ij = 0, a menos que: i B 1 y j B 2 ó i B 2 y j B 3 ó... ó i B δ y j B 1. Teorema 3.8 Sea P la matriz de transición de una de cadena de Markov con estados periódicos recurrentes de periodo δ, y sean B 1,...,B δ definidas en el lema anterior. Entonces, en la cadena de Markov con matriz de transición P = P δ las clases B 1,...,B δ son cerradas e irreducibles de estados aperiódicos. Del lema anterior se deduce que si i B α entonces: P(X m B β X 0 = i) = P i (X m B β ) = 1, β = α + m(mod δ). Teorema 3.9 Sean P y B α como en el teorema anterior, y supongamos que la cadena no es nula. Entonces para algún m = {0, 1,..., δ 1}, { π(j) si i Bα j B lím P nδ+m β β = α + m (mod δ) ij = 0 en otro caso Supongamos que tenemos una cadena finita. Veamos el procedimiento que vamos a seguir para calcular la matriz límite de una cadena de Markov: 1. Identificar los conjuntos cerrados e irreducibles, es decir, las distintas clases de estados persistentes. 2. Los restantes son los transitorios. 3. Estudiar la periodicidad de cada clase cerrada por separado. Recordemos que la matriz después de haber identificado cada clase y haber organizado las filas y columnas según esa clasificación, la matriz P toma la forma: P P P = P m 0 D 1 D 2 D m Q donde P i son los estados persistentes y D i los transitorios. Aplicando los resultados anteriores tenemos la matriz P donde las cajas P i que tenemos en P se contraen a un número que es la unidad, es decir, 65

26 P = b 1 b 2 b m Q donde b j (i) = k C j p ik i D. Así, la matriz P tiene la forma: P = ( I 0 B Q ) Para continuar necesitamos calcular las matrices: F = [f ij ] i,j S R = [r ij ] i,j S donde R es lo que se conoce como matriz de potencial, siendo r ij el número medio de visitas a j partiendo de i. Por f ij notábamos la probabilidad de alcanzar el estado j, por primera vez, partiendo del i. Luego, r ij = E[N j X 0 = i] donde N j representa el número de visitas a j. Veamos como calcular R y F. Cálculo de R: R = (r ij ) i,j S viene dada por los siguientes valores: Si j es recurrente, entonces: r ij = { 0 si fij = 0 si f ij > 0 Si j es transitorio e i es recurrente r ij = 0. Si j e i son transitorios, entonces: (r ij ) i,j D = (I Q) 1. Cálculo de F: Para calcular F = (f ij ) i,j S, definimos la matriz G = (I Q) 1 B. Si i es transitorio y k es recurrente f ik = g ij. 66

27 Si i, j son transitorios tal que tienen r ij <, entonces: f jj = 1 1 r jj f ij = r ij r jj Si i, j son recurrentes de la misma clase f ij = 1. Si i es recurrente y j transitorio ó recurrente de distinta clase f ij = 0. Una vez que hemos calculado R y F podemos calcular la matriz límite P, que en realidad es el límite de cada una de las entradas, pues cada clase recurrente P k tiene su propio límite. Cuando llamamos a P matriz límite nos estamos refiriendo al comportamiento límite de todos los estados por separado, en conjunto no es realmente una matriz límite (aunque por abuso del lenguaje la llamemos así); luego podemos calcular la matriz límite de cada clase cerrada, no de la matriz límite en general. Así, dada una matriz P k, su matriz límite viene dada por π(k) = π(k)p k donde i π i (k) = 1. Así, llegamos a: P = P 1 P 2... P m D 1 D 2 D m 0 donde Dk nos indica la probabilidad de ir de los estados transitorios a los estados recurrentes. Además, si i D (i.e., i es un estado transitorio), en esas cajas se verifica que: lím n pn ij = f ijπ j. Veamos ejemplos de como se lleva a la práctica: Ejemplo: Sea X una cadena de Markov donde S = {1, 2,..., 8}, y sea: P =

28 Se observa que, } {1, 2, 3} clases de estados recurrentes, irreducibles y aperiódicos. {4, 5} Tenemos, Entonces, {6, 7, 8} clases de estados transitorios, sólo pueden alcanzar los estados 1,2 y 3. P = (I Q) 1 = y Q = 1 = 1 66 Luego la matriz potencial será: R = Por otro lado, ahora la matriz F, será G = F = } {{ } (I Q) } {{ } B =

29 Nota 3.18 En las cadenas markovianas todas las filas de la matriz del comportamiento límite son iguales. Esto quiere decir que es independiente del estado inicial. La matriz límite es de la forma, P = π 1 π 2 π π 1 π 2 π π 1 π 2 π π 4 π π 4 π π 1 π 2 π π 1 π 2 π π 1 π 2 π donde las π i verifican los siguientes sistemas de ecuaciones: (π 1 π 2 π 3 ) = (π 1 π 2 π 3 ) π 1 + π 2 + π 3 = 1 ( 0 1 (π 4 π 5 ) = (π 4 π 5 ) π 4 + π 5 = 1 Resolviendo los sistemas nos queda: P = ) Ejemplo: Sea X una cadena de Markov donde S = {1, 2,..., 7}, y sea: P =

30 Se observa que, {1, 2} {3, 4, 5} } clases de estados recurrentes. {6, 7} clases de estados transitorios. En este caso, tenemos que Por otro lado, Luego, (I Q) 1 = P = [ G = (I Q) 1 B = Con esto, ya podemos obtener R y F: R = B [ ] 1 = 1 [ [ En este caso, los sistemas de ecuaciones son: ( (π 1 π 2 ) = (π 1 π 2 ) π 1 + π 2 = 1 (π 3 π 4 π 5 ) = (π 3 π 4 π 5 ) π 3 + π 4 + π 5 = 1 ) , F = ][ ] = ] = ] [ [ ] ] 70

31 Resolviendo los sistemas podremos escribir P : π 1 = 0.47 = π 2 = 0.53 = π 3 = 0.26 = 6 23 P = π 4 = 0.30 = π 5 = 0.43 = Ejemplo: Sea X una cadena de Markov donde S = {1, 2,..., 7}, y sea: P = Al igual que en el ejemplo anterior, se tiene } {1, 2} clases de estados recurrentes. {3, 4, 5}periodo2 {6, 7} clases de estados transitorios. En este caso, la matriz P es la misma que la del ejemplo anterior P = Luego B y Q son las mismas que antes, lo que implica que G también coincida con la del ejemplo anterior. En este caso, tenemos: R = , F =

32 En este caso, los sistemas de ecuaciones quedan: ( (π 1 π 2 ) = (π 1 π 2 ) π 1 + π 2 = 1 (π 3 π 4 π 5 ) = (π 3 π 4 π 5 ) π 3 + π 4 + π 5 = 2 ) Resolvemos los sistemas para obtener P : y π 1 = 8/13 π 2 = 5/13 π 3 = 1 π 4 = 0.4 π 5 = 0.6 P2 = P1 = 8/13 5/ /13 5/ /13 5/ /13 5/ Cuando la cadena es infinita es más costoso identificar los estados, pues debemos resolver un sistema infinito. Además, puede darse el caso de que haya estados transitorios, recurrentes no nulos y recurrentes nulos (en las cadenas finitas no puede haber recurrentes nulos). En las cadenas infinitas hay que empezar identificando si hay estados no nulos dadas las clases cerradas. Para ello, tenemos el siguiente teorema: Teorema 3.10 Dada una cadena de Markov irreducible, consideramos el sistema: π(j) = π(i)p ij j S i S π(j) = 1 j S 72

33 Todos los estados serán recurrentes no nulos si y sólo si existe solución única de este sistema. Si el sistema anterior no tuviese solución, tenemos el siguiente teorema: Teorema 3.11 Sea P la matriz de transición asociada a la cadena de Markov que estamos estudiando, y sea Q la matriz obtenida de P al suprimir la fila y la columna k ésima (k S cualquiera). Entonces, los estados son recurrentes nulos si y sólo si el sistema que la matriz Q produce tiene solución trivial, es decir, si el sistema tiene precisamente la solución trivial. O sea, h(i) = q ij h(j) j S\{k} = h(i) = 0. 0 h(i) 1; i S \ {k} Nota 3.19 Si existe solución no trivial del sistema, los estados serán transitorios. Ejemplo: Estudiar el comportamiento de los estados de los recorridos aleatorios dados por la matriz de transición q p q 0 p 0 0 P = 0 q 0 p q 0 p en función del valor p. Determinar las distribuciones límite. En P, vemos que todos los estados se comunican entre sí, forman una sola clase. Resolvemos el sistema π = πp: π 0 = π 0 q + π 1 q π 1 = π 0 p + π 2 q π 2 = π 1 p + π 3 q. Esto es un sistema infinito. Para resolverlo tomamos π 0 = 1 (ya que el sistema es homogéneo y, por tanto, tenemos un grado de libertad) y despejamos el resto de las π i : π 1 = p q π 2 = p2 q 2. 73

34 ) pq Así, queda: π = (c, c, cp2 q 2,... (Tomamos π 0 = c en lugar de π 0 = 1, para tener todas las soluciones posibles). Luego hemos resuelto el sistema, pero esa solución no es buena para cualquier p, q. Ha de ( ) i p ser p < q para que el sistema tenga solución, pues al normalizar, la serie c ha q de ser convergente y, como es una serie geométrica de razón p, para que sea convergente q ha de ser p < q. Por tanto, si p < q todos los estados son recurrentes no nulos, y la solución del sistema sería: π j = ( 1 p ) ( ) j p, j = 0, 1, 2,... q q i=0 pues ésta es la solución que hace que j π j = 1: c k=0 ( ) k p 1 = 1 c q 1 p q = 1 c = 1 p q. La matriz límite es una matriz infinita. Por otro lado, nos va a salir: Si p = q todos los estados son recurrentes nulos. Si p > q todos los estados son transitorios. Para obtener esta solución, le quitamos a P la 1 a fila y la 1 a columna, por ejemplo, y obtenemos así Q. Después, volvemos a plantear el sistema anterior para ver si tiene o no solución. Estudiamos entonces el sistema h = Qh: Q = 0 p 0 0 q 0 p 0 0 q 0 p h 1 = ph 2 h 2 = qh 1 + ph 3 h 3 = qh 2 + ph 4. Haciendo manipulaciones algebraicas obtenemos: [ h i = c 1 + q ( ) ] i 1 q p + +, i = 1, 2,... p 74

35 Con esto: Si p = q h i = c i Si p > q h i = 1 0 h i 1 } {{ } = c = 0 todos los estados son recurrentes nulos. ) i todos los estados son transitorios. ( q p 75

36 3.5. Tablas Resumen Clasificación de los procesos de Markov. Los procesos de Markov se dividen en cuatro tipos básicos según sea el parámetro y el espacio de estados. Párametro T DISCRETO CONTINUO D I Cadenas Cadenas S de de C Markov Markov R de de E Parámetro Parámetro Espacio T Discreto Continuo de O Estados C Procesos Procesos S O de de N Markov Markov T de de I Parámetro Parámetro N Discreto Continuo U (Ej. Series (Ej. Difusión) O Temporales) Métodos para calcular las probabilidades de primer paso. RECURRENTE { 1 si j k j RECURRENTE f jk = 0 e.c.c. NO RECURRENTE f jk = i T k NO RECURRENTE f jk = 0 p jk (n) p ji f ik + p ji f jk = i C p kk (n) n n 76

37 Clasificación de una cadena de Markov irreducible. NO RECURRENTE RECURRENTE RECURRENTE NULA (*) RECURRENTE POSITIVA APERIODICA (PERIODO=1) POSEE DISTRIBUCION DE LARGA DURACION PERIODICA (PERIODO>1) POSEE DISTRIBUCION ESTACIONARIA (*) Propiedad que solo puede poseer una cadena infinita. 77

38 3.6. Ejercicios. Ejercicio 3.1. Sea (X n ) una cadena de Markov y sea un conjunto {n r : r 0} de números enteros ordenados en orden creciente. Demostrar que Y r = X nr constituye una cadena de Markov. Encontrar la matriz de transición de (Y r ) cuando n r = 2r y (X n ) es: 1. Un camino aleatorio simple. 2. Un proceso de ramificación. Ejercicio 3.2. Sea X n la máxima puntuación obtenida en las primeras n tiradas de un dado. Demostrar que (X n ) es una cadena de Markov y encontrar su matriz de transición de probabilidades. Ejercicio 3.3. Consideramos la secuencia aleatoria de polígonos convexos generada de la siguiente manera: Tomamos dos lados del polígono inicial, trazamos un segmento que unan sus puntos medios y obtenemos dos nuevos polígonos. Cogemos aleatoriamente uno de ellos para ser el próximo en la secuencia y así sucesivamente. Sea X n +3 el número de lados del n-ésimo polígono de la secuencia así construida. 1. Encontrar E[X n ] en términos de X Encontrar la distribución estacionaria de la cadena de Markov (X n ). Nota: El número de lados es X n +3 para garantizar que el polígono inicial sea al menos un triángulo. Ejercicio 3.4 Sea {S n : n 0} una caminata al azar con S 0 = Demostrar que X n = S n es una cadena de Markov. Encontrar la matriz de transición de probabilidad de la cadena. 2. Sea M n = max{s k : 0 k n}, demostrar que Y n = M n S n es otra cadena de Markov. Ejercicio 3.5. La copia de un libro es leída por una secuencia infinita de editores detectando errores. Cada error es detectado con una probabilidad p en cada lectura. Entre las distintas lecturas el corrector detecta errores pero introduce un número aleatorio de errores nuevos (los errores pueden ser introducido incluso si no detecta ningún error). Teniendo en cuenta, que el número de errores son diferentes en cada lectura del corrector pero idénticamente distribuidos: Buscar una expresión para la función generatriz de probabilidad de la distribución estacionaria X n donde X n : número de errores después de la n-ésima lectura del corrector. Buscar una expresión para la función generatriz de probabilidad explícita cuando el corrector introduce un número de errores en cada lectura regida por una distribución de Poisson. 78

39 Ejercicio 3.6. Una partícula recorre un camino aleatorio sobre los vértices de un grafo G conexo, el cual para simplificar suponemos que no tiene bucles. En cada etapa la partícula se mueve de un vértice a otro de los adyacentes, teniendo cada punto igual probabilidad de ser elegido. Si G tiene η(< + ) aristas, mostrar que la distribución estacionaria está dada por Π v = dv donde dv es el grado del vértice. 2η Ejercicio 3.7. Mostrar que un camino aleatorio sobre un árbol binario infinito completo es una cadena de Markov de estados transitorios. Ejercicio 3.8. Una partícula realiza una caminata al azar sobre los vértices de un cubo.en cada etapa permanece en el vértice en que se encuentra con una probabilidad 1 4 y se desplaza a sus vecinos con la misma probabilidad. Sean v,w dos vértices diametralmente opuestos y supongamos que la caminata comienza en v. Hallar: 1. El número medio de etapas hasta la primera visita a v. 2. El número medio de etapas hasta la primera visita a w. Ejercicio 3.9. Sea la siguiente figura: A D C Comenzamos en el vértice (A). Nos piden: B E 1. El tiempo de primer paso por A partiendo de A (tiempo medio de recurrencia). 2. Números de visitas a D antes de llegar a A sabiendo que partimos de A 3. Números de visitas a C antes de llegar a A sabiendo que partimos de A 4. Tiempo de primer paso por A sabiendo que parte de A sin que pase por E 5. Números de visitas a D antes de llegar a A sabiendo que partimos de A,sin pasar por E Ejercicio Sea X n la cantidad de agua que hay en un embalse el día n sobre el mediodia.ddurante las 24 horas anteriores al día n el embalse recibe agua que cuantificaremos en la variable Y n, justamente antes de cada mediodía la presa arroja 1 unidad de agua (si hay tal cantidad).la capacidad máxima del embalse es k, y si la presa recibe 79

40 excesiva cantidad este agua se desborda y se pierde. Suponemos que las Y n son independientes e idénticamente distribuidas y que todos los numeros de valoración son enteros no negativos. (1)Demostrar que {X n : n > 0} es una cadena de Markov. (2)Hallar la matriz de transición de {X n : n 1} (3)Encontrar una expresión de la distribución estacionaria Π en términos de la función generatriz de probabilidad de Y n (4)Calcular Π cuando G y (s) = p(1 qs) 1 Ejercicio Clasificar los estados de las cadenas de Markov, con matrices de transición siguientes: (a) P = 1 2p 2p 0 p 1 2p p 0 p 1 p (b) P = 0 p 0 1 p 1 p 0 p p 0 p p 0 1 p 0 Calcular en cada caso el comportamiento límite. Ejercicio 3.11 Clasificar los estados de las cadenas de Markov, con matrices de transición siguientes: (a) 1 2p 2p 0 P = p 1 2p p 0 p 1 p (b) P = 0 p 0 1 p 1 p 0 p p 0 p p 0 1 p 0 Además, calcular en cada caso el comportamiento límite. Ejercicio Clasificar los estados de la Cadena de Markov dada por la siguiente matriz de paso: 80

41 P Ejercicio Clasificar los estados de la cadena de Markov dada por la matriz adjunta, así como su matriz límite. a b c d e f g a b c d e f g Ejercicio Sea X una cadena de Markov con espacio de estados E={1,2,3,4,5,6,7,8} y matriz de transición: P = clasificar los estados y determinar la matriz límite. Ejercicio Clasificar los estados de la cadena de Markov dada por la siguiente matriz de transición, así como determinar la matriz limite. c) Ejercicio Clasificar los estados de la cadena de Markov con la siguiente matriz de transición, y su comportamiento límite : 81

42 P = Ejercicio Estudiar las cadenas de Markov dadas por las matrices de transición: p 0 p 1 p 2 p 3 h 0 g p 0 p 1 p 2 p 3 h 1 g 1 g P = 0 p 0 p 1 p p 0 p 2 Q = h 2 g 2 g 1 g 0 0 h 3 g 3 g 2 g 1 g 0 Determinar el comportamiento de los estados a través de las funciones generatrices de las sucesiones {p i } y {g j }, respectivamente. Ejercicio Estudiar el comportamiento de los estados de los recorridos aleatorios dados por las matrices de transición: q p q 0 p 0 0 q 0 p 0 0 P 1 = 0 q 0 p q 0 p, P 2 = 0 q 0 p q 0 p en función del valor de p. Determinar las distribuciones límite. Ejercicio El número de días que transcurren hasta que se recibe una petición para la suit presidencial de un hotel, es una v.a. G(p). Cada cliente que realiza la petición de la suit por un número de días que es una v.a. discreta X. 1. Calcular la fracción de tiempo que la suit está ocupada. 2. Calcular el beneficio para el hotel, si la estancia de X días produce un beneficio cx + k, y un coste D. 82