Capítulo 3 Propedades Asntótcas 3.. Dstrbucones Estaconaras Defncón 3. Sea X n, n, una cadena de Markov con espaco de estados E y matrz de transcón P. Sea π(), E, una dstrbucón de probabldad, es decr, π() 0, para todo E, π() =. S E π()p (, j) = π(j), j E, (3.) decmos que π es una dstrbucón estaconara o una medda nvarante para la cadena X n. Para una cadena con espaco de estados fnto, observamos que s P es la matrz de transcón y π es el vector que representa la dstrbucón estaconara, podemos escrbr matrcalmente la relacón (3.) como π P = π, donde π es un vector columna y π es su traspuesto. Dada una cadena de Markov, no sempre es posble encontrar una dstrbucón estaconara, como veremos más adelante. Sea π una dstrbucón estaconara, entonces, usando las ecuacones de Chapman-Kolmogorov, π()p (2) j = π() k P k P kj = k ( π()p k )P kj = k π(k)p kj = π(j). De manera smlar, por nduccón obtenemos que para todo n, π()p (n) j = π(j), j E. (3.2) Por lo tanto, s la dstrbucón del estado ncal X 0 es π, (3.2) mplca que para todo n, P (X n = j) = π(j), j E, y en consecuenca la dstrbucón de X n es ndependente de n. Esto quere decr que la dstrbucón estaconara representa una dstrbucón de equlbro del proceso: s el proceso se nca con una dstrbucón estaconara entonces es estrctamente estaconaro.
88 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Supongamos ahora que la dstrbucón de X n es ndependente de n, entonces la dstrbucón ncal π 0 debe satsfacer π 0 (j) = P (X 0 = j) = P (X = j) = π 0 ()P j y en consecuenca π 0 satsface la condcón (3.) de una dstrbucón estaconara. Resumendo, la dstrbucón de X n es ndependente de n s y sólo s la dstrbucón ncal es una dstrbucón estaconara. Ejemplo 3. Consderemos una cadena de Markov con espaco de estados E = {0,, 2} y matrz de transcón /3 /3 /3 P = /4 /2 /4 /6 /3 /2 Veamos que esta cadena tene una únca dstrbucón estaconara π. La relacón que debe satsfacer esta dstrbucón es πp = π, es decr, /3 /3 /3 (π 0, π, π 2 ) /4 /2 /4 = π 0 π /6 /3 /2 y obtenemos las tres ecuacones sguentes, π 0 3 + π 4 + π 2 6 = π 0, π 0 3 + π 2 + π 2 3 = π, π 0 3 + π 4 + π 2 2 = π 2, junto con la condcón adconal de que el vector π represente una dstrbucón de probabldad, es decr Resolvendo este sstema obtenemos π 0 + π + π 2 =. π 0 = 6 25, π = 2 5, π 2 = 9 25, que son postvos y satsfacen las cuatro ecuacones, de modo que representan la únca dstrbucón estaconara para la cadena. Dada una cadena de Markov, supongamos ahora que exste una dstrbucón ν que π 2 lm P (n) j = ν(j), j E. (3.3) Entonces, como veremos, la dstrbucón de X n se aproxma a ν cuando n, sn mportar cual sea la dstrbucón ncal de la cadena. En este caso decmos que la cadena tene una dstrbucón asntótca. Supongamos que (3.3) vale y sea π 0 la dstrbucón ncal de la cadena, entonces P (X n = j) = π 0 ()P (n) j. Suponendo que podemos ntercambar límtes con sumas nfntas, hacendo n y usando (3.3) obtenemos lm P (X n = j) = π 0 ()ν(j),
3.. DISTRIBUCIONES ESTACIONARIAS 89 y como π 0() =, conclumos que lm P (X n = j) = ν(j), j E. (3.4) Esta fórmula ndca que, sn mportar cual sea la dstrbucón ncal, para valores grandes de n la dstrbucón de X n es aproxmadamente gual a la dstrbucón asntótca ν. S la cadena tene una dstrbucón estaconara π entonces, necesaramente, π = ν, porque podemos ncar la cadena con la dstrbucón π y entonces P (X n = j) = π()p (n) j = π(j), j S. Comparando con (3.4) vemos que ambas dstrbucones tenen que concdr. Esto mplca que π es la únca dstrbucón estaconara, porque s hubera otra, podríamos usarla como dstrbucón ncal π 0, y a partr de (3.3) y (3.4) concluríamos que π 0 (j) = π(j) para todo j E. Por lo tanto, de acuerdo a este argumento, s una cadena de Markov tene una dstrbucón estaconara y una dstrbucón asntótca, ambas deben concdr. Teorema 3. Sea X = {X n, n 0} una cadena de Markov con espaco de estados fnto y matrz de transcón P. Supongamos que para algún E se cumple que lím P (n),j := π(j), j E, Entonces, el vector (π(j), j E) es un vector de probabldad nvarante. Demostracón. Es nmedato que 0 π(j), para todo j E pues esto se vale para las potencas de la matrz de transcón P, 0 P (n),j, para todo n y, j E. Veamos que en efecto es un vector de probabldad, puesto que E es fnto los sguentes ntercambos de suma y límte los podemos hacer sn correr resgo a equvocacón π(j) = lím P (n),j = lím j E j E j E P (n),j =. Para fnalzar veamos que π es un vector de probabldad nvarante. Por las ecuacones de Chapman- Kolmogorov tenemos que para todo j E. π(j) = lím P (n+),j = lím k E P (n),k P k,j = lím P (n),k P k,j = π(k)p k,j k E k E Observemos que en el teorema anteror se tene que π(k) > 0 para algún k E pues π es un vector de probabldad. En el caso en que E es nfnto esto no se puede garantzar. Por ejemplo tomemos una cadena de Markov con espaco de estados E nfnto y tal que todos sus estados son transtoros, como la camnata aleatora no smétrca. Puesto que todos los estados son transtoros se tene que lím P (n),j = 0 : π(j), j E. El vector π es sn duda nvarante, 0P = 0, pero no es un vector de probabldad pues la suma de sus entradas es 0.
90 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS 3.2. Vstas a un Estado Recurrente Veamos qué cosas pueden ocurrr para que una cadena no tenga dstrbucón asntótca. Consderemos una cadena de Ehrenfest con tres bolas. En este caso la matrz de transcón es 0 0 0 P = /3 0 2/3 0 0 2/3 0 /3 0 0 0 S calculamos la matrz de transcón en dos pasos, la dsposcón de los ceros en la matrz camba, /3 0 2/3 0 P 2 = 0 7/9 0 2/9 2/9 0 7/9 0 0 2/3 0 /3 Para ver que esta stuacón se mantene para valores mayores de n, observamos que s ncalmente tenemos un número mpar de bolas en la caja de la zquerda, no mporta s añadmos o qutamos una, el resultado será un número par. De manera smlar, s hay un número par de bolas ncalmente, en el próxmo paso habrá un número mpar. Esta stuacón de alternanca entre números pares e mpares ndca que es mposble regresar al estado ncal después de un número mpar de pasos, es decr, s n es mpar, P n = 0 para todo. Hay una manera de manejar esta stuacón en la cual no exste el límte de Pj n cuando n. Sea a n, n 0, una sucesón de números. S para algún L fnto, entonces lm n lm a n = L (3.5) n a m = L. (3.6) m= S (3.6) es certo decmos que (a n ) converge a L en el sentdo de Cesáro. Este tpo de convergenca es más general que la convergenca usual: es posble que (3.6) sea certa sn que lo sea (3.5). Por ejemplo, s a n = 0 para n par y a n = para n mpar, entonces la sucesón no tene límte cuando n pero exste. lm n n a m = 2. m= Veremos a contnuacón que para cualquer par de estados, j de cualquer cadena de Markov, el límte lm n n m= Recordemos que N n (j) = n m= j(x m ) representa el número de vstas de la cadena al estado j durante m =,..., n. El valor esperado del número de vstas para una cadena que comenza en está dado por E [N n (j)] = G n (, j) = P (m) j n m= P (m) j.
3.2. VISITAS A UN ESTADO RECURRENTE 9 Sea j un estado transtoro, entonces hemos vsto que lm N n (j) = N(j) < con probabldad, y lm G n (, j) = G(, j) < para todo E. En consecuenca y tambén N n (j) lm = 0 con probabldad, n G n (, j) lm = 0 para todo E. (3.7) n Observamos que N n (j)/n es la proporcón de las prmeras n undades de tempo que la cadena está en el estado j y que G n (, j)/n es el valor esperado de esta proporcón para una cadena que comenza en. Sea ahora j un estado recurrente y llamemos m j = E j [T j ] al tempo medo de regreso a j para una cadena que comenza en j, s este tempo de regreso tene esperanza fnta, y ponemos m j = s no. Para probar el próxmo teorema, necestamos la Ley Fuerte de los Grandes Números y el Teorema de Convergenca Acotada: Teorema 3.2 (Ley Fuerte de los Grandes Números) Sea ξ, una sucesón de v.a...d. S estas varables tenen meda fnta µ, entonces lm n n ξ = µ = con probabldad. S ξ µ = +. 0 y las varables no tenen esperanza fnta, el resultado vale s ponemos Teorema 3.3 (Teorema de Convergenca Acotada) Sea ξ,, una sucesón de v.a. S exste una constante K tal que ξ < K para todo, y s ξ ξ cuando, entonces E(ξ ) E(ξ). Sea X n, n una cadena de Markov con probabldades de transcón estaconaras que comenza en un estado recurrente j. Con probabldad la cadena regresa a j nfntas veces. Para r sea Tj r el nstante de la r-ésma vsta a j: = mn{n : N n (j) = r}. T r j Ponemos Wj = T j = T j y para r 2 sea Wj r = T j r T r j, el tempo de espera entre la (r )-ésma vsta a j y la r-ésma vsta. Claramente, Lema 3. Las varables Wj r, r, son..d. Demostracón. Veamos en prmer lugar que T r j = W j + + W r j. P (W r+ j = z r+ W j = z,..., W r j = z r ) = P j (W j = z r+ ). (3.8) Defnmos t = z, t = t + z = q= z q para r + y sea A r = {t, t 2,..., t r } el conjunto de los nstantes en los cuales el proceso realza las prmeras r vstas al estado j. Por lo tanto, para s t r, X s = j s s A r, X s j s s / A r. Usando esta notacón vemos que el evento {W j = z, W 2 j = z 2,..., W r j = z r }
92 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS se puede escrbr como Por lo tanto el lado zquerdo de (3.8) es ahora {X s = j para s A r, X s j para s / A r, s t r }. P (X tr+ = j, X s j para t r + s < t r+ X s = j para s A r, por la propedad de Markov esto es X s j para s / A r, s t r ), P (X tr+ = j, X s j para t r + s < t r+ X tr = j) y tenendo en cuenta la defncón de los t y la homogenedad de la cadena, esto es gual a de modo que hemos probado (3.8). Ahora, por nduccón, se prueba fáclmente que P j (W j = z r+ ) P j (W j = z,..., W r j = z r ) = P j (W j = z ) P j (W r j = z r ), y esto muestra que las varables W k j son..d. Teorema 3.4 Sea j un estado recurrente, entonces y N n (j) lm = {T j < } con probabldad, (3.9) n m j G n (, j) lm = lm n n n m= P (m) j = ρ j m j para todo E. (3.0) Demostracón. Consderemos una cadena de Markov que comenza en un estado recurrente j. Con probabldad regresa a j nfntas veces. Por el lema 3., las varables Wj, W j 2,... son..d. y tenen meda común E j (Wj ) = E j(t j ) = m j. Por la LFGN tenemos es decr, que lm k k (W j + Wj 2 + + Wj k ) = m j c. p., Tj k lm k k = m j c. p.. (3.) Sea N n (j) = k, entonces, al nstante n la cadena ha hecho exactamente k vstas a j. Por lo tanto, la vsta k ocurre en o antes del nstante n, mentras que la vsta k + ocurre después de n. Esto lo expresamos en la sguente desgualdad y por lo tanto, T N n(j) j T Nn(j) j N n (j) n < T N n(j)+ j, N n(j)+ j n N n (j) < T N n (j),
3.2. VISITAS A UN ESTADO RECURRENTE 93 sempre que N n (j). Como N n (j) con probabldad cuando n, estas desgualdades y (3.) mplcan que n lm N n (j) = m j c. p.. Sea, de nuevo, j un estado recurrente pero supongamos ahora que X 0 tene dstrbucón arbtrara, entonces es posble que la cadena nunca llegue a j. S llega, el argumento anteror es váldo y (3.9) es certa. Por lo tanto N n (j) lm = {T j < } c.p.. n m j Por defncón 0 N n (j) n, y en consecuenca 0 N n(j) n. Usando el Teorema de Convergenca Acotada tenemos [ lm E Nn (j) ] [ {Tj< } ] = E = P (T j < ) = ρ j n m j m j m j y por lo tanto (3.0) vale. El teorema anteror tene la sguente nterpretacón. Supongamos que estamos consderando una cadena de Markov rreducble y fnta, de modo que todos los estados son recurrentes y se comuncan. Entonces, con probabldad todos los estados serán vstados y ρ j = P (T j < ) = para cualesquera, j. Por lo tanto, el tempo promedo que la cadena pasa en el estado j cuando n es grande es, aproxmadamente, /m j = / E j (T j ), es decr, el nverso del tempo medo de retorno. Ejemplo 3.2 (Cadena con dos estados) Consderemos una cadena de Markov con dos estados posbles y matrz de transcón ( ) α α P =. β β Supongamos que 0 < α, β, entonces tenemos una fórmula explícta para las potencas de la matrz de transcón P n = [( ) ( )] β α + ( α β) n α α. α + β β α β β S α + β < 2, hacendo n el factor ( α β) n 0 y por lo tanto ) lm P n = ( β α+β β α+β α α+β α α+β En este ejemplo tenemos convergenca de las potencas de las probabldades de transcón Pj n cuando n y como consecuenca tambén hay convergenca en el sentdo de Cesáro. En el caso límte α = β =, la cadena sgue sendo recurrente, pero ahora no hay convergenca de Pj n cuando n ya que Sn embargo, es fácl ver que P 2n = ( ) 0, P 2n+ = 0 lm n n Pj m = 2, m=. ( ) 0. 0 que es consstente con el resultado anteror (s α = β =, α/(α + β) = /2 para =, 2). Una nterpretacón de este resultado es que, a largo plazo, la cadena estará en el estado una fraccón de tempo β/(α + β) y en el otro estado la fraccón complementara α/(α + β).
94 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS 3.3. Estados Recurrentes Defncón 3.2 Un estado recurrente j es recurrente nulo s m j =. Por el teorema 3.4 vemos que s j es recurrente nulo, G n (, j) lm = lm n n n m= P (m) j = 0, E. (3.2) Es posble mostrar un resultado más fuerte: S j es recurrente nulo entonces lm P (n) j = 0 para E. Defncón 3.3 Un estado recurrente j es recurrente postvo s m j <. Por el teorema 3.4 vemos que s j es recurrente postvo, G n (j, j) lm = > 0. n m j Consderemos una cadena que comenza en un estado recurrente j. A partr del teorema 3.4 vemos que s j es recurrente nulo entonces, con probabldad, la proporcón del tempo que la cadena está en el estado j durante las prmeras n undades de tempo tende a cero cuando n, mentras que s j es recurrente postvo, con probabldad esta proporcón tende al límte postvo /m j cuando n. Teorema 3.5 Sea un estado recurrente postvo y supongamos que desde podemos acceder a j. Entonces j es recurrente postvo. Demostracón. Ya vmos que en este caso desde j tambén se accede a. Por lo tanto exsten enteros postvos n y n 2 tales que P (n ) j > 0 y P (n 2) j > 0. Tenemos P (n+m+n2) jj P (n) j P (m) P (n2) j, sumando sobre m =, 2,..., n y dvdendo por n conclumos que n (G n +n+n 2 (j, j) G n+n 2 (j, j)) P (n ) j P (n 2) j n G n(, ). Hacendo n, el lado zquerdo de la desgualdad converge a /m j y el lado derecho converge a Por lo tanto P m j P (n) j P (n2) j. m (n ) j P (n2) j m > 0, y en consecuenca m j <. Esto muestra que j es recurrente postvo. A partr de este teorema y los resultados que vmos anterormente, sabemos ahora que s C E es un conjunto cerrado e rreducble, entonces o ben todos los estados de C son transtoros o todos son recurrentes nulos o todos son recurrentes postvos. S C E es fnto y cerrado, entonces tene al menos un estado recurrente postvo: Como j C P (m) j =, C,
3.4. EXISTENCIA Y UNICIDAD DE DISTRIBUCIONES ESTACIONARIAS. 95 sumando sobre m =,..., n y dvdendo por n obtenemos que j C G n (, j) n =, C. S C es fnto y todos los estados de C fuesen transtoros o recurrentes nulos, entonces (3.7) valdría y tendríamos G n (, j) = lm = G n (, j) lm = 0 n n j C j C lo cual es una contradccón. Teorema 3.6 Sea C E fnto, cerrado e rreducble. Entonces todos los estados de C son recurrentes postvos. Demostracón. Como C es fnto y cerrado, hay al menos un estado recurrente postvo. Como es rreducble, todos los estados se comuncan y por el teorema 3.5 deben ser recurrentes postvos. Corolaro 3. Una cadena de Markov rreducble con un número fnto de estados es recurrente postva. Corolaro 3.2 Una cadena de Markov con un número fnto de estados no tene estados recurrentes nulos. Demostracón. S j es un estado recurrente, está contendo en un conjunto cerrado e rreducble C de estados recurrentes. Como C es fnto, por el teorema anteror todos los estados en C, ncluyendo a j, son recurrentes postvos. Por lo tanto no hay estados recurrentes nulos. 3.4. Exstenca y Uncdad de Dstrbucones Estaconaras. Vamos a necestar la sguente versón del Teorema de Convergenca Acotada para seres. Teorema 3.7 (Teorema de Convergenca Acotada) Sea a 0, E, una sucesón de números con a < y sean b,n, E y n tales que b,n para E y n, y para todo E. Entonces lm lm b,n = b, a b,n = a b. Sea π una dstrbucón estaconara y sea m N. Por la ecuacón (3.2) k π(k)p (m) k = π(), E. Sumando esta ecuacón sobre m =,..., n y dvdendo por n conclumos que k π(k) G n(k, ) n = π(), E. (3.3) Teorema 3.8 Sea π una dstrbucón estaconara. S es transtoro o recurrente nulo, entonces π() = 0.
96 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Demostracón. S es un estado transtoro o recurrente nulo, por (3.7) y (3.2). Por las ecuacones (3.3) y (3.4) y el teorema 3.7, G n (k, ) lm = 0, k E (3.4) n π() = lm k π(k) G n(k, ) n Como consecuenca del teorema anteror vemos que una cadena sn estados recurrentes postvos no tene una dstrbucón estaconara. Teorema 3.9 Una cadena de Markov rreducble y recurrente postva tene una únca dstrbucón estaconara dada por = 0. π() = m, E. (3.5) Demostracón. Haremos la demostracón para el caso en el cual el espaco de estados E es fnto. De las hpótess del teorema y del teorema 3.4 vemos que G n (k, ) lm =,, k E. (3.6) n m Supongamos que π es una dstrbucón estaconara. A partr de la ecuacones (3.3), (3.6) y el teorema 3.7 que π() = lm π(k) G n(k, ) = π(k) =. n m m k Por lo tanto, s el proceso tene una dstrbucón estaconara, debe estar dada por (3.5). Para completar la demostracón del teorema tenemos que mostrar que la funcón π(), E defnda por (3.5) es una dstrbucón estaconara. Es claro que es no-negatva, así que sólo tenemos que verfcar que y que Observemos ncalmente que k m = (3.7) m P j = m j, j E. (3.8) P (m) k =. Sumando sobre m =,..., n y dvdendo por n, conclumos que G n (k, ) n S E es fnto, hacendo n en (3.9) y usando (3.6), obtenemos que G n (k, ) = lm = n =, k E. (3.9) m,
3.5. CADENAS REDUCIBLES 97 es decr, que (3.7) vale. Por otro lado, por la ecuacón de Chapman-Kolmogorov P (m) k P j = P (m+) kj. Sumando de nuevo sobre m =,... n y dvdendo por n, obtenemos que G n (k, ) P j = G n+(k, j) P kj n n n. (3.20) Hacendo n en (3.20) conclumos que (3.8) vale. Esto completa la demostracón cuando E es fnto. A partr de los dos últmos teoremas obtenemos los sguentes corolaros. Corolaro 3.3 Una cadena de Markov rreducble es recurrente postva sí y sólo sí tene una dstrbucón estaconara. Corolaro 3.4 S una cadena de Markov con espaco de estados fnto es rreducble, tene una únca dstrbucón estaconara. Corolaro 3.5 Consderemos una cadena de Markov rreducble, recurrente postva con dstrbucón estaconara π. Entonces con probabldad N n () lm = π(), E. (3.2) n Ejemplo 3.3 (Cadena con dos estados) Consderemos una cadena de Markov con dos estados posbles y matrz de transcón ( ) α α P = β β donde 0 < α, β <, =, 2. Las ecuacones para hallar la dstrbucón estaconara son ( α)π + βπ 2 = π απ + ( β)π 2 = π 2 que son la msma ecuacón. Tenemos además la condcón para que π sea una dstrbucón de probabldad: π + π 2 =. La solucón es π = β α + β, π 2 = α α + β. que concde con la dstrbucón asntótca que hallamos en el ejemplo 3.2. 3.5. Cadenas Reducbles Defncón 3.4 Sea π una dstrbucón de probabldad sobre E y sea C E. Decmos que π está concentrada en C s π() = 0 sempre que / C. Los resultados que hemos demostrado anterormente mplcan el sguente teorema.
98 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Teorema 3.0 Sea C un conjunto cerrado e rreducble de estados recurrentes postvos. Entonces la cadena de Markov tene una únca dstrbucón estaconara π concentrada en C que está dada por π() = {, m s C, 0, s no. (3.22) Supongamos ahora que C 0 y C son dos conjuntos dstntos, cerrados e rreducbles de estados recurrentes postvos. Por el teorema anteror sabemos que la cadena tene una dstrbucón estaconara π 0 concentrada en C 0 y otra dstrbucón estaconara π concentrada en C. Entonces, es posble demostrar que las dstrbucones π α, defndas para 0 α por π α () = ( α)π 0 () + απ (), E, son dstrbucones estaconaras dstntas. Por lo tanto tenemos el sguente resultado, Corolaro 3.6 Sea E P el conjunto de los estados recurrentes postvos de una cadena de Markov.. S E P es vacío, la cadena no tene nnguna dstrbucón estaconara. 2. S E P es un conjunto rreducble no vacío, la cadena tene una únca dstrbucón estaconara. 3. S E P no es vacío pero tampoco es rreducble, la cadena tene un número nfnto de dstrbucones estaconaras dstntas. Ejemplo 3.4 (Cadena con dos estados) Consderemos de nuevo la cadena de Markov con dos estados y matrz de transcón ( ) α α P = β β y supongamos ahora que α = β = 0, de modo que P es la matrz dentdad. El espaco de estados tene ahora dos conjuntos cerrados rreducbles: {0} y {} y hay una dstrbucón estaconara concentrada en cada uno de ellos: Para {0} es (, 0) mentras que para {} es (0, ). Cualquer combnacón convexa de ellas es tambén una dstrbucón estaconara de la cadena y por lo tanto hay nfntas dstrbucones estaconaras. 3.6. Convergenca a la Dstrbucón Estaconara Hasta ahora hemos vsto que s X n, n 0 es una cadena de Markov rreducble y recurrente postva con dstrbucón estaconara π, entonces lm n n m= P (m) j G n (, j) = lm = π(j),, j E. n Estudaremos en esta seccón cuándo vale el resultado más fuerte y qué ocurre cuando no vale. lm P (n) j = π(j),, j E Defncón 3.5 Sea un estado de la cadena con P (n) > 0 para algún n, es decr, tal que ρ = P (T < ) > 0. Llamemos C = {n : P (n) > 0}. Defnmos el período del estado, d o d() por d = m.c.d. {n : P (n) > 0} = m.c.d. C, donde m.c.d. denota al máxmo común dvsor del conjunto.
3.6. CONVERGENCIA A LA DISTRIBUCIÓN ESTACIONARIA 99 Como consecuenca de la defncón tenemos que y s P > 0, entonces d =. d mn C. Lema 3.2 S y j son dos estados que se comuncan, entonces d = d j. Demostracón. Para ver esto sean n y n 2 enteros postvos tales que Entonces P (n) j > 0 y P (n2) j > 0. P (n+n2) P (n) j P (n2) j > 0, y por lo tanto d dvde a n + n 2. S n C j tenemos que Pjj n > 0 y en consecuenca P (n +n+n 2 ) P (n ) j P (n) jj P (n 2) j > 0, de modo que d es dvsor de n + n + n 2. Como d es dvsor de n + n 2 tambén debe ser dvsor de n. Por lo tanto d es dvsor de todos los números en el conjunto C j. Como d j es el mayor de todos esos dvsores, conclumos que d d j. De manera smlar se muestra que d j d y en consecuenca d = d j. Hemos mostrado que los estados en una cadena de Markov rreducble tenen período común d. Defncón 3.6 Decmos que una cadena rreducble es peródca con período d s d > y aperódca s d =. Una condcón sufcente senclla para que una cadena rreducble sea aperódca es que P > 0 para algún E. Ejemplo 3.5 Consderemos una cadena con matrz de transcón 2 0 2 3 2 0 0 0 0 0 0 0 0 0 0 0 0 0.5 0 0.5 0 0 0 0 0 0 0 2 0 0 0 0 0 3 0 0 0 0 0 Veamos el dagrama de transcones para esta cadena - 0-2 3 2 Fgura 3.
00 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Consderando el estado 0, hay dos maneras de regresar a él: 0 2 0, que requere tres pasos, y 0 2 3 0, que requere 4. Por lo tanto 3 y 4 están en C 0 y el m.c.d. de este conjunto es. En consecuenca esta cadena es aperódca. Ejemplo 3.6 (Paseo al azar smple con barreras reflectoras) Consderemos un paseo al azar smple con barreras reflectoras en los extremos 0 y N = 4. La matrz de transcón es 0.5 0.5 0 0 0 0.5 0 0.5 0 0 P = 0 0.5 0 0.5 0 0 0 0.5 0 0.5 0 0 0 0.5 0.5 Vemos que todos los estados de esta cadena se comuncan y que P 00 > 0, de modo que 0 tene período y, en consecuenca, todos los otros estados tambén. Teorema 3. Sea X n, n 0, una cadena de Markov rreducble y recurrente postva con dstrbucón estaconara π. S la cadena es aperódca, lm P (n) j = π(j),, j E. (3.23) S la cadena es peródca con período d, entonces para cada par de estados, j en E exste un entero r, 0 r < d, tal que P (n) j = 0 a menos que n = md + r para algún m N y lm P (md+r) m j = dπ(j),, j E. (3.24) Demostracón. Ver Hoel, Port & Stone, pags. 75-79. Ejemplo 3.7 En el problema 7 de la lsta de problemas 7 se pedía calcular las potencas 2, 4, 8, 6, 7, 32 y 33 de la matrz 0.4 0.6 0 P = 0.2 0.5 0.3 0. 0.7 0.2 La últma de estas potencas es 0.22353 0.5647 P 33 = 0.22353 0.5647 0.277 0.22353 0.5647 0.277 Calculemos ahora la dstrbucón estaconara para esta matrz, resolvendo el sstema de ecuacones πp = π: 0.6π + 0.2π 2 + 0.π 3 = 0 y la ecuacón adconal π + π 2 + π 3 =, obtenemos 0.6π 0.5π 2 + 0.7π 3 = 0 0.3π 2 0.8π 3 = 0 π = 9 85 = 0.22353; π 2 = 48 85 = 0.5647; π 3 = 8 85 = 0.277. Vemos que en este ejemplo no sólo hay convergenca a la dstrbucón estaconara, sno que esta convergenca ocurre rápdamente.
3.7. TEOREMA ERGÓDICO 0 3.7. Teorema Ergódco Una versón más general de la ley fuerte para cadenas de Markov es el Teorema Ergódco, que presentamos a contnuacón. Teorema 3.2 (Teorema Ergódco) Sea {X n, n 0} una cadena de Markov rreducble y con matrz de transcón P. Supongamos además que P tene una dstrbucón estaconara π. Sea f : E R, tal que π f = E π() f() <. Entonces, n lím f(x j ) = πf = π()f(), con probabldad. (3.25) n E Demostracón. Sea E un estado fjo, consderemos los tempos de regreso al estado, defndos por recurrenca medante la formula T n+ = ínf{k > T n : X k = }, T 0 = 0, n 0; y denotemos por N n () el numero de retornos al estado en n-transcones, Observemos que se tenen las desgualdades N n () = # {k (0, n] : X k = }, n 0. T N n() n < T N n()+, n 0. Supongamos que f es una funcón postva. Las relacones anterores mplcan que T Nn() k= f(x k ) n f(x k ) k= T Nn()+ k= f(x k ), n 0. En vsta de la ley fuerte de la ley fuerte para cadenas de Markov podemos afrmar que N n () n 3.8. Ejemplos π(), N n () + n π(), cas seguramente. Defncón 3.7 Una matrz de transcón P es doblemente estocástca s sus columnas suman, es decr, s P j =, para todo j E. Para una matrz de transcón doblemente estocástca, la dstrbucón estaconara es senclla. Teorema 3.3 S la matrz de transcón P de una cadena de Markov con N estados es doblemente estocástca, entonces la dstrbucón unforme π() = /N para todo, es una dstrbucón estaconara. Demostracón. Observamos que π()p j = P j = N N de modo que la dstrbucón unforme satsface la condcón πp = π que defne una dstrbucón unforme. Vemos además, que s la dstrbucón estaconara es unforme, necesaramente la matrz P es doblemente estocástca.
02 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Ejemplo 3.8 (Paseo al azar smple con barreras reflectoras) Consderemos de nuevo el paseo al azar smple smétrco con barreras reflectoras (ver ejemplo 3.6). Es nmedato en el caso partcular N = 4 consderado antes que la matrz es doblemente estocástca, y en consecuenca π() = /5 es una dstrbucón estaconara. En general, s consderamos un paseo de este tpo con espaco de estados E = {0,,..., N}, la dstrbucón estaconara será π() = /(N + ). Ejemplo 3.9 (Paseo al azar en la crcunferenca) Colocamos N + puntos, que llamamos 0,,..., N sobre la crcunferenca. En cada paso la cadena se mueve a la derecha o a la zquerda un paso, con probabldades respectvas p y p, ncluyendo los extremos 0 y N, es decr, la cadena pasa de N a 0 con probabldad p y de 0 a N con probabldad p. Para el caso partcular N = 4 la matrz de transcón es 0 p 0 0 p p 0 p 0 0 P = 0 p 0 p 0 0 0 p 0 p p 0 0 p 0 Vemos que todas las columnas suman, y lo msmo es certo en el caso general, de modo que la dstrbucón estaconara es unforme π() = /(N + ). 3.8.. Cadenas de Nacmento y Muerte En el capítulo anteror consderamos las cadenas de Nacmento y Muerte. A contnuacón queremos obtener una condcón que nos permta determnar, en el caso de una cadena rreducble con espaco de estados nfnto, cuándo la cadena es transtora y cuándo es recurrente. Consderaremos cadenas de nacmento y muerte rreducbles sobre los enteros no-negatvos, por lo tanto Hemos vsto que p > 0 para 0, q > 0 para. P (T 0 < ) = γ, n >. (3.26) j Supongamos ahora que la cadena es recurrente, entonces P (T 0 < ) = y necesaramente γ j =. (3.27) Para ver que esta condcón tambén es sufcente, observemos que P 0j = 0 para j 2 y en consecuenca Supongamos que (3.27) vale, por (3.26) y usando esto en (3.28) conclumos que P 0 (T 0 < ) = P 00 + P 0 P (T 0 < ). (3.28) P (T 0 < ) =, P 0 (T 0 < ) = P 00 + P 0 =, de modo que 0 es un estado recurrente. Como la cadena es rreducble, debe ser una cadena recurrente. Resumendo, hemos mostrado que una cadena de nacmento y muerte rreducble sobre {0,, 2,... } es recurrente sí y sólo sí q q j γ j = =. p p j
3.8. EJEMPLOS 03 Ejemplo 3.0 Consderemos la cadena de nacmento y muerte sobre los enteros no negatvos con probabldades de transcón En este caso y obtenemos que p = + 2 2( + ), y q = q = p + 2, 2( + ), 0. γ = q ( q 2 = p p 3 4 ( + 2) = 2 ( + )( + 2) = 2 + ). + 2 Por lo tanto, ( γ = 2 + ) ( = 2 + 2 2 3 + 3 4 + 4 ) 5 +... =, = = y conclumos que la cadena es transtora. Fnalmente, veamos cual es la dstrbucón estaconara para una cadena rreducble con espaco de estados nfnto. Las ecuacones (3.) que defnen la dstrbucón estaconara, son en este caso π(0)r 0 + π()q = π(0), π( )p + π()r + π( + )q + = π(),, y tenendo en cuenta la relacón p + r + q =, las ecuacones anterores son p 0 π(0) = q π(), q + π( + ) p π() = q π() p π( ),. A partr de estas ecuacones obtenemos por nduccón que q + π( + ) = p π(), 0. (3.29) Esta ecuacón es un caso partcular de la ecuacón de balance detallado π()p j = π(j)p j para el caso de las cadenas de nacmento y muerte. La condcón de balance detallado es más fuerte que (3.), como es fácl de verfcar, y no sempre es válda. La ecuacón (3.29) tambén vale en el caso de un espaco de estados fnto. Ejemplo 3. (Cadena de Ehrenfest con tres estados) En este caso la matrz de transcón es 0 0 0 P = /3 0 2/3 0 0 2/3 0 /3 0 0 0 y vemos que para todo, r = 0. Las ecuacones (3.29) son en este caso π(0) = 3 π(); 2 3 π() = 2 3 π(2); π(2) = π(3). 3
04 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Ponendo π(0) = λ y resolvendo obtenemos π() = π(2) = 3λ, π(3) = λ. Como la suma debe ser, obtenemos que λ = /8 y la dstrbucón estaconara en este caso es π(0) = 8, π() = 3 8, π(2) = 3 8, π(3) = 8. Veamos ahora como se obtene la dstrbucón estaconara para una cadena general de nacmento y muerte. A partr de la ecuacón (3.29) obtenemos y en consecuenca Defnamos ν 0 = y entonces podemos escrbr (3.3) como Supongamos ahora que π( + ) = p q + π(), 0 (3.30) π() = p 0 p q q π(0),. (3.3) ν = p 0 p q q,, (3.32) π() = ν π(0), 0. (3.33) ν = = p 0 p q q <, (3.34) a partr de (3.33) conclumos que la cadena tene una únca dstrbucón estaconara dada por π() = ν ν,. (3.35) j S en cambo (3.34) no vale, es decr, s la sere dverge, la relacón (3.33) dce que la solucón de (3.) es déntcamente gual a 0 (s π(0) = 0) o tene suma nfnta (s π(0) > 0) y en consecuenca no exste dstrbucón estaconara. Vemos que una cadena de nacmento y muerte tene dstrbucón estaconara sí y sólo sí (3.34) vale, y que la dstrbucón estaconara, cuando exste, está dada por (3.32) y (3.35). Observamos que como la cadena es rreducble, tene una dstrbucón estaconara sí y sólo sí es recurrente postva. Resumendo, podemos dar condcones necesaras y sufcentes para cada una de las tres posbldades en una cadena de nacmento y muerte sobre los enteros no negatvos. La cadena es transtora sí y sólo sí γ j <. La cadena es recurrente postva sí y sólo sí ν j <.
3.8. EJEMPLOS 05 La cadena es recurrente nula sí y sólo sí γ j =, ν j =. Ejemplo 3.2 Consderemos una cadena de nacmento y muerte sobre los enteros no negatvos con las sguentes probabldades de transcón p 0 =, p = p, q = q = p,, con 0 < p <. Para determnar en cual de las tres clases se encuentra la cadena tenemos que estudar el comportamento de las seres γ y ν. En este caso es fácl ver que γ = ( q ), ν = p p q para. En consecuenca vemos que hay tres casos: 0 < p < /2. γ =, por lo tanto la cadena es recurrente. Para ver s es nula o postva calculamos ν, que es convergente en este caso y en consecuenca la cadena es recurrente postva. p = /2. Un análss smlar muestra que ambas seres dvergen y la cadena es recurrente nula. /2 < p <. En este caso γ < y la cadena es transtora. Ejemplo 3.3 Consderemos una empresa que tene tres máqunas que se dañan de manera ndependente, con probabldad 0. cada día. Cuando hay al menos una máquna dañada, con probabldad el técnco puede reparar una de ellas para que esté funconando el próxmo día. Para smplfcar, suponemos que es mposble que dos máqunas se dañen el msmo día. El número de máqunas en funconamento en un día dado puede ser modelado como una cadena de nacmento y muerte con la sguente matrz de transcón: 0.5 0.5 0 0 P = 0.05 0.5 0.45 0 0 0. 0.5 0.4 0 0 0.3 0.7 Para ver como se obtene esta matrz, consderemos la segunda fla, que corresponde a un día que se nca con una máquna en buen estado. Al día sguente estaremos en el estado 0 s una máquna se daña y el técnco no puede arreglar la máquna en la que está trabajando, lo cual ocurre con probabldad 0. 0.5. Por otro lado, pasamos al estado 2 sólo s el técnco logra reparar la máquna en la que está trabajando y la que está en uso no se daña. Esto ocurre con probabldad (0.5)(0.9). Un razonamento smlar muestra que P 2 = (0.2)(0.5) y P 23 = (0.5)(0.8). Para obtener la dstrbucón estaconara usamos la fórmula (3.30) y ponendo π(0) = λ entonces π() = π(0) p 0 q = λ 0.5 0.05 = 0λ, π(2) = π() p q 2 = 0λ 0.45 0. = 45λ, π(3) = π(2) p 2 q 3 = 45λ 0.4 0.3 = 60λ. La suma de las π es 6λ, hacendo λ = /6 obtenemos π(3) = 60 6, π(2) = 45 6, π() = 0 6, π(0) = 6.
06 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS Ejemplo 3.4 (Paseo al azar sobre grafos.) Un grafo es una estructura compuesta por dos partes: Un conjunto de vértces V, que supondremos fnto, y una matrz de estructura A = A(, j) en la cual A(, j) vale s y j están conectados por un arco (dremos que y j son vecnos) y 0 s no. Por convencón ponemos A(, ) = 0 para todo V. El grado de un vértce es gual al número de vecnos que tene: d() = j A(, j) ya que cada vecno contrbuye una undad a la suma. Por lo tanto P j = A(, j) d() defne una probabldad de transcón. S X n =, la cadena salta a alguno de los vecnos de con dstrbucón unforme. A partr de la defncón de la probabldad P vemos que que s λ es una constante postva, π() = λd() satsface la condcón de balance detallado: π()p j = λa(, j) = λa(j, ) = π(j)p j Por lo tanto, s tomamos λ = / d(), tenemos una dstrbucón estaconara. Ejemplo 3.5 (Rachas) Sea {X n, n 0} una cadena de Markov sobre {0,, 2,...} con probabldades de transcón P,+ = p, P,0 = p. Bajo que condcones la matrz de transcón de X admte alguna medda nvarante? Para responder a la pregunta planteada arrba estudaremos cuando el sstema πp = π, es decr, π 0 = 0( p )π, π = p π,, tene solucón no trval. Usando un argumento de recursón vemos que el sstema anteror es equvalente a π = π 0,, y π 0 = ( p )π 0 + p ) ( p j π 0. Esta ultma ecuacón es la que nos permtrá estudar la exstenca de vectores nvarantes. Para evtar casos no nteresantes supondremos de aquí en adelante que 0 < π 0 <. Entonces, se tene la sguente
3.8. EJEMPLOS 07 sucesón de gualdades: π 0 = ( p 0 )π 0 + p ) ( = ( p 0 )π 0 + lím = = ( p 0 )π 0 + π 0 lím p j π 0 n ( p ) = = ( p 0 )π 0 + π 0 lím n n p j p j p j p 0 π 0 p p j Deducmos de esto que una condcón necesara para que π 0 sea 0 < π 0 < es que π = 0. =0 Pero eso no es sufcente para garantzar la exstenca del vector de probabldad π, ya que necestamos saber cuando π <, y esto ocurre s y solamente s En este caso se tene que π 0 = =0 n=0 =0 + n=0 n p j n p <. j, π j = π 0 p, j. Podemos conclur que la cadena es postva recurrente s y solamente s ( n ) p <. n=0 =0 =0 Mentras que en el caso en que lím n p j = p (0, ], no exste vector nvarante dferente del vector 0. Ejemplo 3.6 Supongamos que en el ejercco anteror todas las {p, 0}, son guales a un valor p ]0, [. Calcular las n-ésmas potencas de la matrz de transcón P. Estudar el comportamento asntótco de estas cuando n. Observemos que la cadena de Markov que nos nteresa se puede usar para smular la fortuna de un jugador muy avarcoso, que apuesta toda su fortuna cada vez que juega en un juego que le permte ganar un peso con probabldad p o perder todo el dnero apostado con probabldad p; y en compensacón el
08 CAPÍTULO 3. PROPIEDADES ASINTÓTICAS casno le da crédto, en el sentdo que le da la oportundad de segur jugando aunque su fortuna sea cero. Denotaremos por X n la fortuna del jugador al tempo n; se tene que en un paso la cadena se comporta como { X n + con probabldad p X n+ = 0 con probabldad p = q. Mentras que en n-pasos, se tenen dos posbldades, sea el jugador no perde n una sola vez, o ben perde alguna vez. Esto se refleja en las probabldades de transcón como P (n),k = pn, s k = + n, esto ocurre cuando el jugador no perde, mentras que s el jugador perde en alguno de los n juegos: P (n),k = qpk, 0 k n. La prmera afrmacón es evdente, para ver la segunda veamos prmero como calcular esa probabldad en el caso en que k = 0, por la ecuacón de Chapman-Kolmogorov, P (n),0 = P (n ),z P z,0 = q P (n ),z = q, n 2, z 0 z 0 ahora ben, el evento {X n = k} dado que X 0 =, ocurre cuando hay una racha de k juegos ganados, anteceddos de una sucesón de n k juegos que se termnan por un juego perddo, (,..., 0 ). Esto se }{{} n k juegos puede ver con la ecuacón de Chapman-Kolmogorov, para n 2 y 0 k n P (n),k = z 0 P (n k),z P (k) z,k = P (n k),0 P (k) 0,k = qpk, ya que la únca manera de r al estado k en exactamente k pasos es: partr de 0 y no perder nngún juego, lo cual ocurre con probabldad p k y además vmos arrba que de cualquer estado se va a cero en j pasos con probabldad q. Ahora veamos lo que pasa con dchas probabldades cuando n tende a nfnto. Gracas al calculo anteror es fácl ver que para cualquer estado 0 y k 0 lím P (n),k = qpk. Observemos lo sguente:. Este lmte no depende del estado del cual parte la cadena, y 2. Usando el resultado del ejercco anteror podemos asegurar que la cadena es postvo recurrente y que el vector de probabldad nvarante π esta dado por π k = qp k, k 0. Dcho de otro modo las entradas de las potencas de la matrz de transcón convergen al vector nvarante.