PROCESOS ESTOCÁSTICOS CADENAS DE MARKOV

Transcripción

1 PROCESOS ESTOCÁSTICOS CADENAS DE MARKOV Monserrat Aranzazu Castro Coria Matrícula: X Profesor: Dr. José Antonio Camarena Ibarrola 7 de agosto de

2 Índice 1. Cadenas de Markov Cadenas Absorbentes Ejemplo Código Cadenas Regulares Código Cadenas Ergódicas Código Objetivo del algoritmo Generacón de Texto con Cadenas de Markov Código

3 1. Cadenas de Markov Un proceso estocástico es una suceción de observaciones X 1, X 2,... donde X 1 dene el estado inicial del proceso y X n dene el estado del proceso en el instante de tiempo n, donde para cada posible valor del estado inicial s 1 y para cada uno de los valores sucesivos s n de los estados X n, n = 2, 3,... es dado por: P (X n+1 = s n+1 X 1 = s 1, X 2 = s 2,..., X n = s n ) (1) Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. Es un proceso estocástico en el que si el estado actual X n y los estados previos X 1,..., X n 1 son conocidos, entonces la probabilidad del estado futuro S n+1 no depende de los estados anteriores y solamente depende del estado actual X n. Esto es que para n = 1, 2,... y para cualquier sucesión de estados s 1,..., s n+1 es: P (X n+1 = s n+1 X 1 = s 1, X 2 = s 2,..., X n = s n ) = P (X n+1=sn+1 X n=s n ) (2) 1.1. Cadenas Absorbentes Un estado j se denomina absorbente si P ij = 1, también llamados estados trampa. Una cadena de Markov es absorbente si tiene al menos un estado absorbente Ejemplo En el ejemplo del paseo del borracho tenemos 5 estados posibles (0,1,2,3,4) donde los estados 0 y 4 son absorbentes. La Matriz de transición es: /2 0 1/2 0 0 P = 2 0 1/2 0 1/ /2 0 1/ donde la probabilidad de ir del estado 0 al estado 0 es 1(estado absorbente). Si existen r estados absorbentes y t transiciones entre estados, la matriz de transición se representa en la siguiente forma canónica: Figura 1: Paseo del borracho 3

4 La matriz de transición está de la forma: ( Q R P = O I ) (3) donde P es la matriz de probabilidad de transiciones de una cadena, I es la matriz identidad, O es la matriz de ceros, R es una matriz de no ceros, y Q es una matriz. Los tiempos de absorción de una cadena de Markov absorbente P se pueden determinar de la siguiente manera: donde N es llamada matriz fundamental de P. N = (I Q) 1 (4) Dado que t i es el numero esperado de pasos antes que la cadena se absorba, dado por el estado s i y siento t la columna vector de la i-th entrada es t i, se tiene que: t = Nc (5) donde c es la columna vector donde cada columna suma 1. Se denota por b i j la probabilidad de que la cadena de Markov sea absorbida al estado j si empezó en el estado i. La probabilidad de absorción de la matriz B cuyos elementos son los b i j: B = NR (6) Para el ejemplo del borracho, que es una cadena absorbente, determinar: 1. Si tiene estados absorbentes. 2. Matriz fundamental. 3. Tiempos de absorción por estado. 4. Probabilidades de absorción por estado Código Se encuentra elaborado en Python 2.7 usando la librería numpy para operaciones de vectores y matrices. 1 import numpy 2 3 def absorbing ( matriz ): 4 P = matriz 5 Q = P [1: -1,1: -1] # [1:,1:] 6 R1 = P [1: len (P) -1] 7 R = R1 [:,[0, len ( R1 ) +1]] 8 I = numpy. identity (Q. shape [0]) 4

5 9 N = numpy. linalg. inv (I - Q) 10 o = numpy. ones (( len (N),1) ) 11 M = numpy. dot (N,o) 12 B = numpy. dot (N,R) 13 print ' Matriz Fundamental =\ n ', N, 14 ' Tiempo de absorcion =\ n ', M, 15 ' Probabilidad de absorcion =\ n ', B Con el ejemplo anterior nos va a imprimir en pantalla la Matriz fundamental, los tiempos de absorción y la probabilidad de absorción: Matriz Fundamental = [[ ] [ ] [ ]] Tiempo de absorcion = [[ 3.] [ 4.] [ 3.]] Probabilidad de absorcion = [[ ] [ ] [ ]] 1.2. Cadenas Regulares Una cadena de Markov es una cadena regular si en algún determinado número de elevado a n potencia de la matriz de transición esta solo tiene elementos positivos. Sea P la matriz de transición de una cadena regular, entonces n, elevado a la potencia P n se aproxima al límite de la matriz W con todas las las del mismo vector w. El vector w es estrictamente positivo y todos sus componentes son positivos y suman uno. Sea P una matriz regular: W = lím n P n (7) donde w es la columna común de W, y c es la columna vector donde todos sus componentes suman 1. Entonces: wp = w (8) donde cualquier la del vector v tal que vp = v es una contante multiple de w. P c = c (9) donde cualquier columna del vector x tal que P x = x es un múltiplo de c. 5

6 De acuerdo al ejemplo de la Tierra de Oz donde hay muchas cosas pero no buen clima, nunca hay dos días buenos en la misma la, existen tres estados de clima, lluvioso, bonito ó helado. De acuerdo a esto se forma la siguiente matriz: Código R N S R 1/2 1/4 1/4 P = N 1/2 0 1/2 S 1/4 1/4 1/2 Se encuentra elaborado en Python 2.7 usando la librería numpy para operaciones de vectores y matrices. 1 import numpy 2 3 def regular_ vector ( matriz ): 4 P = matriz 5 x = numpy. zeros ( len ( matriz )) 6 for i in range ( len ( matriz )): 7 x[i] = sum (P [:, i ]) 8 w = numpy. zeros ( len ( matriz )) 9 for i in range ( len ( matriz )): 10 w[i] = x[i ]/( sum (x)) 11 return w # Vector Fijo def regular ( matriz ): 14 P = matriz 15 mn = [] 16 w = regular_ vector ( P) 17 want = numpy. zeros ( len (w)) 18 for i in range (1000) : 19 m = P ** i 20 w = regular_ vector ( m) 21 if list (w) == list ( want ): 22 break 23 want = w 24 print ' Vector Fijo : ', want, 'en ', (i /2) -1, ' Transiciones ' Con el ejemplo anterior nos va a imprimir en pantalla el vector jo en n transiciones: Vector Fijo : [ ] en 13 Transiciones 6

7 1.3. Cadenas Ergódicas Una cadena de Markov es llamada cadena ergódica si es posible moverse de cualquier estado a cualquier estado, no necesariamente en un movimiento. En otras palabras, para cualquier estado n, es posible ir de cualquier estado a cualquier estado en exactamente n pasos. Un ejemplo muy claro es el que se muestra en la Figura 1.3, donde en un laberinto se pone un ratón blanco y existen nueve compartimentos con conexiones entre estos. El ratón se puede mover entre estos compartimentos aleatoriamente. Esto es que existen k maneras de moverse en los compartimentos. Figura 2: Problema del laberinto Para este ejemplo, la matriz de transición se muestra a continuación: P = / / /3 0 1/3 0 1/ /2 0 1/ /3 0 1/ / /4 0 1/4 0 1/4 0 1/ / /3 0 1/ /2 0 1/ /3 0 1/3 0 1/ / /2 0 Para este ejemplo obtenemos el tiempo promedio de primera pasada y los tiempos de recurrencia media, el cual es dado por: Z = (I P + W ) 1 (10) 7

8 Código Se encuentra elaborado en Python 2.7 usando la librería numpy para operaciones de vectores y matrices. 1 import numpy 2 3 def ergodic ( matriz ): 4 P = lab 5 A = P ** n, k = A. shape 7 I = numpy. identity (k) 8 Z = numpy. linalg. inv (I - P + A) 9 E = numpy. ones_like (Z) 10 D = numpy. diag (1. / numpy. diag (A)) 11 Zdg = numpy. diag ( numpy. diag (Z)) 12 M = ( I - Z + E * Zdg ) * D 13 ZM = Z * M 14 ZMdg = numpy. diag ( numpy. diag ( ZM )) 15 W = M * (2 * Zdg * D - I) + 2 * ( ZM - E * ZMdg ) 16 PE = W - numpy. multiply (M, M) 17 print ' Probabilidad de estado =\ n ', PE def ergodic_ state ( matriz ): 20 P = lab 21 v, d = numpy. linalg. eig ( numpy. transpose (P)) 22 mv = max ( v) 23 i = v. tolist (). index ( mv ) 24 EE = d [:, i] / sum (d [:, i ]) 25 print ' Estado Ergodico :\ n ', EE def ergodica ( matriz ): 28 P = matriz 29 x = numpy. zeros ( len ( matriz )) 30 for i in range ( len ( matriz )): 31 x[i] = sum (P [:, i ]) 32 w = numpy. zeros ( len ( matriz )) 33 for i in range ( len ( matriz )): 34 w[i] = x[i ]/( sum (x)) 35 print " Vector Fijo :",w Con el ejemplo anterior nos va a imprimir en pantalla la probabilidad de estado, vector jo en n transiciones: Probabilidad de estado = [[ ] [ ] [ ] [ ] 8

9 [ ] [ ] [ ] [ ] [ ]] Estado Ergodico : [[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ]] Vector Fijo : [ ] 1.4. Objetivo del algoritmo Dada una matriz el algoritmo nos tiene que regresar si es una cadena de Markov absorbente, regular ó ergódica, para ello el siguiente código: 1 for i in range ( len ( matriz )): 2 nmatriz = numpy. squeeze ( numpy. asarray ( matriz )) 3 if nmatriz [i ][ i] == 1: 4 absorbing ( matriz ) 5 break 6 nnmatriz = matriz **500 7 nmatriz = numpy. squeeze ( numpy. asarray ( nmatriz )) 8 for j in range ( len ( matriz [i ]) ): 9 if nmatriz [i ][ j] > 0: 10 regular ( matriz ) 11 break 12 else : 13 ergodic ( matriz ) 14 ergodic_ state ( matriz ) 15 ergodica ( matriz ) 16 break 1.5. Generacón de Texto con Cadenas de Markov De un texto se va a obtener la probabilidad de que una letra aparezca después de x letra. Se tiene una matriz de todo el abecedario, no distingue entre mayúsculas o minúsculas, y se va a obtener la probabilidad de cada letra, como ejemplo, para el texto En una casa de se formaría la siguiente matriz: 9

10 A B C D E F U N S A B C D M = E F U N S Despuà c s se normalizan las columnas sumando cada uno y dividiendo por el total de la suma de la columna para sacar las probabilidades de cada uno. Y nalmente, de acuerdo a la probabilidad de que aparezca una letra después de otra se genera un nuevo texto Código Se encuentra elaborado en Python 2.7 usando la librería numpy para operaciones de vectores y matrices y random para buscar aleatoriamente entre las mayores probabilidades de que aparezca una letra después de otra. 1 import numpy as np 2 import random 3 4 archivo = open ( ' Archivo_de_texto ', 'r ') 5 texto = archivo. read () 6 7 mayus = (" ABCDEFGHIJKLMNOPQRSTUVWXYZ.,\ n ") 8 minus = (" abcdefghijklmnopqrstuvwxyz.,\ n ") 9 10 matriz = np. zeros (( len ( mayus ),( len ( mayus )))) # construye la matriz 13 for i in range ( len ( texto ) -1) : 14 letra = texto [ i] 15 letrasig = texto [ i +1] 16 for m in range ( len ( mayus )): 17 if letra == mayus [ m] or letra == minus [ m ]: 18 for j in range ( len ( mayus )): 19 if letrasig == mayus [ j ]: 20 matriz [m ][ j] += 1 21 elif letrasig == minus [ j ]: 22 matriz [m ][ j] += x = np. zeros ( len ( matriz )) 25 for i in range ( len ( matriz )): 26 x[i] = sum ( matriz [:, i ]) 10

11 27 28 nwmatriz = np. zeros (( len ( mayus ),( len ( mayus )))) # normaliza las probabilidades de cada una de las columnas 31 for i in range ( len ( matriz )): 32 for j in range ( len ( matriz [i ]) ): 33 if matriz [i ][ j]!= 0: 34 nwmatriz [i ][ j] = matriz [i ][ j] / x[i] 35 nwmatriz [i ][ j] = float ( ' %.4f ' % nwmatriz [i ][ j ]) def genera_letra ( letra, fila ): 38 busca = list ( nwmatriz [ fila ]) 39 mayr = max ( busca ) 40 indice = list ( nwmatriz [ fila ]). index ( mayr ) 41 mayor = minus [ indice ] 42 return mayor for i in range ( len ( nwmatriz )): 45 texto = '' 46 for j in range ( len ( nwmatriz [i ]) ): 47 seed = genera_letra ( nwmatriz [i ][ j], i) 48 let_sig = genera_ letra ( seed, minus. index ( seed )) 49 texto = texto + let_sig 50 print texto 11