Práctico 2 - parte 1

Transcripción

1 1. ([2], p.8) Práctico 2 - parte 1 Cadenas de Markov en tiempo discreto: propiedad de Markov, matriz de transición. Fecha de entrega: viernes 2 de septiembre Sea {X n } n 0 una cadena de Markov homogénea con distribución inicial π y matriz de transición P. Notación: {X n } n 0 CMH(π, P). Se define Y n := X kn, n = 0, 1,... para un entero positivo k fijo. Demostrar que {Y n } n 0 es una cadena de Markov homogénea con distribución inicial π y hallar su matriz de transición. 2. Considere una sucesión de lanzamientos independientes de un dado de seis caras no cargado, y sea X i la variable aleatoria que corresponde al número que aparece en la cara superior del dado en el i-ésimo lanzamiento, con X i {1, 2, 3, 4, 5, 6}. Se define Y n := máx 1 i n X i. Mostrar que {Y n } n 1 es una cadena de Markov y hallar su matriz de transición P. 3. Considere el problema de la ruina del jugador. Suponga que el capital inicial del jugador A es $5 y que el capital total S es $9. En cada etapa del juego el jugador A gana $1 con probabilidad 0.45, o pierde $1 con probabilidad Hallar el capital esperado del jugador A al cabo de tres etapas del juego, y al cabo de cuatro etapas del juego. 4. Considere un paseo al azar sin restricciones en Z en el cual la probabilidad de una transición del entero k al entero k 1 es p, la probabilidad de una transición del entero k al entero k + 1 es q, y la probabilidad de quedarse en el entero k es r, con p + q + r = 1. Hallar la matriz de transición de orden dos de dicho paseo al azar. 1

2 5. ([2], p.8) Sea X 0 una variable aleatoria que toma valores en el conjunto numerable S. Sea {Y n } n 1 una sucesión de variables aleatorias independientes y uniformemente distribuidas en [0, 1], con {Y n } n 1 independiente de X 0. Considere una función g : S [0, 1] S y la recurrencia X n+1 := g(x n, Y n+1 ). (a) Demostrar que {X n } n 0 es una cadena de Markov y expresar su matriz de transición en términos de la función g. (b) Argumentar si todas las cadenas de Markov pueden generarse empleando el procedimiento anterior. 6. ([2], p.9) Sea {Z n } n 0 una sucesión de variables aleatorias independientes e idénticamente distribuidas, Z i Ber(p). Se define S 0 = 0, S n := Z Z n. Determinar en cada uno de los siguientes casos si {X n } n 0 es una cadena de Markov: (a) X n = Z n ; (b) X n = S n ; (c) X n = S S n ; (d) X n = (S n, S S n ). En los casos en que {X n } n 0 es una cadena de Markov, hallar su espacio de estados S y su matrix de transición P. En los casos en que {X n } n 0 no es una cadena de Markov, proveer un ejemplo en el cual Pr(X n+1 = i X n = j, X n 1 = k) no es independiente de k. 7. Escribir un programa en el lenguaje R mediante el cual simular y visualizar la evolución de las trayectorias de una cadena de Markov homogénea con espacio de estados S = {A, B, C, D}, distribución inicial π = ( 1 8, 2 8, 1 8, 8) 4 y matriz de transición P arbitraria, exceptuando la presencia de estados de absorción. Desarrollar el programa anterior a los efectos de: 2

3 (a) chequear que la distribución inicial ingresada por el usuario es una distribución de probabilidad; (b) chequear que la matrix de transición ingresada por el usuario cumpla las propiedades que definen dicha matriz; (c) calcular el número de veces que la cadena visita cada estado al cabo de N transiciones de paso uno. 1. ([1], p.112) Práctico 2 - parte 2 Cadenas de Markov en tiempo discreto: aplicaciones del método del análisis del primer paso. Fecha de entrega: martes 13 de septiembre Sea {X n } n 0 una cadena de Markov homogénea que toma valores en el espacio de estados S = {0, 1,..., M}, con matriz de transición P = (P i,j ) i,j S. (a) Considere los tiempos de primera entrada y T 0 := inf{n 0 : X n = 0}, T M := inf{n 0 : X n = M}, g(k) = Pr(T 0 < T M X 0 = k), k = 0, 1,..., M. Cuáles son los valores de g(0) y g(m)? (b) Demostrar, a través del análisis del primer paso, que la función g cumple la relación M g(k) = P k,j g(j), j = 1,..., M 1. (1) j=0 (c) En esta pregunta, y en las siguientes preguntas de este ejercicio, considere el modelo estocástico de Sewall G. Wright y Ronald A. Fisher (un modelo básico en genética de poblaciones), donde el estado X n indica el número de individuos en la población al tiempo n, y ( )( ) j ( ) M j M k M k P k,j := Pr(X n+1 = j X n = k) =, k, j S. j M M 3

4 Escribir la matrix de transición P en el caso M = 3. (d) Demostrar, a partir de la pregunta (b), que dado que la solución de (1) es única, se cumple que Pr(T 0 < T M X 0 = k) = M k M (e) Sea T 0,M := inf{n 0 : X n = 0 o X n = M}, y, k = 0, 1,..., M. h(k) = E[T 0,M X 0 = k], k = 0, 1,..., M. Cuáles son los valores de h(0) y h(m)? (f) Demostrar, a través del análisis del primer paso, que la función h cumple la relación h(k) = 1 + M P k,j h(j), j = 1,..., M 1. j=0 (g) Dado M = 3, calcular 2. ([1], p.114) h(k) = E[T 0,3 X 0 = k], k = 0, 1, 2, 3. Un ratón de laboratorio se encuentra atrapado en un laberinto y, inicialmente, tiene que elegir entre dos posibles direcciones. Si elige ir a la derecha, entonces se paseará en el laberinto durante los siguientes tres minutos y luego volverá a su posición inicial. Si elige ir a la izquierda, entonces con probabilidad 1/3 saldrá del laberinto después de dos minutos, y con probabilidad 2/3 volverá a su posición inicial al cabo de cinco minutos. Asumiendo que el ratón, en todo momento, elige con la misma probabilidad ir a la izquierda o a la derecha, cuál es el número esperado de minutos que permanecerá atrapado en el laberinto? 3. ([2], p.18) Suponga que el capital inicial de un jugador es $2 y que el jugador necesite aumentar rápidamente su capital hasta $10. El jugador participa de un juego con las siguientes reglas: se lanza 4

5 una moneda no cargada; si el jugador apuesta a la cara de la moneda que coincide con el resultado del lanzamiento, entonces gana una suma igual a su apuesta, y su apuesta es devuelta; de lo contrario, el jugador pierde lo apostado. El jugador decide adoptar una estrategia en la cual apuesta todo su dinero si tiene $5 o menos, y en otro caso apuesta justo lo suficiente para aumentar su capital, si gana, a $10. (a) Sea X 0 = 2, y se indica con X n el capital del jugador luego de n lanzamientos de la moneda. Demostrar que el jugador logrará su objetivo con probabilidad 1/5. (b) Cuál es el número esperado de lanzamientos hasta que el jugador logre su objetivo o pierda su capital? 4. ([2], pp.18-19, serpientes y escaleras) Considere la siguiente versión del juego de mesa serpientes y escaleras basada en un tablero con nueve cuadrados (imagen extraída de ([2], p.18)): En cada turno un jugador lanza una moneda no cargada y mueve su pieza en el tablero uno o dos lugares adelante según el resultado del lanzamiento de la moneda, cara o número, respectivamente. Si la pieza cae en un cuadrado con los pies de una escalera entonces sube hasta lo alto de esta, pero si cae en un 5

6 cuadrado con la cabeza de una serpiente entonces retrocede al cuadrado con la cola de la serpiente. Cuántos turnos en promedio son necesarios para terminar el juego? Cuál es la probabilidad de que un jugador que ha alcanzado el cuadrado del medio complete el juego sin volver a la casilla 1? 5. ([2], p.19) Sea {X n } n 0 una cadena de Markov homogénea que toma valores en el espacio de estados S = {0, 1,...}, con probabilidades de transición dadas por ( ) 2 i + 1 P 0,1 = 1, P i,i+1 + P i,i 1 = 1, P i,i+1 = P i,i 1, i 1. i Demostrar que, si X 0 = 0, entonces la probabilidad de que X n 1 para todos n 1 es 6 π 2. Bibliografía [1] Nicolas Privault (2013). Understanding Markov Chains. Examples and Applications, Springer Undergraduate Mathematics Series, Springer. [2] James R. Norris (1997). Markov Chains, Cambridge Series on Statistical and Probabilistic Mathematics, Cambridge University Press. 6