Techniques to Understand Computer Simulations: Markov Chain Analysis

Transcripción

1 Techniques to Understand Computer Simulations: Markov Chain Analysis Luis R. Izquierdo, Segismundo S. Izquierdo, José Manuel Galán and José Ignacio Santos (2009) Presentador: Andres Abeliuk

2 Objetivos Ayudar a los investigadores a comprender la dinámica de los modelos de simulación que se han implementado y se pueden ejecutar en un computador.

3 Un modelo computacional es una relación determinista inputoutput, i.e. una función. Cualquier modelo computacional se puede re-implementar en muchos formalismos diferentes, dando lugar a representaciones alternativas de la misma relación input-output. Generadores de números pseudoaleatorios nos dan el potencial para simular variables aleatorias dentro de nuestros modelos de computadora, y por lo tanto, simular los procesos estocásticos. Cualquier output obtenida de un modelo parametrizado sigue una distribución de probabilidad específica. Esta distribución de probabilidad se puede aproximar a un grado arbitrario de precisión mediante la reiterada ejecución del modelo. Los modelos formales que muchos usan en la literatura de simulación social, pueden ser representados como cadenas de Markov homogéneas en el tiempo. Analizar un modelo como una cadena de Markov puede hacer evidente muchas características del modelo que no eran tan evidentes antes de realizar dicho análisis.

4 Cadenas de Markov homogéneas en el tiempo (THMCs) El futuro dado el pasado, solo depende del presente: P (X n+1 = x n+1 X n = x n, X n-1 = x n-1,..., X 0 = x 0 ) = P (X n+1 = x n+1 X n = x n ) Las probabilidades de transición p i,j son independientes del tiempo: P(X n+1 = j X n = i) = P(X n = j X n 1 = i) = p i,j

5 Caminata aleatoria

6 Análisis de la dinámica de THMCs Suele dividirse en dos partes: la dinámica transitoria (tiempo finito) y la dinámica asintótica (tiempo infinito) El comportamiento transitorio se caracteriza por la distribución de los estados del sistema para un plazo fijo, n 0. El comportamiento asintótico se caracteriza por el límite de la distribución de cuando n tiende a infinito, cuando este límite existe.

7 Dinámica transitoria Buscamos vector a (n) que contiene la probabilidad de encontrarse en cualquiera de los posibles estados en el paso n. a (n) = [a 1 (n),, a M (n) ], a i (n) = P(X n = i), M estados Proposición 1: a (n) = a (0) P n Por lo tanto, p (n) i,j es la probabilidad estar en el estado j después de n pasos de haber comenzado en el estado i, es decir, p (n) i,j = P (X n = j X 0 = i).

8 Caminante al azar comienza en una posición inicial aleatoria, i.e. a (0) = [1/17,, 1/17]. La distribución exacta de la posición del caminante en el paso 100 es a (100) = a (0) P 100

9 La matriz de transición de la mayoría de los modelos NO puede ser fácilmente derivada, o es inviable para operar con ella. No obstante, esta desventaja no es tan importante como uno podría esperar. Es posible deducir muchas propiedades de un THMC, aun sin conocer los valores exactos de su matriz de transición.

10 Accesibilidad Conceptos importantes Si empezando por el estado i existe la posibilidad de que el sistema puede visitar el estado j en algún momento en el futuro ( i j ): Comunicación Formalmente: Existe n 0, tq. p (n) i,j > 0. Un estado i se dice que se comunican con el estado j si i j y j i, se escribe i j.

11 Clases de comunicación Un conjunto de estados C S se dice que es una clase de comunicación si: Dos estados cualquiera en la clase se comunican entre sí. Formalmente, (i C, j C ) i j El conjunto C es máximal. Formalmente, (i C, i j) j C

12 Clase cerrada (absorbente) Si ningún estado dentro de una clase de comunicación C conduce a algún estado fuera de C Formalmente C es cerrada si i C y j C implica que j no es accesible desde i. Tenga en cuenta que una vez que una cadena de Markov visita una clase de comunicación cerrada, no puede salir de él

13 Proposición 2. Teorema de descomposición (Chung, 1960) El espacio de estados S de cualquier cadena de Markov puede ser únicamente dividida de la siguiente manera: S = C 1 C 2... C k T, donde C 1, C 2,..., C k son clases cerradas, y T es la unión de todas las otras clases de comunicación.

14 Estados transitorios y recurrentes Un estado i se dice que es transitorio, si teniendo en cuenta que empezamos en el estado i, existe una probabilidad no nula de que nunca vamos a volver a i De lo contrario, el estado se denomina recurrente (empezando por un estado recurrente,con probabilidad 1 se volvera)

15 Estados periódicos y aperiódicos Un estado i tiene periodo d si cualquier retorno al estado i debe ocurrir en múltiplos de d pasos de tiempo Si d=1 es aperiódico Los elemento de una misma clase tienen el mismo periodo

16 Dinámica asintótica Proposición 3. dinámica general de THMCs finitos. Considere un THMC finito que se ha dividido como se indica en la Proposición 2. Entonces: Todos los estados de T son transitorios. Todos los estados en C v son recurrentes. Proposición 3 establece que tarde o temprano el THMC entrará en una de las clases absorbentes y permanecerá en ella para siempre

17 Atrapado en una clase absorbente Aperiódica La distribución de probabilidades converge a un limite y es única No depende del estado inicial, solo de P. Corriendo una simulación durante el tiempo suficiente servirá para calcular π igual de bien.

18 Cuánto tiempo es suficiente? Desafortunadamente, no hay respuesta para eso. Lo positivo: Tiene que ser estable en el tiempo Independiente de las condiciones iniciales Lo anterior permite realizar una amplia gama de pruebas que nos pueden dar cuenta cuando es suficiente.

19 Periódica (periodo d) Tiene d distribuciones de probabilidad Dependen del estado inicial. Ejemplo Caminata aleatoria:

20 Partiendo por estado 1

21 Afortunadamente todo THMC (aperiódico o periódico) tiene una distribución única π* No depende del estado inicial Luego solo basta una larga simulación para determinar el tiempo que pasa en cada estado.

22 Modelo con varios estados absorbentes S = {abs 1 } {abs 2 } {abs k } T Si solo hay 1 estado absorbente (i.e. S = {abs 1 } T) el sistema eventualmente terminara en el estado absorbente. Si hay más de un estado absorbente depende de las condiciones iniciales en cual terminara.

23 Ejemplos

24 Robustez de estados absorbentes a las perturbaciones En los modelos evolutivos estas perturbaciones pueden derivarse de los procesos de mutación. En los modelos culturales pueden derivarse de la experimentación. Resultados interesantes: Se puede escapar de un estado absorbente debido a perturbaciones. Los estados absorbente que pueden ser alcanzada con gran probabilidad en el modelo imperturbable se observan con una probabilidad muy baja en el modelo con el ruido.

25 Ejemplo

26 Resumen El tipo de análisis que se explica en este artículo es útil incluso en los casos que no es posible derivar analíticamente las probabilidades. Estas funciones de probabilidad siempre se puede aproximar con algún grado de precisión mediante la ejecución del modelo de equipo varias veces. El punto importante es darse cuenta que existen tales funciones Saber cuándo y cómo dependen de las condiciones iniciales, pueden ofrecer una perspectiva valiosa sobre la dinámica de los modelos.