Métodos Markov Chain Monte Carlo

Transcripción

1 Métodos Markov Chain Monte Carlo David J. Rios Optimización Combinatoria 19 de mayo del 2008

2 MCMC Introducción Que son Cadenas de Markov? Que es Monte Carlo? Que es Markov Chain Monte Carlo? Algoritmo Metropolis Algoritmo de partición Usos de MCMC Muestreo y simulación Integración

3 Introducción MCMC es una técnica que simula una cadena de Markov cuyos estados siguen una probabilidad dada en un estado de espacios de grandes dimensiones. Esencialmente genera muestras justas de una probabilidad.

4 Cadena de Markov Una cadena de Markov es un modelo matemático de sistemas estocásticos donde los estados dependen de probabilidades de transición El estado actual solo depende del estado anterior. X t X t 1,..., X 0 ~P X t X t 1,..., X 0 =P X t X t 1

5

6 Monte Carlo El método de Monte Carlo es un método no determinístico o estadístico numérico usado para aproximar expresiones matemáticas complejas y costosas de evaluar con exactitud.

7 A diferencia de los métodos numéricos que se basan en evaluaciones en N puntos en un espacio M dimensional para producir una solución aproximada, el método de Monte Carlo tiene un error absoluto de la estimación que decrece como 1 x de acuerdo al teorema del límite central.

8 Idea del Método Monte Carlo Se hacen muchisimas repeticiones y se intenta reconocer el comportamiento del sistema. Estas simulaciones siempre se hacen mediante un generador de números aleatorios.

9 Ejemplo: Reproducir, mediante números aleatorios, la tirada sucesiva de una moneda. Se asigna un intervalo de números aleatorios a CARA y otro a CRUZ, para poder interpretar el resultado de la simulación Los intervalos se asignan en función de las probabilidades de ocurrencia de cada cara de la moneda CARA Probabilidad: 0.50 Números aleatorios: al CRUZ Probabilidad: 0.50 Números aleatorios: al Se genera un número aleatorio, dentro del intervalo , observamos que está incluido en el intervalo asignado a CARA.

10 MCMC Es una técnica de propósito general para generar muestras justas de un espacio de probabilildades de grandes dimensiones Utiliza números aleatorios obtenidos de una probabilidad uniforme en cierto rango.

11 Algoritmo Metropolis Inicializar una cadena de Markov Correr la cadena hasta que sea estacionaria Todas las muestras vienen de una distribución estacionaria.

12 Algoritmo Metropolis La idea del algoritmo es obtener la distribución deseada π(x) a través de una distribución propuesta q(x,x').

13 Una condición suficiente para converger a π(x): K(x,x')π(x)=K(x',x)π(x') =

14 q(x,x')1/3=q(x',x)2/ se inserta un factor a de ajuste: =a a=

15 De lo anterior se obtiene el algoritmo: Inicializar con x 0 Proponer un x' de q x t, x ' Calcular if a > 1 Aceptar Else Aceptar con probabilidad a If no se acepta x' x t 1 =x t a= x ' q x ', x t x t q x t, x ' x t =x '

16

17

18 observaciones Cada punto en la cadena tiene una correlación con el punto que lo precede. La cadena se mueve lentamente de una región a otra. La parte inicial de la secuencia esta influenciada por el punto de partida.

19 El algoritmo con partición Si X es de grandes dimensiones, se puede dividir en bloques. X= x 1,..., x k X= x 1,..., x i 1, x i,..., x k Se muestrea cada bloque individualmente

20 Muestreo y simulación Las muestras generadas con MCMC sirven para conocer cuales estados son tipicos del sistema.

21 Ejemplo: P(x N) 0 si es mas cercano a 0 1 si es mas cercano a1 Tiene influencia del anterior

22

23 Integración Para estimar integrales en espacios dimensionales (Ω) muy grandes Podemos obtener N muestras de π(x) Estimamos C con la media de las muestras

24 Tarea Un método MCMC consta de 3 elementos clave:, K, p 0 p 0 K n como estimar n?

25 Referencias Markov Chain Monte Carlo for Computer Vision. A tutorial at ICCV05 by Zhu, Delleart and Tu An intruduction to MCMC for machine learning. Andrieu, De Freitas, Doucet, Jordan. Kluwer Machine learning, 50,5 43 Academic Publisher,2003. On the efficiency of adaptative MCMC algorithms. Andrieu,Atchadé The beginig of the Monte Carlo method. N. Metropolis. Los Alamos Science special issue

26 Top Ten Algorithms of the Century 1. The Monte Carlo method or Metropolis algorithm The simplex method of linear programming The Krylov Subspace Iteration method The Householder matrix decomposition The Fortran compiler The QR algorithm for eigenvalue calculation The Quicksort algorithm The Fast Fourier Transform The Integer Relation Detection Algorithm The fast Multipole algorithm The Best of the 20th Century: Editors Name Top 10 Algorithms. Barry Cipra, SIAM News, Volume 33, Number 4, May 2000, page 1.