Alvaro J. Riascos Villegas Universidad de los Andes y Quantil. Marzo 14 de 2012

Transcripción

1 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Métodos Computacionales Alvaro J. Riascos Villegas Universidad de los Andes y Quantil Marzo 14 de 2012 Métodos Computacionales Alvaro Riascos

2 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R 1 Motivación 2 Métodos computacionales 3 Integración de Montecarlo 4 Muestreo de Gibbs 5 Rejection 6 Muestreo Importante 7 Metropolis - Hasting 8 Markov Chain Montecarlo Method 9 Complemento ejemplos libro: Bayesian Computation with R Métodos Computacionales Alvaro Riascos

3 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Motivación Dado que el objetivo por excelencia del análisis Bayesiano es la distribución posterior de los parámetros es necesario poder calularla y hacer calculos con ella. Usualmente se necesita: 1 Distribución marginal de los datos. 2 Distribución predictiva. 3 Estimadores puntuales, etc. En general los problemas principales son: 1 Cómo generar muestras aleatorias de la distribución expost? 2 Cómo calcular integrales con respecto a la distribución expost? Métodos Computacionales Alvaro Riascos

4 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Métodos computacionales Los principales métodos que vamos a estudiar son: 1 Integración de Montecarlo. 2 Muestreo de Gibbs. 3 Rejection. 4 Muestreo Importante. 5 Metropolis Hasting. 6 Markov Chain Montecarlo Method (MCMM) Métodos Computacionales Alvaro Riascos

5 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Integración de Montecarlo Sea θ 1,..., θ S una muestra aleatoria (i.e., independiente) de la distribución expost p(θ y). Sea g cualquier función de θ. Entonces: ĝ S = 1 S S g k=1 ( θ k) E [g(θ y)] (1) Métodos Computacionales Alvaro Riascos

6 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Muestreo de Gibbs En ocasiones no es fácil generar una muestra independiente de p(θ y) El siguiente método explota una forma especial de expresar la distribución expost. Supongamos que θ = (θ 1, θ 2 ) entonces: p(θ y) = p(θ 1 θ 2, y)p(θ 2 y) (2) p(θ y) = p(θ 2 θ 1, y)p(θ 1 y) (3) y es posible que sea más fácil generar una muestras de las distribuciones condicionales expost. Métodos Computacionales Alvaro Riascos

7 Ejemplo: Regresión Lineal con Priors Independientes Considere el modelo de regresión lineal en el que la distribución muestral es Normal. Suponga que la prior conjunta es el producto de la marginales (prior independiente). Si la prior de β es Normal y la prior de τ es Gamma la distribución expost no tiene una forma anaĺıtica conocida. Sin embargo, las distribuciones condicionales de la posterior si son calculables. 1 La distribución condicional expost de β es normal multivariada. 2 La distribución condicional de τ es Gamma. El método de muestreo de Gibbs capitaliza en esta estructura.

8 Algoritmo de Gibbs Suponga que sabemos generar muestras aleatorias de todas las distribuciones posterior condicionales de p (θ y) Seleccione un paramétro de incio θ 0 1 Genere θ1 s usando p ( θ 1 y, θ s 1 ) 1 ) 2 Genere θ2 (θ s y, usando p 2 θ s 1, θ s 1 {1,2} 3 Genere θn 1 s usando p ( ) θ n y, θ s 1,..., θn 1 s 4 Repita este procedimiento para cada i hasta obtener θ s. 5 Elimine las primeras S 0 simulaciones para independizar el resultado de la escogencia inicial de los parámetros. De la misma forma que el método de integración de Montecarlo: ĝ S = 1 S S 0 S k=s 0 +1 g ( θ k) E [g(θ y)] (4)

9 Algoritmo de Gibbs Consideremos de nuevo el caso de dos parámetros (o bloques de parámetros): (θ 1, θ 2 ) Usando el algoritmo debemos: 1 Seleccione un paramétro de incio ( θ1 0, ) θ0 2 2 Generar θ1 1 usando p ( ) θ 1 y, θ Generar θ2 1 usando p ( ) θ 2 y, θ En este momento hemos generado ( θ1 1, ) θ1 2 5 Repetimos el procedimiento usando ( θ1 1, ( 2) θ1 en vez de θ 0 1, θ2) 0. 6 Hacemos esto S veces.

10 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Rejection Suponga que queremos generar una muestra de la distribución expost para la cual podemos incluso desconocer la constante de normalización. Supongamos que podemos encontrar una función de densidad P(θ) tal que: 1 Sea fácil obtener realizaciones de P. 2 Sea similar a la posterior en términos de media y dispersión. 3 Existe una contantes c tal que: p(θ y) c P(θ) Métodos Computacionales Alvaro Riascos

11 Rejection Ahora siga el siguiente algoritmo: 1 Simule de forma independiente x de una distribución uniforme U en el intervalo [0, 1] y θ de la distribución P. 2 Si x p(θ y) acepte la simulación. Caso contrario se rechaza. c P(θ) 3 Repetir el procedimiento hasta obtener muchas simulaciones aceptables. Informalmente, un buen algoritmo de rechazo es uno en el que se rechazan pocas simulaciones.

12 Rejection: Intuición Suponga que f es una idstribución con soporte en [a, b], f (x) m para todo x. El objetivo es simular la distribución f. Sea X uniforme en [a, b] y Y uniforme en [0, m] Sea x una realización de X y y una realización de Y. Si y < f (x) acepte a simulación x como una simulación de f (x) Gráficamente el efecto que tiene es hacer que las simlaciones uniformes en [a, b] [0, m] de X Y las acepta únicamente cuando está bajo el área de la densidad f. La versión del algoritmo general presentado anteriormente simplemente hace más eficiente este procedimiento.

13 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Muestreo Importante El algoritmo de muestreo importante está basado en el siguiente teorema. Sea g una distribución de la cual es fácil obtener realizaciones y θ s simulaciones de g. Definamos los pesos w(θ s ) = p(θs y) q(θ s ) Entonces: 1 w(θ s )g(θ s ) E[g(θ) y] (5) S Métodos Computacionales Alvaro Riascos

14 Muestreo Importante Obsérvese que en en principio la función q es arbitraria. El problema con este método es que puede requerir de muchas simulaciones porque los pesos son casi cero para muchas simulaciones. Luego para que sea eficiente la función g debe ser aproximadamente igual a la posterior. Obsérvese que la idea del algoritmo es darle más pesos a aquellas realizaciones de θ s tales que g(θ s ) se aproxima a p(θ s y).

15 Muestreo Importante: Intuición Obsérvese que dada una distribución cualquiera con densidad q y el mismo soporte de p(θ s y) entonces: E[g(θ) y] = Θ g(θ)p(θ y) q(θ)dθ (6) q(θ) Podemos multiplicar y dividir dentro de la integral que define E[g(θ)] y apelar de nuevo al método de inegración de Montecarlo esta vez generando simulaciones con la distribución q.

16 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Metropolis - Hasting Al igual que el método de Gibbs, este algoritmo es un ejemplo de Markov Chain Montecarlo Methods(MCMM). En este, la distribución que se utiliza para generar una realización depende de la simulación anterior. Tiene tambien similitudes con el algoritmo de muestreo importante. En este se reduce el peso de simulaciones que generan valores de la densidad muy diferentes a los que se obtienen de la función de muestreo importante. En MH a todas las simulaciones se les da el mismo peso pero no todas son aceptables. Métodos Computacionales Alvaro Riascos

17 Metropolis - Hasting Sea q(θ θ ) una función de distribución sobre θ que depende de θ. Esta se denomina la función de densidad candidata (juega un papel similar a la distribución de muestreo importante en el algoritmo anterior). Seleccione un paramétro de incio θ 0. 1 Genere un candidato θ usando q(θ s 1 θ ). 2 Calcule la probabilidad de aceptación α(θ s 1 θ ). 3 Defina θ s = θ con probabilidad α(θ s 1 θ ) y θ s = θ s 1 con probabilidad 1 α(θ s 1 θ ). 4 Repita este procedimiento para cada i hasta obtener θ s. 5 Elimine las primeras S 0 simulaciones para independizar el resultado de la escogencia inicial de los parámetros. 6 Utilice las simulaiones para calcular la integral de la misma forma que en método de Montecarlo. Ahora definimos la probabilidad de aceptación.

18 Metropolis - Hasting La probabilidad de aceptación se define de la siguiente forma: { p(θ α(θ s 1 θ y) q(θ θ s 1 ) } ) = mín p(θ s 1 y) q(θ s 1 θ ), 1 (7)

19 Metropolis - Hasting: simétrico Una pregunta importante es que densidad q utilizar como candidata. Algunos candidatos importantes son: Muestreo de metropolis o simétrico. Corresponde al caso en el que q(θ θ s 1) = q(θ s 1 θ). En este caso la función de aceptación no depende de la densidad de candidatos. { p(θ α(θ s 1 θ } y) ) = mín p(θ s 1 y), 1 (8) Ejemplos de densidades candidatas simétricas son: q(θ θ s 1) = f ( θ θ s 1 ) donde f s cualquier densidad.

20 Metropolis - Hasting: Independiente y caminata aleatoria El caso independiente corresponde al caso en que q ( θ s 1 θ) = f (θ) Esta versión del algoritmo es útil cuando existe una aproximación adecuada de la posterior que podemos usar como candidato a densidad generadora. En este caso el algoritmo se reduce a un algoritmo de muestreo importante (véase Koop, página 95). El caso de la caminata aleatorio corresponde al caso en que θ = θ s 1 + z donde z es una variable aleatoria con cualquier distribución independiente de las variables θ. Si la distribución es simétrica alrededor de cero entonces es un caso de distribució simétrica. Esta caso es útil cuando se tiene no se conoce una aproximación adecuada de la densidad de la posterior.

21 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Markov Chain Montecarlo Method Un proceso estocástico {X t } t=0,1.. con valores en un conjunto finito S es un conjunto finito S = {s 1,...s S } si la secuencia de variables aleatorias satisface la Propiedad de Markov: Para todo s S y t 1, P(X t+1 = s X t, X t 1,...X 0 ) = P(X t+1 = s X t ) En este caso definimos π 0 como la función de distribución (discreta) de X 0 (lo representamos con un vector fila) y P i,j = P(X t+1 = s j X t = s i ) Métodos Computacionales Alvaro Riascos

22 Markov Chain Montecarlo Method Nótese que gracias a la propiedad de Markov la definición anterior es independiente del período t. Estas se llaman cadenas homogéneas. La matriz P de coeficientes reales S S es una matriz estocástica si todos sus elementos son positivos y las filas suman 1. Sea π n la distribucion no condicional de estar en el periodo n en cada uno de los estados. Entonces: π n = π 0 P Un distribución π es estacionaria si π t+1 = π t. Decimos que la cadena de Markov es asyntoticamente estacionaria si para toda distribución inicial π 0, ĺım t π t existe y π = ĺım t π t es una distribucion estacionaria de la cadena.

23 Markov Chain Montecarlo Method Simular una cadena de Markov es fácil si se puede simular la distribución inicial y de la probabilidad de transición (esto último es trivial en el caso de cadenas pero no en el caso general de procesos de Markov). La relevancia para el análisis Bayesiano consiste en poder identificar la distribución de interes (posterior) como la distribución estacionaria de una cadena de Markov asintóticamente estacionaria. El método de muestreo de Gibbs y Metropolis - Hasting son ejemplos de cadenas de Markov.

24 Contenido Motivación Métodos computacionales Integración de Montecarlo Muestreo de Gibbs Rejection Muestreo Importante Metropolis - Hasting Markov Chain Montecarlo Method Complemento ejemplos libro: Bayesian Computation with R Complemento ejemplos libro Example (Distribucion muestral experimento de Bernoulli) Si en un experimento de Bernoulli la probabilidad de 1 es p, entonces una muestra de tamaño y {0, 1} n con s unos y f ceros, n = s + f la distribución muestral es: p(y p) = p s (1 p) f (9) Métodos Computacionales Alvaro Riascos

25 Complemento ejemplos libro Example (Prior discreta beta) Supongamos que la prior sobre el parámetro el P(θ) θ a 1 (1 θ) b 1 Entonces: µ = E [p] = a a + b µ(1 µ) Var [p] = a + b + 1 (10) (11)