TÉCNICAS COMPUTACIONALES EN LA ESTADÍSTICA BAYESIANA

Transcripción

1 TÉCNICAS COMPUTACIONALES EN LA ESTADÍSTICA BAYESIANA Luis A. Barboza Grupo de Estadística Bayesiana (GEB) Universidad de Costa Rica Julio 2014 Técnicas computacionales en Estadística Bayesiana 1

2 Contenidos 1 Modelos Jerárquicos 2 Regresión Bayesiana Técnicas computacionales en Estadística Bayesiana 2

3 Introducción Los modelos que hemos trabajado hasta ahora tienen la siguiente estructura: Hiperparámetros 'a, b Distribuciones Previas theta~beta(a,b) Datos Y_1,...,Y_N Distribución posterior theta Y Técnicas computacionales en Estadística Bayesiana 3

4 Introducción Pero la complejidad de los fenómenos pueden sugerir estructuras más complejas. Ejemplos: Se quiere medir la incidencia de un tumor en una población de ratas. Asuma que cada rata en una muestra posee una tasa media de incidencia que eventualmente puede ser distinta. Las tasas medias de incidencia dependen de factores ambientales que afectan a cada rata. La temperatura en un lugar específico se asume que está relacionada linealmente a factores físicos (radiación solar, gases efecto invernadero, etc.). Asimismo se asume que los gases de efecto invernadero dependen linealmente de otros factores biológicos/ambientales. Técnicas computacionales en Estadística Bayesiana 4

5 En el ejemplo de las ratas: Introducción Hiperparámetros Theta_1 Theta_2... Theta_N Datos Y Posterior theta_1 Posterior theta_2... Posterior theta_n Técnicas computacionales en Estadística Bayesiana 5

6 Ejemplo 6 Suponga que se tiene 8 oficinas en donde se cuenta la cantidad de empleados que se incapacitaron en el transcurso de 6 meses. Los datos son los siguientes: Oficina (i) Incapacitados (y i ) Total(n i ) Técnicas computacionales en Estadística Bayesiana 6

7 Ejemplo 6 Suponga que un empleado no decide si se incapacita o no con base en la decisión de sus otros compañeros (independencia). Objetivo: estimar las probabilidades de incapacidad por oficina π i para i = 1,..., 8. Se asume el modelo (nivel de observaciones): y i π i, n i Binomial(n i, π i ) Como las probabilidades de incapacidad empírica varían considerablemente por oficina, no es una buena idea considerar que los hiperparámetros son determinísticos. Técnicas computacionales en Estadística Bayesiana 7

8 Ejemplo 6 Se asume por lo tanto un nivel intermedio: π i Beta(α, β), i = 1,..., 8 Y las distribuciones a priori de los parámetros anteriores (nivel de información previa) son: α Exp(1), β Exp(0.33) Por lo tanto el uso de modelos jerárquicos también ayuda en una mejor cuantificación de la incertidumbre en modelos más complejos. Técnicas computacionales en Estadística Bayesiana 8

9 Inconvenientes El uso de modelos jerárquicos disminuye las posibilidades de obtener una forma expĺıcita en la distribución posterior. Por lo tanto la mayoría de las veces la única solución posible es MCMC. Técnicas computacionales en Estadística Bayesiana 9

10 Calcule: Muestras posteriores de µ, α, β y π. Estadísticos a partir de las muestras anteriores. Traceplots. Gráficos de autocorrelación. Técnicas computacionales en Estadística Bayesiana 10

11 Definición del modelo en OpenBUGS model{ for(i in 1:N){ y[i]~dbin(pi[i],n[i]) pi[i]~dbeta(alpha,beta) } alpha~dexp(1) beta~dexp(0.33) mu<-alpha/(alpha+beta) } Técnicas computacionales en Estadística Bayesiana 11

12 Modelo con predicción model{ for(i in 1:N){ y[i]~dbin(pi[i],n[i]) pi[i]~dbeta(alpha,beta) } alpha~dexp(1) beta~dexp(0.33) mu<-alpha/(alpha+beta) } pinew~dbeta(alpha,beta) ynew~dbin(pinew,nnew) Técnicas computacionales en Estadística Bayesiana 12

13 Estadístico de Brooks, Gelman y Rubin (BGR) Es utilizado para descartar el número de iteraciones que se usarán como burn-in. El estadístico utiliza múltiples MCMC que se ejecutan en distintos puntos iniciales. Mide una aproximación al cociente de variabilidad entre cadenas y dentro de cada cadena. Se supone que entre más cercano a 1 sea este cociente, más cercana estará la cadena de ser estacionaria. Técnicas computacionales en Estadística Bayesiana 13

14 Estadístico de Brooks, Gelman y Rubin (BGR) Este cociente es calculado a lo largo del tiempo de iteración, por lo tanto el primer punto en donde el estadístico alcanza el valor 1 puede ser considerado como un punto aproximado de corte. (burn-in) Analice los estadísticos BGR para el ejemplo anterior. Técnicas computacionales en Estadística Bayesiana 14

15 Mismo modelo con previas no-informativas (Ejemplo 7) Asuma que ahora el modelo es: y i π i, n i Binomial(n i, π i ) Nivel de observaciones π i Beta(α, β) Nivel medio α, β Γ(0.0001, ) Nivel de previas Vuelva a estimar el modelo y compare los estadísticos BGR. Técnicas computacionales en Estadística Bayesiana 15

16 Ejemplo 8 Primero cargue el paquete LearnBayes (Jim Albert, 2009) Cargue los datos hearttransplants Suponga que se tiene observaciones del número de muertes por transplante de corazón en 94 hospitales de EE.UU (y) en el transcurso de 30 días. Además se tiene la población expuesta para cada hospital (e) o número esperado de muertes. Objetivo: modelar las tasas de muerte por transplante de corazón. Técnicas computacionales en Estadística Bayesiana 16

17 Modelo no-jerárquico Suponga que el número de muertes es Poisson: y i Poisson(e i λ) donde λ es la tasa de muerte por transplante de corazón en EE.UU. Suponga que λ Unif(0, 1). Programe el modelo en OpenBUGS. Técnicas computacionales en Estadística Bayesiana 17

18 Modelo no-jerárquico model{ for(i in 1:N){ prom[i]<-e[i]*lambda y[i]~dpois(prom[i]) } lambda~dunif(0,1) } Técnicas computacionales en Estadística Bayesiana 18

19 Modelo jerárquico (Ejemplo 9) Existe una variación significante en las tasas de muerte empíricas. En este caso se supondrá (Nivel de observaciones): y i Poisson(e i λ i ) Con un nivel intermedio: λ i Γ(α, α/µ) con esto se garantiza que la media es µ y la varianza µ 2 /α. Nivel de previas: 1/µ Γ(1000, 1000), α Γ(0.0001, ) Técnicas computacionales en Estadística Bayesiana 19

20 Modelo jerárquico model{ for(i in 1:N){ prom[i]<-e[i]*lambda[i] y[i]~dpois(prom[i]) beta[i]<-alpha*muinv lambda[i]~dgamma(alpha,beta[i]) } muinv~dgamma(1000,1000) alpha~dgamma(0.0001,0.0001) } Técnicas computacionales en Estadística Bayesiana 20

21 Comparación de modelos El Criterio de Información de Deviancia (DIC) tiene como objetivo comparar modelos por medio de su habilidad de predicción. El DIC penaliza modelos con un alto grado de complejidad. Es una medida que permite comparar modelos de distinta naturaleza. Técnicas computacionales en Estadística Bayesiana 21

22 Comparación de modelos Sea D(y, θ) := 2logp(y θ), donde y son observaciones y θ son parámetros. Componentes: D: estimador empírico de D, usando la distribución posterior MCMC como base. ˆD: D evaluado en el estimador posterior de θ. p D = D ˆD (Número efectivo de parámetros) DIC = D + p D. En BUGS se usa dicset(), dicstats() y dicclear(). Es importante recordar que se necesita correr el MCMC una vez más para generar estadísticas de DIC. Técnicas computacionales en Estadística Bayesiana 22

23 Continuación Ejemplo 9 Compare las dos soluciones al problema de los transplantes usando la medida DIC. Técnicas computacionales en Estadística Bayesiana 23

24 Ejemplo 10 (Box, Tiao 1973) Suponga que se tiene las siguientes muestras de pigmentos tomadas de 6 distintos depósitos: Depósito M1 M2 M3 M4 M Objetivo: estimar el comportamiento medio de cada depósito. Técnicas computacionales en Estadística Bayesiana 24

25 Modelo no-jerárquico Nivel de observaciones: y ij N ( θ, 1 τ Nivel de previas no-informativas: ), i = 1,..., 6; j = 1,..., 5. τ Γ(0.001, 0.001) θ N(0, ). Calcule dos cadenas con valores iniciales: (θ, τ) = (1500, 0.1) y (θ, τ) = (0, 10). Técnicas computacionales en Estadística Bayesiana 25

26 Modelo no-jerárquico model{ for(i in 1:depo){ for(j in 1:N){ y[i,j]~dnorm(theta,tau) } } sigma<-1/tau tau~dgamma(0.001,0.001) theta~dnorm(0.0,1.0e-10) } Técnicas computacionales en Estadística Bayesiana 26

27 Modelo jerárquico Nivel de observaciones: ( y ij N µ i, 1 τ dentro ), i = 1,..., 6; j = 1,..., 5. Nivel intermedio: µ i θ, τ entre N ( θ, 1 τ entre ) Nivel de previas no-informativas: τ dentro Γ(0.001, 0.001) τ entre Γ(0.001, 0.001) θ N(0, ). Técnicas computacionales en Estadística Bayesiana 27

28 Modelo jerárquico model{ for(i in 1:depo){ mu[i]~dnorm(theta,tauentre) for(j in 1:N){ y[i,j]~dnorm(mu[i],taudentro) } } sigmaentre<-1/tauentre sigmadentro<-1/taudentro tauentre~dgamma(0.001,0.001) taudentro~dgamma(0.001,0.001) theta~dnorm(0.0,1.0e-10) } Técnicas computacionales en Estadística Bayesiana 28

29 Contenidos 1 Modelos Jerárquicos 2 Regresión Bayesiana Técnicas computacionales en Estadística Bayesiana 29

30 Ejemplo 11 (Cowles, 2013) El archivo brule.csv contiene datos de promedios de log-concentración de mercurio en el río Brule en Wisconsin, EE.UU; durante los años La observación del año 2011 está incompleta. Vamos a centrar la covariable, ya que esto garantiza que el MCMC pueda converger más rápido. Datos: logcon Year Técnicas computacionales en Estadística Bayesiana 30

31 Ejemplo 11. Mínimos Cuadrados. Call: lm(formula = logcon ~ Year, data = brule) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** Year * --- Residual standard error: on 12 degrees of freedom (1 observation deleted due to missingness) Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 12 DF, p-value: Técnicas computacionales en Estadística Bayesiana 31

32 Ejemplo 11 Verifique, al menos de manera descriptiva, las hipótesis de independencia y varianza constante en los errores. Puede utilizar la prueba de Durbin-Watson del paquete car. Estudie la posibilidad de que los errores sean normales. Puede utilizar la prueba de Shapiro-Wilks. Normal Q Q Plot Sample Quantiles Theoretical Quantiles Técnicas computacionales en Estadística Bayesiana 32

33 Modelo Bayesiano Verosimilitud: y i N(β 0 + β 1 x i, σ 2 ), i = 1,..., n Previas no-informativas: β 0 Unif(R), β 1 Unif(R) y 1/σ 2 Γ(0.001, 0.001). Técnicas computacionales en Estadística Bayesiana 33

34 Ejemplo 11 Implemente el modelo en lenguaje BUGS. Compare los resultados del MCMC con los obtenidos con mínimos cuadrados. Técnicas computacionales en Estadística Bayesiana 34

35 Ejemplo 11 model{ for(i in 1:N){ mu[i]<-beta0+beta1*x[i] y[i]~dnorm(mu[i],tau2) } beta0~dflat() beta1~dflat() tau2~dgamma(0.001,0.001) sigma<-1/sqrt(tau2) } Técnicas computacionales en Estadística Bayesiana 35

36 Ejemplo 12 El archivo recreacion.csv contiene datos de gastos en recreación e ingresos totales (en dólares) de 20 familias. Ajuste un modelo de regresión simple a los datos usando mínimos cuadrados y MCMC (con el mismo modelo del ejemplo anterior). Compare resultados. Técnicas computacionales en Estadística Bayesiana 36

37 Ejemplo 13 Abra el archivo Guber1999.csv. Se tiene las siguientes variables: (Gasto): Gasto promedio por estudiante en miles de dólares. (Carga): Cociente promedio estudiante/maestro en primaria y secundaria. (Salario): Salario promedio anual de maestros en miles de dólares. (Elegible): Porcentaje de estudiantes elegibles para hacer la prueba SAT. (SATVerbal): Score promedio del SAT (Verbal) (SATMath): Score promedio del SAT (Matemático) (SATTotal): Score promedio del SAT (Total) Técnicas computacionales en Estadística Bayesiana 37

38 Ejemplo 13 Centre las covariables Gasto, Carga, Salario y Elegible. Analice un modelo de regresión en donde la variable dependiente es SATTotal y las covariables son Carga, Salario y Elegible. Ajuste el modelo anterior con mínimos cuadrados y verifique sus hipótesis. Técnicas computacionales en Estadística Bayesiana 38

39 Modelo Para este caso utilice el modelo: y i N(β 0 + β 1 x i1 + β 2 x i2 + β 3 x i3, σ 2 ) donde β 0 N(0.0, ) β 1 N(0.0, ) β 2 N(0.0, ) β 3 N(0.0, ) 1/σ 2 Γ(0.001, 0.001) Técnicas computacionales en Estadística Bayesiana 39

40 Ejemplo 14 (Gelfand y Smith, 1990) Suponga que se está midiendo el peso de 30 ratas cada 7 días entre el día 8 de edad y el día 36. Peso edad Objetivo: estimar la tasa media de crecimiento en el peso de las ratas. Técnicas computacionales en Estadística Bayesiana 40

41 Modelo Nivel de observaciones: y ij N(α i + β i (x j x), σ 2 ) Nivel intermedio: α i N(α c, σ 2 α) β i N(β c, σ 2 β ) τ = 1/σ 2 Γ(0.001, 0.001) Nivel de previas: α c N(0, 10 6 ) β c N(0, 10 6 ) σα 2 Unif(0, 100) σβ 2 Unif(0, 100) Técnicas computacionales en Estadística Bayesiana 41

42 Modelo model{ for(i in 1:N){ for(j in 1:T){ mu[i,j]<-alpha[i]+beta[i]*(x[j]-xbar) Y[i,j]~dnorm(mu[i,j],tau) } alpha[i]~dnorm(alpha.c,tau.alpha) beta[i]~dnorm(beta.c,tau.beta) } tau~dgamma(0.001,0.001) sigma<-1/sqrt(tau) alpha.c~dnorm(0.0,1.0e-6) beta.c~dnorm(0.0,1.0e-6) sigma.alpha~dunif(0,100) sigma.beta~dunif(0,100) tau.alpha<-1/(sigma.alpha*sigma.alpha) tau.beta<-1/(sigma.beta*sigma.beta) } Técnicas computacionales en Estadística Bayesiana 42