2. Cómputo Bayesiano

Transcripción

1 . Cómputo Bayesano Recordemos que f( θ x, la dstrbucón fnal de θ, contene toda la nformacón relevante sobre la ncertdumbre asocada a los parámetros de un modelo. La toma de decsones (nferenca consste en resumr u obtener una característca numérca de la dstrbucón fnal f( θ x, como momentos o dstrbucones margnales. Sn embargo, en algunos casos, la forma de f( θ x es tan complcada que no es posble ntegrarla de manera analítca, por lo que es necesaro recurrr a aproxmacones ya sean analítcas o numércas.. Aproxmacones analítcas e ntegracón numérca APROXIMACIONES ANALÍTICAS: Las aproxmacones analítcas que veremos están basadas en argumentos asntótcos. Las más usadas son: aproxmacón normal asntótca y método de Laplace. Aproxmacón normal asntótca: Por smplcdad, supondremos que θ es un parámetro de dmensón, el caso general es análogo. 43

2 o Resultado: Aproxmacón normal asntótca. Bajo certas condcones de regulardad y para valores de n sufcentemente grandes, la dstrbucón fnal de θ es aproxmadamente normal con meda θˆ y varanza V ( θˆ donde, θˆ es la moda de f( θ x y ( ˆ f ( θˆ x, es decr, ( ( θ x N θθˆ,v ( θˆ log f V θ =. θ o EJEMPLO : Sea X,X,...,X n una m.a. de Ber(θ. Sea θ Beta(a,b la dstrbucón ncal de θ. Sabemos que θ x Beta( a,, donde n a = α + X y = β + n = b. n X = b Para obtener la aproxmacón normal asntótca de f ( θ x tenemos, a b ( θ x = cθ ( θ I ( θ f (0, ( θ x = logc + ( a logθ + ( b log( θ + logi ( log f (0, θ a b log f( θ x = θ θ θ gualando a cero y despejando θ tenemos que ˆ a θ =. a + b θ log f ( θ x a = θ b ( θ V( θ a = + θ b ( θ 44

3 ( ˆ ( a ( b V θ = ( a + b 3 Por lo tanto, ( θ x N θ θˆ,v ( θˆ ( f. Aproxmacón de Laplace: Supongamos que θ es de dmensón. La aproxmacón de Laplace permte aproxmar ntegrales de la forma ( θ exp{ nh( θ } I = q dθ donde q( y h( son dos funcones suaves de θ. o Resultado: Aproxmacón de Laplace. Sea I una ntegral de la forma antes menconada. Suponga que la funcón h( tene un mínmo en θˆ. Para valores sufcentemente grandes de n, la ntegral I puede ser aproxmada por donde, ( θˆ / / ( π/n Σ( θˆ exp{ nh( θ } Î = q ˆ ( ( ˆ h θ θ = Σ. θ, o Notemos que en general, una ntegral dada puede escrbrse como q ( f θ dθ ( θ exp{ nh( θ } dθ 45

4 para dstntas funcones q( y h(. Para un valor fjo de n, la aproxmacón de Laplace depende tanto de la eleccón partcular de estas funcones como de la parametrzacón que se utlce. o EJEMPLO 3: Supongamos que se desea calcular Como ( θ x f ( θ = f( x θ f( θ { g( θ x} = g( θ f( θ x E dθ. f x entonces, E { g( θ x} = g ( θ fx ( θ f ( θ d x dθ. θ Sean q ( θ = g( θ y exp { nh( θ } = f ( θ ( θ = log f ( θ x h x. n Aproxmando el numerador y el denomnador por separado tenemos g f ( θ ( θ θ (( θˆ / / f d g π/n Σ( θˆ f ( θˆ x / / ( θ dθ ( π/n Σ( θˆ f ( θˆ x x, donde θˆ es el mínmo de h(θ. Por lo tanto, { g( θ x} = g( θˆ Ê. x, y INTEGRACIÓN NUMÉRICA: Los métodos de ntegracón numérca, tambén conocdos como métodos de cuadratura, permten calcular efcentemente algunas característcas de la dstrbucón fnal de θ cuando la dmensón de éste es pequeña. Supongamos que θ es de dmensón. 46

5 o Defncón: Regla de ntegracón. Sea f( una funcón suave y supongamos que se desea calcular la ntegral b ( θ I = f dθ. a Una regla de ntegracón numérca está defnda por un conjunto de nodos, { η } N = y un conjunto asocado de pesos o ponderacones, { u } N = tales que N = ( η I u f. Sean a = θ < θ < L θ b los valores de N+ puntos dstrbudos en el 0 N = ntervalo [a,b]. En partcular, s los puntos son equdstantes, entonces donde h ( b a / N θ = θ0 + =. En otras palabras, θ = a+ h, (=,...,N ( b a N, (=,...,N. Regla del punto medo. Está dada por de manera que f( ( θ θ Î = N PM m = η = m y u = ( θ θ. En partcular, s los puntos son equdstantes, N ( b a ( ( b a Î PM = f a+. N N = 47

6 Regla trapezodal. Está dada por por lo que en este caso ( θ θ0 ( θ+ θ ( θ θ /, N Î T = { f( θ + f( θ }( θ θ, = 0 = η = θ y u = /, =, K N. N N /, = N S los nodos son equdstantes, ( b a ( b a N = { ( + (} + Î T f a f b f a+. N = N. Métodos de Monte Carlo y smulacón vía cadenas de Marov MÉTODOS DE MONTE CARLO: Los métodos de Monte Carlo permten realzar aproxmacones de ntegrales medante smulacón. La dea básca consste en expresar la ntegral requerda como el valor esperado de una funcón con respecto a alguna dstrbucón de probabldad. Exsten varas formas de hacerlo, una de ellas es la sguente. Muestreo por mportanca. Supongamos que f( es una funcón real y se requere evaluar la ntegral Θ ( θ I = f dθ. Claramente I tambén puede escrbrse como 48

7 ( θ ( θ ( θ ( θ f f I = s( θ dθ = Es, s s Θ donde s(θ es una funcón de densdad de probabldad sobre Θ. La dstrbucón s(θ se conoce como la dstrbucón de muestreo por mportanca y generalmente se elge de manera que sea fácl de smular. S generamos una muestra θ,θ,...,θ N de s(θ entonces podemos aproxmar la ntegral I a través del correspondente momento muestral (estmador nsesgado ( θ ( N f Î MI =. N = s θ La precsón de Î MI depende tanto del tamaño de muestra N, como de s(θ. Para producr una estmacón con varanza pequeña se sugere que s(θ: a sea fácl de smular, b tenga una forma smlar a la de f(θ, c tenga la colas más pesadas que las de f(θ. MÉTODOS DE MONTE CARLO VIA CADENAS DE MARKOV (MCMC: Las técncas de Monte Carlo vía cadenas de Marov permten generar, de manera teratva, observacones de dstrbucones multvaradas que dfíclmente podrían smularse usando métodos drectos. 49

8 La dea básca consste en construr una cadena de Marov que sea fácl de smular y cuya dstrbucón de equlbro corresponda a la dstrbucón fnal que nos nteresa. o Resultado (Teorema Ergódco. Sea θ (, θ (,..., una cadena de Marov homogénea, rreducble y aperódca, con espaco de estados Θ y dstrbucón de equlbro f ( θ x. Entonces, conforme t, (t d a θ θ, donde θ f( θ x ; t { x} ( b g( θ E g( θ t = (Convergenca de promedos ergódcos. Algortmo de Metropols Hastngs. Este algortmo construye una cadena de Marov apropada defnendo las probabldades de transcón de la sguente manera: Sea ( θ θ Q una dstrbucón auxlar (arbtrara y defnamos ( θ x Q( θ θ f α( θ, θ = mn f, ( ( θ x Q θ θ. o Algortmo. Dado un valor ncal θ (0, la (t+ ésma teracón consste en: (t Generar una observacón θ de Q( θ Generar una varable u U(0,; 3 Tomar θ = θ (t (, θ (t (, θ θ (t α θ +, s u (t, s u > α θ θ ;. 50

9 o Comentaros: a Este procedmento genera una cadena de Marov con dstrbucón (t+ (t (t+ (t (t+ (t de transcón P( θ θ = α( θ θ Q( θ θ b La probabldad de aceptacón α ( θ, θ., sólo depende de f( θ x a través de un cocente, por lo que f( θ x puede ser reemplazada por ( θ = f( x θ f( θ f x. o Casos partculares de la dstrbucón auxlar ( θ θ Camnata aleatora: Q ( θ θ = Q ( θ θ Q :, donde Q es una densdad de probabldad smétrca centrada en el orgen. Sugerenca: ( Q( θ θ = N θ θ, κv( θˆ. Independenca: Q( θ θ = Q 0 ( θ, donde Q 0 es una densdad de probabldad sobre Θ. Sugerenca: Q ( θ = N( θ θˆ, κv( θˆ 0. donde θˆ y V ( θˆ son la meda y la varanza de la dstrbucón normal asntótca para f( θ x, y κ es un factor de sobredspersón. Muestreo de Gbbs. Este algortmo construye una cadena de Marov apropada defnendo las probabldades de transcón a través de un proceso teratvo. Sea θ un vector de dmensón d, y sea (θ,...,θ una partcón del vector θ, donde θ R d y = d = d. Las densdades 5

10 f f f ( θ θ, K, θ,x ( θ θ, K, θ, θ, K, θ,x ( θ θ, K, θ,x M M +, =,..., se conocen como densdades condconales completas y por lo general son fácl de obtenerse porque f( θ,, θ, θ, K, θ,x f( θ x como funcón de θ. θ + K vsta (0 (0 (0 o Algortmo. Dado un valor ncal = ( θ,, θ θ K, θ (t+ se obtene de θ (t de la sguente manera: Generar una observacón Generar una observacón M 3 Generar una observacón (t+ (t (t (t θ de f( θ θ, θ3 K, θ,x; (t+ (t+ (t (t θ de f( θ θ, θ,,x (t+ K ; 3 θ (t+ (t+ (t+ θ de f( θ, θ, θ,x θ K. o Comentaros: a La sucesón θ (,θ (,... así obtenda es una realzacón de la cadena de Marov cuya dstrbucón de transcón está dada por P (t+ (t (t+ (t+ (t+ (t (t ( θ θ = f( θ θ,, θ, θ, K, θ,x = K. b En ocasones la dstrbucón fnal mplca certa estructura de ndependenca condconal entre algunos elementos del vector θ, + 5

11 por lo que muchas veces las densdades condconales se smplfcan. Muestras. Supongamos que se desea generar una muestra de tamaño N de la dstrbucón f( θ x. Se tenen dos opcones: Correr N cadenas ndependentes: generar N valores ncales (0 (0 N θ, K θ y correr una cadena de Marov con alguno de los dos algortmos (Metrópols Hastngs o Gbbs y después de un certo número de teracones T sufcentemente grande, los valores (T θ, K θ pueden consderarse como una muestra de tamaño N de la dstrbucón fnal de θ. Correr una sola cadena: generar una sola cadena y tomar los valores (T+ K (T+ K (T+ NK θ, θ, K, θ como una muestra de f( θ x (T N, donde K se elge de manera que la correlacón entre las observacones sea pequeña. NOTA: S K es pequeño, o ncluso, (T+ K (T+ K (T+ NK θ, θ, K, θ formarían un conjunto de observacones dependentes y de acuerdo con el Teorema ergódco, serían sufcentes para estmar cualquer valor esperado. Realmente necestamos una muestra?. No, el teorema ergódco garantza que podemos aproxmar cualquer valor esperados con realzacones de una cadena de Marov (.e. con smulacones dependentes. 53

12 Convergenca. En general no es fácl determnar en qué momento las cadenas han convergdo. Un método empírco comúnmente utlzado, basado en el Teorema ergódco, consste en grafcar los promedos ergódcos de algunas funcones de θ contra el número de teracones y elegr el valor T a partr del cual las gráfcas se establzan. En este caso es convenente omtr los prmeros valores de las cadenas. La dea de este período de calentamento es permtr que las cadenas salgan de una prmera fase de nestabldad. EJERCICIOS DE CLASE: Utlza el paquete OpenBugs para resolver los sguentes ejerccos: Sea θ la tasa de crédtos hpotecaros otorgados por un banco. Durante el 00 la tasa promedo fue de 60% y la desvacón estándar de la tasa fue de En lo que va del año 0 se han solctado 0 crédtos, de los cuales se han otorgado úncamente 5. a Usando la nformacón del año pasado, encuentra la dstrbucón beta que mejor descrbe el conocmento ncal. b Usando la nformacón del año pasado, encuentra la dstrbucón normal transformada que mejor descrba el conocmento ncal. c Determna la dstrbucón ncal de referenca. d Usando los datos del año 0 encuentra la dstrbucón fnal para cada una de las dstrbucones ncales de los ncsos (a (c. e Estma la tasa de crédtos otorgados, usando las 3 dstrbucones fnales del ncso (d. 54

13 f Estma el momo de otorgar un crédto,.e., φ = θ/( θ, usando las 3 dstrbucones fnales del ncso (d. Las utldades mensuales de una compañía tenen una dstrbucón N(µ,σ. Suponga que una muestra de 0 meses de esta compañía do como resultado las sguentes utldades: (, 07, 0, 96, 3, 93, 96, 0, 0,. a La ncertdumbre sobre la utldad promedo anual µ se puede representar por una dstrbucón N(00,40, y la ncertdumbre de la desvacón estándar de las utldades mensuales se puede representar medante una dstrbucón Ga(0,. Medante la dstrbucón posteror estma µ y σ. b Utlzando una dstrbucón ncal no nformatva, estma medante la correspondente dstrbucón ncal µ y σ..3 Meddas de comparacón y ajuste de modelos Exsten dversas meddas de bondad de ajuste y comparacón de modelos. Alguna de ellas se basan en crteros predctvos, como las ordenadas predctvas condconales (CPO, el logartmo de la pseudo verosmltud margnal (LPML y la medda L. Otros ndcadores se basan en comportamento posteror de meddas de dvergenca, como el crtero de nformacón devanza (DIC. 55

14 ORDENADAS PREDICTIVAS CONDICIONALES (CPO: La ordenada predctva condconal es una estadístca muy útl en la seleccón de modelos. Esta estadístca fue propuesta orgnalmente por Gesser (993 y Gelfand, Dey and Chang (99. Para la ésma observacón, la estadístca CPO se defne como ( ( ( y D = f( y θ,x f( θd dθ CPO = f, donde y es la varable respuesta, x es el vector de covarables del ndvduo y D ( denota los datos exceptuando el ésmo caso. CPO es la densdad predctva posteror margnal de y dado D ( y se puede nterpretar como la altura de esta densdad en la observacón y. Por lo tanto valores grandes de CPO mplcan mejor ajuste del modelo. Estmacón Monte Carlo: La estadístca CPO puede ser aproxmada de manera smple medante técncas Monte Carlo. Notemos prmero que CPO =. f Por lo tanto una aproxmacón Monte Carlo es de la forma donde ( D f θ f ( ( D θ dθ y θ,x R CPˆO = R r= f( y r,x, θ θ, K θr es una muestra (MCMC de la dstrbucón posteror. Gráfcas de CPO vs., o dagramas de caja son adecuados para comparar modelos. 56

15 LOGARITMO DE LA PSEUDO VEROSIMILITUD MARGINAL (LPML. Una forma de resumr las ordenadas predctvas condconales es medante una estadístca resumen llamada logartmo de la pseudo verosmltud margnal defnda como: = n = ( LPML log CPO. Valores grandes de LPML ndcan mejor ajuste. MEDIDA L : La medda L es un método basado en un crtero de seleccón de modelos. Gelfand y Ghosh (998 propuseron la sguente medda n n F F ( y = Var( Y y + ν { E( Y y y} L, = = donde F Y es el valor predcho de y y ν (0, es un ponderador que determna un compromso entre varanza y sesgo. Ibrahm, Chen y Snha (998 sugeren ν=/ para selecconar el mejor modelo. Valores pequeños de la medda L ndcan mejor ajuste. CRITERIO DE INFORMACIÓN DEVIANZA (DIC. Spegelhalter et al. (00 propuso una generalzacón del crtero de Aae de comparacón de modelos AIC. La generalzacón está basada en la dstrbucón posteror de la devanza, donde ( y θ ( = log f( y θ log h( y D θ +, f es la funcón de verosmltud y ( y h es una funcón de estandarzacón de los datos. Los autores sugeren resumr el ajuste del 57

16 modelo por el valor esperado posteror de la devanza, D E ( D = y la complejdad del modelo por el número de efectvo de parámetros p D. En al caso de modelos Gaussanos, se puede demostrar que una defncón razonable para el número efectvo de parámetros es p ( = D D( θ ( D D E ( θ D = Eθ y θ y. Fnalmente, el crtero de nformacón devanza se defne como ( θ DIC = D + pd = D D. θ y El crtero DIC puede ser estmado de manera smple medante una muestra MCMC. Valores pequeños de DIC ndcan mejor ajuste. 58