2. Cómputo Bayesiano

Transcripción

1 Cómputo Bayesano Recordemos que, la dstrbucón nal de, contene toda la normacón relevante sobre la ncertdumbre asocada a los parámetros de un modelo La toma de decsones (nerenca) consste en resumr u obtener una característca numérca de la dstrbucón nal, como momentos o dstrbucones margnales Sn embargo, en algunos casos, la orma de es tan complcada que no es posble ntegrarla de manera analítca, por lo que es necesaro recurrr a apromacones ya sean analítcas o numércas Apromacones analítcas e ntegracón numérca APROXIMACIOES AALÍTICAS: Las apromacones analítcas que veremos están basadas en argumentos asntótcos Las más usadas son: apromacón normal asntótca y método de Laplace ) Apromacón normal asntótca: Por smplcdad, supondremos que es un parámetro de dmensón, el caso general es análogo o Teorema: Apromacón normal asntótca Bajo certas condcones de regulardad y para valores de n sucentemente grandes, la dstrbucón nal de es apromadamente normal con meda y varanza V, es decr, Maestría en cenca de datos 5 Regresón Avanzada

2 donde, es la moda de y DEM,V log V Sea el ernel o núcleo de la dstrbucón nal de Desarrollando log () en sere de Taylor alrededor de tenemos log log log log como es tambén la moda de () y usando la epresón para log log V ep V Recordemos que Fnalmente, d ep V, entonces d V, d / / V / / V ep V o EJEMPLO : Sea X,X,,X n una ma de Ber() Sea Beta(a,b) la dstrbucón ncal de Sabemos que Betaa, b, donde Maestría en cenca de datos 6 Regresón Avanzada

3 n a a X y b n b X n Para obtener la apromacón normal asntótca de tenemos, a b c I ( ) (0,) logc a log b log logi ( ) log (0,) a b log gualando a cero y despejando tenemos que a a b V log a a b a b 3 Por lo tanto,,v b V a b ) Apromacón de Laplace: Supongamos que es de dmensón La apromacón de Laplace permte apromar ntegrales de la orma I q ep nh donde q() y h() son dos uncones suaves de d o Teorema: Apromacón de Laplace Sea I una ntegral de la orma antes menconada Suponga que la uncón h() tene un mínmo en Para valores sucentemente grandes de n, la ntegral I puede ser apromada por Maestría en cenca de datos 7 Regresón Avanzada

4 Î q / n / / ep nh, donde, DEM h La apromacón de Laplace se basa en la epansón en sere de Taylor tanto de h() como de q() alrededor de Desarrollando h() alrededor de tenemos, h h h h, desprecando los térmnos de orden mayor a y usando tenemos n ep nh ep nh ep De manera smlar, al desarrollar q() alrededor de tenemos, q q q Entonces, el ntegrando de I puede escrbrse como qep Fnalmente, notemos que nh q q n / / ep d / n, n ep d 0 / de manera que I q ep nh / n n ep nh ep / Maestría en cenca de datos 8 Regresón Avanzada

5 o otemos que en general, una ntegral dada puede escrbrse como q d ep nh para dstntas uncones q() y h() Para un valor jo de n, la apromacón de Laplace depende tanto de la eleccón partcular de estas uncones como de la parametrzacón que se utlce d o EJEMPLO 3: Supongamos que se desea calcular Como g g E d entonces, E g d g d Sean q g y ep nh log h n Apromando el numerador y el denomnador por separado tenemos g d g / n / / d / n / /, donde es el mínmo de h() Por lo tanto, g g Ê, y Maestría en cenca de datos 9 Regresón Avanzada

6 ITEGRACIÓ UMÉRICA: Los métodos de ntegracón numérca, tambén conocdos como métodos de cuadratura, permten calcular ecentemente algunas característcas de la dstrbucón nal de cuando la dmensón de éste es pequeña Supongamos que es de dmensón o Dencón: Regla de ntegracón Sea () una uncón suave y supongamos que se desea calcular la ntegral b I d a Una regla de ntegracón numérca está denda por un conjunto de nodos, y un conjunto asocado de pesos o ponderacones, u I u tales que Sean a b los valores de + puntos dstrbudos en el 0 ntervalo [a,b] En partcular, s los puntos son equdstantes, entonces donde h b a/ En otras palabras, 0 h, (,,) b a a, (,,) ) Regla del punto medo Está dada por de manera que Î PM m m y u En partcular, s los puntos son equdstantes, Maestría en cenca de datos 30 Regresón Avanzada

7 3 Maestría en cenca de datos Regresón Avanzada PM a b a a b Î ) Regla trapezodal Está dada por T Î, por lo que en este caso y, /,, / 0, / u 0 S los nodos son equdstantes, T a b a b a a b Î

8 Métodos de Monte Carlo y smulacón vía cadenas de Marov MÉTODOS DE MOTE CARLO: Los métodos de Monte Carlo permten realzar apromacones de ntegrales medante smulacón La dea básca consste en epresar la ntegral requerda como el valor esperado de una uncón con respecto a alguna dstrbucón de probabldad Esten varas ormas de hacerlo, una de ellas es la sguente Muestreo por mportanca Supongamos que () es una uncón real y se requere evaluar la ntegral I d Claramente I tambén puede escrbrse como I sd Es, s s donde s() es una uncón de densdad de probabldad sobre La dstrbucón s() se conoce como la dstrbucón de muestreo por mportanca y generalmente se elge de manera que sea ácl de smular S generamos una muestra,,, de s() entonces podemos apromar la ntegral I a través del correspondente momento muestral (estmador nsesgado) Î MI s La precsón de Î MI depende tanto del tamaño de muestra, como de s() Para producr una estmacón con varanza pequeña se sugere que s(): Maestría en cenca de datos 3 Regresón Avanzada

9 a) sea ácl de smular, b) tenga una orma smlar a la de (), c) tenga la colas más pesadas que las de () MÉTODOS DE MOTE CARLO VIA CADEAS DE MARKOV (MCMC): Las técncas de Monte Carlo vía cadenas de Marov permten generar, de manera teratva, observacones de dstrbucones multvaradas que díclmente podrían smularse usando métodos drectos La dea básca consste en construr una cadena de Marov que sea ácl de smular y cuya dstrbucón de equlbro corresponda a la dstrbucón nal que nos nteresa o Teorema (Ergódco) Sea (), (),, una cadena de Marov homogénea, rreducble y aperódca, con espaco de estados y dstrbucón de equlbro Entonces, conorme t, (t) d a), donde ; t () b) g E g t (Convergenca de promedos ergódcos) Algortmo de Metropols-Hastngs Este algortmo construye una cadena de Marov apropada denendo las probabldades de transcón de la sguente manera: Sea Q una dstrbucón aular (arbtrara) y denamos Maestría en cenca de datos 33 Regresón Avanzada

10 Q, mn, Q o Algortmo Dado un valor ncal (0), la (t+)-ésma teracón consste en: (t) ) Generar una observacón de Q ) Generar una varable uu(0,); 3) Tomar ; (t) (t ), s u, (t) (t ), s u, o Comentaros: a) Este procedmento genera una cadena de Marov con dstrbucón (t) (t) (t) (t) (t) (t) de transcón P Q b) La probabldad de aceptacón, a través de un cocente, por lo que puede ser reemplazada por, sólo depende de o Casos partculares de la dstrbucón aular ) Camnata aleatora: Q Q Q :, donde Q es una densdad de probabldad smétrca centrada en el orgen Sugerenca: Q, V ) Independenca: Q Q0 probabldad sobre Sugerenca: Q, V, donde Q 0 es una densdad de 0 Maestría en cenca de datos 34 Regresón Avanzada

11 donde y asntótca para V son la meda y la varanza de la dstrbucón normal, y es un actor de sobredspersón Muestreo de Gbbs Este algortmo construye una cadena de Marov apropada denendo las probabldades de transcón a través de un proceso teratvo Sea un vector de dmensón d, y sea (,, ) una partcón del vector, donde d y,,,,,,, d,, d Las densdades,,,,,,- se conocen como densdades condconales completas y por lo general son ácl de obtenerse porque,,,,,, uncón de vsta como (0) (0) (0) o Algortmo Dado un valor ncal,,, (t+) se obtene de (t) de la sguente manera: ) Generar una observacón ) Generar una observacón 3) Generar una observacón (t) (t) (t) (t) de, 3,,; (t) (t) (t) (t) de,,, (t) ; 3 (t) (t) (t) de,,, Maestría en cenca de datos 35 Regresón Avanzada

12 o Comentaros: a) La sucesón (), (), así obtenda es una realzacón de la cadena de Marov cuya dstrbucón de transcón está dada por P (t) (t) (t) (t) (t) (t) (t),,,,,, b) En ocasones la dstrbucón nal mplca certa estructura de ndependenca condconal entre algunos elementos del vector, por lo que muchas veces las densdades condconales se smplcan Muestras Supongamos que se desea generar una muestra de tamaño de la dstrbucón Se tenen dos opcones: ) Correr cadenas ndependentes: generar valores ncales (0) (0), y correr una cadena de Marov con alguno de los dos algortmos (Metrópols-Hastngs o Gbbs) y después de un certo número de teracones T sucentemente grande, los valores (T), pueden consderarse como una muestra de tamaño de la dstrbucón nal de ) Correr una sola cadena: generar una sola cadena y tomar los valores (TK) (TK) (TK),,, como una muestra de (T), donde K se elge de manera que la correlacón entre las observacones sea pequeña OTA: S K es pequeño, o ncluso, (TK) (TK),,, (TK) ormarían un conjunto de observacones dependentes y de acuerdo con el Teorema ergódco, serían sucentes para estmar cualquer valor esperado Maestría en cenca de datos 36 Regresón Avanzada

13 Convergenca En general no es ácl determnar en qué momento las cadenas han convergdo Un método empírco comúnmente utlzado, basado en el Teorema ergódco, consste en gracar los promedos ergódcos de algunas uncones de contra el número de teracones y elegr el valor T a partr del cual las grácas se establzan En este caso es convenente omtr los prmeros valores de las cadenas La dea de este período de calentamento es permtr que las cadenas salgan de una prmera ase de nestabldad 3 Meddas de comparacón y ajuste de modelos Esten dversas meddas de bondad de ajuste y comparacón de modelos Alguna de ellas se basan en crteros predctvos, como las ordenadas predctvas condconales (CPO), el logartmo de la pseudo-verosmltud margnal (LPML) y la medda-l Otros ndcadores se basan en comportamento posteror de meddas de dvergenca, como el crtero de normacón devanza (DIC) ORDEADAS PREDICTIVAS CODICIOALES (CPO): La ordenada predctva condconal es una estadístca muy útl en la seleccón de modelos Esta estadístca ue propuesta orgnalmente por Gesser (993) y Geland, Dey and Chang (99) Para la -ésma observacón, la estadístca CPO se dene como ( ) ( ) y D y, D d CPO, Maestría en cenca de datos 37 Regresón Avanzada

14 donde y es la varable respuesta, es el vector de covarables del ndvduo y D (-) denota los datos eceptuando el -ésmo caso CPO es la densdad predctva posteror margnal de y dado D (-) y se puede nterpretar como la altura de esta densdad en la observacón y Por lo tanto valores grandes de CPO mplcan mejor ajuste del modelo Estmacón Monte Carlo: La estadístca CPO puede ser apromada de manera smple medante técncas Monte Carlo otemos prmero que CPO D d y, Por lo tanto una apromacón Monte Carlo es de la orma donde CPO R R r y r,,, R es una muestra (MCMC) de la dstrbucón posteror D Grácas de CPO vs, o dagramas de caja son adecuados para comparar modelos LOGARITMO DE LA PSEUDO-VEROSIMILITUD MARGIAL (LPML) Una orma de resumr las ordenadas predctvas condconales es medante una estadístca resumen llamada logartmo de la pseudo-verosmltud margnal denda como: LPML log CPO n Valores grandes de LPML ndcan mejor ajuste Maestría en cenca de datos 38 Regresón Avanzada

15 MEDIDA L : La medda L es un método basado en un crtero de seleccón de modelos Geland y Ghosh (998) propuseron la sguente medda donde n n F F y VarY y E Y y y L, F Y es el valor predcho de y y (0,) es un ponderador que determna un compromso entre varanza y sesgo Ibrahm, Chen y Snha (998) sugeren / para selecconar el mejor modelo Valores pequeños de la medda L ndcan mejor ajuste CRITERIO DE IFORMACIÓ DEVIAZA (DIC) Spegelhalter et al (00) propuso una generalzacón del crtero de Aae de comparacón de modelos AIC La generalzacón está basada en la dstrbucón posteror de la devanza, donde y log y log hy D, es la uncón de verosmltud y y h es una uncón de estandarzacón de los datos Los autores sugeren resumr el ajuste del modelo por el valor esperado posteror de la devanza, D E D y la complejdad del modelo por el número de eectvo de parámetros p D y En el caso de modelos Gaussanos, se puede demostrar que una dencón razonable para el número eectvo de parámetros es D D D D E pd E y y Maestría en cenca de datos 39 Regresón Avanzada

16 Fnalmente, el crtero de normacón devanza se dene como DIC D pd D D El crtero DIC puede ser estmado de manera smple medante una muestra MCMC Valores pequeños de DIC ndcan mejor ajuste Maestría en cenca de datos 40 Regresón Avanzada