ESTADÍSTICA BAYESIANA Notas Ídce. INTRODUCCIÓN.... ESTADÍSTICA BAYESIANA... 3. QUÉ ES LA INFERENCIA BAYESIANA?...3 4. CONCEPTOS BAYESIANOS BÁSICOS...5 4.. Teorema de Bayes... 5 4.. Naturaleza secuecal del teorema de Bayes... 7 4.3. Dstrbucó a pror dfusa o o formatva... 7 4.4. Dstrbucó a pror cojugada... 5. INFERENCIA BAYESIANA... 5.. Estmacó putual... 5.. Itervalos de credbldad o regoes veraces... 6 5.3. Prueba de hpótess para ua muestra... 7 5.4. Prueba de hpótess para dos muestras... 8 6. CONCLUSIONES... 7. BIBLIOGRAFÍA.... Itroduccó Como aucaba Ldley e el prmer Cogreso Iteracoal de Estadístca Bayesaa, falta meos para el año e el que el adjetvo bayesao para la estadístca sería superfluo al ser bayesaas todas las apromacoes a la estadístca. El objetvo de la estadístca, y e partcular de la estadístca Bayesaa, es proporcoar ua metodología para aalzar adecuadamete la formacó co la que se cueta (aálss de datos y decdr de maera razoable sobre la mejor forma de actuar (teoría de decsó. Toma de decsoes Poblacó Ifereca Muestreo Muestra Aálss de datos Fgura. Dagrama de la Estadístca Tpos de fereca: clásca y bayesaa La toma de decsoes es u aspecto prmordal e la vda de u profesoal, por ejemplo, u médco debe de tomar decsoes. La metodología estadístca clásca se puede ver como u cojuto de recetas que resulta apropadas e determados casos y bajo certas codcoes.
S embargo, este ua metodología ufcada y geeral que se derva de aalzar el proceso lógco que debe de segurse para tomar ua decsó (teoría de la decsó, y que cluye como caso partcular al cojuto de recetas cláscas. La estadístca esta basada e la teoría de probabldades. Formalmete la probabldad es ua fucó que cumple co certas codcoes, pero e geeral puede etederse como ua medda o cuatfcacó de la certdumbre. Auque la defcó de fucó de probabldad es ua, este varas terpretacoes de la probabldad: (a clásca: Supoe que el epermeto aleatoro produce resultados gualmete verosímles (posbles y propoe como medda de probabldad el cocete etre los casos favorables y los casos totales, Pr ( A (b frecuetsta: Supoe que u epermeto aleatoro puede ser repetdo u úmero fto de veces bajo codcoes smlares y propoe como medda de probabldad la proporcó de veces que ocurró el eveto de terés, Pr ( A lm A (c subjetva: Es smplemete ua medda de la certdumbre, asocada a u eveto, asgada por u decsor. E otras palabras, es u juco persoal sobre la verosmltud de que ocurra u resultado. A Pr ( A La metodología bayesaa está basada e la terpretacó subjetva de la probabldad y tee como puto cetral el Teorema de Bayes. Fgura. Retrato del Reveredo Thomas Bayes (7-76. Estadístca bayesaa El terés por el teorema de Bayes trascede la aplcacó clásca, especalmete cuado se amplía a otro coteto e el que la probabldad o se etede eclusvamete como la frecueca relatva de u suceso a largo plazo, so como el grado de covccó persoal acerca de que el suceso ocurra o pueda ocurrr (defcó subjetva de la probabldad. Afrmacoes del tpo "es muy probable que el partdo X gae las prómas eleccoes", "es mprobable que Jua haya sdo que llamó por teléfoo" o "es probable que se ecuetre u tratameto efcaz para el sda e los prómos cco años", ormales e el leguaje comú, o puede cuatfcarse formalmete; resulta ajeas, por tato, a ua metodología que se desevuelva e u marco frecuetsta. Ua cuatfcacó sobre base subjetva resulta, s embargo, famlar y fecuda para el efoque bayesao. Al admtr u maejo subjetvo de la probabldad, el aalsta bayesao podrá emtr jucos de probabldad sobre ua hpótess H y epresar por esa vía su grado de covccó al respecto, tato ates como después de haber observado los datos. E su versó más elemetal y e este coteto, el teorema de Bayes asume la forma sguete: Pr ( datos H Pr ( H datos Pr ( H Pr datos (
La probabldad a pror de ua hpótess, Pr( H, se ve trasformada e ua probabldad a posteror, Pr ( H datos, ua vez corporada la evdeca que aporta los datos. El caso cosderado se crcuscrbe a la stuacó más smple, aquella e que Pr( H represeta u úmero úco; s embargo, s se cosguera epresar la covccó cal (y la certdumbre medate ua dstrbucó de probabldades. Etoces ua vez observados los datos, el teorema "devuelve" ua ueva dstrbucó, que o es otra cosa que la percepcó probablístca orgal actualzada por los datos. Esta maera de razoar de la fereca bayesaa, radcalmete dferete a la fereca clásca o frecuetsta (que desdeña e lo formal toda formacó preva de la realdad que eama, es s embargo muy cercaa al modo de proceder cotdao, e ductvo. Debe subrayarse que esta metodología, a dfereca del efoque frecuetsta, o tee como faldad producr ua coclusó dcotómca (sgfcacó o o sgfcacó, rechazo o aceptacó, etc. so que cualquer formacó empírca, combada co el coocmeto que ya se tega del problema que se estuda, "actualza" dcho coocmeto, y la trascedeca de dcha vsó actualzada o depede de ua regla mecáca. Los métodos bayesaos ha sdo cuestoados argumetado que, al corporar las creecas o epectatvas persoales del vestgador, puede ser caldo de cultvo para cualquer arbtraredad o mapulacó. Se podría argür, por ua parte, que el efoque frecuetsta o está eeto de decsoes subjetvas (vel de sgfcacó, usar ua o dos colas, mportaca que se cocede a las dferecas, etc.; de hecho, la subjetvdad (algo be dferete de la arbtraredad o el caprcho es u feómeo evtable, especalmete e u marco de certdumbre como e el que opera las cecas bológcas y socales. Por otra parte, las "mapulacoes" so actos de deshoestdad, que puede producrse e cualquer caso (cluyedo la posbldad de que se vete datos y que o depede de la metodología empleada so de la horadez de los vestgadores. Auque las bases de la estadístca bayesaa data de hace más de dos sglos, o es hasta fechas recetes cuado empeza a asstrse a u uso crecete de este efoque e el ámbto de la vestgacó. Ua de las razoes que eplca esta realdad y que a la vez auca u mpetuoso desarrollo futuro es la absoluta ecesdad de cálculo computarzado para la resolucó de alguos problemas de medaa complejdad. Hoy ya este software dspoble (BUGS, macros para MINITAB, próma versó de EPIDAT y Frst Bayes, etre otros que hace posble operar co estas téccas y augura el "advemeto de ua era Bayesaa". El proceso telectual asocado a la fereca bayesaa es mucho más coherete co el pesameto usual del cetífco que el que ofrece el paradgma frecuetsta. Los procedmetos bayesaos costtuye ua tecología emergete de procesameto y aálss de formacó para la que cabe esperar ua preseca cada vez más tesa e el campo de la aplcacó de la estadístca a la vestgacó clíca y epdemológca. 3. Qué es la fereca bayesaa? El marco teórco e que se aplca la fereca bayesaa es smlar a la clásca: hay u parámetro poblacoal respecto al cual se desea realzar ferecas y se tee u modelo que determa la probabldad de observar dferetes valores de X, bajo dferetes valores de los parámetros. S embargo, la dfereca fudametal es que la fereca bayesaa cosdera al parámetro como ua varable aleatora. Esto parecería que o tee demasada mportaca, pero realmete s lo tee pues coduce a ua apromacó dferete para realzar el modelameto del problema y la fereca propamete dcha. Alguos ejemplos que justfca lo ateror so: la verdadera proporcó de artículos defectuosos que produce u proceso de maufactura puede fluctuar lgeramete pues depede de umerosos factores, la verdadera proporcó de casas que se perde por cocepto de hpoteca vara depededo de las codcoes ecoómcas, la demada promedo semaal de automóvles també fluctuará como ua fucó de varos factores cluyedo la temporada. E eseca, la fereca bayesaa esta basada e la dstrbucó de probabldad del parámetro dado los ( datos (dstrbucó a posteror de probabldad Pr θ y, e lugar de la dstrbucó de los datos dado el parámetro. Esta dfereca coduce a ferecas mucho más aturales, lo úco que se requere para el proceso de fereca bayesaa es la especfcacó preva de ua dstrbucó a pror de probabldad 3
Pr ( θ, la cual represeta el coocmeto acerca del parámetro ates de obteer cualquer formacó respecto a los datos. La ocó de la dstrbucó a pror para el parámetro es el corazó del pesameto bayesao. El aálss bayesao hace uso eplícto de las probabldades para catdades certas (parámetros e ferecas basadas e aálss estadístcos de datos. El aálss bayesao lo podemos dvdr e las sguetes etapas:. Eleccó de u modelo de probabldad completo. Eleccó de ua dstrbucó de probabldad cojuta para todas las catdades observables y o observables. El modelo debe ser cosstete co el coocmeto acerca del problema fudametal y el proceso de recoleccó de la formacó;. Codcoameto de los datos observados. Calcular e terpretar la dstrbucó a posteror apropada que se defe como la dstrbucó de probabldad codcoal de las catdades o observadas de terés, dados los datos observados; 3. Evaluacó del ajuste del modelo y las mplcacas de la dstrbucó a posteror resultate. Es el modelo apropado a los datos?, so las coclusoes razoables?, qué ta sesbles so los resultados a las suposcoes de modelameto de la prmera etapa?. S fuese ecesaro, alterar o amplar el modelo, y repetr las tres etapas mecoadas. La fereca bayesaa se basa e el uso de ua dstrbucó de probabldad para descrbr todas las catdades descoocdas relevates a u problema de estmacó, la cocrecó técca de este resultado cosste e lo sguete: S se dspoe de ua coleccó de varables aleatoras tercambables {,,, } es decr que su dstrbucó sólo depede del valor de esas varables y o del orde e que ha sdo observadas, etoces la dstrbucó de probabldad dode Θ es la dstrbucó cal θ ( f θ es el modelo de probabldad; (,,, ( ( f f θ π θ dθ Θ es el límte de algua fucó de las observacoes; y π ( θ es ua dstrbucó de probabldad sobre la dstrbucó cal Θ. El cocepto de tercambabldad es más débl que el de muestra aleatora smple. Por ejemplo, s las varables tercambables toma el valor ó, el teorema de represetacó toma la forma dode: θ lm (,,, ( ( f θ θ π θ dθ Θ Es mportate otar que lo que quere decr el ateror resultado es que sempre que se tega ua coleccó de varables tercambables, y e ua muestra aleatora seclla lo so, este ua dstrbucó cal sobre el parámetro θ. Además, el valor del parámetro puede obteerse como límte de las frecuecas relatvas. La apromacó bayesaa mplca etoces, que la formacó muestral y la dstrbucó cal se actualza medate el teorema de Bayes para dar lugar a la dstrbucó fal. π ( θ f (,,, θ π ( θ,,, π θ f,,, θ dθ Θ ( ( Ahora todas las ferecas, la estmacó por puto, la estmacó por regoes veraces y los cotrastes de hpótess, se realza medate la dstrbucó fal. 4
4. Coceptos bayesaos báscos 4.. Teorema de Bayes Sea { y y y } depede de k parámetros volucrados e el vector { θ θ θ } Y,,, ' u vector de observacoes cuya dstrbucó de probabldad Pr ( y θ θ,,, '. Supógase també que q tee ua dstrbucó de probabldades Pr ( θ. Etoces, la dstrbucó de cojuta de θ e Y es: ( y θ ( y θ ( θ ( θ y ( y Pr Pr Pr Pr Pr de dode la dstrbucó de probabldad codcoal de θ dado el vector de observacoes Y resulta: Pr ( y θ Pr ( θ Pr ( θ y Pr y co Pr ( y A esta ecuacó se lo cooce como el teorema de Bayes, dode Pr ( y es la dstrbucó de probabldad margal de Y y puede ser epresada como: Pr ( y θ Pr ( θ dθ s θ es cotuo Pr ( y Pr y θ Pr θ s θ es dscreto ( ( dode la suma o tegral es tomada sobre el espaco paramétrco de θ. De este modo, el teorema de Bayes puede ser escrto como: Pr θ y cpr y θ Pr θ Pr y θ Pr θ [] dode: ( Pr θ Pr ( θ y ( ( ( ( ( ( represeta lo que es coocdo de θ ates de recolectar los datos y es llamada la dstrbucó a pror de θ ; represeta lo que se cooce de θ después de recolectar los datos y es llamada la dstrbucó posteror de θ dado Y ; c es ua costate ormalzadora ecesara para que Pr ( y θ sume o tegre uo. Dado que el vector de datos Y es coocdo a través de la muestra, Pr ( Y θ es ua fucó de θ y o de Y. E este caso a Pr ( Y θ se le deoma fucó de verosmltud de θ dado Y y se le deota por l ( θ Y. Etoces la formula de Bayes puede ser epresada como: Pr ( θ y l ( θ y Pr ( θ Ejemplo. Sea el parámetro θ que a pror tee ua dstrbucó uforme e el tervalo [,] y la varable aleatora Y que tee ua dstrbucó de probabldades bomal co parámetros m y θ, m coocdo por coveeca. Etoces se tee las sguetes fucoes de dstrbucó: Pr ( θ θ m y m y Pr ( y θ θ ( θ y,,, m y Ahora, para ua muestra aleatora de tamaño la fucó de verosmltud estará dada por: m y m y l( θ y θ ( θ y,,, m y 5
y aplcar el teorema de Bayes dado e [], la dstrbucó a posteror de θ dada la muestra y queda epresada como: ( m! y Pr ( m y θ y c θ ( θ y! m y! ( Esta epresó puede escrbrse de la sguete maera: ( m! ( Pr ( y c y! m y! θ θ θ ( ( ( y + m y + que tee la forma de ua dstrbucó beta co parámetros y + y m y +. Luego el valor adecuado de la costate ormalzadora c será: c ( m y ( m y Γ + Γ y m y + Γ +!! (! Nótese que es a través de l ( θ Y que los datos (formacó muestral modfca el coocmeto prevo de q dado por Pr ( θ. Este proceso de revsó de las probabldades cales, dada la formacó muestral, se lustra e la fgura 3. m Iformacó cal Iformacó ueva Dstrbucó a pror Pr(θ Fucó de verosmltud l(θ y Teorema de Bayes Dstrbucó a posteror Fgura 3. Por ultmo, es coveete señalar que la formacó muestral Y por lo geeral será troducda e el modelo a través de estadístcas sufcetes para θ, dado que estas cotee toda la formacó referete Pr y θ podrá a los datos. Así, dado u cojuto de estadístcas sufcetes t para los parámetros e θ, ( ser tercambada por Pr ( t θ, para lo cual bastara co calcular la dstrbucó codcoal de t dadoθ. 6
Valoracó a pror acerca de s la hpótess es verdadera ates de ver los datos Factor de Bayes Compoete subjetvo Compoete de los datos (evdeca Valoracó a posteror de que hpótess ula sea verdadera Probabldad de la veracdad Fgura 4. Teorema de Bayes 4.. Naturaleza secuecal del teorema de Bayes Supógase que se tee ua muestra cal y. Etoces, por la fórmula de Bayes dada aterormete se tee: Pr θ y l θ y Pr θ ( ( ( Ahora supógase que se tee ua seguda muestra y depedete de la prmera muestra, etoces: ( θ y y l( θ y y ( θ l( θ y l( θ y ( θ ( θ y y l( θ y ( θ y Pr,, Pr Pr Pr, Pr De esta maera, la dstrbucó a posteror obteda co la prmera muestra se coverte e la ueva dstrbucó a pror para ser corregda por la seguda muestra. E este proceso puede repetrse defdamete. Así, s se tee r muestras depedetes, la dstrbucó a posteror puede ser recalculada secuecalmete para cada muestra de la sguete maera: ( θ m ( θ m ( θ m Nótese que ( y, y,, ym Pr y, y,, y l y Pr y, y,, y para m,3,, r θ podría també ser obtedo partedo de ( Pr θ y cosderado al total de las r muestras como ua sola gra muestra. La aturaleza secuecal del teorema de Bayes, es tratada por Berardo como u proceso de apredzaje e térmos de probabldades, el cual permte corporar al aálss de u problema de decsó, la formacó proporcoada por los datos epermetales relacoados co los sucesos (parámetros certos relevates. 4.3. Dstrbucó a pror dfusa o o formatva La dstrbucó a pror cumple u papel mportate e el aálss bayesao ya que mde el grado de coocmeto cal que se tee de los parámetros e estudo. S be su flueca dsmuye a medda que más formacó muestral es dspoble, el uso de ua u otra dstrbucó a pror determara certas dferecas e la dstrbucó a posteror. S se tee u coocmeto prevo sobre los parámetros, este se traducrá e ua dstrbucó a pror. Así, será posble platear tatas dstrbucoes a pror como estados cales de coocmeto esta y los dferetes resultados obtedos e la dstrbucó a posteror bajo cada uo de los efoques, adqurrá ua mportaca e relacó co la covccó que tega el vestgador sobre cada estado cal. S embargo, cuado ada es coocdo sobre los parámetros, la seleccó de ua dstrbucó a pror adecuada adquere ua cootacó especal pues será ecesaro elegr ua dstrbucó a pror que o fluya sobre guo de los posbles valores de los parámetros e cuestó. Estas dstrbucoes a pror recbe el ombre de dfusas o o formatvas y e esta seccó se tratara alguos crteros para su seleccó. 7
Método de Jeffreys E stuacoes geerales, para u parámetro θ el método mas usado es el de Jeffreys (96 que sugere que, s u vestgador es gorate co respecto a u parámetro θ, etoces su opó a cerca de θ dado las evdecas X debe ser la msma que el de ua parametrzacó para θ o cualquer trasformacó uo a uo de θ, g ( θ, ua pror varate sería: dode I ( θ S ( θ θ θ ( I ( θ Pr θ es la matrz de formacó de Fsher: I ( θ θ,,, ' es u vector, etoces: Pr ( θ Lf y E θ θ ( θ det ( θ I [] dode I ( θ es la matrz de formacó de Fsher de orde p p El elemeto ( j de esta matrz es: I j ( y θ Lf E θ θ j Por trasformacó de varables, la desdad a pror Pr ( θ es equvalete a la sguete desdad a pror para φ : Pr dθ ( [3] dφ ( φ Pr θ h ( φ El prcpo geeral de Jeffreys cosste e que al aplcar el método para determar la desdad a pror Pr ( θ, debe obteerse u resultado equvalete e Pr ( φ s se aplca la trasformacó del parámetro para calcular Pr ( φ a partr de Pr ( θ e la ecuacó [3] o s se obtee Pr ( φ drectamete a partr del método cal. Es decr, debe cumplrse la sguete gualdad: I θ dφ ( φ I( θ d Ejemplo. Sea la varable Y co ua dstrbucó (, B θ 8
o y y f ( y θ Pr ( y θ θ ( θ y log f y log ylog ylog y dlog f ( y θ y y + d θ θ θ ( θ + θ + ( ( θ ( θ d log f y y y + d θ θ θ ( θ ( θ θ θ ( ( y ( θ y y θ E E + + θ ( θ θ y y E + θ θ Prescdedo de se obtee que la dstrbucó a pror de θ es: esto es, Beta(,5,,5 θ. ( Pr θ θ θ Ejemplo. Se aplcara el método de Jeffreys para calcular ua dstrbucó cojuta a pror para los parámetros de u modelo ormal.,, ambos parámetros descoocdos. Etoces: Sea y N ( µ σ ( y µ f ( y µσ ep πµ σ ( y µ l f ( y µσ l lσ πµ σ y la matrz de formacó de Fsher estará dada por: l f y, l f y, µ µ σ I ( θ E l f y, l f y, σ µ σ ( y µ 3 σ σ I ( θ E ( y µ 3( y µ 3 4 σ σ σ ( µ σ ( µ σ ( µσ ( µσ 9
I ( θ E σ σ Ahora, segú la ecuacó [], la dstrbucó a pror o formatva para θ ( µσ, σ σ ( µσ 4 Pr, será: Nótese que aplcado las reglas aterores, dado que µ es u parámetro de poscó y σ u parámetro de escala, las dstrbucoes a pror para µ y σ sera Pr ( µ y Pr( σ σ depedeca etre ambos parámetros se tedría ( ( (, por lo que s se supoe Pr µ, σ Pr µ Pr σ σ e vez de σ. Jeffreys resolvó este problema establecedo que µ y σ debería ser tratados a pror depedetemete y por separado. Así, cuado el método de Jeffreys es aplcado al modelo ormal co σ fjo, resulta ua a pror uforme para µ y cuado es aplcado co µ fjo, se obtee la a pror ( σ lo cual coduce a: Pr ( µ, σ σ Pr σ 4.4. Dstrbucó a pror cojugada, que es lo más deseable. E este caso, la dstrbucó a pror es determada completamete por ua fucó de desdad coocda. Berger preseta la sguete defcó para ua famla cojugada: ua clase P de dstrbucoes a pror es deomada ua famla cojugada para la clase de fucoes de desdad F, s Pr ( θ y está e la clase f y F Pr θ P. P para todo ( θ y ( E este caso, la dstrbucó cal domará a la fucó de verosmltud y Pr ( y que Pr ( θ, co los parámetros corregdos por la formacó muestral. θ tedrá la msma forma Ejemplo. Sea el parámetro θ que a pror tee ua dstrbucó beta co parámetros α y β la varable aleatora Y que tee ua dstrbucó de probabldad bomal co parámetros m y θ, m coocdo por coveeca. Etoces se tee las sguetes fucoes de dstrbucó: ( ( α β ( α Γ( β Γ + θ θ θ, θ Γ α Pr β ( I ( m y m y Pr ( y θ θ ( θ y,,, m y Ahora para ua muestra aleatora de tamaño la fucó de verosmltud estará dada por: m y m y l( y θ θ ( θ y,,, m y y al aplcar el teorema de Bayes, la dstrbucó posteror de θ dada la muestra y queda epresada de la sguete maera: α + y Pr β m y θ y θ + θ ( ( que tee la forma de ua dstrbucó beta co parámetros ( α + y y m y β +. Luego, la dstrbucó tee la msma forma que la dstrbucó a pror por lo que la clase de dstrbucoes a pror beta es ua famla cojugada para la clase de fucoes de desdad bomal.
Otro caso mportate es el de la dstrbucó ormal Sea el parámetro θ co ua dstrbucó (, varable X co ua dstrbucó N ( θ, σ dode sguetes fucoes de dstrbucó: N µ τ, dode Pr ( θ ep πτ µ y τ so parámetros coocdos y la σ es u parámetro coocdo. Etoces teemos las ( θ µ ( θ Pr ( θ ep πσ σ y al aplcar el teorema de Bayes, la dstrbucó posteror de θ dada la muestra queda epresada de la sguete maera: dode µ µ + τ + τ σ σ + τ τ σ Luego Pr ( θ N( µ, τ Pr ( θ ep πτ τ ( θ µ de dode se puede sacar coclusoes: Precsoes de las dstrbucoes a pror y a posteror Precsó /varaza Precsó a posteror precsó a pror + precsó de los datos + τ τ σ Otro caso mportate es el de la dstrbucó ormal co múltples observacoes Sea {,,, } u vector de observacoes, sedo observacoes détcamete dstrbudas (, ( θ, σ θ N µ τ Etoces al aplcar el teorema de Bayes, la dstrbucó posteror de θ dada la muestra epresada de la sguete maera: Pr θ Pr θ Pr θ Pr θ Pr θ Pr θ Pr θ N ( ( ( ( ( ( ( ( θ ( θ ( θ ( θ ( θ Pr Pr Pr Pr Pr τ queda
( θ µ ( θ Pr ( θ ep ep τ σ ( θ µ ( θ τ σ Pr ( θ ep + Pr ( θ depede úcamete de X a través de, es decr, es u estadístco sufcete del modelo. Ya que, θ N( θ, σ y cosderado a como ua smple observacó, se aplca los resultados aterores, luego: Pr ( θ,,, Pr ( θ N( θ µ, τ µ + τ σ dode µ + τ σ + τ τ σ NOTA: S τ σ etoces la dstrbucó a pror tee el msmo peso como ua observacó etra co el valor µ. Es decr, s τ co fjo, o coforme co τ fjo, etoces: 5. Ifereca bayesaa σ Pr ( θ N θ, Dado que la dstrbucó posteror, cotee toda la formacó cocerete al parámetro de terés θ (formacó a pror y muestral, cualquer fereca co respecto a θ cosstrá e afrmacoes hechas a partr de dcha dstrbucó. 5.. Estmacó putual La dstrbucó posteror reemplaza la fucó de verosmltud como ua epresó que corpora toda la formacó. Π ( θ y es u resume completo de la formacó acerca del parámetro θ. S embargo, para alguas aplcacoes es deseable (o ecesaro resumr esta formacó e algua forma. Especalmete, s se desea proporcoar u smple mejor estmado del parámetro descoocdo. (Nótese la dstcó co la estadístca clásca e que los estmados putuales de los parámetros so la cosecueca atural de ua fereca. Por lo tato, e el coteto bayesao, cómo se puede reducr la formacó e ua Pr ( y mejor estmado?, qué se debe eteder por mejor? Este dos formas de efretar el problema: (a Estmador de Bayes posteror (b Apromacó de teoría de decsó θ a u smple
Estmador de Bayes posteror El estmador de Bayes posteror se defe de la sguete maera: ua muestra aleatora de f ( co fucó de desdad g θ (. El estmador de Bayes posteror de τ ( θ co respecto a la pror g θ ( es defda como E τ ( θ. Sea {,,, } (,,, Ejemplo. Sea {,,, } θ, dode θ es u valor de la varable aleatora θ f θ θ θ para, y ua muestra aleatora de ( ( ( I( (. Cuáles so los estmadores de θ y θ ( θ gθ θ θ, ( θ,,, f ( θ,,, f E E E ( θ,,, ( θ,,, ( θ,,, Luego el estmador a posteror de Bayes de θ, verosíml de θ, E? ( θ ( θ g f θ ( ( g θ f θ dθ θ θ ( θ I (,( θ θ θ dθ ( θ θ θ dθ ( θ θ dθ ( B +, + B +, + es u estmador sesgado. ( θ( θ,,, + + + es u estmador sesgado. El estmador mámo θ θ θ θ dθ ( ( θ θ dθ ( 3
E Γ + Γ + Γ ( + Γ ( + 4 Γ + Γ + ( θ( θ,,, estmador de θ ( θ E ( θ( θ,,, co respecto a la a pror uforme. Apromaco a la teoría de la decsó + + ( + 3 ( + Para los bayesaos, el problema de estmacó es u problema de decsó. Asocada co cada estmador L θ, a que refleja la dfereca etre θ y a. a hay ua pérdda ( Se especfca ua fucó de perdda L(, a θ que cuatfca las posbles pealdades e estmar θ por a. Hay muchas fucoes pérdda que se puede usar. La eleccó e partcular de ua de ellas depederá de coteto del problema. Las más usadas so:. Pérdda cuadrátca: ( θ, ( θ L a a ;. Pérdda error absoluto o leal absoluta: ( θ, L a θ a ; 3. Pérdda,: L( θ, a s a θ a θ > 4. Pérdda leal: para g, h > : ( θ ( θ g a a > θ L( θ, a s h a a < θ E cada uo de los casos aterores, por la mmzacó de la pérdda esperada posteror, se obtee formas smples para la regla de decsó de Bayes, que es cosderado como el estmado puto de θ para la eleccó e partcular de la fucó pérdda. L θ, a es la pérdda currda al adoptar la accó a cuado el verdadero estado de la aturaleza Nota: ( es θ. Pr ( a, es la perdda esperada posteror. Luego: (, Pr (, (, Pr ( ( E ( Ra θ L θ a a L θ a θ dθ Regla de decsó de Bayes (estmador de Bayes: d( es la accó que mmza Pr (, Resgo de Bayes: ( ρ ( (, ρ ( Ejemplo. Sea {,,, } L( θ, a ( θ a, y θ N ( µ,. RB d d d a. ua muestra aleatora de ua dstrbucó ormal, (, (a El estmador de Bayes posteror es la meda de la dstrbucó posteror de θ N θ, 4
f ( θ Cosderado µ : ep ( θ ep ( θ µ π π ep ( ep ( π π θ θ µ dθ (b Apromacó bayesaa Cuado L( θ, a ( θ a f f ep ( θ π ep ( θ dθ π + ep θ π + + ( θ ( θ ( θ,,, E ( θ var,,, + +, la regla de Bayes (o estmador de Bayes es la meda de ( θ Pr ( θ Π. Por lo tato; el estmador de Bayes o regla de Bayes co respecto a la perdda cuadrado del error es: + µ + + + Es decr, e este caso, la decsó óptma que mmza la pérdda esperada es θ ( θ E. La mejor estmacó de θ co pérdda cuadrátca es la meda de la dstrbucó de θ e el mometo de producrse la estmacó. L θ, a w θ θ a, la regla de Bayes es: S ( ( ( ( d ( d E Π E ( θ w( θ ( θ ( w( θ ( ( ( ( ( θ S L( θ, a q a, cualquer medaa de ( θ S L( θ, a de θ. K K ( θ a ( a θ θ a s cualquer θ a < Π θ w θ f θ dθ w θ f θ dθ Π es u estmador de Bayes de θ. K K + K fractl de Π ( θ es u estmador de Bayes 5
Resume E el coteto bayesao, u estmado putual de u parámetro es ua smple estadístca descrptva de la Π θ. dstrbucó posteror ( Utlzado la caldad de u estmador a través de la fucó perdda, la metodología de la teoría de decsó coduce a eleccoes optmas de estmados putuales. E partcular, las eleccoes más aturales de fucó perdda coduce respectvamete a la meda posteror, medaa y moda como estmadores putuales óptmos. 5.. Itervalos de credbldad o regoes veraces La dea de ua regó veraz o tervalo de credbldad es proporcoar el aálogo de u tervalo de cofaza e estadístca clásca. El razoameto es que los estmados putuales o proporcoa ua medda de la precsó de la estmacó. Esto causa problemas e la estadístca clásca desde que los parámetros o so cosderados como aleatoros, por lo tato o es posble dar u tervalo co la terpretacó que este ua certa probabldad que el parámetro este e el tervalo. E la teoría bayesaa, o hay dfcultad para realzar esta apromacó porque los parámetros so tratados como aleatoros. Defcó: U cojuto veraz ( α para θ es u subcojuto C de θ tal que: Π Π( θ Pr ( C α C df ( θ C Π θ C ( θ dθ ( caso cotuo ( θ ( caso dscreto U aspecto mportate co los cojutos veraces (y lo msmo sucede co los tervalos de cofaza es que ellos o so úcamete defdos. α cumple la defcó. Pero solamete se desea el tervalo que Cualquer regó co probabldad ( cotee úcamete los valores más posbles del parámetro, por lo tato es usual mpoer ua restrccó adcoal que dca que el acho del tervalo debe ser ta pequeño como sea posble. Para hacer esto, uo debe cosderar solo aquellos putos co Π ( θ más grades. Esto coduce a u tervalo (o regó de la forma: dode γ es elegdo para asegurar que f ( ( { : ( } C Cα θ f θ γ C θ dθ α La regó C que cumple las aterores codcoes se deoma regó de desdad posteror más grade (HPD, máma desdad. Geeralmete, u HPD es ecotrado por métodos umércos, auque para muchas dstrbucoes uvaradas a posteror, los valores de la varable aleatora correspodetes so tabulados para u rago de valores de α. Ejemplo (meda de ua ormal. Sea {,,, } N ( θ, σ, co σ coocdo, co ua a pror para θ de la forma: N( b, d Se sabe que: S, etoces ± z α σ ua muestra aleatora de ua dstrbucó ormal b + N d σ θ, + + d σ d σ 6 θ.
luego el cojuto veraz es gual al de estadístca clásca. Pero sus terpretacoes so dsttas. Cómo se obtee el tervalo de míma logtud (máma desdad? Los pasos a segur so:. Localzar la moda de la fucó de desdad (posteror de θ ;. A partr de la moda trazar líeas rectas horzotales e forma descedete hasta que se acumule α de probabldad. ( 5.3. Prueba de hpótess para ua muestra Fgura 5. Dstrbucó gamma Pruebas de hpótess so decsoes de la forma e que se debe elegr etre dos hpótess dferetes H : θ Ω H : θ Ω Se cosdera el caso smple dode Ω y Ω cosste de putos smples, por lo tato la prueba es de la forma: H : θ θ H : θ θ Apromacó clásca Ejecutar la prueba utlzado la razó de verosmltud λ f f ( θ ( θ S λ asume valores grades sgfca que los datos observados X so mas probables que haya ocurrdo s θ es el verdadero valor de θ e lugar de θ. Apromacó bayesaa La apromacó atural es realzar la prueba bajo las cosderacoes e las probabldades a posteror relatvas de los valores formulados e las hpótess. Es decr: f ( θ f ( θ f ( θ λ B f f f S ( ( ( θ θ θ razó de apuestas a posteror razó de apuestas a pror razó de verosmltud λ B asume valores grades sgfca que hay prefereca por H 7
Defcó: la razó α α ( θ ( θ f es la razó de apuestas a posteror de H a H, y f de apuestas a pror. La catdad: f razo de apuestas a posteror B razo de apuestas a pror ( ( ( ( ( θ ( θ f ( θ f ( θ ( ( f θ f θ α Π f θ B λ f θ f θ α Π f θ f Π Π es la razó se deoma factor de Bayes e favor de Θ. B es ua medda del peso de la formacó que cotee los datos e favor de H sobre H. S B es grade, este aula cualquer prefereca a pror por H. La prefereca a posteror es H. 5.4. Prueba de hpótess para dos muestras A cotuacó se tratará el caso de dos muestras dode aplcaremos la prueba de hpótess para dos muestras. La forma geeral de hacerlo es geeralzado el factor de Bayes para el caso de dos muestras esto quere decr e vez de tomar ua dstrbucó de probabldad para ua muestra ahora se tomará para dos muestras, es decr ua dstrbucó cojuta: Dadas las hpótess: H : µ µ H : µ µ µ dos muestras depedetes, etoces la dstrbucó a posteror será para el caso dscreto: Pr ( µ, µ Pr ( µ, µ Pr ( µ, µ Pr µ, µ Pr µ, µ Sea µ {,,, } y { y, y,, y} la dstrbucó a posteror será para el caso cotuo: f ( µ, µ ( ( f ( µ, µ f ( µ, µ (, (, f µ µ f µ µ dµ dµ Y se procederá de maera smlar que el caso de ua muestra. Co fes práctcos, supoedo que se trabaja co poblacoes ormales y que las varazas poblacoales so coocdas, se puede tomar la prueba de hpótess de otra forma: El problema de dos muestras ormales Ahora se cosderara la stuacó de dos muestras depedetes co dstrbucó ormal:,,, N λ, φ ( ( µ ψ y, y,, y N, Que so depedetes, auque realmete el valor de terés es la dstrbucó a posteror de: δ λ µ 8
El problema se da e stuacoes comparatvas, por ejemplo, al comparar los valores de colesterol etre ños y ñas. Combacoes pareadas Ates de cotuar, se debería tomar precaucoes cotra ua posble mala aplcacó del modelo. S m y cada ua de las esta de algú setdo emparejados co las y, es decr que e y debe estar defdos: w y y etoces vestgar los w como ua muestra w, w,, w N( δ, ω, para algú ω. Esto se cooce como el método de comparacoes pareadas. El caso cuado las varazas so coocdas E el caso del problema de dos muestras, se puede presetar tres casos:. Cuado φ y ψ so coocdos;. Cuado se sabe que φ ψ pero se descooce sus valores; 3. Cuado φ y ψ so descoocdos. Cñédose al prmer caso, ya que esta stuacó mplca meor complejdad cuado las varazas so Pr λ Pr µ coocdas. S λ y µ tee como refereca uas a prors depedetes (costate ( ( etoces, como se ha vsto aterormete co varas observacoes ormales co ua a pror ormal, la φ dstrbucó a posteror para λ será N, y, de forma smlar, la dstrbucó a posteror para µ será m ψ N y, que es depedetemete de λ. De lo cual se deduce: Iformacó a pror mportate φ ψ δ λ µ N y, + m El método se geeralza para este caso cuado la formacó a pror mportate esta dspoble. Cuado la N λ, φ etoces la dstrbucó a posteror es: dstrbucó a pror para λ es ( dode: φ φ φ + m λ λ φ + φ φ m ; y (, λ N λ φ De modo semejate s la dstrbucó a pror para µ es (, para µ es N ( µ, ϕ y dode ϕ y δ λ µ N ( λ µ, φ+ ψ y las ferecas se procede gual que ates. N µ ϕ y etoces la dstrbucó a posteror µ está defdos de modo semejate, como sgue: 9
6. Coclusoes Los procedmetos basados e la dstrbucó e el muestreo so ad hoc para práctcamete cada aplcacó o grupo de aplcacoes co los que se esté trabajado. E cotraposcó, los procedmetos bayesaos sempre fucoa de la msma maera; hay que determar ua dstrbucó cal que recoja la formacó que se tega del problema, costrur la dstrbucó fal y esta es la que recoge, e forma de ua dstrbucó de probabldad, la formacó sumstrada por la muestra. Ua crítca que suele hacerse a la apromacó bayesaa es que está fluecada por la dstrbucó cal, pero es hoy perfectamete factble eamar el problema co ua varedad de dstrbucoes cales, o be emplear dstrbucoes cales objetvas, y e todo caso se debe teer e cueta que para tamaños muestrales grades la verosmltud doma a la dstrbucó cal por lo que las ferecas se ve poco afectadas por la dstrbucó cal. A cambo, los métodos bayesaos sempre trata la certdumbre medate la probabldad y la precsó de los msmos se mde sempre e térmos de probabldad. 7. Bblografía. Berger JO. Statstcal decso theory ad Bayesa aalyss. Sprger-Verlag: New York, 985.. Berardo JM. Itrsc credble regos. A objetcve Bayesa approach to terval estmato. Test 5;4(: 37-384 (dspoble e http://www.uv.es/~berardo/5test.pdf 3. Chu J. Bayesa fucto estmato usg overcomplete dctoares wth applcato geomcs. Departmet of Statstcal Scece. Duke Uversty, 7 (dspoble e www.stat.duke.edu/people/theses/ jehwa.html 4. Gu LH. Bayesa order restrcted methods wth bomedcal applcatos. Isttute of Statstcs ad Decso Sceces. Duke Uversty, 4 (dspoble e www.sds.duke.edu/people/theses/laura.ps. 5. House LL. Noparametrc bayesa models epresso proteomc applcatos. Isttute of Statstc ad Decso Sceces. Duke Uversty, 6 (dspoble e: http://www.sds.duke.edu/people/theses/ leaa.pdf 6. O Haga A, Luce BR. A prmer o bayesa statstcs health ecoomcs ad outcomes Research. MEDTAP Iteratoal Ic., 3 (dspoble e http://www.shef.ac.uk/cotet//c6/7/5//prmer.pdf. 7. Rodrguez A. Some advaces Bayesa oparametrc modellg. Isttute of Statstc ad Decso Sceces. Duke Uversty, 7 (dspoble e: http://www.stat.duke.edu/people/theses/abel.pdf. 8. Thorburg H. Itroducto to bayesa statstcs. CCRMA. Staford Uversty 6 (dspoble e http://ccrma.staford.edu/~jos/bayes/bayes.pdf. 9. Yupaqu Pacheco RM: Itroduccó a la estadístca bayesaa. UNMSM. Facultad de Cecas Matemátcas. EAP de Estadístca, Lma, 5 (dspoble e: http://ssbb.umsm.edu.pe/ bbvrtualdata/tess/basc/yupaqu_pr/yupaqu_pr.pdf.. http://halweb.uc3m.es/esp/persoal/persoas/mwper/doceca/spash/bayesa_methods/aputes.html