NOTAS SOBRE INFERENCIA ESTADÍSTICA BAYESIANA. José G. Ríos Alejandro. Abril del 2011.

Transcripción

1 NOTAS SOBRE INFERENCIA ESTADÍSTICA BAYESIANA José G. Ríos Alejadro Abril del 11.

2 INTRODUCCIÓN E los cursos de estadística usualmete se estudia la estadística co efoque frecuetista, la cual alguos autores llama estadística clásica. Por supuesto que hay razoes para ello, creo que la más importate es que se realiza a través de operacioes algebraicas secillas que fácilmete se puede ejecutar. Si embargo, hay otra maera de hacer iferecia estadística que se basa e el teorema de Bayes, deomiada estadística Bayesiaa. No tiee u efoque frecuetista como la estadística clásica, sio que se basa e ua cojetura que defie el ivestigador co respecto al parámetro que se va a estimar, la cual se actualiza después co los resultados de la muestra aleatoria. Ua de las dificultades de la estadística Bayesiaa es que se complica los cálculos que se debe hacer. Pero e los últimos años la iferecia estadística bayesiaa se ha desarrollado eormemete e sus aplicacioes. La razó de ello es el avace tecológico e las computadoras que hace posible hacer ua serie de cálculos y simulacioes rápidamete, las cuales so ecesarias e la aplicació de esta metodología. Estas otas tiee por objetivo presetarle al lector la idea básica que está detrás de la iferecia bayesiaa. Para más detalles sobre esta metodología se recomieda las referecias a ivel itroductorio que se mecioa al fial. Se supoe que el lector tiee coocimietos sobre elemetos de probabilidad, variable aleatoria, distribucioes de probabilidad. Las primeras seccioes habla brevemete sobre la probabilidad codicioal y el teorema de Bayes. Si el lector ya domia estos temas, pasar directamete a la secció Iferecia Estadística co el Método Bayesiao. José G. Ríos Alejadro (jrios@itesm.mx)

3 La Probabilidad Codicioal. La probabilidad codicioal es u cocepto que aplica cuado al ejecutar el experimeto aleatorio se os iforma que ocurrió u eveto, digamos el eveto B. Co esa iformació ahora se quiere calcular la probabilidad de que ocurra el eveto A. Se ilustra lo aterior co el siguiete ejemplo simple. Supogamos que se laza u dado legal y os iforma que cayó úmero par, co esa iformació dispoible queremos ahora calcular la probabilidad de que haya caído el úmero. Sea el eveto B = cae úmero par y sea el eveto A = cae el úmero. Luego, queremos calcular A) sabiedo que ya ocurrió B, lo aterior se deota por P ( A B) que se lee como probabilidad de A dado que ya ocurrió B o probabilidad de A codicioada a que ya ocurrió B. Aalizado la situació vemos que si ya ocurrió B, etoces los resultados posibles del experimeto so B = {,, 6} y como todos so igualmete probables etoces A B) = B) = 1/3. Si embargo, la probabilidad codicioal P ( A B) se puede expresar e térmios de la probabilidad o codicioal haciedo lo siguiete, 1 1/ 6 A B) A B). 3 3/ 6 B) Dode A B) es la probabilidad o codicioal de que caiga el y caiga úmero par, además, P (B) es la probabilidad o codicioal de que caiga úmero par. Etoces la probabilidad codicioal se puede geeralizar como e la siguiete defiició. A B) A B) como se idica B) Defiició 1. Probabilidad Codicioal Sea A, B dos evetos asociados a u espacio muestral S. Etoces la probabilidad de que ocurra A dado que ya ocurrió B deotado por P ( A B) se defie como A B) A B) co P ( B). B) Observa que al ocurrir el eveto B, etoces los resultados posibles del experimeto so solo los elemetos de B, por tal razó a B se le cooce como el espacio muestra reducido. Ua fórmula útil de la probabilidad codicioal se obtiee al despejar A B) quedado, A B) B) A B) A) B A). (1)

4 El Teorema de Bayes. El teorema de Bayes es ua probabilidad codicioal calculada bajo ua situació especial, es decir calculada e ua partició, luego, se debe defiir que es ua partició. Defiició. Partició. Los evetos E 1, E,, E forma ua partició del espacio muestra S si cumple lo siguiete: (a) E i E j para todo i j. (b) 1 Ei S. Es decir, la colecció de evetos { E 1, E,, E } forma ua partició si so ajeos dos a dos y si la uió de todos ellos es igual al espacio muestra S. La figura 1 ilustra la idea gráficamete. S i E 1 E 3 E 5 E E 6 Figura 1. Diagrama de Ve para ua partició co = 6. El siguiete teorema idica como calcular la probabilidad de cualquier eveto cuado se tiee ua partició. Se le cooce como la ley de probabilidad total. Teorema 1. La Ley de Probabilidad Total Sea { E 1, E,, E } ua partició y sea A u eveto cualquiera. Etoces A) i Ei ) A E 1 i ). Demostració. Observar que A se puede expresar como la uió de evetos mutuamete ajeos de la siguiete maera A A E ) ( A E ) ( A E ), la figura ilustra ( 1 la idea. Etoces, P A) P[( A E ) ( A E ) ( A E )], luego, ( 1 P A) A E ) A E ) A E ) y aplicado la fórmula (1) ( 1 A) E1 ) A E1) E) A E ) i Ei ) A E 1 i ). E

5 S E 1 E 3 E 5 E E 6 A E Figura. Ilustració de u eveto A y ua partició co = 6. A cotiuació se demuestra el teorema de Bayes. Teorema. El Teorema de Bayes. Sea { E 1, E,, E } ua partició y sea A u eveto cualquiera. Sea E j u eveto de la partició. Etoces E j ) A E j ) E j A). E ) A E ) i 1 i Demostració. Por defiició de probabilidad codicioal se tiee que E j A) E j A). Pero como E j es u eveto de la partició { E 1, E, E A), }, fialmete por la fórmula (1) y la ley de probabilidad total se tiee que, i E j A) E j ) A E j ) E j A). A) E ) A E ) i 1 i i El teorema de Bayes se puede geeralizar para la distribució de ua variable aleatoria cotiua quedado como, f ( x y) f ( x) f ( y x). () f ( x) f ( y x) dx Dode f (x) es la fució de desidad de la variable aleatoria X, f ( y x) es la fució de desidad codicioal de Y dado el valor de X = x. Fialmete, f ( x y) es la fució de desidad de x codicioada a que Y = y. La fórmula () es la que se usa e la iferecia estadística usado el método de Bayes. Comparado co el teorema se tiee que E se j

6 sustituye por x, A se sustituye por y, la suma se sustituye por ua itegral y la probabilidad putual P se sustituye por ua fució de desidad f. Iferecia Estadística co el Método Bayesiao. Se ilustra la aplicació del método bayesiao co el siguiete ejemplo y luego se geeraliza. Se desea estimar la proporció de focos que dura más de 1 horas e ua prueba acelerada. Sea p la proporció poblacioal de focos que dura más de 1 horas e la prueba acelerada. Ates de hacer esta prueba, el igeiero sospecha que el valor de p es alrededor de.7, esto lo va a reflejar a través de ua distribució de probabilidad que al meos tega ua media igual a.7. Pero debe usar ua distribució de probabilidad tal que el rago valor de la variable aleatoria sea etre y 1 (porque < p < 1). La distribució coveiete es la distribució Beta (ver aexo), que aplicada a p queda, ( ) 1 1 p (1 p) para p 1. (3) ( ) ( ) Dode (w) es la fució Gamma (ver aexo). Ahora debemos determiar el valor de y. Como el valor esperado de la distribució Beta es E ( p) y como el igeiero sospecha que el valor de p es alrededor de.7 etoces propoe que 7 y 3, quedado la distribució de p (que llamaremos distribució a priori), (7 3) p (1 p) para p 1. () (7) (3) Al ejecutar la prueba acelerada e 6 focos resultó que duraro más de 1 horas. El objetivo ahora es obteer la distribució de p codicioado a los resultados de las pruebas (datos), es decir la iferecia se hará co f ( p datos), que se le llama distribució a posteriori. Aplicado la fórmula () sería, f (datos p) f ( p datos) 1. (5) f (datos p) dp Pero f ( datos p) éxitos e 6 focos p) Biomial( x, 6, p) C(6,) p (1 p) sustituyedo e la igualdad (5) se obtiee, C(6,) p (1 p) f ( p datos) 1. (6) C(6,) p (1 p) dp,

7 Pero observa que el deomiador de (6) es u resultado que o depede de p, luego se puede cosiderar como ua costate (cte) quedado, Sustituyedo e (7) se tiee que, C(6,) p (1 p) f ( p datos). (7) cte 6 {[ (1) / (7) (3)] p (1 p) } C(6,) p (1 p) f ( p datos). (8) cte Expresado como costate (cte) todo lo que o cotiee p e (8) se obtiee, 6 f ( p datos) ( cte) p (1 p) p (1 p) ( cte) p (1 p). (9) 1 Observado (9) o es difícil cocluir que la costate cte debe ser el correspodiete a ua distribució Beta( 11, 5). Etoces, la distribució a posteriori de p (posterior a los datos) es, (11 5) 1 f ( p datos) p (1 p) para p 1. (9) (11) (5) La figura 3 muestra las gráficas de la distribució a priori (ates de los datos) y a posteriori (después de los datos) de p a priori a posteriori Figura 3. Gráficas de la desidad a priori y a posteriori de p.

8 La estimació putual de p es el E ( p datos) e la desidad a posteriori f ( p datos). E este caso es p ˆ E( p datos) 11/ La estimació por itervalo (aquí se le llama itervalo de credibilidad) co ivel de credibilidad 1 se puede obteer co los valores p 1 / y p 1 / de f ( p datos) como se ilustra e La figura f(p datos) / / p1 / p / Figura. Itervalo de Credibilidad 1 1. Por ejemplo, para obteer u itervalo de credibilidad para p del 95%, se tiee que 1.95, /. 5 y 1 / E Excel se obtiee que, p BETAINV(1-.975,11,5) =.9 y p BETAINV(1-.5,11,5) =.88, es.975 decir, se tiee ua probabilidad del 95% de que la proporció de focos que dura más de 1 hrs e la prueba acelerada es.9 p. 88. Por supuesto, mietras más grade sea la.5 muestra aleatoria el itervalo de credibilidad será más estrecho. E geeral, para estimar ua proporció p, si la distribució a priori de p es ua distribució Beta(, ) y e pruebas de Beroulli se observa r éxitos, etoces la distribució a posteriori de p es Beta( r, r ). La distribució a posteriori actualiza la distribució del parámetro a estimar mediate los resultados de la muestra aleatoria (datos). A cotiuació se geeraliza el método bayesiao. Problema: El ivestigador desea estimar el valor de u parámetro poblacioal de ua població co fució de desidad (probabilidad) f ( x, ). El ivestigador sospecha que el valor de esta cercao a cierto valor y ello lo refleja a través de ua distribució de probabilidad cuya fució de desidad es f ( ) deomiada distribució a priori o previa a los datos. Luego, seleccioa ua muestra aleatoria de tamaño obteiedo los resultados (datos) x x, x,, x ). El objetivo es obteer la fució de desidad a posteriori de o ( 1

9 posterior a los datos, es decir f ( x). Usado la formula () geeralizada del teorema de Bayes se tiee que, f ( x ) f ( ) f ( x ). (1) f ( ) f ( x ) d Pero el deomiador de (1) o depede de, luego es ua costate (cte) quedado, f ( ) f ( x ) f ( x) ( cte) f ( ) f ( x ). (11) cte Luego, se acostumbra decir que f ( x) es proporcioal a f ( ) f ( x ) que se deota por f ( x) f ( ) f ( x ). Ahora, como los valores de la muestra aleatoria x x, x,, x ) so mutuamete idepedietes, etoces f ( x ) se puede expresar como, ( 1 f ( x ) f ( x1 ) f ( x ) f ( x ) i f ( x 1 i ). (1) A (1) se le llama fució de verosimilitud y depede de ya que los valores de las x i co coocidos (datos). Etoces la distribució a posteriori (11) queda, i 1 f ( x ) ( cte) f ( ) f ( x ). (13) i Depediedo de lo que resulte e (13) a veces se puede deducir su distribució teórica y e cosecuecia se deduce el valor de la costate cte. E ocasioes o es posible deducir la distribució obteida e (13), si embargo mediate simulació se puede hacer de todos modos iferecia estadística. E importate subrayar que solo co la distribució a posteriori f ( x) se hace toda la iferecia estadística. La estimació putual de se hace co E ( x) y el itervalo de credibilidad 1 se puede obteer co los valores 1 / y / obteidos e la distribució a posteriori f ( x). La pricipal vetaja del método bayesiao es que o se requiere aálisis de covergecia y se combia la cojetura del ivestigador (la distribució a priori) y la iformació de la muestra (la fució de verosimilitud) para obteer la distribució actualizada o posteriori del parámetro. Ua desvetaja del método bayesiao es que se presta a coclusioes diferetes si se parte de distribucioes a priori diferetes, pero se puede demostrar que si la

10 muestra es grade, el resultado es el mismo si importar que distribució a priori se haya cosiderado. Otra desvetaja del método Bayesiao es que la itegral del deomiador de (1) puede resultar muy compleja, pero gracias a los avaces tecológicos e las computadoras, se puede hacer iferecia estadística mediate simulació, razó por la cual últimamete se ha desarrollado muchas metodologías (diseño de experimetos, regresió lieal, etc.) bayesiaas. No dudo que e el corto plazo e los cursos de estadística de liceciatura se icluya la metodología bayesiaa. Estas otas so solo para dar ua idea muy geeral de la metodología bayesiaa, cosultar las referecias para más detalles. Referecias. Elemetary Bayesia Statistics Gordo Atelma, Albert Madasky, Robert E. McCulloch. Editorial: Edward Elgar Pub, Itroductio to Bayesia Statistics, d editio William M. Bolstad. Wiley-Itersciece, 7. Aexos. La Fució Gamma. La fució Gamma que se deota por ( ) 1 t ( ) t e dt para. La figura A.1 muestra la gráfica de ( ). se defie como, Figura A.1. Gráfica de ( ).

11 La fució Gamma tiee las siguietes propiedades básicas. A) ( 1) 1. B) ( 1) ( ). C) Si es etero positivo ( ) ( 1)!. Por la propiedad C), alguos autores llama a la fució gamma como la fució factorial geeralizada. La Distribució Beta. Ua variable aleatoria X tiee distribució Beta si su fució de desidad es, ( ) 1 1 f ( x) x (1 x) para x 1 (A.1) ( ) ( ) dode,. Además se puede probar que E (X ) y Var ( X ). La figura A. muestra la gráfica de la fució de desidad ( ) ( 1) de la distribució Beta alfa = 3, beta = 8 alfa = 3, beta = 3 alfa = 1, beta = Figura A. Gráfica de la fució de desidad de la distribució Beta. Las probabilidades de la distribució Beta se puede obteer e Excel co la fució BETADIST( ) y los percetiles se puede obteer co la fució BETAINV( ).