Tema 1: Introducción a la Estadística Bayesiana

Tema 1: Introducción a la Estadística Bayesiana Introducción En general, se usan probabilidades de modo informal para expresar la información o la incertidumbre que se tiene acerca de observaciones de cantidades desconocidas. Sin embargo, el uso de probabilidades para expresar la información se puede hacer de modo formal. Desde el punto de vista matemático se puede demostrar que con el Cálculo de Probabilidades se puede representar de modo numérico el conjunto de racional de creencias, de modo que existe una relación entre probabilidad y e información y la regla de Bayes proporciona un modo natural de actualización de las creencias cuando aparece nueva información. Este proceso de aprendizaje inductivo por medio de la regla de Bayes es la base de la Inferencia Bayesiana. De manera general, los métodos bayesianos son métodos de análisis de datos que se derivan de los principios de la inferencia bayesiana. Estos métodos, proporcionan Estimadores de los parámetros que tienen buenas propiedades estadísticas; Una descripción parsimoniosa (simple) de los datos observados; Estimación de los datos missing y predicciones de futuras observaciones; Una metodología computacional potente para la estimación, selección y validación de modelos. La metodología bayesiana consta de tres pasos fundamentales: 1. Especificar un modelo de probabilidad que incluya algún tipo de conocimiento previo (a priori) sobre los parámetros del modelo dado. 2. Actualizar el conocimiento sobre los parámetros desconocidos condicionando este modelo de probabilidad a los datos observados. 3. Evaluar el ajuste del modelo a los datos y la sensibilidad de las conclusiones a cambios en los supuestos del modelo. 1

La diferencia fundamental entre la estadística clásica (frecuentista) y la bayesiana es el concepto de probabilidad. Para la estadística clásica es un concepto objetivo, que se encuentra en la naturaleza, mientras que para la estadística bayesiana se encuentra en el observador, siendo así un concepto subjetivo. De este modo, en estadística clásica sólo se toma como fuente de información las muestras obtenidas suponiendo, para los desarrollos matemáticos, que se pueden tomar tamaños límite de las mismas. En el caso bayesiano, sin embargo, además de la muestra también juega un papel fundamental la información previa o externa que se posee en relación a los fenómenos que se tratan de modelizar. Definiciones y Teoremas Básicos El concepto básico en estadística bayesiana es el de probabilidad condicional: Para dos sucesos A y B, P (A B) P (A B) P (B) P (A B) Se puede aplicar esta definición también a variables discretas o continuas. Desde el punto de vista bayesiano, todas las probabilidades son condicionales porque casi siempre existe algún conocimiento previo o experiencia acerca de los sucesos. Ley de la Probabilidad Total: Para un suceso A y una partición B 1,..., B k, k P (A) P (A B i )P (B i ) i1 Se puede aplicar el teorema a variables discretas: f(x) y f(x Y y)p (Y y) o a variables continuas: f(x) f(x y)f(y) dy. En una fábrica de galletas se embalan en 4 cadenas de montaje; A 1, A 2, A 3 y A 4. El 35% de la producción total se embala en la cadena A 1 y el 2%, 24% y 21% en A 2, A 3 y A 4 respectivamente. Los datos indican que no se embalan correctamente un porcentaje pequeño de las cajas; el 1% de A 1, el 3% de A 2, el 2.5% de A 3 y el 2% de A 4. Cuál es la probabilidad de que una caja elegida al azar de la producción total sea defectuosa? Defino como D defectuosa. 2

Luego, P (D) 4 P (D A i )P (A i ) i1.1.35 +.3.2 +.25.24 + +.2.21.197 Supongamos que X Y Pois(Y ), una distribución Poisson, para x, 1, 2, para y >, donde Y Exp(β), una distribución exponencial Entonces, la distribución marginal de X es P (x y) yx x! e y f(y) β exp( βy) P (x) P (x y)f(y) dy y x x! e y β exp [ βy] dy β x! β x! y x exp [ (β + 1)y] dy y (x+1) 1 exp [ (β + 1)y] dy Para resolver la integral, se observa que el integrando está relacionado con una distribución gamma Ga(x + 1, β + 1) : NOTA: Si X Ga(a, b) su función de densidad es f(x; a, b) ba Γ(a) xa 1 exp[ bx], de este modo b a Γ(a) xa 1 exp[ bx]dx 1 x a 1 exp[ bx]dx Γ(a) b a 3

Luego P (x) β Γ(x + 1) x! (β + 1) (x+1) β x! x! (β + 1) (x+1) β (β + 1) (x+1) Si se denota como p β/(1 + β), entonces < p < 1 y despejando β P (x) ( p 1 + p ) x ( ) x 1 p 1 p 1 p p(1 p) x, para x, 1, 2,... Se observa que es una distribución geométrica con parámetro p. Si X θ Exp(θ) y θ Ga(α, β), la distribución marginal es f(x) θe θx βα Γ(α) βα Γ(α) βα Γ(α) θα 1 e βθ dθ θ α e (β+x)θ dθ θ (α+1) 1 e (β+x)θ dθ p 1 p, y el integrando está relacionado con otra distribución gamma, Ga(α + 1, β + x): Entonces, f(x) βα Γ(α) θ (α+1) 1 e (β+x)θ dθ Γ(α + 1) βα (β + x) α+1 Γ(α) αβ α (β + x) α+1, Γ(α + 1) (β + x) α+1. donde se ha utilizado la propiedad básica de la función gamma, Γ(α + 1) αγ(α). αγ(α) (β + x) α+1 No es una distribución estándar, pero si se define la v.a. Z X + β, se puede ver que Z tiene una distribución de Pareto. NOTA: Ver, por ejemplo, 4

http://en.wikipedia.org/wiki/pareto_distribution Para ello aplicamos el teorema del cambio de variable: Sea X una v.a. con función de densidad p x y sea g una función diferenciable, monótona e invertible. Definimos otra v.a como Y g(x), entonces la función de densidad de Y es ( p Y (y) p X g 1 (y) ) dg 1 (y) dy O equivalentemente donde x g 1 (y). Ver demostración, e.g,. en p Y (y) p X (x) dx dy http://www.stat.duke.edu/~michael/screen.pdf En el caso del ejemplo, f Z (z) f X (z β) 1 αβ α z α 1, para Z > β. Luego Z PA(β, α). La distribución de Pareto se aplicó inicialmente a la modelización del reparto de riqueza. Es la llamada ley 8-2 que afirma que el 2% de la poblacion posee el 8% de la riqueza. El teorema de Bayes Se tiene que, para los sucesos A 1,..., A n y B, P (A i B) P (B A i)p (A i ) P (B) P (B A i)p (A i ) n P (B A i )P (A i ) i1 P (B A i )P (A i ) Volviendo al ejemplo de las galletas, supongamos que descubrimos que una caja es defectuosa. Queremos calcular la probabilidad de que la caja proceda de A 1. P (A 1 D) P (D A 1)P (A 1 ) P (D).1.35.197.18 5

Supongamos un juego televisivo en el que tienes que elegir entre tres puertas cerradas, A, B o C. Detrás de dos de las puertas hay una peineta y en la otra hay un coche, con igual probabilidad en los tres casos. Por tanto, la probabilidad de ganar el coche en cada una de las puertas es p(a) 1, p(b) 1, p(c) 1. 3 3 3 Después de que hayas elegido una puerta, digamos A, antes de mostrarte lo que hay detrás de la puerta, el presentador (Risto Mejide) abre otra puerta, digamos B, que tiene una peineta. En este punto te ofrece la opción de cambiar de la puerta A a la puerta C. Qué deberías hacer? liar... Intuitivamente parece que tú has elegido la puerta adecuada, pero que Risto Mejide te quiere así, desde un punto de vista inocente la probabilidad de encontrar el coche entre las dos puertas que quedan es 1. Pero esto es falso... 2 Asumimos que Risto Mejide va en tu contra (cobra de la productora de televisión) y calculamos cuál es la probabilidad de que el coche aparezca cuando él abre la puerta B, una vez que tú hayas abierto la puerta A: (i) La probabilidad de que Risto Mejide abra la puerta B dado que el coche está detrás de la puerta A es p (B RM A) 1 2 ya que le es indiferente abrir la puerta B o C. (ii) La probabilidad de que Risto Mejide abra la puerta B dado que el coche está detrás de la puerta B es p (B RM B) porque supones que no es estúpido. (iii) La probabilidad de que Risto Mejide abra la puerta B dado que el coche está detrás de la puerta C es p (B RM C) 1 Aplicando la definición de probabilidad condicionada se obtienen las siguientes distribuciones conjuntas: p (B RM, A) p (B RM A) p (A) 1 2 1 3 1 6 p (B RM, B) p (B RM B) p (B) 1 3 p (B RM, C) p (B RM C) p (C) 1 1 3 1 3 6

Por otro lado, dado que los sucesos son mutuamente excluyentes, por la ley de probabilidad total p(b RM ) p (B RM, A) + p (B RM, B) + p (B RM, C) 1 6 + + 1 3 1 2 Finalmente, aplicando el teorema de Bayes, se tiene que p (A B RM ) p (B RM A) p (A) p(b RM ) p (C B RM ) p (B RM C) p (C) p(b RM ) Luego es mucho mejor que elijas la puerta C. 1 1 2 3 1 2 1 1 3 1 2 1 3 2 3 Se puede aplicar el teorema de Bayes a variables discretas y continuas. En el caso de que la v.a. X sea continua se tiene f(x y) f(y x)f(x) f(y) f(y x)f(x) R f(y x)f(x)dx, como el denominador f(y) es independiente de x, entonces se puede escribir el teorema en la forma de proporcionalidad ( ): f(x y) f(y x)f(x). Este resultado es útil para los cálculos porque implica que se pueden olvidar las constantes multiplicativas hasta el final de los cálculos en modelos complicados. Retomando el ejemplo de la Poisson, se tenía que Y Exp(β) y X Y Pois(Y ). Calculamos la distribución de Y x, sabiendo que la distribución marginal de X era una geométrica: f(y x) P (x y)f(y) P (x) y x e y βe βy x! β (β+1) x+1 (β + 1)x+1 y x e (β+1)y x! (β + 1)x+1 Γ(x + 1) y(x+1) 1 e (β+1)y que es la densidad de una variable gamma: Ga(x + 1, β + 1). Volviendo al ejemplo de la distribución de Pareto, donde X θ Exp(θ) y θ Ga(α, β), calculamos la distribución de θ dada una observación x. 7

f(θ x) f(x θ)f(θ) θx βα θe Γ(α) θα 1 e βθ θ (α+1) 1 e (β+x)θ que está relacionado con una distribución gamma, es decir, θ x Ga(α + 1, β + x). La media y varianza condicional. Dadas dos variables X e Y, definimos la media y varianza de X cuando Y y como E [X Y y] xf(x y) dx V ar [X Y y] (x E[X Y y]) 2 f(x y) dx El siguiente teorema nos proporciona la relación entre la esperanza y varianza marginal y la esperanza y varianza condicional. Teorema Dadas dos variables X e Y, se tiene que (i) E x [X] E y [E x [X Y ]] (ii) V ar x [X] E y [V ar x [X Y ]] + V ar y [E x [X Y ]] Demostración: (i) Se tenía que, en general, E(g(x)) g(x)f(x) dx por ello, como E[X Y ] es una función de Y, E y [E x [X Y ]] E x (X y)f(y) dy ( ) xf(x y)dx f(y) dy ( x ) f(x y)f(y)dy dx ( x ) f(x, y)dy dx xf(x) dx E x [X] 8

(ii) La demostración, que es más larga, se puede ver, por ejemplo, en el libro de Lee (212). Volviendo al ejemplo de la Poisson, se tenía que Y Exp(β) y X Y Pois(Y ).Supongamos que queremos calcular la media y varianza de X (y que no sabemos nada acerca de la distribución marginal de X que sabíamos de antes que sigue una distribución geométrica). E x [X] E y [E x [X Y ]] E y [Y ] porque X Y Pois(Y ) 1 β la media de la exponencial V ar x [X] E y [V ar x [X Y ]] + V ar y [E x [X Y ]] E y [Y ] + V ar y [Y ] porque media varianza Y 1 β + 1 β 2 Sustituyendo p β + 1 β 2 β y despejando β p, se obtiene que 1+β 1 p E[X] 1 p p q p V ar[x] 1 p p ( 1 p + p 1 p p 2 q p 2, que son los momentos que se obtienen directamente para la distribución geométrica en la notación habitual. Retomando el ejemplo de la distribución de Pareto, donde X θ Exp(θ) y θ Ga(α, β), se tiene ) 2 9

que E[X] E θ [E x [X θ]] E θ [1/θ] 1 β α θ Γ(α) θα 1 e βθ dθ βα Γ(α) θ (α 1) 1 e βθ dθ El integrando es el núcleo de una distribución gamma; Ga(α 1, β). Entonces, E[X] es decir, la esperanza sólo existe si α > 1. βα Γ(α 1) β Γ(α) β α 1 α 1, Hemos visto anteriormente que Z X +β PA(β, α). De este modo, podemos calcular la media de X utilizando también la fórmula para la media de una distribución Pareto: E[X] E[Z] β αβ β [para α > 1] α 1 β α 1. 1