Tema 2. Introducción a la Estadística Bayesiana

Transcripción

1 2-1 Tema 2 Introducción a la Estadística Bayesiana El teorema de Bayes Ejemplo Interpretación Ejemplo: influencia de la distribución a priori Ejemplo: densidad de flujo Probabilidad bayesiana Ejemplo: distancia a una estrella Estimación de parámetros Comparación de modelos La navaja de Occam Ejemplo: detección de una línea espectral Resumen Ventajas de la estrategia bayesiana

2 El teorema de Bayes 2-2 Def. de probabilidad condicionada: Teorema de Bayes Hipótesis, parámetro, modelo Datos, observaciones Distribución de probabilidad posterior de la hipótesis dados los datos Función de verosimilitud Distribución de probabilidad a priori (prior) Probabilidad marginal de los datos Para n hipótesis excluyentes

3 2-3 Ejemplo: bolas en una urna Observaciones: 6 éxitos (bolas rojas) de 10 pruebas modelo p = 0.0 p = 0.1 p = 0.2 p = 0.3 p = 0.4 p = 0.5 p = 0.6 p = 0.7 p = 0.8 p = 0.9 p = 1.0 P(prior) P(posterior)

4 2-4 Interpretación P(datos modelo) P(modelo datos) (estadística clásica) (estadística bayesiana) Interpretación subjetiva de la probabilidad (en contraposición con la interpretación clásica basada en las frecuencias relativas) En la estadística clásica no tiene sentido la probabilidad asociada a un parámetro de una población Sólo los datos realmente observados son relevantes para la decisión final (en estadística clásica se suponen infinitas observaciones hipotéticas). P(H 0 ) representa nuestros conocimientos previos sobre la hipótesis. Pero estos conocimientos previos pueden ser imprecisos o subjetivos (no existe un prior único correcto) Un prior diferente de una distribución de probabilidad uniforme (prior difuso) debe justificarse adecuadamente. Cuantas más observaciones se hagan, el prior tiene menos importancia.

5 2-5 Ejemplo: influencia de la distribución a priori

6 Ejemplo: densidad de flujo 2-6 Observaciones con un radiotelescopio de una región del cielo al azar Datos (D): se mide una densidad de flujo f f se distribuye normalmente (gaussiana) alrededor de un valor S con varianza σ 2 Información previa (prior): Probabilidad de observar f: (verosimilitud) Probabilidades de S: (posterior) Si se tienen n medidas independientes (f i ): Ejemplo: Datos (f i ): 2, 1.3, 3, 1.5, 2, 1.8 σ=1 (S entre 1 y 100) medidas

7 Probabilidad bayesiana 2-7 H i = hipótesis I = información a priori D = datos Probabilidad de que H i sea cierta dados I y D Probabilidad de A Y B Reglas básicas de la probabilidad bayesiana: (para hipótesis excluyentes) Probabilidad de A O B Teorema de Bayes: Factor de normalización

8 2-8 Para un prior difuso (uniforme): La probabilidad es una medida de nuestro estado del conocimiento sobre la hipótesis. Dicha probabilidad se calcula a partir de nuestros conocimientos previos + los nuevos datos El posterior de un estudio se usa como prior para el estudio siguiente:

9 2-9 Ejemplo: distancia a una estrella I El modelo M 1 predice una distancia d 1 = 100 al El modelo M 2 predice una distancia d 2 = 200 al La incertidumbre en las medidas sigue una dist. gausiana con La distancia medida es d = 120 al Modelo 1: Modelo 2: Ejemplo: tienes esa enfermedad?

10 Estimación de parámetros 2-10 Se supone que un cierto modelo M(θ) es cierto y el problema es encontrar el parámetro θ del modelo función de densidad Probabilidad (a priori) de que el verdadero valor del parámetro esté entre Verosimilitud global: Moda posterior: Valor de θ que maximiza (factor de normalización) La estadística bayesiana no proporciona estimaciones puntuales, sino funciones de densidad Media posterior: Intervalo de credibilidad: con mayor dentro de R que fuera (ej. C = 0.95)

11 Estimación de parámetros (II) 2-11 Supongamos M(θ,φ) y sólo estamos interesados en θ (φ es un parámetro irrelevante - nuisance) función de densidad posterior marginal = marginalización priors independientes Media de la función de verosimilitud pesada con el prior para el parámetro irrelevante Una de las ventajas técnicas de la estadística bayesiana

12 Comparación de modelos 2-12 El problema es comparar las probabilidades de diferentes modelos. Cada uno de ellos puede tener un número diferente de parámetros (la navaja de Occam) Prior: (uno de los modelos es el correcto) Probabilidad de cada modelo: verosimilitud del modelo i: Probabilidades relativas (odds) : factor de Bayes Si se calculan las probabilidades relativas frente a un modelo (ej.): O i1 Ej. para 2 modelos:

13 La navaja de Occam 2-13 M 1 : modelo con un parámetro θ M 0 : modelo sin parámetros (θ =θ 0 ) Normalmente la verosimilitud es más estrecha que el prior (suponemos prior uniforme): Verosimilitud global del modelo: Anchura característica de la verosimilitud = valor de máxima verosimilitud Factor de Bayes a favor del modelo más complicado: En general: factor de Occam >1 <1 Penaliza los modelos más complicados a favor de los más simples

14 Ejemplo: Detección de una línea espectral 2-14 La teoría 1 predice que debe existir una línea espectral con las siguientes características: predicción de la teoría 1 Perfil gausiano: T: amplitud de la línea (entre 0.1 y 100 mk) ν i : frecuencia (en nº de canal, entre 0 y 64) ν 0 = 37 σ L =2 (anchura de la línea) Datos: observaciones = el valor registrado en el canal i es d i Ruido gausiano caracterizado por σ = 1 mk La teoría 2 no predice ninguna línea: A la vista de los datos, que teoría es más probable? M 1 = La teoría 1 es correcta M 2 = La teoría 2 es correcta

15 2-15 DATOS P. Gregory, Bayesian Logical Analysis for the Physical Sciences (Cambridge University Press)

16 2-16 Probabilidades relativas: priors iguales Marginalización sobre el parámetro desconocido T: Elección del prior: Prior uniforme: (rango T min T T max ) Prior de Jeffreys: T min =0.1 mk T max =100 mk

17 2-17 Cálculo de: (verosimilitud) d i : valor observado en el canal i donde (e i : error) E i : el valor del error en el canal i está entre e i y e i + de i Ruido gausiano (σ) (si todos los e i son independientes) Máximo = = en T = mk

18 2-18 Cálculo de: (verosimilitud global) Prior uniforme: Factor de Occam Prior de Jeffreys:

19 2-19 Cálculo de: Según M 2, el espectro es consistente con ruido, sin parámetros libres. Probabilidades relativas (prior uniforme) No es necesario marginalizar Probabilidades relativas (prior de Jeffreys)

20 2-20 Estimación del parámetro T Asumiendo que el modelo M 1 es el correcto podemos calcular la distribución de probabilidades del parámetro T Teorema de Bayes: Prior uniforme: Prior de Jeffreys: Intensidad de la línea comparable con el ruido Si la línea fuese 5 veces más intensa:

21 2-21 Moralejas del ejemplo Para elegir el mejor modelo hay que marginalizar sobre sus parámetros, introduciendo el factor de Occam. Dicho factor depende fuertemente del prior (la penalización aumenta al aumentar el rango de parámetros permitidos). Cuando el rango a priori del parámetro incluye varios ordenes de magnitud, un prior uniforme favorece valores altos del parámetro. Si desconocemos la escala (valores grandes son igual de probables que pequeños) un prior de Jeffreys tiene más sentido. Si se obtuviesen más datos, el prior sería el resultado anterior Si la localización y la anchura fuesen desconocidos habría que marginalizar sobre estos parámetros, apareciendo más factores de Occam (si la posición de la línea es desconocida O_{12} disminuiría de 11 a 1. Función de densidad para la localización: En la estimación de parámetros no hay factores de Occam No se puede hacer primero la estimación de parámetros y descartar M 2 (T=0). No aplicaríamos la navaja de Occam. En un modelo más real habría que dejar libre el valor del fondo (se ha asumido = 0) y marginalizar sobre él.

22 2-22 Ventajas de la estadística bayesiana Procedimiento elegante, simple y racional para contestar cualquier cuestión teniendo en cuenta toda la información previa. Es un procedimiento directo. Se calculan directamente las probabilidades de las hipótesis: Toda la información relevante previa se incorpora a través del prior. Esto aumenta mucho la potencia del método (en particular para señales-ruido altas). Proporciona un método para eliminar los parámetros irrelevantes a través de la marginalización. Tiene una navaja de Occam incorporada, constituyendo un método potente para la comparación de modelos de diferente complejidad Proporciona un método para incorporar los efectos de errores sistemáticos.

23 2-23 Resumen Estadística clásica Estadística bayesiana La probabilidad es la frecuencia relativa que se obtiene tras repetir muchas veces el experimento. La probabilidad es objetiva y es igual para todos los observadores. La inferencia se basa en calcular las probabilidades de los datos observados o de datos hipotéticos más extremos, dada una hipótesis. Un intervalo de confianza del 95% es el resultado de un proceso que tiene un 95% de probabilidades de producir un intervalo que contenga al parámetro poblacional. El nivel de significación de un contraste de hipótesis es la probabilidad de que, dada la hipótesis nula, se obtenga un resultado tanto o más extremo como el observado. La probabilidad es una medida del grado de incertidumbre que tiene un observador sobre el resultado de un experimento. La probabilidad es subjetiva y depende del observador. La inferencia se basa en evaluar la probabilidad de que un modelo, o hipótesis, sea cierto dados unos datos observados. La probabilidad de que el parámetro poblacional caiga en un intervalo de credibilidad del 95% es del 95% Se evalúa la probabilidad del modelo (o parámetros de este) a partir únicamente de los datos observados. Los datos hipotéticos son irrelevantes

24 2-24 Bibliografía Bayesian Statistics, J.M. Bernardo, Bayesian Theory, J.M. Bernardo & A.F.M. Smith, ed. Wiley Introduction to Bayesian Statistics, W. M. Bolstad, ed. Wiley-IEEE Bayesian Spectrum Analysis and Parameter Estimation, G.L. Bretthorst, Springer-Verlag Probability and Measurement Uncertainty in Physics A Bayesian Primer Notes, G. D Agostini, hep-ph/ Bayesian Data Analysis, A.B. Gelman, CRC Press Bayesian Logical Data Analysis for the Physical Science, P. Gregory, Cambridge University Press Bayesian reading list, T. Griffiths, Probability Theory: The Logic Of Science, E.T. Jaynes Information Theory, Inference and Learning Algorithms, D.J.C. MacKay, Cambridge University Press