Bases Formales de la Computación: Sesión 1. Probabilidad Discreta

Transcripción

1 Bases Formales de la Computación: Sesión 1. Probabilidad Discreta Prof. Gloria Inés Alvarez V. Departamento de Ciencias e Ingeniería de la Computación Pontificia Universidad Javeriana Cali 11 de abril de 2008

2 Contenido 1 Presentación del Curso 2 Teoría de Probabilidad Probabilidad Condicional Variables Aleatorias Estadística Bayesiana

3 Presentación del Curso Bases Formales de la Computación Fecha Tema Profesor abril 11 Probabilidad discreta G. Alvarez abril 18 Redes de Petri E. Motato abril 25 Autómatas etiquetados F. Valencia abril 26 Álgebras de procesos F. Valencia mayo 2 Redes de Bayes C. Rueda mayo 9 Modelos Ocultos de Markov G. Alvarez mayo 16 Modelos Ocultos de Markov G. Alvarez mayo 23 Gramáticas Estocásticas G. Alvarez mayo 30 Evaluación G. Alvarez junio 6 Trabajo dirigido F. Valencia junio 13 Trabajo dirigido F. Valencia junio 20 Estructuras algebraicas y cálculo de predicados C. Rueda junio 27 Lógicas modales C. Rueda julio 4 Verificación: transformadores de predicados C. Rueda julio 11 Evaluación C. Rueda

4 Teoría de Probabilidad Teoría elemental de probabilidad Tiene por objetivo establecer qué tan posible es que algo ocurra. Por ejemplo: si lanzamos tres monedas, qué tan posible es que salga las tres veces cara. Un experimento ó ensayo es el proceso por el cual se realiza una observación

5 Teoría de Probabilidad Teoría elemental de probabilidad Un espacio muestral Ω es un conjunto de observaciones. Puede ser discreto si el número de muestras es contable o continuo si no lo es. Un evento es un subconjunto del espacio muestral Ω.

6 Teoría de Probabilidad Teoría elemental de probabilidad El espacio de eventos F es el conjunto potencia del espacio muestral 2 F Las probabilidades son números reales entre 0 y 1 donde cero significa imposibilidad y 1 certeza. Una función ó distribución de probabilidad distribuye una masa de probabilidad a través del espacio muestral Ω

7 Teoría de Probabilidad Distribución de Probabilidad Una función o distribución de probabilidad es una función P : F [0,1] tal que: P(Ω) = 1 Si A j,a k F,j k,a j A k = entonces P( j=1 A j) = j=1 P(A j) Llamamos P(A) a la probabilidad del evento A. Una distribución que asigna igual probabilidad a todas las salidas, se llama distribución uniforme. Y se calcula A Ω

8 Teoría de Probabilidad Ejemplo Se lanza una moneda tres veces, cuál es la probabilidad de obtener dos caras? Ω = {HHH,HHT,HTH,HTT,THH,THT, TTH, TTT } Cada salida es igualmente probable (cara o sello) El evento de interés es {HHT,HTH,THH} es decir, 3 opciones de 8, en otras palabras: 3 8

9 Probabilidad Condicional Probabilidad Condicional La probabilidad condicional es la probabilidad actualizada de un evento, dado que se tiene algún conocimiento previo. La probabilidad antes de ese conocimiento previo se llama probabilidad a priori. Por ejemplo, si de los tres lanzamientos de moneda, ya se ha realizado uno que salió cara, en los dos restantes hay dos posibilidades de obtener otra cara, por lo tanto ahora la probabilidad de obtener tres caras es de 1 2

10 Probabilidad Condicional formal de probabilidad condicional La probabilidad de un evento A, dado que ha ocurrido un evento B (P(B) > 0) es: P(A B) = P(A B) P(B) Notar que P(A B) = P(B)(P(A B)) = P(A)P(B A) Dos eventos A, B son independientes si P(A B) = P(A)P(B)

11 Probabilidad Condicional Teorema de Bayes Permite invertir la condicionalidad de dos eventos, es decir, permite calcular P(B A) en términos de P(A B) esto es de utilidad cuando no se puede calcular P(B A), pero si se puede calcular P(A B) P(B A) = P(B A) P(A) = P(A B)P(B) P(A) El denominador es una constante de normalización, sirve para garantizar que el resultado sea una función de probabilidad.

12 Probabilidad Condicional Teorema de Bayes El denominador se puede obviar si sólo se quiere saber cuál evento de un conjunto es el más probable dado A: ( ) P(A B)P(B) argmax B = argmax B P(A B)P(B) P(A) Sin embargo, también se puede estimar el denominador para completar la expresión.

13 Probabilidad Condicional Teorema de Bayes Sabemos que: P(A B) = P(A B)P(B) P(A B) = P(A B)P( B) Entonces tenemos: P(A) = P(A B) + p(a B) = P(A B)P(B) + P(A B)P( B)

14 Probabilidad Condicional Teorema de Bayes Generalizando: P(A) = i P(A B i )P(B i ) Siempre y cuando existan conjuntos B i que causen una partición en A, es decir, A i B i y los B i sean disyuntos.

15 Probabilidad Condicional Ejemplo Sea G una enfermedad que aparece 1 vez en nacimientos. Y sea T una prueba que diagnostica dicha enfermedad. Si una persona tiene la enfermedad, la prueba lo descubrirá con una probabilidad de 0,95, pero si no la tiene, la prueba dirá que está enfermo con una probabilidad de 0,005. Suponiendo que la prueba dice que la persona tiene la enfermedad, cuál es la probabilidad de que realmente esté enferma? P(T G)P(G) P(G T) = P(T G)P(G) + P(T Ḡ)P(Ḡ) 0,95 0,00001 = 0,95 0, ,005 0, ,002

16 Variables Aleatorias Variables Aleatorias Una variable aleatoria es una función X : Ω R n (comúnmente n = 1). Sirven para representar un proceso estocástico que genera números con cierta distribución de probabilidad. Una variable aleatoria discreta es una función X : Ω S donde S es un subconjunto contable de R. Si X : Ω {0,1} se le llama variable indicador aleatorio ó ensayo de Bernoulli

17 Variables Aleatorias Ejemplo Evento: lanzar dos dados. Variable aleatoria X: la suma del valor de las caras obtenida S = {2,...,12} Como la variable tiene rango numérico, a veces es más cómodo hacer cálculos a partir de la variable que a partir del evento. La función de masa de probabilidad (pmf) para una variable aleatoria X, da la probabilidad de que la variable aleatoria tenga diferentes valores numéricos

18 Variables Aleatorias Función de masa de probabilidad La función de masa de probabilidad (pmf) se calcula como: p(x) = p(x = x) = P(A x ) Donde A x = {w Ω X(w) = x} Si una variable aleatoria X está distribuida de acuerdo a la pmf p(x), se denota X p(x). Notar que p(x) > 0 sólo en un número contable de puntos.

19 Variables Aleatorias Función de masa para variables aleatorias discretas La función de masa de probabilidad (pmf) para una variable aleatoria discreta, se calcula como: p(x i ) = P(A i ) = P(Ω) = 1 i i Conversamente, cualquier función que cumpla estas condiciones, se puede ver como una función de masa de probabilidad

20 Variables Aleatorias Valor esperado El valor esperado es la media o promedio de una variable aleatoria. Si X es una variable aleatoria con pmf p(x) tal que x x p(x) <, entonces el valor esperado es: E(X) = x xp(x) Ejemplo: Si se lanza un dado y Y es el número que sale, entonces: E(Y ) = 6 yp(y) = 1 6 y=1 6 y = 21 6 = 31 2 y=1 Este es el promedio esperado resultante de lanzar muchas veces el dado y dividir por el número de lanzamientos.

21 Variables Aleatorias Valor esperado Si Y p(y) es una variable aleatoria, cualquier función g(y ) define una nueva variable aleatoria y su valor esperado se define como: E(g(Y )) = y g(y)p(y)

22 Variables Aleatorias Varianza Es una medida de si los valores de una variable aleatoria tienden a ser consistentes en muchos ensayos o varían. Se mide averiguando qué tanto se desvían los valores del valor esperado. Var(X) = E((X E(X)) 2 ) = E(X 2 ) E 2 (X) La desviación estandar es la raiz cuadrada de la varianza.

23 Variables Aleatorias Distribuciones Multivariadas Cuando se definen varias variables aleatorias en un mismo espacio muestral, se obtiene una distribución multivariada La función de masa de la distribución multivariada para dos variables aleatorias discretas es: P(x, y) = P(X = x, Y = y). Si X,Y son independientes, p(x,y) = P X (x)p Y (y).

24 Variables Aleatorias Determinación de la función de probabilidad En problemas prácticos lo normal es que no se conozca la función de probabilidad, por lo tanto es necesario estimarla Esto se puede hacer a partir de la evidencia sobre P contenida en datos. Llamamos frecuencia relativa al número de veces que aparece un dato en la colección disponible. se calcula C(u) N donde C(u) es el número de veces que aparece u y N el número total de ensayos. La frecuencia relativa tiende a estabilizarse a medida que el tamaño de los datos disponibles aumenta. Esto permite calcular probabilidades estimadas

25 Variables Aleatorias Determinación de la función de probabilidad Los métodos de estimación suelen estimar P suponiendo que su comportamiento se parece al de alguna familia conocida de distribuciones de probabilidad. Por ejemplo: binomial, Gaussiana, etc. Este enfoque se llama paramétrico porque la estimación consiste en fijar valores apara los parámetros específicos dentro de la familia de distribuciones elegida. Ventajas: Se deben estimar pocos parámetros Se requiere poca información para hacer la estimación La desventaja es que si el comportamiento real de la función se aleja mucho del comportamiento de la familia de distribuciones, las estimaciones serán malas.

26 Variables Aleatorias Determinación de la función de probabilidad Existe otra opción que es realizar la estimación por métodos no paramétricos, en ellos no se presupone una familia de distribuciones, pero en cambio es necesario disponer de una mayor cantidad de datos. Un ejemplo de método no paramétrico, el vecino más próximo.

27 Variables Aleatorias Distribución binomial Es una distribución discreta Resulta de una serie de experimentos con sólo dos valores de salida posibles (ensayos de bernoulli), siendo cada ensayo independiente de los otros. Ejemplo: lanzar repetidamente una moneda. La familia de las distribuciones binomiales calcula el número r de éxitos en n ensayos, dado que la probabilidad de éxito en un ensayo es p. ( ) n b(r;n,p) = p r (1 p n r ) r Donde ( n r ) = n! m!(n m)!,0 r n El valor esperado es np y la varianza es np(1 p)

28 Estadística Bayesiana Estadística Bayesiana No todos coinciden en que los fundamentos filosóficos de la la estadística basada en frecuencia sean sólidos. El principal rival es el enfoque Bayesiano... Supongamos que uno lanza una moneda 10 veces y sale cara 8 veces. Si la moneda no está trucada, uno diría que el estimativo no es correcto. La probabilidad frecuencialista diría que los datos revelan que la probabilidad de obtener cara es 8 10 Los Bayesianos dirían que si se hubieran realizado más ensayos la cantidad de caras y sellos habría terminado por equilibrarse y que la probabilidad de obtener cara es 1 2

29 Estadística Bayesiana Estadística Bayesiana 8 10 es un estimativo de máxima verosimilitud El enfoque Bayesiano parte de una creencia a priori que se va refinando con las observaciones que se realizan. notar que estas creencias a priori influencias aquello que creemos y lo que estamos dispuestos a creer, aun ante la existencia de datos contra evidentes.

30 Estadística Bayesiana Estadística Bayesiana La estadística Bayesiana mide el grado de credibilidad y se calcula comenzando con una probabilidad a priori y actualizándola en la presencia de evidencia por medio del teorema de Bayes. La teoría de decisiones Bayesiana permite evaluar cuál modelo o familia explica mejor un conjunto de datos. Se calcula el teorema de Bayes para cada modelo, se dividen los valores obtenidos, eso se llama rata de verosimilitud, si da > 1 el modelo del numerador es mejor y sinó el del denominador es mejor. Elegir el que gane con esta medida es tomar una decisión óptima de Bayes.