Análisis de Datos. Conceptos básicos de probabilidad y teorema de Bayes. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Conceptos básicos de probabilidad y teorema de Bayes Profesor: Dr. Wilfrido Gómez Flores 1

2 Introducción Los fenómenos del mundo real se pueden clasificar en dos tipos: Determínistico: los resultados de un experimento son únicos y previsibles cuando se realizan bajo las mismas condiciones. Agua hirviendo 0 ºC Hielo 100 ºC Estocástico: los resultados de un experimento realizado bajo las mismas condiciones poseen un conjunto de alternativas. En el área de reconocimiento de patrones, un variable aleatoria puede verse como un valor numérico que está afectado por el azar y se asocia con el concepto de incertidumbre: Ruido en las mediciones. Conjuntos de datos finitos. 2

3 Introducción Por tanto, dada una variable aleatoria: No se conoce con certeza el valor que tomará al ser medida. Se puede modelar la distribución de probabilidad asociada al conjunto de valores posibles. La teoría de probabilidad provee un marco consistente para la cuantificación y manipulación de la incertidumbre. Cuando se combina con teoría de decisión, es posible realizar predicciones óptimas en función de toda la información disponible. 3

4 Imagine que se tienen dos cajas, una roja, con dos manzanas y seis fresas, y otra azul, con tres manzanas y una fresa. Se pueden plantear distintas preguntas como por ejemplo: Cuál es la probabilidad total de que se seleccione una manzana? Dado que se ha seleccionado una fresa, cuál es la probabilidad de que la caja seleccionada sea azul? Para responder estas preguntas (y otras mucho más complejas) se deben conocer dos reglas básicas de probabilidad: regla de la suma y regla del producto. 4

5 Considérese el caso general en el que se tienen dos variables aleatorias X e Y: X = {x i i =1,...,M} y Y = {y j j =1,...,L} Considérese un total de N experimentos, donde se toman muestras de X e Y, de modo que el número de experimentos cuando X=x i y Y=y j se denota como n ij. También, sea c i el número de experimentos en que X=x i (sin considerar los valores que toma Y) y de manera similar sea r j el número de experimentos en que Y=y j. c i = X n ij j (1) y j n ij r j = X i n ij x i Matriz de co-ocurrencias con M=5 y L=3. 5

6 La probabilidad conjunta de que X=x i y Y=y j se expresa como: p (X = x i,y = y j )= n ij N y se lee la probabilidad conjunta de X=x i y Y=y j. (2) De manera similar, la probabilidad de que X=xi, sin considerar los valores que toma Y, se define como: p(x = x i )= c i (3) N Por tanto, la regla de la suma de probabilidad se obtiene a partir de (2) y (3): LX p (X = x i )= p (X = x i,y = y j ) (4) j=1 la cual también se le conoce como probabilidad marginal, debido a que se marginan las otras variables. 6

7 Si se consideran solamente aquellas instancias para las cuales X=x i, entonces la fracción de tales instancias donde Y=y i se le conoce como probabilidad condicional: p (Y = y j X = x i )= n ij c i (5) y se lee la probabilidad condicional de Y=y j dado X=x i. A partir de (2), (3) y (5) se deriva la regla del producto de probabilidad: p (X = x i,y = y j )= n ij N = n ij ci c i N = p (Y = y j X = x i ) p (X = x i ) (6) 7

8 Entonces, haciendo una notación más compacta, las dos reglas fundamentales en teoría de probabilidad tienen la siguiente forma: Regla de la suma: p(x) = X Y p(x, Y ) (7) Regla del producto: p(x, Y )=p(y X)p(X) (8) A partir de la propiedad de simetría xxxxxxxxxxxxxxx p(x, Y )=p(y,x) en (8), se obtiene la siguiente relación entre probabilidades condicionales: p(y X) = p(x Y )p(y ) p(x) la cual es conocida como el Teorema de Bayes y juega un papel importante en el área de reconocimiento de patrones y aprendizaje de máquinas para el modelado de datos. (9) 8

9 Retomando el ejemplo de las cajas de frutas. Supóngase que al ejecutar N=10 experimentos aleatorios, las probabilidades de seleccionar una caja roja o una azul son: p(c = r) =4/10 y p(c = a) =6/10 (10) Nótese que p(c = r)+p(c = a) =1. Por otro lado, las probabilidades condicionales del tipo de fruta dado una caja seleccionadas son: p(f = m C = r) =1/4 (11) C = r F = f C = a F = m p(f = f C = r) =3/4 p(f = m C = a) =3/4 p(f = f C = a) =1/4 (12) (13) (14) Nótese que xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx p(f = m C = r)+p(f = f C = r) =1 y de manera similar p(f = m C = a)+p(f = f C = a) =1. 9

10 Se puede usar la reglas de la suma y el producto para calcular la probabilidad total de seleccionar una manzana: p(f = m) =p(f = m C = r)p(c = r)+p(f = m C = a)p(c = a) (15) = = y por la regla de la suma se tiene que (16) p(f = f) =1 11/20=9/20. Supóngase que se ha seleccionado una fresa y se desea conocer de cuál caja fue tomada, lo cual se puede resolver con (9): p(c = r F = f) = p(f = f C = r)p(c = r) p(f = f) (17) = = 2 3 (18) y por la regla de la suma se tiene que p(c = a F = f) =1 2/3 =1/3. 10

11 Ejercicio Una compañía de transporte público tiene tres líneas en una ciudad, de forma que el 45% de los autobuses cubre el servicio de la línea 1, el 25% cubre la línea 2 y el 30% cubre el servicio de la línea 3. Se sabe que la probabilidad de que un autobús se averíe diariamente es del 2%, 3% y 1% respectivamente para cada línea. 1. Calcular la probabilidad de que un autobús sufra una avería. 2. Calcular la probabilidad de que un autobús no sufra una avería. 3. En qué línea de transporte es más probable que un autobús sufra una avería? A partir de la información dada por la compañía se pueden inferir las siguientes probabilidades: p(l i ) : probabilidad de servicio de la i-ésima línea, para i=1,2,3. p(a L i ) : probabilidad de sufrir una avería en la i-ésima línea. p(ā L i) : probabilidad de no sufrir una avería en la i-ésima línea. 11

12 Ejercicio a) Calcular la probabilidad de que un autobús sufra una avería. p(a) = X i p(l i,a)= X i p(a L i )p(l i ) = = b)calcular la probabilidad de que un autobús no sufra una avería. p(ā) =1 p(a) = c) En qué línea de transporte es más probable que un autobús sufra una avería? p(l i A) = p(a L i)p(l i ) p(a) p(l 1 A) = p(l 2 A) = p(l 3 A) = = = =