Conceptos básicos de probabilidad Muchos significados Existe una probabilidad del 90% que el medicamento X funcione En 9 de 10 casos funciona Existe una probabilidad del 90% que la Iliada y la Odisea fueron escritos por el mismo autor Una creencia Pregunta Lloverá mañana? Basado en frecuencias Basado en creencias Quién ganará el campeonato? Toluca o América Sin certeza Con duda La palabra clave Incertidumbre Fuzzy logic Otras disciplinas Lógica de probabilidad (LOS) Teoría de posibilidad Redes Neuronales Artificiales La teoría de probabilidad La teoría de probabilidad es una forma matemática de describir la incertidumbre Dos elementos principales: Espacio de sampleo Ω Ley de la probabilidad 1
Ω = mejor nombre? Todos los posibles resultados de un experimento exhaustivamente Lanzar una moneda al aire Ω = {A,S} Lanzar un dado Ω = {1,2,3,4,5,6} Lanzar tres moneda al aire Ω = {AAA,AAS,ASA,SAA,ASS,SAS,SSA,SSS} La primera palabra de una oración Ω = {A, ábaco, Ana, azar, } Que una persona diga una oración Ω = { S S sea una oración válida } Experimento Un proceso con varios posibles resultados Muy similar a un máquina no deterministica Tipos de experimentos Juegos de azar Procesos económicos o políticos Efectos de medicamentos Procesos mentales?? Al resultado ocurrido se le conoce como evento La ley de P Probabilidad mide la plausibilidad de un conjunto de eventos 2 Ω -> [0..1] Y debe cumplir con la ley A) 0 A U B) = A) + B) si A y B son disjuntos Ω ) = 1 Ω = {A,S} Una moneda al aire Una moneda al aire Divide y vencerás Ω = {A,S} 2 Ω = {φ, {A}, {S}, {A,S}} Si es una moneda balanceada entonces suponemos que existen los mismos chances que A y S sucedan, es decir A) = 0.5 y B) = 0.5 En este caso nuestra incertidumbre es máxima En este caso es una distribución uniforme Entonces Ω ) = A U S) = A) + S) = 1.0 φ) = 0.0 La probabilidad de un evento complejo S es la suma de las probabilidades de sus elementos {S1,S2 Sn})=S1)+S2)+ +Sn) Si la distribución es uniforme entonces S) = Número de elementos de S/Número posible de resultados 2
Tres monedas al aire Ω = {AAA,AAS,ASA,SAA,SSA,SAS,ASS,SSS} Cuál es la probabilidad que al menos dos monedas salgan SOL? {SSA,ASS,SSS })=3/8 Cuál es la probabilidad de que la primera moneda sea AGUILA? {AAA,AAAS,ASA,ASS })=4/8=1/2 Algunas propiedades Si A es un subconjunto de B entonces A) B) A U B) = A) + B) A B) A U B) A) + B) A U B U C) = A) + Ac B) + A c B c C) El juego Definir un modelo, es decir un espacio de sampleo y sus probabilidades Dado un modelo derivar probabilidades de ciertos eventos Probabilidad condicional Nos permite razonar con información parcial Lanzamos 3 monedas al aire, sabemos que la segunda y tercera fueron SOL cual es la probabilidad que la primera sea AGUILA A 1 X 2 X 3 X 1 S 2 S 3 ) Probabilidad condicional (cont) En caso de distribución uniforme A B) = Num de elementos en A B / Num de elementos en B En el caso general A B) = A B)/B) con B)>0.0 Probabilidades para un nuevo universo Con la probabilidad condicional A B) = B) A B) Secuencia de eventos A1 A2 An) = A1) A2 A1) A2 A1) 3
Cual es la probabilidad de no sacar una carta de corazones de un mazo de barajas en los primeros tres intentos Probabilidad total Dada una partición del espacio de sampleo A = A1, An donde los elementos de A son disjuntos y todos los elementos del espacio de sampleo están incluidos en A entonces B)=A1 B) + + An B) Regla de Bayes Alguien entra un torneo de ajedrez donde la mitad de los participantes son profesionales, un cuarto son amateur y el resto son expertos. Su chance de ganarle a un amateur es.5, a un experto.4 y a un profesional.3. Cuál es su chance de ganar su primer partido si su oponente es escogido al azar? P ( AB) = BA) A) B) Bayes: informalmente Existen ciertas causa que tienen un efecto Un mamografía muestra una mancha La mancha es el efecto, la causa puede ser un tumor maligno, un tumor no maligno u otra causa Durante el diagnostico vemos la mancha en la mamografía y nos gustaría saber la probabilidad de que sea un tumor Bayes: Informalmente (cont) Causas = {A1,A2,A3} Efecto = B Ai B) = B Ai) Ai)/B) 4
Sacado de: http://yudkowsky.net/rational/bayes El contexto 1% de las mujeres mayores de 40 años que se checan regularmente tiene cancer 80% de estás mujeres recibirán el resultado de una mamografía positiva 9.6% de la mujeres sin cancer también recibirán una mamografía positiva Una mujer de 45 años recibe positivo el resultado de una mamografía. Cúal es la probabilidad de que tenga cancer? Los hechos Alrededor de 15% de los doctores razonan adecuadamente este problema. Un cambio en la escala puede elevar a 46% la cantidad de doctores que razonan adecuadamente el problema. Causa: Cancer Efecto: Mamografìa positiva Causa: Cancer Efecto: Mamografìa positiva C-Cancer, nc-no Cancer Mp-Mamografìa positiva Mn-Mamografìa negativa Ω = {CMp,nCMp,CMn,nCMn} Causa: Cancer Efecto: Mamografìa positiva C-Cancer, nc-no Cancer Mp-Mamografìa positiva Mn-Mamografìa negativa Ω = {CMp,nCMp,CMn,nCMn} C Mp)? 5
El contexto 1% de las mujeres mayores de 40 años que se checan regularmente tiene cancer 80% de estás mujeres recibirán el resultado de una mamografía positiva 9.6% de la mujeres sin cancer también recibirán una mamografía positiva Una mujer de 45 años recibe positivo el resultado de una mamografía. Cúal es la probabilidad de que tenga cancer? C)=0.01 Revisando los datos Mp C)=0.8 Mp nc)=0.096 (cont). C Mp) = Mp C)C)/Mp) (cont). C Mp) = Mp C)C)/Mp) Mp)? (cont). C Mp) = Mp C)C)/Mp) (cont). C Mp) =.8*.01/.103=.0769 Mp) = Mp C) + Mp nc) Mp) = Mp C) C)+ Mp nc)nc) Mp) =.8*.01+.096*.99=.103 6
Regla de Bayes Independencia Likehood P ( AB) = Prior BA) A) B) Normalización Dos eventos son independientes cuando: A B) = A) Lo que lleva a A B)=A)B) Fácil de entender: Si A es producido por una máquina 1 y B por otra máquina 2, son independientes No tan fácil En término del espacio de sampleo en un error pensar que A y B son independientes si son disjuntos. No tan fácil En término del espacio de sampleo en un error pensar que A y B son independientes si son disjuntos. Lanzo dos monedas al aire es la primera moneda independiente de la segunda? Ω={AS,SA,SS,SA} X1 X2)=1/4 X1) =1/2 X2)=1/2 Lanzo dos monedas al aire la primera vez sale sol, qué salgan dos soles? Ω={AS,SA,SS,SA} XS XSS)=1/4 XS) =1/2 XSS)=1/4 Independencia condicional Los eventos A y B son independientes con respecto a C si A B C) = A C) B C) Lo que lleva a A B C) = A C) Se lanzan dos monedas al aire y se observan los eventos: E1=Primera moneda cae SOL E2=Segunda moneda cae SOL E3=Ambas monedas son diferentes E1 es independiente de E2 E1 E2)=1/4, E1)=1/2, E2)=1/2 Pero no son condicionalmente independientes con respecto a E3 E1 E2 E3)=0, E1 E3)=1/2, E2 E3)=1/2 7
Se lanzan dos monedas al aire y se observan los eventos: E1=Primera moneda cae SOL E2=Segunda moneda cae SOL E3=Ambas monedas son diferentes E1 es independiente de E2 E1 E2)=1/4, E1)=1/2, E2)=1/2 Pero no son condicionalmente independientes con respecto a E3 E1 E2 E3)=0, E1 E3)=1/2, E2 E3)=1/2 La independencia se asume Asumir independencia ayuda a simplificar los cálculos Muchos modelos probabilísticos usados en aprendizaje automático asumen independencia La probabilidad de generar una oración Ω = Todas las oraciones del lenguaje Oración = w1,w2,w3 wn No asumimos independencia: w1 w2 wn)=w1)w2 wn w1)= w1)w2 w1) w3 wn w1 w2) Asumimos independencia: w1 w2 wn)=w1)w2) wn) Variable aleatoria Hasta ahora la función P ha sido definida para aceptar conjuntos de Ω Idea: estandarizar el argumento de P Un variable aleatoria hace este trabajo, es una función de Ω a R Variable aleatoria (cont) Todos los posibles resultados de un experimento exhaustivamente Lanzar una moneda al aire Ω = {A,S} X = {1,0} Lanzar un dado Ω = {1,2,3,4,5,6} X = Lanzar tres moneda al aire Ω = {AAA,AAS,ASA,SAA,ASS,SAS,SSA,SSS} X = {0,1,2,3} Variable aleatoria (cont) Restricción: Variables aleatorias son un conjunto de un valor X) = {x}) Las variables aleatorias están acompañadas de una función de probabilidad de masa px px(x)=x= {x}) 8
En la siguiente clase Veremos como utilizar estos conceptos para jugar el juego Presentaremos el modelo Hiden Markov Models, su espacio de sampleo y asumsiones de independencias Mostraremos como es posible definir la probabilidad de sus eventos dado un conjunto de ejemplos Y como usar estos probabilidades para resolver los problemas comunes de este modelo 9