CI2612: Algoritmos y Estructuras de Datos II Blai Bonet Análisis probabiĺıstico Universidad Simón Boĺıvar, Caracas, Venezuela Objetivos Espacio de probabilidad Las probabilidades se definen sobre un espacio de probabilidad Estudiar los elementos básicos de la teoría de probabilidad para realizar los análisis necesarios de algoritmos Ejemplos de análisis probabiĺıstico El espacio de probabilidad lo conforman: el espacio muestral Ω que contiene todos los posibles resultados del experimento o proceso probabiĺıstico el conjunto F de eventos a considerar (en nuestro caso todos los subconjuntos de Ω) la función o medida de probabilidad P( ) definida sobre los eventos
Ejemplo: Lanzar una moneda Considere el experimento de lanzar una moneda Existen dos posibles resultados del experimento: Ω = {H, T } El conjunto de eventos es F = {, {H}, {T }, {H, T }}: El evento denota que el experimento no dió ninguń resultado El evento {H} denota que la moneda salió cara El evento {T } denota que la moneda salió cruz El evento {H, T } denota que la moneda salió cara o cruz Si la moneda es insesgada (resultados equiprobables), definimos: P( ) = 0, P({H}) = P({T }) = 1 2, y P({H, T }) = 1 Eventos Para cada ω Ω, el evento {ω} se llama evento atómico y representa un único resultado del experimento Los otros eventos denotan conjuntos de posibles resultados los cuales son útiles para el análisis del experimento Por ejemplo, si el experimento es lanzar un dado, podemos hablar del evento que el dado cae en un número par Después de realizar el experimento, podemos decir cuando un evento es cierto o falso. Si el resultado del experimento es ω, decimos que el evento E es cierto si ω E. Si ω / E, el evento E es falso Función (medida) de probabilidad Probabilidad del evento complemento La función de probabilidad P es una función P : F [0, 1] que asigna probabilidaddes a los eventos y debe satisfacer: P1. P(Ω) = 1 P2. para toda colección {E i } i de eventos que sean disjuntos dos a dos (i.e. E i E j = para todo 1 i < j n): P( n i=1 E i) = P(E 1 ) + P(E 2 ) + + P(E n ) Por lo tanto, 1 = P(Ω) = P(Ω) + P( ) = P( ) = 0 Considere un evento E que denota un posible resultado del experimento P(E) es la probabilidad de que dicho resultado suceda mientras que P(E c ), donde E c = Ω \ E, es la probabilidad de que no suceda Por la aditividad de la medida y la propiedad P1: P(E c ) = P(Ω) P(E) = 1 P(E)
Ejemplo: Lanzar dos monedas Independencia de dos eventos Ahora considere dos monedas insesgadas e independientes Definimos: Ω = {HH, HT, T H, T T } F = {E Ω} P(E) = 1 4 para todo evento atómico E (la probabilidad de los demás eventos queda determinada por la propiedad P2) Probabilidad primera moneda salga cara: P({HH, HT }) = 1 2 Probabilidad segunda moneda salga cara: P({HH, T H}) = 1 2 Considere un espacio (Ω, F, P) y dos eventos E 1, E 2 F E 1 es independiente de E 2 si conocer alguna información sobre la ocurrencia de E 1 no altera nuestra creencia sobre la ocurrencia de E 2 (y vice versa) E 1 es independiente de E 2 ssi P(E 1 E 2 ) = P(E 1 ) P(E 2 ) En el ejemplo de las dos monedas, considere E 1 = {HH, HT } y E 2 = {HH, T H}, los eventos que la primera y segunda moneda salen cara respectivamente: P(E 1 E 2 ) = P({HH}) = 1 4 = 1 2 1 2 = P(E 1) P(E 2 ) Independencia de más de dos eventos Probabilidad condicional Dos formas de definirla Considere la colección E = {E 1, E 2,..., E n } de eventos: E es independiente dos a dos ssi E i es independiente de E j para cualquier (i, j) con i j; i.e. P(E i E j ) = P(E i ) P(E j ) para todo 1 i < j n E es mutuamente independiente ssi P( E A E) = E A P(E) para todo subconjunto A E de eventos Las definiciones no son equivalentes, pero la segunda implica la primera Considere el experimento de lanzar un dado insesgado y los eventos A = el dado cae en múltiplo de 3 ó 5 y B = el dado cae par Claramente: P(A) = 3 6 = 1 2 y P(B) = 3 6 = 1 2 pero P(A B) = 1 6 Cuál es la probabilidad del evento A si sabemos que B es cierto? De las tres posibilidades para el evento B (i.e. el dado sale 2, 4, o 6), solo una hace cierta al evento A. Por lo tanto, la respuesta es 1 3 Definimos la probabilidad condicional P(A B) = P(A B)/P(B) [por lo general denotamos P(A B) con P(A, B)]
Independencia y probabilidad condicional Regla de la cadena Considere dos eventos independientes A y B: P(A B) = P(A, B) P(B) = P(A) P(B) P(B) = P(A) Ahora considere dos eventos A y B tales que P(A B) = P(A) P(A, B) = P(A B) P(B) = P(A) P(B) Conclusión, A y B son independientes ssi P(A B) = P(A) Considere una colección de n eventos {A 1, A 2,..., A n } P(A 1, A 2 ) = P(A 1 A 2 ) P(A 2 ) P(A 1, A 2, A 3 ) = P(A 1 A 2, A 3 ) P(A 2, A 3 ) = P(A 1 A 2, A 3 ) P(A 2 A 3 ) P(A 3 ) P(A 1, A 2, A 3, A 4 ) = P(A 1 A 2, A 3, A 4 ) P(A 2, A 3, A 4 ) = P(A 1 A 2, A 3, A 4 ) P(A 2 A 3, A 4 ) P(A 3, A 4 ) = P(A 1 A 2, A 3, A 4 ) P(A 2 A 3, A 4 ) P(A 3 A 4 ) P(A 4 ) P(A 1,..., A k ) = Π k i=1p(a i A i+1,..., A k ) Variables aleatorias Variables aleatorias Considere la siguiente propuesta: Una variable aleatoria X sobre un espacio (Ω, F, P) es una función desde el espacio muestral a los reales (i.e. X : Ω R) Usted paga n boĺıvares para tener el chance de lanzar una moneda. Si la moneda sale cara, usted recibe un pago m H y si la moneda sale cruz usted recibe m T (ambos pagos en boĺıvares) Definimos, P(X = x) = P({w Ω : X(w) = x}) Vale la pena aceptar la propuesta? Utilizaremos variables aleatorias y cálculo de esperanza para responder la pregunta En el ejemplo, Ω = {H, T } y definimos la variable aleatoria Z : Ω R igual al beneficio neto obtenido de aceptar la propuesta: Z(H) = m H n Z(T ) = m T n E.g., para m H m T, P(Z = m H n) = P({H})
Esperanza Resolución del problema de apuesta El beneficio neto Z de aceptar la propuesta es: Dado (Ω, F, P) y variable aleatoria X : Ω R, la esperanza de X se define como: E[X] = ω Ω X(ω) P({ω}) = x x P(X = x) La esperanza cuantifica el valor esperado (promedio) de la variable aleatoria X: Si realizamos el experimento muchas veces, y promediamos los valores de X obtenidos, el promedio tiende a E[X] a medida que el número de repeticiones del experimento se incrementa El beneficio neto esperado es: Z(H) = m H n Z(T ) = m T n E[Z] = ω Ω Z(ω) P({ω}) = Z(H) P({H}) + Z(T ) P({T }) = (m H n) 1 2 + (m T n) 1 2 = 1 2 (m H + m T ) n Entonces, E[Z] > 0 cuando m H + m T > 2n Independencia de variables aleatorias Propiedades de esperanza Dos variables aleatorias X, Y definidas sobre el mismo espacio (Ω, F, P) son independientes ssi para todo x, y R P(X = x, Y = y) = P(X = x) P(Y = y) E[αX + βy ] = ω Ω [αx(ω) + βy (ω)] P({ω}) = ω Ω [αx(ω) P({ω}) + βy (ω) P({ω})] = α ω Ω X(ω) P({ω}) + β ω Ω Y (ω) P({ω}) = αe[x] + βe[y ] Si Y = g(x) para g : R R, entonces Y es variable aleatoria y Una colección {X i } n i=1 de variables aleatorias definidas sobre el mismo espacio es independiente ssi para todo x 1, x 2,..., x n R P( n i=1x i = x i ) = n i=1 P(X i = x i ) E[Y ] = y yp(y = y) = x g(x)p(x = x) Si X e Y son independientes, E[XY ] = x,y xyp(x = x, Y = y) = x,y xyp(x = x)p(y = y) = x xp(x = x) y yp(y = y) = E[X] E[Y ]
Variables aleatorias indicadoras Cota para la probabilidad de la unión Una variable aleatoria X : Ω R tal que Rg(X) = {0, 1} se llama variable aleatoria indicadora Calculemos su esperanza: E[X] = ω Ω X(ω) P({ω}) = ω Ω,X(ω)=1 P({ω}) = P({ω Ω : X(ω) = 1}) = P(E) donde E es el evento E = {ω Ω : X(ω) = 1} = {X = 1} Considere una colección de eventos {E 1, E 2,..., E n } Queremos obtener una cota para P( 1 i n E i ) Defina A 1 = E 1, A 2 = E 2 \ E 1,..., A i = E i \ (E 1 E i 1 ) Los conjuntos {A i } i son disjuntos dos a dos y 1 i n E i = 1 i n A i P( 1 i n E i ) = P( 1 i n A i ) = P(A i ) P(E i ) ya que P(A i ) P(E i ) porque A i E i 1 i n 1 i n Esperanza de variables enteras Regla de probabilidad total Considere una v.a. entera no-negativa X; i.e. con rango {0, 1, 2,...} E[X] = x 0 x P(X = x) = x 1 x P(X = x) P(X = 1) P(X = 2) P(X = 2) P(X = 3) P(X = 3) P(X = 3) P(X = 4) P(X = 4) P(X = 4) P(X = 4)..... P(X 1) P(X 2) P(X 3) P(X 4) E[X] = x 1 P(X x) Consider un evento A y una colección de eventos {B i } i que particionan el espacio muestral Ω P(A) = i P(A B i ) La prueba es sencilla ya que la colección de eventos {A B i } i es una colección disjunta dos a dos Por aditividad de P, P(A B i ) = P( i (A B i )) = P(A i B i ) = P(A Ω) = P(A) i
Desigualdad de Markov La desigualdad de Markov permite acotar la probabilidad de una variable X no negativa utilizando la esperanza de X Para todo t > 0, P (X t) E[X] t Ejemplos de análisis probabiĺıstico Sea X : Ω R una v.a. no negativa definida sobre (Ω, F, P) E[X] = x 0 x P(X = x) = t 1 x P(X = x) + x P(X = x) x=0 x=t x P(X = x) t P(X = x) = t P(X t) x=t x=t Paradoja del día de nacimiento 1/3 Cuántos estudiantes deben haber en un salón para que la probabilidad que dos de ellos nazcan el mismo día sea > 1 2? Asumiremos que el año tiene n = 365 días (obviando años bisiestos) e indizamos a las personas con los enteros 1, 2,..., k Sea b i {1, 2,..., n} el día de nacimiento de la persona i. Asumimos P(b i = r) = 1/n y P(b i = r & b j = s) = 1/n 2 para todo i, j, r, s La probabilidad que las personas i y j nazcan el mismo día es P(b i = b j ) = n r=1 P(b i = r & b j = r) = n r=1 1 n 2 = 1 n Paradoja del día de nacimiento 2/3 Ahora acotaremos P(B m ) donde B m es el evento que los días de nacimiento de las primeras m personas son todos distintos Observe B m = B m 1 A m donde A m es el evento que las personas 1,..., m 1 nacen en días distinto a b m. Entonces, B m = m i=1 A i Para responder la pregunta queremos calcular el número k de personas tal que 1 P(B k ) 1 2. Es decir, k tal que P(B k) 1 2 P(B k ) = P(B 1 ) P(A 2 B 1 ) P(A 3 B 2 ) P(A k B k 1 ) = 1 n 1 n n 2 n n k+1 n = 1 (1 1 n ) (1 2 k 1 n ) (1 n ) e 1/n e 2/n e (k 1)/n [α < 1 = 1 α e α ] = e 1 k 1 n i=1 i = e k(k 1)/2n 1 2 cuando k(k 1)/2n ln(1/2). Para n = 365, basta k 23
Paradoja del día de nacimiento 3/3 Resolvamos ahora usando variables indicadoras y la linealidad de la esperanza. Considere la v.a. indicadora X ij = II{b i = b j }: E[X ij ] = P(X ij = 1) = P(b i = b j ) = 1/n Sea X el número de pares de personas distintas con el mismo día de nacimiento: i.e. X = 1 i<j k X ij E[X] = 1 i<j k E[X ij] = 1 i<j k 1 n = ( ) k 1 2 n = k(k 1) 2n Si E[X] 1 entonces existe al menos un i y j tal que X ij = 1 E[X] 1 cuando k(k 1)/2n 1 lo que implica k 1 2 (1 + 1 + 8n) Para n = 365, cuando k 28 esperamos que exista al menos 1 par de personas que cumplan el mismo día Más fácil pero la cota k 28 es menos ajustada que k 23 Pelotas y cajas Considere el proceso de lanzar n pelotas idénticas en b cajas distintas, numeradas 1, 2,..., b Los lanzamientos son independientes y la probabilidad de que una pelota caiga en una caja cualquiera es 1/b Cuántas pelotas caen (en promedio) en una caja dada? Respuesta: n/b pelotas por caja en promedio Cuántas pelotas debemos lanzar (i.e. determinar n) hasta que 1 pelota caiga en una caja dada? Respuesta: debemos lanzar b pelotas en promedio Cuántas pelotas debemos lanzar (i.e. determinar n) hasta que toda caja contenga al menos 1 pelota? (Coleccionista de cupones) Respuesta: debemos lanzar b ln b pelotas en promedio Coleccionista de cupones 1/2 Cada vez que una pelota cae en una caja vacía lo llamamos un hit Queremos calcular el número esperado de lanzamientos hasta obtener b hits Particionamos los lanzamientos en episodios: el primer episodio consiste en los lanzamientos hasta el primer hit (incluyendo el hit) el i-ésimo episodio consiste en los lanzamientos después de (i 1)-ésimo hit y hasta el i-ésimo hit (incluyendo el hit) Sea n i el número de lanzamientos en el i-ésimo episodio. El número total de lanzamientos para obtener b hits es b i=1 n i [ b ] E i=1 n i = b i=1 E[n i] = b i=1 b b i+1 donde E[n i ] = b/(b i + 1) (ver próximo slide) = b b i=1 1 i = b(ln b + O(1)) Coleccionista de cupones 2/2 Distribución y esperanza de la variable n i Sea p i la probabilidad de que un lanzamiento en el i-ésimo episodio sea un hit y q i = 1 p i P(n i k) = P(n i > k 1) = q k 1 i E[n i ] = k 1 P(n i k) = k 1 q k 1 i = k 0 q k i = 1 = 1 1 q i p i Observe que p i = (b i + 1)/b ya que durante el i-ésimo episodio, i 1 cajas tiene pelotas y b i + 1 cajas no tienen pelotas
Resumen Ejercicios (1 de 2) Elementos de teoría de probabilidades: espacio de probabilidades: espacio muestral, eventos, función de probabilidad independencia de eventos, probabilidad condicional y regla de la cadena variables aleatorias e independencia de variables esperanza y propiedades cota para la unión, regla de probabilidad total y desigualdad de Markov 1. (8.4-3) Sea X una variable aleatoria que es igual al número de caras en dos lanzadas de una moneda insesgada. Calcule E[X 2 ] y E[X] 2 2. (5.2-3) Use variables indicadoras para computar el valor esperado de la suma de n dados lanzados (insesgados) 3. (5.2-4) Use variables indicadoras para resolver lo siguiente. Cada uno de los n clientes en un restaurant dejan sus sombreros con el guardaropas. Al salir, el guardaropas devuelve los sombreros totalmente al azar. Cuál es el número esperado de clientes que obtienen su sombrero al salir del restaurant? Ejemplos de análisis probabiĺıstico Ejercicios (2 de 2) 4. (5.2-5) Sea A[1... n] un arreglo con n enteros distintos. Si i < j y A[i] > A[j], decimos que el par (i, j) es una inversión de A. Suponga que los elementos de A forman una permutación uniforme sobre {1, 2,..., n}. Use variables indicadoras para calcular el número esperado de inversiones en A 5. Responda la primera y segunda pregunta para el problema de las pelotas y las cajas