CI2612: Algoritmos y Estructuras de Datos II. Espacio de probabilidad. Objetivos. Blai Bonet

Transcripción

1 CI2612: Algoritmos y Estructuras de Datos II Blai Boet Aálisis probabiĺıstico Uiversidad Simó Boĺıvar, Caracas, Veezuela Objetivos Espacio de probabilidad Ituitivamete, utilizamos la idea de probabilidad para asigar ua medida de plausibilidad al resultado de u experimeto aleatorio Estudiar los elemetos básicos de la teoría de probabilidad para realizar los aálisis ecesarios de algoritmos Ejemplos de aálisis probabiĺıstico Formalmete, la oció de probabilidad se defie sobre u espacio de probabilidad El espacio de probabilidad (Ω, F, P) lo coforma: el espacio muestral Ω que cotiee todos los posibles resultados del experimeto o proceso aleatorio el cojuto F de evetos a cosiderar (e uestro caso todos los subcojutos de Ω) la fució o medida de probabilidad P( ) defiida sobre los evetos

2 Ejemplo: Lazar ua moeda Cosidere el experimeto de lazar ua moeda Existe dos posibles resultados del experimeto: Ω = {H, T } El cojuto de evetos es F = {, {H}, {T }, {H, T }}: El eveto deota que el experimeto vacuo (cosiderado por coveiecia) El eveto {H} deota que la moeda salió cara El eveto {T } deota que la moeda salió cruz El eveto {H, T } deota que la moeda salió cara o cruz Si la moeda es isesgada (resultados equiprobables), defiimos: P( ) = 0, P({H}) = P({T }) = 1 2, y P({H, T }) = 1 Evetos Para cada ω Ω, el eveto {ω} se llama eveto atómico y represeta u úico resultado del experimeto Los otros evetos deota cojutos de posibles resultados los cuales so útiles para el aálisis del experimeto Por ejemplo, si el experimeto es lazar u dado, podemos hablar del eveto que el dado cae e u úmero par Después de realizar el experimeto podemos decir cuado u eveto es cierto o falso. Si el resultado del experimeto es ω, decimos que el eveto E es cierto si ω E. Si ω / E, decimos que E es falso Fució (medida) de probabilidad Eveto complemeto La fució de probabilidad P es ua fució P : F [0, 1] que asiga probabilidades a los evetos y debe satisfacer: P1. P(Ω) = 1 P2. para toda colecció {E i } i de evetos que sea disjutos dos a dos (i.e. E i E j = para todo 1 i < j ): P( i=1 E i) = P(E 1 ) + P(E 2 ) + + P(E ) Por lo tato, 1 = P(Ω) = P(Ω) + P( ) = P( ) = 0 Cosidere u eveto E que deota u posible resultado del experimeto El eveto E c = Ω \ E es el eveto complemeto: E es cierto ssi E c es falso Etoces, P(E) es la probabilidad de que E sea cierto y P(E c ) es la probabilidad de que E sea falso Por la aditividad de la medida y la propiedad P1: P(E c ) = P(Ω) P(E) = 1 P(E)

3 Ejemplo: Lazar dos moedas Idepedecia: Dos evetos Ahora cosidere dos moedas isesgadas e idepedietes Defiimos: Ω = {HH, HT, T H, T T } F = {E Ω} P(E) = 1 4 para todo eveto atómico E (la probabilidad de los demás evetos queda determiada por la propiedad P2) Probabilidad de que 1ra moeda salga cara: P({HH, HT }) = 1 2 Probabilidad de que 2da moeda salga cara: P({HH, T H}) = 1 2 Cosidere u espacio (Ω, F, P) y dos evetos E 1, E 2 F E 1 es idepediete de E 2 si coocer algua iformació sobre la ocurrecia de E 1 o altera la probabilidad de la ocurrecia de E 2 (y vice versa) Formalmete, E 1 y E 2 so idepedietes ssi P(E 1 E 2 ) = P(E 1 )P(E 2 ) E el ejemplo, cosidere E 1 = {HH, HT } y E 2 = {HH, T H} que deota los evetos e dode la primera y seguda moeda sale cara respectivamete: P(E 1 E 2 ) = P({HH}) = 1 4 = = P(E 1) P(E 2 ) Idepedecia: Más de dos evetos Probabilidad codicioal Dos formas de defiirla Cosidere la colecció E = {E 1, E 2,..., E } de evetos: E es idepediete dos a dos ssi E i es idepediete de E j para cualquier (i, j) co i j; i.e. P(E i E j ) = P(E i ) P(E j ) para todo 1 i < j E es mutuamete idepediete ssi P( E A E) = E A P(E) para todo subcojuto A E de evetos Las defiicioes o so equivaletes, pero la seguda implica la primera Cosidere el experimeto de lazar u dado isesgado y los evetos A = el dado cae e múltiplo de 3 ó 5 y B = el dado cae par Vemos P(A) = 3 6 = 1 2 y P(B) = 3 6 = 1 2 pero P(A B) = 1 6 Cuál es la probabilidad del eveto A si sabemos que B es cierto? De las tres posibilidades para el eveto B (i.e. el dado sale 2, 4, o 6), solo ua hace cierta al eveto A. Por lo tato, la respuesta es 1 3 Defiimos la probabilidad codicioal P(A B) = P(A B)/P(B) [por lo geeral deotamos P(A B) co P(A, B)]

4 Idepedecia y probabilidad codicioal Regla de la cadea Cosidere dos evetos idepedietes A y B: P(A B) = P(A, B) P(B) = P(A) P(B) P(B) = P(A) Ahora cosidere dos evetos A y B tales que P(A B) = P(A) P(A, B) = P(A B) P(B) = P(A) P(B) Coclusió: A y B so idepedietes ssi P(A B) = P(A) Cosidere ua colecció de evetos {A 1, A 2,..., A } P(A 1, A 2 ) = P(A 1 A 2 ) P(A 2 ) P(A 1, A 2, A 3 ) = P(A 1 A 2, A 3 ) P(A 2, A 3 ) = P(A 1 A 2, A 3 ) P(A 2 A 3 ) P(A 3 ) P(A 1, A 2, A 3, A 4 ) = P(A 1 A 2, A 3, A 4 ) P(A 2, A 3, A 4 ) = P(A 1 A 2, A 3, A 4 ) P(A 2 A 3, A 4 ) P(A 3, A 4 ) = P(A 1 A 2, A 3, A 4 ) P(A 2 A 3, A 4 ) P(A 3 A 4 ) P(A 4 ) E geeral, P(A 1,..., A k ) = Π k i=1p(a i A i+1,..., A k ) Cosidere la siguiete propuesta: Variables aleatorias Usted paga boĺıvares para teer el chace de lazar ua moeda. Si la moeda sale cara, usted recibe u pago m H y si la moeda sale cruz usted recibe m T (ambos pagos e boĺıvares) Variables aleatorias Ua variable aleatoria X sobre u espacio (Ω, F, P) es ua fució desde el espacio muestral a los reales (i.e. X : Ω R) Defiimos el eveto [X = x] = {w Ω : X(w) = x} co probabilidad P(X = x) = P({w Ω : X(w) = x}) Vale la pea aceptar la propuesta? Utilizaremos variables aleatorias y cálculo de esperaza para respoder la preguta E el ejemplo, Ω = {H, T } y defiimos la variable Z : Ω R igual al beeficio eto que se obtiee de aceptar la propuesta: Z(H) = m H Z(T ) = m T E.g. si m H m T, etoces P(Z = m H ) = P({H})

5 Esperaza Resolució del problema de apuesta Dado (Ω, F, P) y variable aleatoria X : Ω R, la esperaza de X se defie como: E[X] = ω Ω X(ω) P({ω}) Si los valores tomados por X so eteros o egativos E[X] = x 0 x P(X = x) La esperaza cuatifica el valor esperado (promedio) de la variable aleatoria X: Si repetimos el experimeto muchas veces de forma idepediete, y promediamos los valores obteidos de X, el promedio tiede a E[X] a medida que el úmero de repeticioes se icremeta El beeficio eto Z de aceptar la propuesta es: El beeficio eto esperado es: Z(H) = m H Z(T ) = m T E[Z] = ω Ω Z(ω) P({ω}) = Z(H) P({H}) + Z(T ) P({T }) = (m H ) (m T ) 1 2 = 1 2 (m H + m T ) Etoces, E[Z] > 0 cuado m H + m T > 2 Idepedecia de variables aleatorias Propiedades de esperaza Dos variables aleatorias X, Y defiidas sobre el mismo espacio (Ω, F, P) so idepedietes ssi P(X A, Y B) = P(X A) P(Y B) para todos los subcojtos A, B R E[αX + βy ] = αe[x] + βe[y ] Si Y = g(x) para g : R R, etoces Y es variable aleatoria y E[Y ] = y y P(Y = y) = x g(x) P(X = x) (cuado las sumas este bie defiidas; e.g. X y Y tega rago fiito) Ua colecció {X i } i=1 de variables aleatorias defiidas sobre el mismo espacio es idepediete dos a dos ssi para todo 1 i < j, X i y X j so idepedietes Si X e Y so idepedietes, E[XY ] = E[X] E[Y ]

6 Variables aleatorias idicadoras Cota para la probabilidad de la uió Ua variable aleatoria X : Ω R que tome valores e {0, 1} se llama variable aleatoria idicadora Calculemos su esperaza: E[X] = ω Ω X(ω) P({ω}) = 0 P({ω Ω : X(w) = 0}) + 1 P({ω Ω : X(w) = 1}) = P({ω Ω : X(ω) = 1}) = P(E) dode E es el eveto E = {ω Ω : X(ω) = 1} = [X = 1] Cosidere ua colecció de evetos {E 1, E 2,..., E } Si los evetos so disjutos dos a dos, P(E 1 E 2 E ) = P(E i ) 1 i E cualquier caso, siempre se cumple P(E 1 E 2 E ) P(E i ) 1 i Esperaza de variables eteras Desigualdad de Markov Cosidere ua v.a. etera o-egativa X; i.e. co rago {0, 1, 2,...} Por defiició, su esperaza es E[X] = x 0 x P(X = x) = x 1 x P(X = x) La desigualdad de Markov permite acotar la probabilidad de ua variable X o egativa utilizado la esperaza de X La suma la podemos expresar de la siguiete forma: P(X = 1) P(X = 1) 2P(X = 2) P(X = 2) P(X = 2) 3P(X = 3) P(X = 3) P(X = 3) P(X = 3) 4P(X = 4) P(X = 4) P(X = 4) P(X = 4) P(X = 4) E[X] P(X 1) P(X 2) P(X 3) P(X 4) Para todo t > 0, P (X t) E[X] t Etoces, E[X] = x 1 P(X x) cuado X es etera o-egativa

7 Lazar moedas Cosidere el experimeto de lazar ua moeda hasta obteer cara. Co suerte, lazamos ua sola vez. Co mala suerte, lazamos muchas veces Cuátas veces teemos que lazar la moeda e promedio? Ejemplos de aálisis probabiĺıstico Sea X la v.a. para el úmero de veces que teemos que lazar la moeda Queremos calcular E[X]. Utilizaremos E[X] = k 1 P(X k): P(X 1) = 1 P(X 2) = 1/2 P(X 3) = 1/4... P(X k) = 1/2 k 1 E[X] = k 1 P(X k) = k 1 1 = 2 k 1 k 0 1 = 2 2 k Paradoja del día de acimieto 1/4 Paradoja del día de acimieto 2/4 Cuátos estudiates debe haber e u saló para que la probabilidad de que dos de ellos azca el mismo día sea > 1 2? Asumiremos que el año tiee = 365 días (obviado años bisiestos) e idizamos a las persoas co los eteros 1, 2,..., k Sea b i {1, 2,..., } el día de acimieto de la persoa i. Asumimos P(b i = r) = 1/ y P(b i = r, b j = s) = 1/ 2 para todo i, j, r, s La probabilidad que las persoas i y j azca el mismo día es Ahora acotaremos P(B m ) dode B m es el eveto que los días de acimieto de las persoas 1, 2,..., m so todos distitos Para m 2, defiimos el eveto A m = las persoas 1, 2,..., m 1 ace e días distitos a la persoa b m Observar B 1 = Ω B 2 = B 1 A 2 P(b i = b j ) = P( d=1 {b i = d, b j = d}) (evetos equivaletes) B 3 = B 2 A 3 = B 1 A 2 A 3 = d=1 P(b i = d, b j = d) (evetos disjutos, cota uió) = d=1 1 2 = 1 (suposició) B 4 = B 3 A 4 = B 1 A 2 A 3 A 4 E geeral, B k = B 1 A 2 A k

8 Paradoja del día de acimieto 3/4 Para respoder la preguta, ecesitamos el úmero k de persoas tal que P(B c k) 1 2 dode Bk c = al meos dos persoas e {1, 2,..., k} ace el mismo día Como P(B c k ) = 1 P(B k), queremos calcular k tal que P(B k ) 1 2 P(B k ) = P(B 1 ) P(A 2 B 1 ) P(A 3 B 2 ) P(A k B k 1 ) = k+1 = 1 (1 1 ) (1 2 k 1 ) (1 ) e 1/ e 2/ e (k 1)/ [α < 1 = 1 α e α ] = e 1 k 1 i=1 i = e k(k 1)/2 1 2 cuado k(k 1)/2 l(1/2). Para = 365, basta k 23 Paradoja del día de acimieto 4/4 Resolvamos uevamete usado variables idicadoras y la liealidad de la esperaza. Cosidere la v.a. idicadora X ij = II{b i = b j }: E[X ij ] = P(X ij = 1) = P(b i = b j ) = 1/ Sea X el úmero de pares de persoas distitas co el mismo día de acimieto: i.e. X = 1 i<j k X ij E[X] = 1 i<j k E[X ij] = 1 i<j k 1 = ( ) k 2 1 Si E[X] 1 etoces existe al meos u i y j tal que X ij = 1 = k(k 1) 2 E[X] 1 cuado k(k 1)/2 1 lo que implica k 1 2 ( ) Para = 365, cuado k 28 esperamos que exista al meos 1 par de persoas que cumpla el mismo día Más fácil pero la cota k 28 es meos ajustada que k 23 Pelotas y cajas Cosidere el proceso de lazar pelotas idéticas e b cajas distitas, umeradas 1, 2,..., b Los lazamietos so idepedietes y la probabilidad de que ua pelota caiga e ua caja cualquiera es 1/b Cuátas pelotas cae (e promedio) e ua caja dada? Respuesta: /b pelotas por caja e promedio Cuátas pelotas debemos lazar (i.e. determiar ) hasta que 1 pelota caiga e ua caja dada? Respuesta: debemos lazar b pelotas e promedio Cuátas pelotas debemos lazar (i.e. determiar ) hasta que toda caja cotega al meos 1 pelota? (Coleccioista de cupoes) Respuesta: debemos lazar b l b pelotas e promedio Coleccioista de cupoes 1/2 Cada vez que ua pelota cae e ua caja vacía lo llamamos u hit Queremos calcular el úmero esperado de lazamietos hasta obteer b hits Particioamos los lazamietos e episodios: el primer episodio cosiste e los lazamietos hasta el primer hit (icluyedo el hit) el i-ésimo episodio cosiste e los lazamietos después de (i 1)-ésimo hit y hasta el i-ésimo hit (icluyedo el hit) Sea i el úmero de lazamietos e el i-ésimo episodio. El úmero total de lazamietos para obteer b hits es b i=1 i [ b ] E i=1 i = b i=1 E[ i] = b i=1 b b i+1 dode E[ i ] = b/(b i + 1) (ver próximo slide) = b b i=1 1 i = b(l b + O(1))

9 Coleccioista de cupoes 2/2 Resume Distribució y esperaza de la variable i Sea p i la probabilidad de que u lazamieto e el i-ésimo episodio sea u hit y q i = 1 p i P( i k) = P( i > k 1) = q k 1 i ( i > k 1 ssi los primeros k 1 lazamietos o so u hit) E[ i ] = k 1 P( i k) = k 1 q k 1 i = k 0 q k i = 1 = 1 1 q i p i Observe que p i = (b i + 1)/b ya que durate el i-ésimo episodio, i 1 cajas tiee pelotas y b i + 1 cajas o tiee pelotas Elemetos de teoría de probabilidades: espacio de probabilidades: espacio muestral, evetos, fució de probabilidad idepedecia de evetos, probabilidad codicioal y regla de la cadea variables aleatorias e idepedecia de variables esperaza y propiedades cota para la uió, regla de probabilidad total y desigualdad de Markov Ejemplos de aálisis probabiĺıstico Ejercicios opcioales (1 de 2) Ejercicios opcioales (2 de 2) 1. (8.4-3) Sea X ua variable aleatoria que es igual al úmero de caras e dos lazadas de ua moeda isesgada. Calcule E[X 2 ] y E[X] 2 2. (5.2-3) Use variables idicadoras para computar el valor esperado de la suma de dados lazados (isesgados) 3. (5.2-4) Use variables idicadoras para resolver lo siguiete. Cada uo de los clietes e u restaurat deja sus sombreros co el guardaropas. Al salir, el guardaropas devuelve los sombreros totalmete al azar. Cuál es el úmero esperado de clietes que obtiee su sombrero al salir del restaurat? 4. (5.2-5) Sea A[1... ] u arreglo co eteros distitos. Si i < j y A[i] > A[j], decimos que el par (i, j) es ua iversió de A. Supoga que los elemetos de A forma ua permutació uiforme sobre {1, 2,..., }. Use variables idicadoras para calcular el úmero esperado de iversioes e A 5. Respoda la primera y seguda preguta para el problema de las pelotas y las cajas