Análisis probabilístico y algoritmos aleatorizados

Transcripción

1 Análisis probabilístico y algoritmos aleatorizados Johan Van Horebeek, horebeek@cimat.mx Análisis probabilístico: considerar el input de un algoritmo como de cierta distribución probabilística. Algoritmo aleatorizado: contiene un comando con un resultado no determinístico 1. algoritmo Las Vegas: si da una respuesta, será siempre correcta pero el tiempo requerido es v.a. (muchas veces, se tiene que parrarlo antes) 2. algoritmo Monte Carlo: su respuesta es correcta con cierta probabilidad; tiempo de cómputo es determinístico.

2 1. Prologo Uso de un elemento aleatorio en un algoritmo es algo de toda la vida: Ejemplo: decisión distribuida Pasar por una puerta angosta SIN recurrir a un supervisor. Solución: cada uno lanza una moneda; el resultado determina la acci on (tratar de pasar o dejar pasar) Si nadie puede avanzar, se repite lo anterior. Ejemplo: Zero-knowledge proofs Convencer a alguien de saber un secreto sin revelar el secreto. Alicia sabe abrir la puerta secreta? Alicia elige una entrada; Beto no ve cual se elige; Beto elige una entrada para buscar a Alicia; Si Beto la encuentra, concluye que ella NO sabe el secreto si no, se repite lo anterior (n veces m aximo) 2

3 2. Quicksort Elige un elemento p del arreglo (pivot). Divide elementos del arreglo en tres conjuntos: C1: aquellos < p, C2: aquellos = p, C3: aquellos > p Ordena de manera recursiva C1 y C3 Asembla resultados en un solo arreglo. Si el pivot es el k-ésimo elemento más chico: T (n) T (k 1) + T (n k) + O(n) Problema: depende de k. Si siempre k = 1 o k = n: O(n 2 ); si siempre k = n/2, O(nlog(n)). IDEA: Elige el pivot al azar Equivalente a suponer que el orden en el arreglo es aleatorio y elegir siempre el primer elemento. Define T, número de comparaciones: T = i<j Z i,j, Z i,j = I( se compara el i-ésimo con el j-ésimo más chico), con I() función indicadora 3

4 T = i<j Z i,j, Z i,j = I( se compara el i-ésimo con el j-ésimo más chico) ET = i<j EZ i,j EZ i,j = P ( se compara el i-ésimo con el j-ésimo más chico) P ( se compara el i-ésimo con el j-ésimo más chico) = 2 j i+1 Juntando todo: ET = i<j 2 j i+1 2 n n i=1 k=1 1 k = 2nH n. Muchas veces el interés es en P (T > t). Usar desigualdades con Chebychev (ver más adelante). 4

5 3. Verificar igualdades Ejemplo de motivación Implementaste un algoritmo para calcular un polinomio P ( ). Es correcto? Siempre funcionará? Caso especial: verificar P = Q o verificar que R = P Q es siempre 0. Repite elige un elemento x al azar de A={0,1,-1,2,-2,...d,-d} con d grado del polinomi compara R(x) con 0 si son diferentes: salir (conclusion: R no es siempre 0) si son iguales: repite lo anterior La probabilidad de que por coincidencia R(x) = 0 es menor que 0.5 porque A tiene 2d + 1 elementos y R no puede tener más de d raices. La probabilidad de que por coincidencia k veces R(x) = 0, es menor que 0.5 k 5

6 Finger Printing Problema: verificar si dos números H(T ), H(P ) < m son iguales. Variables por determinar: k y N, números enteros. Algoritmo: contador=0; igualdad=true; Mientras contador es menor que k e igualdad es true: se elige un número primo p menor que N al azar; se calcula y 1 = H(T ) mod p y y 2 = H(P ) mod p; Si y 1 y 2, igualdad=false; en otro caso, contador=contador+1; Si igualdad es false, concluye que son diferentes, en el otro caso, concluye que son iguales. 6

7 Se calcula y 1 = H(T ) mod p y y 2 = H(P ) mod p; Si y 1 y 2, igualdad=false; Si y 1 y 2 mod p, se concluye correctamente que H(T) y H(P) son diferentes. pero y 1 puede ser igual a y 2 sin que H(T) y H(P) son iguales. De manera general, se sabe: z 1 mod p = z 2 mod p si y solo si p divide z 1 z 2 Define la probabilidad de tener igualdad por coincidencia: P = #{p : p < N, p primo y divide z 1 z 2, con z 1 z 2 }, Π(N) con Π(N) es el número de primos menor que N. Propiedad: Si 0 < a < m (m grande), el número de primos que dividen a es acotado por Π(log m). Entonces, P Π(log m) Π(N) Dado que Π( ) es una función creciente, si N > log m, P es mucho menor que 1. Conclusion: la probabilidad que se cumple y 1 = y 2 por coincidencia es < 1. La probabilidad de tener k coincidencias es menor que P k y P k 0, si k 7

8 4. Calcular mediana Usando un algoritmo tradicional: Define Rselect(A,p,q,i): regresa el i-ésima elemento más chico en A[p],..., A[q]. Rselect(A,p,r,i) if p==q return A[p] q = Rpartition(A,p,r) k = q - p + 1 if i==k return A[q] elseif i< k return Rselect(A,p,q-1,i) else return Rselect (A,q+1,r,i-k) Rpartition(A,p,r) i=random(p,r) swap(a[r], A[i]) Partition(A,p,r) Partition(A,p,r) x=a[r]; i=p-1 for j=p to r-1 if A[j] <= x i=i+1 swap(a[i],a[j]) swap(a[i+1],a[r]) return i+1 8

9 Partition(A,p,r): 9

10 Usando un algoritmo randomizado: IDEA: Reduce el conjunto a uno más chiquito con muestreo. Rmedian(A) Construye una muestra B de A con 2n^2/3 elementos Ordena B Calcula a, el elemento n^2/3 - n^1/3 mas chico de B Calcula b, el elemento n^2/3 + n^1/3 mas chico de B Define C el conjunto de elementos de A en [a,b] Determina si la mediana de A esta en [a,b] En caso que si: Si C es suficientemente pequenio: Sea p, el numero de elementos de A menor que a Ordena C Regresa el elemento n/2 - p mas chico de C Para determinar si la mediana de A está en [a,b] basta verificar si (a) el número de elementos de A menor que a es menor que n/2 y (b) el número de elementos de A mayor que b es menor que n/2 10

11 11

12 Análisis del algoritmo: Nos limitamos al caso: n 1 = n 3/4, n 2 = n 1 2 n 1/2, n 3 = n n 1/2. La probabilidad que C contiene la mediana es muy alta. Verificar si C puede contener la mediana es equivalente a (a) verificar si el número de elementos de B menor que m no es menor que n 2 y (b) verificar si el número de elementos de B mayor que m no es menor que n 2. Tomamos (a). Define N, el número de elementos de B menor que m: X i = I(A[i] m), N = X i es v.a. Bernoulli; EN es aprox. n 1 2 ; V ar(n) es aprox. n 1 4. Tenemos que calcular: i:a[i] B P (N < n 2 ) = P (N < n 1 2 n1/2 ) = P (N EN < n 1/2 ) P ( N EN > n 1/2 ). Usamos la desigualdad de Chebychev para demostrar que (b) es completamente similar. P ( N EN > n 1/2 ) V ar(n) n X i < n 1 4n O(1/n1/4 ) Se puede demostrar que la probabilidad que C tenga más de 4n 3/4 elementos es O(1/n 1/4 ) 0, n. Si C no tenga más de 4n 3/4 elementos, la complejidad total del algoritmo es O(n). 12

13 5. Bucketsort PROBLEMA: Ordenar n números. Si se revela que forman una muestra de U(0, 1), cómo aprovechar esta información para obtener un algoritmo O(n)? 13

14 Para calcular la complejidad, definimos: Número de elementos en canasta (lista) i, B[i], es: X i,j = I(A[j] se coloca en canasta i, B[i]). N i = j X i,j Como X i,j Bern( 1 n ), EN i 2 = E j X i,j l X i,l = E j X2 i,j + E j l X i,jx i,l = 2 1 n Sea T n el tiempo para ordenar n números: T n = i N i 2 + O(n). Entonces ET n O(n) 14

15 6. Cómputo distribuido n agentes (procesadores) se deben ponerse de acuerdo, sin recurrir a un control central. Evitar: dead-locks y inconsistencias. Ejemplo: elegir un lider Repite nombre-propio = elige un número aleatorio entre 1 y n lista-de-nombres = vacio nombre = nombre-propio repite n - 1 veces: añade nombre a lista-de-nombres envia nombre al siguiente procesador nombre = recibe nombre del procesador anterior hasta que al menos un nombre en lista-de-nombres es único. El líder será el que corresponda al mayor número único. Probabilidad que en una iteración no sale un número único es p < 1. Probabilidad que después de k iteración aun no ha salido un número único es p k << 1. 15

16 7. Algoritmos con privacidad Calcular estadísticas respetando la privacidad Ejemplo: calcular el promedio de las calificaciones de N amigos sin revelar calificaciones entre sí 16