Análisis y Diseño de Algoritmos

Transcripción

1 Análisis y Diseño de Algoritmos Algoritmos Voraces DR. JESÚS A. GONZÁLEZ BERNAL CIENCIAS COMPUTACIONALES INAOE

2 Introducción Siempre toman la mejor opción en cada momento (punto de decisión del algoritmo) Una opción óptima local Pensando que esta opción llevará a una solución óptima global No siempre llevan a soluciones óptimas Aunque sí para muchos problemas 2

3 Elementos de una Estrategia Voráz Subestructura óptima Propiedad de elección-voraz (greedy-choice) 3

4 Propiedad de Elección-voraz A cada paso se toma una decisión óptima local La solución óptima global no depende de la solución de sus subproblemas En principio se puede llegar a una solución óptima global tomando decisiones óptimas locales (aunque no siempre) Es necesario probar esto Diferente de programación dinámica Resuelve problemas en modo Top-Down 4

5 Probando que un Algoritmo Voraz es Óptimo 5 Hay que probar que tomando una solución óptima en cada paso nos llevará a una solución global óptima Se parte de una solución global óptima Se muestra que se puede modificar la solución intercambiando el primer paso por una elección voraz y que esta elección reduce el problema a uno similar pero más pequeño Utiliza inducción para mostrar que se puede hacer una elección voraz a cada paso del algoritmo Existe subestructura óptima

6 Subestructura Óptima Un problema tiene subestructura óptima sí una solución óptima contiene soluciones óptimas a sus subproblemas Como en programación dinámica 6

7 Problema de la Mochila Fraccional Un ladrón encuentra n artículos en una tienda El i-ésimo artículo cuesta v i pesos y pesa w i kilos Quiere tomar lo más valioso que pueda en una carga Puede cargar a lo más W kilos en su mochila para algún W Puede tomar fracciones de artículos siempre y cuando no se exceda el peso límite W 7

8 Problema de la Mochila Fraccional Qué cantidad y de qué artículos debe tomar el ladrón para maximizar el valor del botín? 8 Algoritmo voraz Tomar tanto del artículo con el valor más alto por kilo (v i /w i ) como se pueda. Si se acaba un artículo, tomar del siguiente artículo con valor (v i /w i ) más alto Continuar hasta que se llene la mochila

9 Problema de la Mochila Fraccional Prueba: Propiedad de Elección Voraz Si tenemos una solución óptima al problema de la mochila O = {o 1, o 1,, o j } con j elementos. 9 Supongamos que existe una solución voraz G = {g 1, g 1,, g k } con k elementos ordenados de acuerdo a la elección voraz Prueba adaptada de: por Nathan Sprague

10 Problema de la Mochila Fraccional Prueba: Propiedad de Elección Voraz Queremos mostrar que existe una solución óptima O que incluye la elección voraz g 1. CASO 1: g 1 no es fraccional 10 Si g 1 esta en O, no hay nada que probar Si g 1 no esta en O, arbitrariamente quitamos w g1 en artículos de O y lo reemplazamos con g 1 para producir O O es una solución y es tan buena como O CASO 2: g 1 es fraccional (K = f*w g1 donde f es la fracción de g 1 elegida y K es el límite de peso) Si O incluye f*w g1 unidades de g 1, no hay nada que probar Si O incluye menos de f de g 1, quitamos f*w g1 peso de O arbitrariamente y lo reemplazamos con f*w g1 unidades de g 1 para construir O O es una solución válida y al menos tan buena como O. Prueba adaptada de: por Nathan Sprague

11 Problema de la Mochila Fraccional Prueba: Subestructura Óptima 11 Se demostró que hay una solución óptima O que contiene a g 1 Después de elegir g 1 el límite de peso es K = K w g1 y el conjunto de artículos se convierte en I = I {g 1 } Sea P el problema de la mochila con límite de peso K y lista de artículos I. Debemos probar que O = O {g 1 } es una solución óptima de P Probamos por contradicción: Asumimos que O no es una solución de P. Sea Q una solución óptima con más valor que O. Sea R = Q {g 1 }. El valor de O es igual al valor de O + g 1 El valor de R es mayor que el valor de O = O + g 1 Como O era una solución óptima, esta es una contradicción. Prueba adaptada de: por Nathan Sprague

12 Problema de Selección de Actividades (Activity Selection Scheduling Problem) Dado un conjunto de n actividades a realizar S = {1, 2,, n} Todas las actividades requieren el mismo recurso (p.e. el mismo salón de clases) y lo utilizan uno a la vez Cada actividad i tiene un tiempo de inicio s i y de fin f i, s i f i, [s i, f i ) Dos actividades i y j son compatibles si no se traslapan: s i f j ó s j f i Problema: Elegir el conjunto más grande de actividades compatibles. Asumir que la entrada esta ordenada por f 1 f 2 f n (O(nlgn)). 12

13 Problema de Selección de Actividades Algoritmo Voraz 13

14 Problema de Selección de Actividades Ejemplo 14

15 Problema de Selección de Actividades Análisis El índice i tiene al último elemento (con mayor f i ) que cualquier otra actividad en A Greedy-Activity-Selector toma un tiempo de Θ(n) Es un algoritmo greedy porque: 15 Siempre elige la actividad compatible con el tiempo de terminación más temprano, dejando tanto tiempo libre como sea posible

16 Es óptimo? Sí Prueba Problema de Selección de Actividades Análisis 16 Si ordenamos por f i, la actividad 1 termina antes que las demás Mostrar que existe una solución óptima que empieza con una selección voraz (actividad 1) Sea A S una solución óptima Si la primera actividad en A es k 1 (no es voraz), entonces existe otra solución óptima B que inicia con 1 B = A {k} {1} Como f 1 f k, la actividad 1 todavía es compatible con A B = A, entonces B es óptima. Entonces existe una solución óptima que inicia con una elección voraz

17 Problema de Selección de Actividades Análisis También probamos su subestructura óptima 17 Después de hacer la primera elección voraz tenemos el problema S = { i S : s i f 1 }, solo contamos con actividades que inicien después de f 1 con solución óptima A = A {1} Esta solución debe ser óptima Si B soluciona S con más actividades que A, si agregamos la actividad 1 a B lo hace más grande que A Esto es una contradicción porque A ya era una solución óptima Por tanto, la elección voraz nos lleva a una solución óptima

18 Problema de Selección de Actividades Programación Dinámica Ya probamos que tiene subestructura óptima Análisis del problema S ij = {a k S : f i s k < f k s j } A ij tal que Definición de c[i,j] como el tamaño de A ij. Tenemos la recurrencia: Todavía considera muchos subproblemas Aún con los subproblemas repetidos Es mejor la versión voraz, la cual también es óptima 18 Aij = max{ Aik { ak} Akj a Sij k } c[ i, j] max { c[ i, k] + c[ k, ] + 1}. = i< k< j j

19 Problema de la Mochila 0-1 Un ladrón encuentra n artículos en una tienda 19 El i-ésimo artículo cuesta v i pesos y pesa w i kilos, v i y w i son enteros Quiere tomar lo más valioso que pueda en una carga Puede cargar a lo más W kilos en su mochila para algún W entero NO puede tomar fracciones de artículos, es un problema binario 0-1, o lo toma o lo deja Ambos problemas de la mochila, el fraccional y el binario tienen subestructura óptima El problema de la mochila binario no se resuelve con un algoritmo voraz Sí con Programación Dinámica

20 Problema de la Mochila

21 Códigos de Huffman Los códigos de Huffman se utilizan para compresión de datos Algoritmo Voraz Determina códigos óptimos de longitud variable a caracteres Dado un archivo de 100,000 caracteres, con 6 caracteres diferentes: a, b, c, d, e, f 21 Códigos de longitud fija: 300,000 bits Códigos de longitud variable: 224,000 bits Códigos cortos a caracteres más frecuentes Códigos largos a caracteres menos frecuentes

22 Códigos Prefijo En un código prefijo, ningún código es prefijo de otro código Simple codificar y decodificar abc Utilizamos un árbol para decodificar aabe Si una cadena hace un match con un código, se da como salida, no hay ambigüedad

23 Códigos Prefijo Un código óptimo para un archivo siempre se representa por un árbol binario completo Cada nodo no-hoja tiene dos hijos El código de longitud fija del ejemplo no es óptimo El árbol binario no esta completo Si C es el alfabeto de caracteres El árbol para un código prefijo óptimo tiene exactamente C hojas Una por cada letra del alfabeto Exactamente C - 1 nodos internos Sea f(c) la frecuencia del carácter c en el archivo Sea d T (c) la profundidad de la hoja de c en el árbol Número de bits requeridos para codificar el archivo es: B(T) es el costo del árbol T 23 B ( T ) = f ( c) d ( c) T c C

24 Construcción del Código Huffman 24 Huffman inventó un algoritmo voraz para construir códigos prefijo óptimos llamado Huffman Code Construye el árbol T del código óptimo de forma bottom-up Inicia con un conjunto de C hojas y hace una secuencia de C - 1 operaciones merge para crear el árbol final Une las dos hojas con menor frecuencia (hoja o interno) hasta que todas las hojas se han considerado Usa un priority queue Q para mantener los nodos ordenados por frecuencia

25 Construcción del Código Huffman 25

26 Construcción del Código Huffman Ejemplo 26

27 Análisis del Algoritmo HuffmanCode Q se implementa como un heap binario 27 Inicialización de Q para el conjunto C de n caracteres toma O(n) (línea 2) con Build-Heap Ciclo de líneas 3-8 se ejecutan n -1 veces Cada operación del Heap requiere O(lgn) El ciclo contribuye O(nlgn) Tiempo total: O(nlgn)

28 El Algoritmo de Huffman es Correcto Para probar que es correcto, determinar un código prefijo óptimo debe tener las propiedades de Elección voraz Subestructura óptima 28

29 Lema 17.2 El procedimiento Huffman tiene la propiedad de elección voraz Prueba 29

30 Lema 17.2 Asumimos que x y y tienen las frecuencias más bajas Si x y y tienen las frecuencias más bajas, entonces existe un código óptimo en el que x y y estén a la profundidad máxima La elección voraz Supongamos ahora que tenemos una solución óptima en la que b y c son caracteres hermanos en hojas de máxima profundidad en la solución T f[b] f[c] y f[x] f[y] f[x] y f[y] son las frecuencias más bajas y f[b] y f[c] son frecuencias arbitrarias f[x] f[b] y f[y] f[c] Intercambiamos posiciones en T de b y x para producir T Intercambiamos posiciones en T de c y y para producir T Hay una diferencia en costos 30

31 Lema Entonces, si llevamos a x a la mayor profundidad (similar para y), obtenemos un mejor árbol en el que x y y son nodos hoja hermanos en la profundidad máxima Implica que se puede empezar con la elección voraz Juntar los dos caracteres con la menor frecuencia

32 Lema 17.3 El procedimiento Huffman tiene la propiedad de subestructura óptima Consideremos el árbol T para los caracteres C 32 Sean x y y dos caracteres hermanos, hojas en T y z su padre (x y y son los de menor frecuencia) Consideremos el árbol óptimo T para C = C {x,y} {z} f(z) = f(x) + f(y) Si hubiera un mejor árbol para C, llamado T, entonces podríamos usar T para construir un mejor árbol original añadiendo x y y bajo z Pero el árbol original T es óptimo, entonces esta es una contradicción Entonces T es el árbol óptimo para C Huffman tiene la propiedad de subestructura óptima

33 Teorema El procedimiento Huffman produce un código prefijo óptimo Inmediato de los lemas 17.2 y 17.3