Algoritmos y problemas

Transcripción

1 Análisis de Algoritmos Algoritmos y problemas Dra. Elisa Schaeffer elisa.schaeffer@gmail.com PISIS / FIME / UANL Algoritmos y problemas p. 1

2 Problema = un conjunto (posiblemente infinita) de instancias junto con una pregunta sobre alguna propiedad de las instancias Formalmente: = conjunto de instancias al cual corresponde un conjunto de soluciones, junto con una relación que asocia para cada instancia del problema un subconjunto de soluciones (posiblemente vacío) Algoritmos y problemas p. 2

3 Clasificación de problemas Problemas de decisión: la respuesta es sí o no Algoritmos y problemas p. 3

4 Clasificación de problemas Problemas de decisión: la respuesta es sí o no Problemas de optimización: la pregunta es del tipo cuál es el mejor valor posible o con qué configuración se obtiene el mejor valor posible Algoritmos y problemas p. 3

5 Problema de decisión La tarea es decidir sí o no la relación entre instancias y soluciones asigna un subconjunto vacío a una dada instancia. Algoritmos y problemas p. 4

6 Problema de decisión La tarea es decidir sí o no la relación entre instancias y soluciones asigna un subconjunto vacío a una dada instancia. Si existen soluciones, la respuesta a la pregunta del problema es si, y si el subconjunto es vacío, la respuesta es no. Algoritmos y problemas p. 4

7 Problema de optimización Para problemas de optimización, la instancia está compuesta por un conjunto de configuraciones, un conjunto de restricciones, y una función objetivo que asigna un valor (real) a cada instancia. Algoritmos y problemas p. 5

8 Problema de optimización Para problemas de optimización, la instancia está compuesta por un conjunto de configuraciones, un conjunto de restricciones, y una función objetivo que asigna un valor (real) a cada instancia. Si las configuraciones son discretas, el problema es combinatorial. Algoritmos y problemas p. 5

9 Solucion óptima La tarea es identificar cuál de las configuraciones factibles a tiene el mejor valor de la función objetivo. Depende del problema si el mejor valor es el mayor (problema de maximización) o el menor (problema de minimización). La configuración factible con el mejor valor se llama la solución óptima de la instancia. a o sea, las que cumplen con todas las restricciones Algoritmos y problemas p. 6

10 Algoritmo = un proceso formal para encontrar la respuesta correcta a la pregunta de un problema para una instancia dada de un cierto problema Algoritmos y problemas p. 7

11 Algoritmo = un proceso formal para encontrar la respuesta correcta a la pregunta de un problema para una instancia dada de un cierto problema Cómo encontrar un nombre en la guía telefónica? Cómo llegar de mi casa a mí oficina? Cómo determinar si un dado número es un número primo? Algoritmos y problemas p. 7

12 No es uno solo Para un problema, por lo general existen varios algoritmos con diferente nivel de eficiencia. Es decir, diferentes algoritmos pueden tener diferentes tiempos de ejecución con la misma instancia del problema. Algoritmos y problemas p. 8

13 Notación (I) Un conjunto E de las entradas del algoritmo, que representan las instancias del problema y (II) Un conjunto S de las salidas, que son los posibles resultados de la ejecución del algoritmo. La salida del un algoritmo determinista depende únicamente de la entrada: f : E S. Existen también algoritmos probabilistas o aleatorizados donde es así. Algoritmos y problemas p. 9

14 Instrucciones Los algoritmos se escribe como sucesiones de instrucciones que procesan la entrada ρ E para producir el resultado ξ S. Cada instrucción es una operación simple, produce un resultado intermedio único y es posible ejecutar con eficiencia. Algoritmos y problemas p. 10

15 Ejecución La sucesión S de instrucciones tiene que ser finita y ρ E, si P está ejecutada con la entrada ρ, el resultado de la computación será f(ρ) S. Sería altamente deseable que para todo ρ E, la ejecución de S terminará después de un tiempo finito. Algoritmos y problemas p. 11

16 Pseudocódigo Los algoritmos se implementa como programas de cómputo en diferentes lenguajes de programación. Algoritmos y problemas p. 12

17 Pseudocódigo Los algoritmos se implementa como programas de cómputo en diferentes lenguajes de programación. El mismo algoritmo se puede implementar en diferentes lenguajes y para diferentes plataformas computacionales. Algoritmos y problemas p. 12

18 Pseudocódigo Los algoritmos se implementa como programas de cómputo en diferentes lenguajes de programación. El mismo algoritmo se puede implementar en diferentes lenguajes y para diferentes plataformas computacionales. En este curso, los ejemplos siguen las estructuras básicas de programación procedural, en pseudocódigo parecido a C, Fortran y Java. Algoritmos y problemas p. 12

19 Algoritmo recursivo = un algoritmo donde una parte del algoritmo o el algoritmo completo utiliza a si mismo como subrutina En muchos casos es más fácil entender la función de un algoritmo recursivo y también demostrar que funcione correctamente. Un algoritmo que en vez de llamarse a si mismo repite en una manera cíclica el mismo código se dice iterativo. Algoritmos y problemas p. 13

20 Conversión En muchos casos, el pseudocódigo de un algoritmo recursivo resulta más corto que el pseudocógido de un algoritmo parecido pero iterativo para el mismo problema. Cada algoritmo recursivo puede ser convertido a un algoritmo iterativo (aunque no viceversa), aunque típicamente hace daño a la eficiencia del algoritmo hacer tal conversión. Depende del problema cuál manera es más eficiente: recursiva o iterativa. Algoritmos y problemas p. 14

21 Palíndromo = una sola palabra de puras letras a que se lee igual hacia adelante que hacia atrás Ejemplo: reconocer a en español, típicamente se ignora los acutes Algoritmos y problemas p. 15

22 Algoritmo recursivo procedimiento rpal(palabra P = l 1 l 2...l n 1 l n ) si n 1 devuelve verdadero ; si l 1 = l 2 devuelve rpal(l 2 l 3...l n 2 ln 1); en otro caso devuelve falso ; Algoritmos y problemas p. 16

23 Algoritmo iterativo procedimiento ipal(palabra P = l 1 l 2...l n 1 l n ) i = 1; j = n; mientras i < j si l i l j devuelve falso ; en otro caso i := i+1; j := j 1; devuelve verdadero ; Algoritmos y problemas p. 17

24 Calidad de algoritmos Las dos medidas más importantes de la calidad de un algoritmo son (I) el tiempo total de computación, medido por el número de operaciones de cómputo realizadas durante la ejecución del algoritmo, y (II) la cantidad de memoria utilizada. La notación para capturar tal información es a través de funciones de complejidad. Algoritmos y problemas p. 18

25 Máquina modelo Para eliminar el efecto de haber usado una cierta computadora o un cierto lenguaje de programación: Imaginamos que el algoritmo se ejecuta en una máquina modelo virtual tipo RAM (inglés: random access machine). Una máquina RAM no tiene límite de memoria ni límite de precisión de representación de números enteros o reales. Algoritmos y problemas p. 19

26 Operación básica Para poder contar las operaciones que ejecuta un algoritmo, hay que definir cuáles operaciones se cualifican como operaciones básicas: operaciones simples aritméticas (+,,, /, mód,...), Algoritmos y problemas p. 20

27 Operación básica Para poder contar las operaciones que ejecuta un algoritmo, hay que definir cuáles operaciones se cualifican como operaciones básicas: operaciones simples aritméticas (+,,, /, mód,...), operaciones simples lógicas (,,,, ), Algoritmos y problemas p. 20

28 Operación básica Para poder contar las operaciones que ejecuta un algoritmo, hay que definir cuáles operaciones se cualifican como operaciones básicas: operaciones simples aritméticas (+,,, /, mód,...), operaciones simples lógicas (,,,, ), comparaciones simples de variables (<,>,=,,, ), Algoritmos y problemas p. 20

29 Operación básica Para poder contar las operaciones que ejecuta un algoritmo, hay que definir cuáles operaciones se cualifican como operaciones básicas: operaciones simples aritméticas (+,,, /, mód,...), operaciones simples lógicas (,,,, ), comparaciones simples de variables (<,>,=,,, ), asignaciones de variables (:=), Algoritmos y problemas p. 20

30 Operación básica Para poder contar las operaciones que ejecuta un algoritmo, hay que definir cuáles operaciones se cualifican como operaciones básicas: operaciones simples aritméticas (+,,, /, mód,...), operaciones simples lógicas (,,,, ), comparaciones simples de variables (<,>,=,,, ), asignaciones de variables (:=), instrucciones de salto (break, continue, etcétera). Algoritmos y problemas p. 20

31 Tamaño de la instancia Para un cierto problema computacional, existen típicamente varias si no una cantidad infinita de instancias. Algoritmos y problemas p. 21

32 Tamaño de la instancia Para un cierto problema computacional, existen típicamente varias si no una cantidad infinita de instancias. Para definir el tamaño de una dicha instancia, hay que fijar cuál será la unidad básica de tal cálculo. Algoritmos y problemas p. 21

33 Tamaño de la instancia Para un cierto problema computacional, existen típicamente varias si no una cantidad infinita de instancias. Para definir el tamaño de una dicha instancia, hay que fijar cuál será la unidad básica de tal cálculo. Típicamente se utiliza la cantidad de bits, bytes, variables enteras, etcétera que se necesita ocupar para representar el problema en su totalidad en la memoria de una computadora. Algoritmos y problemas p. 21

34 Ejemplos Para un algoritmo de ordenar una lista de números, el tamaño de la instancia es la cantidad de números que tiene como entrada. Algoritmos y problemas p. 22

35 Ejemplos Para un algoritmo de ordenar una lista de números, el tamaño de la instancia es la cantidad de números que tiene como entrada. Si la instancia es un grafo, su tamaño es bien capturado en la suman+2m, como ninguno de los dos números sólo puede capturar el tamaño de la instancia completamente. Algoritmos y problemas p. 22

36 Comparabilidad Incluso se fijamos el tamaño de la instancia, todavía hay variaciones en la cantidad de tiempo requerido para la ejecución del algoritmo por otras propiedades estructurales de la instancia con respeto al problema. Algoritmos y problemas p. 23

37 Comparabilidad Incluso se fijamos el tamaño de la instancia, todavía hay variaciones en la cantidad de tiempo requerido para la ejecución del algoritmo por otras propiedades estructurales de la instancia con respeto al problema. Por ejemplo, es más difícil ordenar la lista [3,5,2,9,1] que ordenar la lista [1,3,5,6,7], como la segunda ya está ordenada. Algoritmos y problemas p. 23

38 Comparabilidad Incluso se fijamos el tamaño de la instancia, todavía hay variaciones en la cantidad de tiempo requerido para la ejecución del algoritmo por otras propiedades estructurales de la instancia con respeto al problema. Por ejemplo, es más difícil ordenar la lista [3,5,2,9,1] que ordenar la lista [1,3,5,6,7], como la segunda ya está ordenada. Lo que queremos nosotros es una caracterización de la calidad de un algoritmo que nos facilita hacer comparaciones entre algoritmos en general, no para una sola instancia. Algoritmos y problemas p. 23

39 Comparabilidad Incluso se fijamos el tamaño de la instancia, todavía hay variaciones en la cantidad de tiempo requerido para la ejecución del algoritmo por otras propiedades estructurales de la instancia con respeto al problema. Por ejemplo, es más difícil ordenar la lista [3,5,2,9,1] que ordenar la lista [1,3,5,6,7], como la segunda ya está ordenada. Lo que queremos nosotros es una caracterización de la calidad de un algoritmo que nos facilita hacer comparaciones entre algoritmos en general, no para una sola instancia. Las soluciones incluyen el uso del peor caso, caso promedio y el caso amortizado. Algoritmos y problemas p. 23

40 Función del peor caso Formamos una función de complejidad f : Z + Z + tal que para un valor n, el valor f(n) representa el número de operaciones básicas para el más difícil de todas las instancias de tamaño n. Algoritmos y problemas p. 24

41 Función del peor caso Formamos una función de complejidad f : Z + Z + tal que para un valor n, el valor f(n) representa el número de operaciones básicas para el más difícil de todas las instancias de tamaño n. La única dificultad es identificar o construir esa peor instancia. Algoritmos y problemas p. 24

42 Función del caso promedio Formamos una función de complejidad f : Z + R tal que para un valor n, el valor f(n) representa el número promedio de operaciones básicas sobre todas las instancias de tamaño n. Algoritmos y problemas p. 25

43 Función del caso promedio Formamos una función de complejidad f : Z + R tal que para un valor n, el valor f(n) representa el número promedio de operaciones básicas sobre todas las instancias de tamaño n. Posible dificultad: la estimación de la distribución de probabilidad. Algoritmos y problemas p. 25

44 Función del caso promedio Formamos una función de complejidad f : Z + R tal que para un valor n, el valor f(n) representa el número promedio de operaciones básicas sobre todas las instancias de tamaño n. Posible dificultad: la estimación de la distribución de probabilidad. En práctica, si el peor caso es muy raro, resulta más útil estudiar el caso promedio, si es posible. Algoritmos y problemas p. 25

45 Depedencias En algunos casos, es posible que el tiempo de ejecución de un algoritmo depende de las ejecuciones anteriores. Este ocurre cuando uno procesa una sucesión de instancias con algún tipo de dependencia entre ellas. En tal caso, las funciones de peor caso y caso promedio pueden resultar pesimistas. Algoritmos y problemas p. 26

46 Complejidad amortizada La complejidad amortizada evalua la eficiencia de un algoritmo en ejecuciones dependientes: Algoritmos y problemas p. 27

47 Complejidad amortizada La complejidad amortizada evalua la eficiencia de un algoritmo en ejecuciones dependientes: Ejecutamos el algoritmo varias veces en secuencia con diferentes instancias. Algoritmos y problemas p. 27

48 Complejidad amortizada La complejidad amortizada evalua la eficiencia de un algoritmo en ejecuciones dependientes: Ejecutamos el algoritmo varias veces en secuencia con diferentes instancias. Ordenamos las instancias de la peor manera posible (para consumir más recursos). Algoritmos y problemas p. 27

49 Complejidad amortizada La complejidad amortizada evalua la eficiencia de un algoritmo en ejecuciones dependientes: Ejecutamos el algoritmo varias veces en secuencia con diferentes instancias. Ordenamos las instancias de la peor manera posible (para consumir más recursos). Calculamos el tiempo total de ejecución. Algoritmos y problemas p. 27

50 Complejidad amortizada La complejidad amortizada evalua la eficiencia de un algoritmo en ejecuciones dependientes: Ejecutamos el algoritmo varias veces en secuencia con diferentes instancias. Ordenamos las instancias de la peor manera posible (para consumir más recursos). Calculamos el tiempo total de ejecución. Dividimos el total por el número de instancias. Algoritmos y problemas p. 27

51 Complejidad amortizada La complejidad amortizada evalua la eficiencia de un algoritmo en ejecuciones dependientes: Ejecutamos el algoritmo varias veces en secuencia con diferentes instancias. Ordenamos las instancias de la peor manera posible (para consumir más recursos). Calculamos el tiempo total de ejecución. Dividimos el total por el número de instancias. En muchos casos, esto no es demasiado laboroso. Algoritmos y problemas p. 27

52 Consumo de memoria Igual como el tiempo de ejecución, el consumo de memoria es una medida importante en la evaluación de calidad de algoritmos. El caso peor de consumo de memoria es la cantidad de unidades de memoria que el algoritmo tendrá que ocupar simultaneamente en el peor caso imaginable. Se define el caso promedio y el caso amortizado igual como con el tiempo de ejecución. Algoritmos y problemas p. 28

53 Clases de magnitud La meta del análisis de algoritmos es evaluar la calidad de un algoritmo en comparación con otros algoritmos o en comparación a la complejidad del problema o alguna cota de complejidad conocida. Típicamente el conteo de pasos de computación falta precisión en el sentido que no es claro que cosas se considera operaciones básicas. Por eso normalmente se caracteriza la calidad de un algoritmo por la clase de magnitud de la función de complejidad y no la función exacta misma. Algoritmos y problemas p. 29

54 Efecto del tamaño de instancia No son interesantes los tiempos de computación para instancias pequeñas, sino que instancias grandes. Con una instancia pequeña, normalmente todos los algoritmos producen resultados rápidamente. Algoritmos y problemas p. 30

55 Crecimiento asintótica Para funciones f : Z + R y g : Z + R, escribimos f(n) O(g(n)) si c > 0 tal que f(n) c g(n) para suficientemente grandes valores de n Algoritmos y problemas p. 31

56 Crecimiento asintótica Para funciones f : Z + R y g : Z + R, escribimos f(n) O(g(n)) si c > 0 tal que f(n) c g(n) para suficientemente grandes valores de n f(n) Ω(g(n)) si c > 0 tal que f(x) c g(x) para suficientemente grandes valores de n Algoritmos y problemas p. 31

57 Crecimiento asintótica Para funciones f : Z + R y g : Z + R, escribimos f(n) O(g(n)) si c > 0 tal que f(n) c g(n) para suficientemente grandes valores de n f(n) Ω(g(n)) si c > 0 tal que f(x) c g(x) para suficientemente grandes valores de n f(n) Θ(g(n)) si c,c > 0 tales que c g(x) f(x) c g(x) para suficientemente grandes valores de n Algoritmos y problemas p. 31

58 Crecimiento asintótica Para funciones f : Z + R y g : Z + R, escribimos f(n) O(g(n)) si c > 0 tal que f(n) c g(n) para suficientemente grandes valores de n f(n) Ω(g(n)) si c > 0 tal que f(x) c g(x) para suficientemente grandes valores de n f(n) Θ(g(n)) si c,c > 0 tales que c g(x) f(x) c g(x) para suficientemente grandes valores de n f(n) o(g(n)) si lím n f(n) g(n) = 0 Algoritmos y problemas p. 31

59 Interpretación O(f(n)) es una cota superior asintótica al tiempo de ejecución Ω(f(n)) es una cota inferior asintótica Θ(f(n)) dice que las dos funciones crecen asintóticamente iguales El símbolo se reemplaza frecuentemente con =. Algoritmos y problemas p. 32

60 Propiedades Las definiciones de crecimiento asintótica se generalizan para funciones de argumentos múltiples y son transitivas: (f(n) O(g(n)) g(n) O(h(n))) f(n) O(h(n)). (f(n) Ω(g(n)) g(n) Ω(h(n))) f(n) Ω(h(n)) Como este aplica para Ω(f(n)) y O(f(n)) los dos, aplica por definición también para Θ(f(n)). Algoritmos y problemas p. 33

61 Polinomios Es fácil formar O(f(n)) de polinomios y muchas otras expresiones por observar que en una suma, el término mayor domina el crecimiento: (f(n) O(h(n)) g(n) O(h(n))) f(n)+g(n) O(h(n)) g(n) O(f(n)) f(n)+g(n) O(f(n)) Algoritmos y problemas p. 34

62 Logaritmos Para cualquier base b > 0 y cada x > 0 tal que x R, aplica que log b (n) O(n x ). Cambiando la base de un logaritmo, llegamos a tener log a (n) = 1 log b (a) log b(n) Θ(log b n), porque log b (a) es un constante. Entonces no hay necesidad de marcar la base en una expresión de complejidad asintótica con logaritmos. Algoritmos y problemas p. 35

63 Funciones exponenciales Para todo x > 1 y todo k > 0 n k O(x n ) O sea, cada polinomial crece asintóticamente más lentamente que cualquiera expresión exponencial. Algoritmos y problemas p. 36

64 Algunas funciones comunes 1e+07 1e f(x) = e x f(x) = 2 x f(x) = x 3 f(x) = x 2 f(x) = x log 2 (x) f(x) = x f(x) = log 2 (x) Algoritmos y problemas p. 37

65 Eficiencia Un algoritmo es eficiente si su tiempo de ejecución tiene una cota superior asintótica que es un polinomio. Algoritmos y problemas p. 38

66 Eficiencia Un algoritmo es eficiente si su tiempo de ejecución tiene una cota superior asintótica que es un polinomio. Un problema que cuenta con por lo menos un algoritmo eficiente es un problema polinomial. Algoritmos y problemas p. 38

67 Eficiencia Un algoritmo es eficiente si su tiempo de ejecución tiene una cota superior asintótica que es un polinomio. Un problema que cuenta con por lo menos un algoritmo eficiente es un problema polinomial. Un problema es intratable si no existe ningún algoritmo eficiente para resolverlo. Algoritmos y problemas p. 38

68 Eficiencia Un algoritmo es eficiente si su tiempo de ejecución tiene una cota superior asintótica que es un polinomio. Un problema que cuenta con por lo menos un algoritmo eficiente es un problema polinomial. Un problema es intratable si no existe ningún algoritmo eficiente para resolverlo. Un problema es sin solución si no cuenta con algoritmo ninguno. Algoritmos y problemas p. 38

69 Tiempos de ejecución f(n) ( ) n ( ) n nlog 2 n n 2 n 3 1,5 n 2 n n! s min a min 36 a s 12,892 a años s 18 min min 12 d s 3 h 32 a s 20 s 12 d a mayor a años menor a un segundo 0 Algoritmos y problemas p. 39

70 Primera tarea para entregar Ordena las funciones siguientes según su crecimiento asintóticoo(f i (n)) de la menos rápida a la más rápida: f 1 = 7 n f 5 = n f 2 = n n f 6 = log 7 n f 3 = n 7 f 7 = 7 log 7 n f 4 = nlog 7 n f 8 = 700n Algoritmos y problemas p. 40

71 Segunda tarea para entregar Examina si el grafo con esta matriz de adyacencia de aristas es plano: Algoritmos y problemas p. 41