Tema 3.2: Eficiencia de algoritmos recursivos. Diseño y Análisis de Algoritmos

Transcripción

1 Diseño y Análisis de Algoritmos

2 Contenidos Contenidos 1 Introducción 2 3 Método general para resolución de relaciones de recurrencia URJC DAA 2 / 37

3 Introducción Análisis de algoritmos recursivos La matemática necesaria para analizar algoritmos recursivos son las relaciones de recurrencia, también llamadas ecuaciones en diferencias o simplemente recurrencias Las recurrencias son expresiones matemáticas recursivas { 3 si n = 0 T (n) = 5 + T (n 1) si n > 0 La resolución de recurrencias consiste en proporcionar fórmulas no recursivas equivalentes T (n) = 5n + 3 Veremos dos formas de resolverlas: Resolución de relaciones de recurrencia URJC DAA 3 / 37

4 Función potencia - versión 1 1 int pot1(int b, int e) 2 { 3 if(e==0) 4 return 1; 5 else 6 return b*pot1(b,e-1); 7 } T (n) = { 3 si n = T (n 1) si n > 0 n está relacionado con el tamaño del problema, que en este caso es el exponente e de la función Podemos pensar en el caso base se realizan 3 operaciones, y 5 en el recursivo (además del tiempo que llevaría realizar otra llamada con parámetro n 1) URJC DAA 4 / 37

5 Resolución por expansión de recurrencias T (n) = 5 + T (n 1) = T (n 2) = T (n 2) = T (n 3) = T (n 3). = 5i + T (n i) Cuándo se llega al caso base T (0)? Cuando i = n Sustituyendo: T (n) = 5n + T (0) = 5n + 3 Θ(n) Tiene sentido, ya que decrementamos n en cada llamada recursiva URJC DAA 5 / 37

6 Función potencia - versión 2 1 int pot2(int b, int e) 2 { 3 if(e==0) 4 return 1; 5 else if (e%2==0) 6 return pot2(b*b,e/2); 7 else 8 return b*pot2(b*b,e/2); 9 } 3 si n = 0 T (n) = 8 + T (n/2) si n > 0 y n es par 9 + T ((n 1)/2) si n > 0 y n es impar La función es difícil de analizar Pero podemos suponer que n = 2 x es una potencia de dos Esto es válido ya que estamos analizando complejidad asintótica URJC DAA 6 / 37

7 Resolución por expansión de recurrencias Asumimos que n = 2 x es una potencia de dos (por tanto, par): T (n) = 8 + T (n/2) = T (n/4) = T (n/2 2 ) = T (n/8) = T (n/2 3 ). = 8i + T (n/2 i ) Cuándo se llega al caso base T (0)? i Pero eso no tiene sentido El parámetro de la función T es entero URJC DAA 7 / 37

8 Resolución por expansión de recurrencias Cuándo se llega al caso T (1)? Cuando n/2 i = 1, es decir, cuando i = log 2 n Sustituyendo: T (n) = 8 log 2 n + T (1) = 8 log 2 n T (0) = 8 log 2 n = = 8 log 2 n + 12 Θ(log n) Tiene sentido, ya que dividimos n por 2 en cada llamada recursiva URJC DAA 8 / 37

9 Soluciones generales a relaciones de recurrencia T (n) = { a si n = 0 b + T (n 1) si n > 0 T (n) = bn + a Θ(n) T (n) = { a si n = 1 b + T (n 1) si n > 1 T (n) = b(n 1) + a Θ(n) URJC DAA 9 / 37

10 Soluciones generales a relaciones de recurrencia T (n) = { a si n = 1 b + T (n/2) si n > 1 T (n) = b log 2 n + a Θ(log n) T (n) = { a si n = 0 b + T (n/2) si n > 0 T (n) = b log 2 n + b + a Θ(log n) URJC DAA 10 / 37

11 Soluciones generales a relaciones de recurrencia T (n) = { a si n = 0 bn + c + T (n 1) si n > 0 T (n) = bn + c + T (n 1) = bn + c + b(n 1) + c + T (n 2) = 2bn b + 2c + T (n 2) = 2bn b + 2c + b(n 2) + c + T (n 3) = = 3bn b(1 + 2) + 3c + T (n 3) = = 3bn b(1 + 2) + 3c + b(n 3) + c + T (n 4) = = 4bn b( ) + 4c + T (n 4) =. i 1 i(i 1) = ibn b j + ic + T (n i) = ibn + ic b + T (n i) 2 j=1 URJC DAA 11 / 37

12 Soluciones generales a relaciones de recurrencia Se alcanza T (0) para i = n Sustituyendo: T (n) = bn 2 b n(n 1) + cn + a 2 T (n) = b ( 2 n2 + c + b ) n + a Θ(n 2 ) 2 Tiene sentido, ya que hacemos n + (n 1) + (n 2) operaciones URJC DAA 12 / 37

13 Soluciones generales a relaciones de recurrencia T (n) = { a si n = 0 bn + c + 2T (n/2) si n > 0 T (n) = bn + c + 2T (n/2) = bn + c + 2 (b n ) 2 + c + 2T (n/4) = bn + c + 2 [b n (b 2 + c + 2 n )] 4 + c + 2T (n/8) = 3bn + c( ) T (n/2 3 ) = 3bn + c(2 3 1) T (n/2 3 ). = ibn + c(2 i 1) + 2 i T (n/2 i ) URJC DAA 13 / 37

14 Soluciones generales a relaciones de recurrencia Se alcanza T (1) para n/2 i = 1, es decir, cuando i = log 2 n Sustituyendo: T (n) = bn log 2 n + c(n 1) + nt (1) = bn log 2 n + c(n 1) + n(b + c + 2T (0)) = bn log 2 n + cn c + nb + nc + 2na T (n) = bn log 2 n + (2c + b + 2a)n c Θ(n log n) URJC DAA 14 / 37

15 Soluciones generales a relaciones de recurrencia Tiene sentido, ya que hacemos n operaciones 1 + log 2 n veces n n/2 n/2 1 + log 2 n n/4 n/4 n/4 n/ n URJC DAA 15 / 37

16 Teorema maestro - versión simple Fórmula útil para algoritmos divide y vencerás : c si n = 1 T (n) = at (n/b) + cn k si n > 1 = T (n) = Θ(n k ) Θ(n k log n) Θ(n log b a ) si a b k < 1 si a b k = 1 si a b k > 1 URJC DAA 16 / 37

17 Teorema maestro - demostración T (n) = at (n/b) + cn k [ ( n ) ( n ) ] k ( = a at + c + cn k = a 2 n ) ( T + cn k 1 + a ) b 2 b b 2 b k ( = a [at 2 n ) ( n ) ] k + c + cn k( n ) ( = a 3 n ) T + cn (1 k + a ) b 3 b 2 b 2 b 3 b + a2 k b 2k. = ( a i n ) i 1 ( T + cn k a ) j b i b k Se alcanza T (1) = c cuando: i = log b n j=0 = ca log b n + cn k log b n 1 j=0 ( a b k ) j = cn k ( a b k ) logb n + cn k log b n 1 j=0 ( a b k ) j URJC DAA 17 / 37

18 Teorema maestro - demostración (logaritmos) La última igualdad se debe a: ( cn k a ) logb n n n = cn k alogb b k b k log b n = cnk alogb n k = ca log b n Más adelante también necesitaremos: n log ba = a log bn Ya que: log b n log ba = log b a log bn = log b a log b n Finalmente: log b n T (n) = cn k j=0 ( a b k ) j Y tendremos 3 casos según los valores de a, b y k URJC DAA 18 / 37

19 Teorema maestro - demostración log b n T (n) = cn k j=0 ( a b k ) j 1 a < b k T (n) Θ(n k ) i=0 r i = 1 1 r 2 a = b k T (n) Θ(n k log n) = constante (no diverge), para r < 1 T (n) = cn k (log b n + 1) URJC DAA 19 / 37

20 Teorema maestro - demostración 3 a > b k T (n) Θ(n log b a ) log b n T (n) = cn k j=0 ( a b k ) j ( a ) logb n+1 ( T (n) = cn k b 1 a k ( a ) = cnk b 1 k ) a log b n b k n k K 1 cn k = K 2a log b n cn k K 1 = K 2n logb a cn k K 1 Como a > b k log b a > k T (n) Θ(n log b a ) URJC DAA 20 / 37

21 Teorema maestro - versión completa Dada una recurrencia del tipo: T (n) = at (n/b) + f (n) donde a > 0, b > 0, y f (n) es una función asintóticamente positiva, entonces se puede aplicar el teorema maestro en estos tres casos: URJC DAA 21 / 37

22 Teorema maestro - versión completa 1 Si f (n) = O(n log ba ɛ ) para alguna constante ɛ > 0, entonces: T (n) Θ(n log ba ) 2 Si f (n) = Θ(n log ba log k n) con 1 k 0, entonces: T (n) Θ(n log ba log k+1 n) 3 Si f (n) = Ω(n log ba+ɛ ) con ɛ > 0, y f (n) satisface la condición de regularidad (af (n/b) cf (n) para alguna constante c < 1 y para todo n lo suficientemente grande), entonces: T (n) Θ(f (n)) 1 k suele ser 0 URJC DAA 22 / 37

23 Método general para resolución de relaciones de recurrencia Método general para resolución de relaciones de recurrencia No siempre se puede aplicar la expansión de recurrencias Para muchas recurrencias no se conoce la forma de resolverlas Sucede como con las integrales o ecuaciones diferenciales: sabemos como resolver un subconjunto de éstas, pero no todas Ahora veremos un método general con el que vamos a ampliar el conjunto de recurrencias que podemos resolver Método general de resolución de recurrencias Expansión de recurrencias Recurrencias URJC DAA 23 / 37

24 Método general para resolución de relaciones de recurrencia Recurrencias homogéneas Dada la siguiente recurrencia homogénea (aparece un 0 en la parte derecha): a 0 T (n) + a 1 T (n 1) + + a k T (n k) = 0 Buscamos soluciones del tipo: T (n) = C 1 P 1 (n)r n C k P k (n)r n k = k i=1 C i P i (n)r n i Realizando el cambio x z n+k = T (z) obtenemos la ecuación característica asociada: a 0 x k + a 1 x k a k 1 x + a k = 0 URJC DAA 24 / 37

25 Método general para resolución de relaciones de recurrencia Primer caso: raíces distintas Si todas las raíces del polinomio de la ecuación característica son distintas: k T (n) = C 1 r1 n + + C k rk n = C i ri n Las constantes r i van a ser las raíces de la ecuación característica P i (n) = 1, para todo i i=1 Las constantes C i se hallan a partir de las condiciones iniciales, resolviendo un sistema de ecuaciones URJC DAA 25 / 37

26 Método general para resolución de relaciones de recurrencia Ejemplo: Números de Fibonacci 0 si n = 0 T (n) = 1 si n = 1 T (n 1) + T (n 2) si n > 1 La ecuación característica es x 2 x 1 = 0, cuyas raíces son: r 1 = r 2 = Por tanto, al ser distintas, la solución tiene la forma: ( T (n) = C 1 r1 n + C 2 r2 n 1 + ) n ( 5 1 ) n 5 = C 1 + C URJC DAA 26 / 37

27 Método general para resolución de relaciones de recurrencia Ejemplo: Números de Fibonacci El siguiente paso consiste en hallar las constantes, a partir de las condiciones iniciales (casos base de la recurrencia): C 1 + C 2 = 0 = T (0) ( ) ( ) C C = 1 = T (1) Resolviendo el sistema obtenemos: C 1 = 1 5 C 2 = 1 5 Finalmente: ( T (n) = ) n ( ) n 5 2 URJC DAA 27 / 37

28 Método general para resolución de relaciones de recurrencia Ejemplo: Números de Fibonacci El segundo término tiende a 0 según n, por tanto: (( 1 + ) n ) 5 T (n) Θ 2 El orden es exponencial El árbol de recursión es binario, pero está podado Para un árbol de recursión binario completo el orden es 2 n En este caso la base del exponente es (1 + 5)/2 1,618 < URJC DAA 28 / 37

29 Método general para resolución de relaciones de recurrencia Segundo caso: raíces con multiplicidad mayor que 1 En general, el polinomio asociado a la ecuación característica puede tener raíces con multiplicidad 1 o mayor que 1 (x r 1 ) m1 (x r 2 ) m2 (x r k ) m k = 0 En este caso general, la solución tiene la forma: m 1 m 2 T (n) = C 1i n i 1 r1 n + C 2i n i 1 r2 n + + C ki n i 1 rk n i=1 i=1 i=1 m k URJC DAA 29 / 37

30 Método general para resolución de relaciones de recurrencia Segundo caso: raíces con multiplicidad mayor que 1 Ejemplo: T (n) = 5T (n 1) 8T (n 2) + 4T (n 3) Ecuación característica: x 3 5x 2 + 8x 4 = (x 2) 2 (x 1) = 0 El 2 es una raíz doble, por tanto: T (n) = C 1 2 n + C 2 n2 n + C 3 1 n URJC DAA 30 / 37

31 Método general para resolución de relaciones de recurrencia Recurrencias no homogéneas - una primera idea La parte de la derecha ya no es 0 T (n) 2T (n 1) = 3 n (a) La convertimos en homogénea: T (n + 1) 2T (n) = 3 n+1 (1) 3T (n) 6T (n 1) = 3 n+1 (2) T (n + 1) 5T (n) + 6T (n 1) = 0 (1) (2) En (1) se incrementa n en (a), en (2) se multiplica (a) por 3 Con T (0) = 0 y T (1) = 3 T (n) = 3 3 n 3 2 n Θ(3 n ) URJC DAA 31 / 37

32 Método general para resolución de relaciones de recurrencia Recurrencias no homogéneas - caso simple Recurrencia, con un solo término a la derecha donde d es el orden del polinomio P(n) a 0 T (n) + a 1 T (n 1) + + a k T (n k) = b n P d (n) Ecuación característica: (a 0 x k + a 1 x k a k )(x b) d+1 = 0 Ejemplo: T (n) 2T (n 1) = n b = 1 P(n) = n d = 1 (x 2)(x 1) 2 = 0 = T (n) = C 1 2 n +C 2 1 n +C 3 n1 n Θ(2 n ) URJC DAA 32 / 37

33 Método general para resolución de relaciones de recurrencia Recurrencias no homogéneas - caso general Recurrencia general: a 0 T (n) + a 1 T (n 1) + + a k T (n k) = b n 1P d 1 1 (n) + + bn s P ds s (n) Ecuación característica: (a 0 x k + a 1 x k a k )(x b 1 ) d 1+1 (x b s ) ds+1 = 0 URJC DAA 33 / 37

34 Método general para resolución de relaciones de recurrencia Recurrencias no homogéneas - caso general Ejemplo: T (n) = 2T (n 1) + n + 2 n con T (0) = 1 Ecuación característica: (x 2)(x 1) 2 (x 2) = (x 2) 2 (x 1) 2 = 0 Solución (sin hallar las constantes): T (n) = C 1 2 n + C 2 n2 n + C 3 1 n + C 4 n1 n URJC DAA 34 / 37

35 Método general para resolución de relaciones de recurrencia Recurrencias no homogéneas - caso general Dado T (0) = 1, y usando T (n) = 2T (n 1) + n + 2 n tenemos que hallar T (1), T (2) y T (3), para formar un sistema de 4 ecuaciones y 4 incógnitas (las constantes): T (1) = 5 T (2) = 16 T (3) = 43 C 1 + C 3 = 1 = T (0) 2C 1 + 2C 2 + C 3 + C 4 = 5 = T (1) 4C 1 + 8C 2 + C 3 + 2C 4 = 16 = T (2) 8C C 2 + C 3 + 3C 4 = 43 = T (3) Solución final (C 1 = 3, C 2 = 1, C 3 = 2 y C 4 = 1): T (n) = 3 2 n + n2 n 2 n Θ(n2 n ) URJC DAA 35 / 37

36 Método general para resolución de relaciones de recurrencia Método de cambio de variable Recurrencia: T (n) = 4T (n/2) + n T (1) = 1 T (2) = 6 Cambio: n = 2 k T (2 k ) = 4T (2 k 1 ) + 2 k T (n) = T (2 k ) = t(k) t(k) = 4t(k 1) + 2 k Nueva recurrencia Ecuación característica: (x 4)(x 2) = 0 t(k) = C 1 (4 k ) + C 2 (2 k ) = C 1 (2 k ) 2 + C 2 (2 k ) Deshaciendo el cambio: T (n) = C 1 n 2 + C 2 n Hallando las constantes: T (n) = 2n 2 n θ(n 2 ) URJC DAA 36 / 37

37 Método general para resolución de relaciones de recurrencia (mismo ejemplo) T (n) = T (n) = 4T (n/2) + n [ ( n ) = 4 4T + n ] ( n ) + n = 4 2 T n + n [ [ ( n ) = 4 4 4T + n ] + n ] ( n ) + n = 4 3 T n + 2n + n ( n ) = 4 i T 2 i i 1 + n j=0 ( n ) 2 j = 4 i T 2 i + n(2 i 1) El caso base T (1) se alcanza cuando n = 2 i, n 2 = (2 i ) 2 = (2 2 ) i = 4 i. Sustituyendo: T (n) = n 2 + n(n 1) = 2n 2 n URJC DAA 37 / 37