Métodos iterativos. Damián Ginestar Peiró. Departamento de Matemática Aplicada Universidad Politécnica de Valencia.

Transcripción

1 Métodos iterativos Damián Ginestar Peiró Departamento de Matemática Aplicada Universidad Politécnica de Valencia Curso (UPV) Métodos iterativos Curso / 90

2 Índice I 1 Introducción 2 Conceptos básicos 3 Métodos iterativos estacionarios Métodos de Richardson Método de direcciones alternadas Métodos a bloques 4 Precondicionadores Introducción Precondicionadores clásicos Precondicionadores polinomiales 5 Método de descenso rápido 6 Método del gradiente conjugado 7 Métodos de Krylov Matrices simétricas Método del residuo conjugado Matrices no simétricas (UPV) Métodos iterativos Curso / 90

3 Índice II método FOM (full orthogonalization method) Método GMRES Método Bi-Lanczos Método Bi-CG (UPV) Métodos iterativos Curso / 90

4 Introducción Dada una matriz invertible de tamaño n n y un vector b R n la única solución del sistema Ax = b es x = A 1 b Nosotros trabajaremos con matrices vacías (sparse) es decir matrices con un número de elementos no nulos (nnz(a)) del orden con c independiente de n. nnz(a) = c n (UPV) Métodos iterativos Curso / 90

5 Introducción No se puede hacer la inversión de A ya que: 1 A 1 puede dejar de ser vacía, es decir se llena, = no se puede almacenar. 2 Cálculo de A 1 puede costar O(n 3 ) operaciones (tiempo de CPU: años). Buscaremos métodos aproximados para la resolución del sistema que se basan esencialmente en el producto matriz-vector. (UPV) Métodos iterativos Curso / 90

6 Conceptos básicos Un método iterativo obtiene una solución aproximada de Ax = b construyendo una sucesión de vectores: x 1, x 2,..., x k desde un vector inicial arbitrario x 0. Un método iterativo se dice convergente si lim x k = x. k El vector error, en cada iteración, se define como e k = x x k. (UPV) Métodos iterativos Curso / 90

7 Conceptos básicos El vector residuo, en cada iteración, se define como Se puede probar r k = b Ax k. lim x k = x lim e k = 0 lim r k = 0 k k k (UPV) Métodos iterativos Curso / 90

8 Conceptos básicos Los métodos directos teóricamente producen la solución exacta; pero en un ordenador dan errores numéricos. Un método iterativo nunca da la solución exacta incluso en precisión infinita. Hay que establecer un criterio de pararda. Se da a priori una precisión para nuestra solución. Sea T OL el error máximo permitido. e k < T OL, (error absoluto) o e k x < T OL (error relativo) Pero x, y e k no son conocidos el criterio de parada no es útil. Se utiliza el criterio del residuo r k < T OL (absoluto) o r k b < T OL (relativo) (UPV) Métodos iterativos Curso / 90

9 Conceptos básicos La relación entre el error y el residuo es Usando normas matriciales: r k = b Ax k = Ax Ax k = Ae k. r k A e k (1a); e k A 1 r k (1b) Notar además x A 1 b (2a); b A A 1 b = A x (2b) (UPV) Métodos iterativos Curso / 90

10 Conceptos básicos Combinando (1a) con (2a) y (1b) con (2b) obtenemos 1 r k A A 1 b e k x A A 1 r k b Finalmente, recordando que κ(a) = A A 1 : 1 r k κ(a) b e k x κ(a) r k b Conclusión: Test del residuo es fiable si κ(a) no es muy grande. (UPV) Métodos iterativos Curso / 90

11 Métodos iterativos estacionarios Sea A la matriz del sistema Ax = b. Podemos considerar la partición (splitting) A = M N donde M A es una matriz invertible. Se construye el sistema iterativo x k+1 = M 1 Nx k + M 1 b = Hx k + q, k = 0, 1,... donde H es la matriz de iteración y x 0 el vector inicial. Esto es equivalente a x k+1 = x k + M 1 (b Ax k ) = x k + M 1 r k Definición Se dice que un método iterativo es estacionario si la matriz de iteración H es constante en todo el proceso. (UPV) Métodos iterativos Curso / 90

12 Métodos iterativos estacionarios Sea A tal que a ii 0 y consideremos la partición A = L + D + U L es la parte estrictamente triangular inferior de A, D es la parte diagonal de A, U es la parte estrictamente triangular superior de A. 1 Método de Jacobi: M = D y N = (L + D) x k+1 = D 1 (L + U)x k + D 1 b, k = 0, 1,... 2 Método de Gauss-Seidel: M = D + L y N = U x k+1 = (D + L) 1 Ux k + (D + L) 1 b, k = 0, 1,... (UPV) Métodos iterativos Curso / 90

13 Métodos iterativos estacionarios Una iteración de Jacobi es muy barata. Sólo hay que hacer multiplicación matriz-vector, además de invertir los elementos diagonales de A. El número de multiplicaciones es del orden nz(a). x k+1 1 = 1 a 11 { a 12 x k 2 a 13 x k 3 a 1n x k n + b 1 } x k+1 2 = 1 a 22 { a 21 x k 1 a 23 x k 3 a 2n x k n + b 2 }. x k+1 n = 1 a nn { a n1 x k 1 a n3 x k 3 a n,n 1 x k n 1 + b n } (UPV) Métodos iterativos Curso / 90

14 Métodos iterativos estacionarios Una iteración Gauss-Seidel es barata. Además tiene que resolver un sistema triangular inferior (D + L)x k+1 = b Ux k. Recordar que hay que evitar invertir matrices. En el método de Gauss-Seidel las componentes de x k+1 que ya conocemos se utilizan en la propia iteración k + 1. (UPV) Métodos iterativos Curso / 90

15 Métodos iterativos estacionarios Teorema Sea A invertible. Un método iterativo estacionario converge, para cualquier vector inicial x 0 R n, a la solución exacta del sistema lineal, si y sólo si, ρ(h) < 1 es decir, el mayor valor propio en valor absoluto de la matriz de iteración es menor que uno. Introduciendo el error e k = x k x. Como Mx = Nx + b, M (x k+1 x) = N (x k x) ( k e k+1 = M 1 Ne k = M N) 1 e0 si ρ ( M 1 N ) < 1, entonces lim k ( M 1 N ) k = 0. (UPV) Métodos iterativos Curso / 90

16 Métodos iterativos estacionarios Definición Una matriz A = [a ij ] de tamaño n n se dice que es estrictamente diagonal dominante si a ii > n j=1, j i a ij, para todo i = 1, 2,..., n. (UPV) Métodos iterativos Curso / 90

17 Métodos iterativos estacionarios Teorema Si la matriz A es estrictamente diagonal dominante entonces el método de Jacobi y de Gauss-Seidel son convergentes. Se llama radio de convergencia a R = log 10 (ρ(h)). Cuanto más pequeño sea ρ(h) mayor será la convergencia. (UPV) Métodos iterativos Curso / 90

18 Métodos iterativos estacionarios Una generalización del método de Jacobi es el método de sobre-relajación (JOR) x k+1 i = w a ii b i j=1 j i a ij x k j + (1 w)xk i donde se ha introducido un parámetro de relajación w. Este método es equivalente a la iteración x k+1 = x k + wd 1 r k Se cumple que si el método de Jacobi converge, entonces el método JOR converge si 0 w 1. (UPV) Métodos iterativos Curso / 90

19 Métodos iterativos estacionarios Podemos definir otra descomposición de la matriz A de la forma ωa = (D + ωl) ( ωu + (1 ω)d), que da lugar al método iterativo conocido como el método SOR (successive over relaxation) (D + ωl)x k+1 = ( ωu + (1 ω)d)x k + ωb, Análogamente, se puede definir otro método SOR de la forma (D + ωu)x k+1 = ( ωl + (1 ω)d)x k + ωb. Un método SOR simétrico, SSOR, viene definido por las ecuaciones (D + ωl)x k+1/2 = ( ωu + (1 ω)d)x k + ωb, (D + ωu)x k+1 = ( ωl + (1 ω)d)x k+1/2 + ωb. (UPV) Métodos iterativos Curso / 90

20 Métodos iterativos estacionarios Lema de Kahan Sea A C n n con elementos diagonales no nulos. Entonces el método SOR converge solamente si 0 < ω < 2 Ostrowski Si A es simétrica y definida positiva, el método SOR es convergente sí y sólo sí 0 < ω < 2 Si A es estríctamente diagonal dominante por filas, el método SOR converge si 0 < ω 1. (UPV) Métodos iterativos Curso / 90

21 Métodos de Richardson Llamaremos métodos de Richardson a métodos de la forma x k+1 = x k + α k P 1 r k 1 Cálculo de z k = P 1 r k 2 Cálculo del parámetro de aceleración α k 3 Cálculo de x k+1 = x k + α k z k 4 Cálculo del residuo r k+1 = b Ax k+1 = r k α k Az k Si P = I se dice que el método está no precondicionado. El método de Jacobi se obtiene con α = 1 y P = D. El método de Gauss-Seidel se obtiene con α = 1 y P = D + L (UPV) Métodos iterativos Curso / 90

22 Método de Richardson Consideremos la iteración x k+1 = x k + α (b Ax k) que se puede reescribir como x k+1 = (I αa) x k + αb La matriz de iteración es H α = I αa. Si los autovalores de A son λ i, I = 1,..., n los autovalores de H α satisfacen λ min λ i λ max 1 αλ max µ i 1 αλ min (UPV) Métodos iterativos Curso / 90

23 Métodos de Richardson SE puede ver que si λ min < 0 y λ max > 0 el método diverge. Si los autovalores de A son todos positivos, se ha de cumplir 1 αλ min < 1 1 αλ max > 1 esto es El valor de α óptimo es 0 < α < 2 λ max α = 2 λ min + λ max (UPV) Métodos iterativos Curso / 90

24 Método de direcciones alternadas Los métodos de direcciones alternadas (ADI) se introdujeron para resolver problemas eĺıpticos ( a(x, y) u ) + ( b(x, y) u ) = f x x y y Al discretizar el problema se llega a un sistema A 1 u + A 2 u = b donde A 1 está asociada a la discretizacion de ( a(x, y) ) x x y A 2 está asociada a la discretización de ( b(x, y) y ) y y (UPV) Métodos iterativos Curso / 90

25 Método de direcciones alternadas Dado un sistema Ax = b donde A = A 1 + A 2, el método ADI resuelve el esquema (I + α 1 A 1 ) u k+ 1 2 = (I α1 A 2 ) u k + α 1 b (I + α 2 A 2 ) u k+1 = (I α 2 A 1 ) u k α2 b Este esquema es convergente para α 1 = α 2 = α > 0. (UPV) Métodos iterativos Curso / 90

26 Métodos a bloques Dado un sistema a bloques A 11 A 1q.. A q1 A qq X 1. X q = B 1. B q Método de Jacobi a bloques for i = 1,... q do end for X k+1 i = A 1 ii B i j=1 j i q A ij Xj k (UPV) Métodos iterativos Curso / 90

27 Métodos a bloques Método de Gauss-Seidel a bloques for i = 1,... q do Xi k+1 = A 1 i 1 ii B i A ij Xj k+1 j=1 q j=i+1 A ij Xj k end for Ejercicio: Particularizar estas expresiones para 2 2 bloques (UPV) Métodos iterativos Curso / 90

28 Precondicionadores. Introducción Precondicionar un sistema lineal no es otra cosa que (pre)multiplicar el sistema por una matriz nonsingular, denotada por M 1, Produce el sistema equivalente M 1 Ax = M 1 b Qué hay que tener en cuenta para elegir el precondicionador? Condicionar mejor el sistema inicial, El precondicionador M 1, debe ser fácil de invertir, es decir, debe producir un sistema lineal My = c fácil de resolver. (UPV) Métodos iterativos Curso / 90

29 Precondicionadores. Introducción Se pueden definir precondicionadores por la derecha AM 1 y = b, y = Mx y precondicionadores centrados ML 1 1 AMR y = M 1 L b, y = M Rx Los precondicionadores se pueden dividir en dos categorías: los precondiconadores algebráicos y los funcionales. Los algebráicos son independientes del problema que origina el sistema de ecuaciones y se construyen por procedimientos algebráicos. Los funcionales aprovechan las características especiales de los problemas donde aparecen los sistemas. (UPV) Métodos iterativos Curso / 90

30 Precondicionadores. Introducción Dado un método iterativo x k+1 = Gx k + f puede verse como una técnica para resolver el sistema comparando con (I G) x = f x k+1 = M 1 Nx k + M 1 b se tiene que I G = M 1 N, G = M 1 N = M 1 (M N) = M 1 A. Así el método iterativo se puede ver como una técnica para resolver el sistema precondicionado M 1 Ax = M 1 b (UPV) Métodos iterativos Curso / 90

31 Precondicionadores clásicos M J = D, Jacobi M GS = D L, Gauss Seidel M SOR = 1 (D ωl), ω SOR Factorización incompleta de Cholesky M = L L T donde L es una aproximación del factor triangular obtenido por la factorización de Cholesky. Tenemos que resolver un sistema con la matriz M queremos que L sea lo mas vacía posible. Para ello se permite que L tenga los elementos no cero en las posiciones donde los tiene A, esto es a ij = 0 = l ij 0, IC(0) (UPV) Métodos iterativos Curso / 90

32 Precondicionadores clásicos LU incompleta Se construye M = LŨ donde L es una matriz vacía triangular inferior que aproxima a L y Ũ es una matriz vacía triangular superior que aproxima a U. Fijado un subconjunto S [1,..., n] [1,..., n] de posiciones de elementos en la matriz, entonces a ij := { aij a ik a 1 kk a kj a ij si (i, j) S si (i, j) S da una factorización incompleta de A que mantiene las propiedades (SPD). (UPV) Métodos iterativos Curso / 90

33 Precondicionadores clásicos Si se hace una factorización LU con el mismo patrón de ceros que la matriz A se obtiene el precondicionador ILU(0). ILU(m), si se permite que el mismo patrón de dispersidad que A m+1. La factorización incompleta puede fallar incluso si la matriz inicial admite factorización. El fallo ocurre cuando a kk = 0. Sin embargo, en la práctica es raro que hayan fallos. (UPV) Métodos iterativos Curso / 90

34 Precondicionadores polinomiales Estos precondicionadores son de la forma M 1 = p(a) Un caso particular son los precondicionadores de Neuman. Se supone que la matriz A se escribe ( A = D C = I CD 1) D con lo que ( A 1 = D 1 I CD 1) ( 1 = D 1 I + CD 1 + (CD 1) ) 2 + Se obtienen los precondicionadores de Neuman truncando la serie. Este método funciona si ρ(cd 1 ) < 1. (UPV) Métodos iterativos Curso / 90

35 Método de descenso rápido Resolver Ax = b, con A simétrica y definida positiva (SPD). Definimos la función cuadrática φ : R n R φ(y) = 1 2 (y x)t A(y x) = 1 2 et Ae. Se tiene φ(y) 0 y 0 ( definición de matriz SPD). Error e = y x. Teorema La solución del sistema Ax = b es el mínimo de la función φ(y). (UPV) Métodos iterativos Curso / 90

36 Método de descenso rápido φ(y) = 1 2 (y x)t A(y x) = 1 2 et Ae φ (y k ) = constant representa un hiperelipsoide en un espacio de dimensión n. El centro geométrico es la solución x del sistema lineal (mínimo). Construir una sucesión {y k } tal que lim k y k = x. y k+1 = y k + α k p k Hace falta determinar la dirección p k y α. (UPV) Métodos iterativos Curso / 90

37 Método de descenso rápido El método de descenso rápido construye una sucesión que va hacia el centro del hiperelipsoide en la dirección del gradiente. El gradiente de φ en el punto y k es φ(y k ) = 1 ( 1 2 et k Ae k = 2 yt k Ay k yk T b + 1 ) 2 xt Ax = Ay k b = r k Como la dirección del vector gradiente es hacia fuera, la dirección buscada coincide con el residuo r k en la aproximación actual. En consecuencia la nueva aproximación es y k+1 = y k + α k r k donde α k es una constante a determinar. Cómo? Minimizando φ(y) en la dirección buscada r k. Es decir, nuestro α k es la solución α k = argmin β φ(y k + βr k ) (UPV) Métodos iterativos Curso / 90

38 Método de descenso rápido Desarrollando la función φ(y k + βr k ) se tiene un polinomio de segundo grado en la variable β. φ(y k + βr k ) = (y k + βr k x) T A(y k + βr k x) = (y k + βr k x) T (Ay k + βar k b) = (y k + βr k x) T (βar k r k ) = (βr k e k ) T (βar k r k ) ) = β 2 rk T Ar k β (rk T r k + e T k Ar k + x T r k = β 2 r T k Ar k 2βr T k r k + const. (UPV) Métodos iterativos Curso / 90

39 Método de descenso rápido Como r T k Ar k > 0 el mínimo de φ se alcanza cuando α k β = rt k r k r T k Ar k Otra forma: Resolver φ β = 0. (UPV) Métodos iterativos Curso / 90

40 Método de descenso rápido La k + 1 iteración se puede representar como r k = b Ax k α k = rt k r k r T k Ar k y k+1 = y k + α k r k Notar que el coste computacional es principalmente dos productos matriz-vector. De y k+1 = y k + α k r k se sigue que r k+1 = b Ax k+1 = b Ax k Aα k r k = r k α k Ar k, Los residuos consecutivos r k+1, r k son ortogonales (demostración: Ejercicio). El error e k+1 es A ortogonal a la dirección r k. (demostración: Ejercicio). (UPV) Métodos iterativos Curso / 90

41 Método de descenso rápido Algoritmo: Descenso rápido Input: y 0, A, b, k max, tol r 0 = b Ay 0, k = 0 while r k > tol b and k < k max do 1 z = Ar k 2 α k = rt k r k z T r k 3 y k+1 = y k + α k r k 4 r k+1 = r k α k z 5 k = k + 1 end while (UPV) Métodos iterativos Curso / 90

42 Método de descenso rápido Lema Sea A simétrica definida positiva y sean 0 < λ n λ 2 λ 1 sus valores propios. Si P (t) es un polinomio real, entonces P (A)x A max 1 j n P (λ j) x A, x R n donde x A = x T Ax. Teorema Sean las mismas condiciones que en el lema anterior. La sucesión {y k } del método de descenso rápido satisface ( ) λ1 λ k n y k x A y 0 x A λ 1 + λ n donde x es la solución exacta del sistema. (UPV) Métodos iterativos Curso / 90

43 Método de descenso rápido Teorema φ(y k ) = e T k Ae k = e k A µ k e 0 A, donde µ = κ(a) 1 κ(a) + 1 Cuando los sistemas vienen de discretizar ecuaciones EDPs, κ(a) puede ser muy grande. (UPV) Métodos iterativos Curso / 90

44 Método de descenso rápido Se estima el número de iteraciones para ganar p digitos en la aproximación de la solución: e k A e 0 A 10 p resolviendo ( ) κ(a) 1 k 10 p κ(a) + 1 Tomando logaritmos y usando la aproximación de primer orden de Taylor log κ(a) 1 κ(a) + 1 2, se obtiene κ(a) + 1 k log 10 p (κ(a) + 1) 2 (UPV) Métodos iterativos Curso / 90

45 Método del gradiente conjugado Es una mejora del Descenso rápido. La sucesión de recurrencia es similar y k+1 = y k + α k p k Las direcciones se construyen como p 0 = r 0 p k = r k + β k p k 1, k > 0 Se exige que las direcciones sean A conjugadas p T k 1Ap k = 0, es decir, p k y p k 1 son A-ortogonales. Por tanto, se debe cumplir β k = rt k Ap k 1 p T k 1 Ap k 1 (UPV) Métodos iterativos Curso / 90

46 Método del gradiente conjugado Como en el método de descenso más rápido, la elección de α k se obtiene minimizando φ(y k+1 ) = φ(y k + α k p k ) dando la expresión α k = rt k p k p T k Ap k Residuos consecutivos como en el método de descenso más rápido satisfacen la relación de recurrencia r k+1 = r k + α k Ap k (UPV) Métodos iterativos Curso / 90

47 Método del gradiente conjugado Teorema Las sucesiones de vectores {r i } y {p i } satisfacen las siguientes relaciones (i) p T i r j = 0, 0 i < j k, (ii) ri T r j = 0, i j, 0 i, j k, (iii) p T i Ap j = 0, i j, 0 i, j k, (iv) env{r 0, r 1,..., r k } = env{p 0, p 1,..., p k } Corolario El método del gradiente conjugado obtiene la solución del sistema de n ecuaciones como máximo en n iteraciones. (UPV) Métodos iterativos Curso / 90

48 Método del gradiente conjugado Otras relaciones útiles 1 p T k r k = rk T r k. Ya que de e T k Ap j = 0 se sigue rk T p j = 0 y, por tanto, p T k r k = (r k + β k 1 p k 1 ) T r k = rk T r k 2 rk T Ap k = p T k Ap k. 3 Combinando 1 y 2, se obtiene una definición alternativa de α k : rt k p k α k = p T k Ap k = rt k r k r T k Ap k 4 Formulación alternativa de β k. Como p T k Ap k = p T k Por tanto 1 α k (r k r k+1 ) = 1 α k r T k r k rk+1ap T k = rk+1 T 1 (r k r k+1 ) = 1 rk+1r T k+1 α k α k β k = rt k+1p k p T k Ap k = rt k+1r k+1 r T k r k (UPV) Métodos iterativos Curso / 90

49 Método del gradiente conjugado Algoritmo: Gradiente conjugado Input: y 0, A, b, k max, tol r 0 = p 0 = b Ax 0, k = 0 while r k > tol b and k < k max 1 z = Ap k 2 α k = pt k r k z T p k 3 y k+1 = y k + α k p k 4 r k+1 = r k α k z 5 β k = rt k+1 r k+1 r T k r k 6 p k+1 = r k+1 + β k p k 7 k = k + 1 end while do (UPV) Métodos iterativos Curso / 90

50 Método del gradiente conjugado Ejercicio Aplicar el algoritmo del gradiente conjugado para el problema ( ) ( ) ( ) 2 1 x1 1 = usando como aproximación inicial x 0 = (0, 0) T. x 2 (UPV) Métodos iterativos Curso / 90

51 Método del gradiente conjugado Solución: x 0 = (0, 0) T. p 0 = r 0 = b = (1, 0) T. α 0 = rt 0 r0 p T 0 Ap0 = 1 2, x 1 = x 0 + α 0 p 0 = ( 1 r 1 = r 0 α 0 Ap 0 = 0 ) ( β 0 = rt 1 r1 r T 0 r0 = 1 4, p 1 = r 1 + β 0 p 0 = ( α 1 = rt 1 r1 p T 1 AP1 = 2 3 x 2 = x 1 + α 1 p 1 = ( r 2 = 0 solución exacta ) ( ( 0 0 ) ( 0 = 1 ) ) ( ) = ( ( 1 0 ) ) = ( ), r T 1 r 0 = 0 ) = ( ) ) (UPV) Métodos iterativos Curso / 90

52 Método del gradiente conjugado Teorema Sea A R n n simétrica y definida positiva. Sea x la solución exacta del sistema Ax = b. Entonces la sucesión de vectores del Gradiente Conjugado {y k } cumple x y k A 2 ( κ2 (A) 1 κ2 (A) + 1) k x y 0 A donde κ 2 (A) = A 2 A 1 2. (UPV) Métodos iterativos Curso / 90

53 Métodos de Krylov Si consideramos el método de Richardson no precondicionado para el residuo, se tiene la sucesión r k = k 1 j=0 (I α j A) r 0 así r k = p k (A)r 0, donde p k (A) es un polinomio de grado k. Definiendo subespacio de Krylov de orden m { } K m (A; v) = span v, Av,..., A m 1 v se tiene que r k K k+1 (A; r 0 ). (UPV) Métodos iterativos Curso / 90

54 Métodos de Krylov Si consideramos k 1 x k = x 0 + α j r j j=0 x k pertenece al espacio W k = Se pueden plantear métodos { } v = x 0 + y; y K k (A, r 0 ) x k = x 0 + q k 1 (A)r 0 donde el polinomio q k 1 (A) se selecciona de forma que x k sea la mejor aproximación de x en W k. (UPV) Métodos iterativos Curso / 90

55 Métodos de Krylov Por ejemplo, como ya hemos visto, el método de descenso más rápido se basa en iteraciones de la forma Para este método x k W k x k+1 = x k + α k r k r k+1 = b Ax k+1 = r k α k Ar k. (UPV) Métodos iterativos Curso / 90

56 Métodos de Krylov Los métodos de proyección de un paso se basan en una combinación óptima de los dos últimos vectores base del subespacio de Krylov. Es posible contruir una combinación lineal óptima de todos los vectores base del subespacio de Krylov? La respuesta en dos pasos: 1 Primero vemos cómo construir una base para K k (A; r 0 ); 2 Después veremos cómo construir una aproximación óptima como una combinación lineal de los vectores base. Primero para matrices simétricas. (UPV) Métodos iterativos Curso / 90

57 Métodos de Krylov La base más simple para el subespacio de Krylov K k (A; r 0 ) es la base: r 0, Ar 0, A 2 r 0, A k 1 r 0. Pero esta base está mal condicionada ya que A k 1 r 0 apuntará cada vez más en la dirección del autovector dominante de A. Una base estable y ortogonal se puede construir usando el método de Arnoldi. (UPV) Métodos iterativos Curso / 90

58 Métodos de Krylov Se elige un vector inicial q 1 con q 1 2 = 1. for k = 1, do (iteración) v = Aq k for i = 1,..., k (ortogonalización) h i,k = v T q i v = v h i,k q i end for h k+1,k = v 2 if h k+1,k = 0 stop (subespacio invariante) q k+1 = v/h k+1,k (nuevo vector) end for (UPV) Métodos iterativos Curso / 90

59 Métodos de Krylov El método de Arnoldi se puede resumir en: h 1, h 1,k. h.. H k = 2, O h k,k 1 h k,k y Q k = [q 1 q 2 q k ] entonces AQ k = Q k H k + h k+1,k q k+1 e T k donde e k es el k esimo vector de la base canónica de R k. (UPV) Métodos iterativos Curso / 90

60 Métodos de Krylov Si A es simétrica de acuerdo a la relación de Arnoldi Q T k AQ k = H k. Como A es simétrica Hk T = Q T k A T Q k = Q T k AQ k = H k. Así H k es simétrica y Hessenberg superior luego H k es tridiagonal. (UPV) Métodos iterativos Curso / 90

61 Métodos de Krylov Así H k = h 1,1 h 2,1 O h 2, hk,k 1 O h k,k 1 h k,k. Con α k = h k,k y β k = h k 1,k el método de Arnoldi se simplifica en el método de Lanczos. Con el método de Lanczos es posible calcular un nuevo vector base ortogonal utilizando sólo los dos vectores base previos. (UPV) Métodos iterativos Curso / 90

62 Métodos de Krylov El método de Arnoldi y el método de Lanczos se propusieron originalmente como métodos iterativos para calcular autovalores de la matriz A: Q T k AQ k = H k es casi una transformación de similaridad. Los autovalores de H k se llaman los valores de Ritz de A. (UPV) Métodos iterativos Curso / 90

63 Métodos de Krylov El método de Lanczos nos proporciona un método económico para calcular vectores base ortogonales para el subespacio de Krylov K k (A; r 0 ). Nuestra aproximación se escribe x k = x 0 + Q k y k donde y k se determina de forma que: o bien se minimiza f(x k ) = x k x 2 A = (x k x) T A(x k x) respecto de la norma inducida por A (simétrica y definida positiva) o bien se minimiza la norma del residuo g(x k ) = A(x k x) 2 2 = rk T r k. (UPV) Métodos iterativos Curso / 90

64 Métodos de Krylov Se considera la minimización del error en la A-norma: x k = x 0 + Q k y k f(x k ) = (x 0 + Q k y k x) T A(x 0 + Q k y k x). Se calcula la derivada respecto de y k, f(x k) y k = 0. Con lo que Q T k AQ k y k = Q T k r 0 y con Q T k AQ k = T k, r 0 = r 0 q 1 se tiene T k y k = r 0 e 1 con e 1 el primer vector de la base canónica. (UPV) Métodos iterativos Curso / 90

65 Métodos de Krylov Es fácil ver que los residuos son orgonales a los vectores base r k = r 0 AQ k y k Q T k r k = Q T k r 0 Q T k AQ k y k = 0 Esta condición es equivalente a minimizar f(x k ) cuando A es SPD. En este caso se obtiene el método del gradiente conjugado. El gradiente conjugado minimiza la A-norma del error. (UPV) Métodos iterativos Curso / 90

66 Método del residuo conjugado Otra forma de construir una aproximación óptima x k es minimizar el residuo g(x k ) = A(x k x) 2 2 = r T k r k sobre todos los x k {x 0 K k (A; b)}. Definiendo α 1 β 2 0. β 2 α.. 2. T k = βk β k α k β k+1 El método de Lanczos se escribe AQ k = Q k+1 T k (UPV) Métodos iterativos Curso / 90

67 Método del residuo conjugado El problema es encontrar x k = x 0 + Q k y k tal que r k es mínimo. r k = b Ax k = r 0 AQ k y k = r 0 q 1 AQ k y k así hay que minimizar r k = r 0 q 1 AQ k y k = r 0 Q k+1 e 1 Q k+1 T k y k = r 0 e 1 T k y k (UPV) Métodos iterativos Curso / 90

68 Método del residuo conjugado Resolviendo el sistema sobredeterminado T k y k = r 0 e 1 se tienen las iteraciones x k = x 0 + Q k y k que minimizan el residuo. El algoritmo resultante se llama MINRES (o residuo conjugado) (UPV) Métodos iterativos Curso / 90

69 Método del residuo conjugado MINRES r 0 = b Ax 0 ; p 0 = r 0 initializacion FOR k = 0, 1,, DO END FOR rt k Ar k α k = (Ap k ) T Ap k x k+1 = x k + α k p k r k+1 = r k α k Ap k β k = rt k+1 Ar k+1 rk T Ar k p k+1 = r k+1 + β k p k Ap k+1 = Ar k+1 + β k Ap k actualizacion residuo actualizacion direccion (UPV) Métodos iterativos Curso / 90

70 Método FOM En el caso de A simétrica el método de Lanczos es muy eficiente, los vectores base nuevos se pueden calcular con una recurrencia de tres términos. Esto permite construir métodos muy eficientes que combinan recurrencias cortas y una condición de optimalidad para el error. Veremos ahora cómo se pueden construir métodos para el caso no simétrico. Estos métodos usan el método de Arnoldi. (UPV) Métodos iterativos Curso / 90

71 Método FOM Recordemos el Método de Arnoldi. Se elige un vector inicial q 1 con q 1 2 = 1. FOR k = 1, DO (iteracion) v = Aq k FOR i = 1,..., k ortogonalizacion h i,k = v T q i v = v h i,k q i END FOR h k+1,k = v 2 IF h k+1,k = 0 STOP subespacio invariante q k+1 = v/h k+1,k nuevo vector base END FOR (UPV) Métodos iterativos Curso / 90

72 Método FOM En forma compacta H k = h 1, h 1,k h 2, O h k,k 1 h k,k y Q k = [q 1 q 2 q k ] entonces AQ k = Q k H k + h k+1,k q k+1 e T k (UPV) Métodos iterativos Curso / 90

73 Método FOM Definiendo el método de Arnoldi se escribe h 1, h 1,k. h.. 2,1. H k = h k,k 1 h k,k O h k+1,k AQ k = Q k+1 H k (UPV) Métodos iterativos Curso / 90

74 Método FOM El método de Anoldi nos da una base ortogonal para el subespacio de Krylov K k (A; r 0 ). Se tiene la aproximación x k = x 0 + Q k y k y k es tal que: minimiza el error respecto de la A-norma, f(x k ) = x k x 2 A = (x k x) T A(x k x) o bien minimiza el residuo, g(x k ) = A(x k x) 2 2 = r T k r k. (UPV) Métodos iterativos Curso / 90

75 Método FOM Si A no es SPD, la A-norma no está bien definida. Se impone que los residuos sean ortogonales a Q k. Se tiene Q T k (r 0 AQ k y k ) = 0 r 0 e 1 H k y k = 0 Resolviendo el sistema pequeño y k = r 0 H 1 k e 1, x k = x 0 + Q k y k Este método se llama FOM (Full orthogonalization method). (UPV) Métodos iterativos Curso / 90

76 Método FOM El FOM es equivalente al GC si A es SPD. Pero tiene inconvenientes: FOM no trata de forma eficiente la memoria: Q k se tiene que guardar completa. En cada iteración, un nuevo vector base se tiene que calcular y guardar. La ortogonalización va siendo cada vez más cara con k. FOM no tiene una propiedad de optimalidad. El método es finito, pero esto sólo tiene interés teórico ya que se tendrían que calcular n vectores base y guardarlos. FOM no es robusto ya que H k podría ser singular. (UPV) Métodos iterativos Curso / 90

77 Método FOM El método FOM para obtener x k es parte de una familia de técnicas para extraer una solución aproximada a partir de un espacio de búsqueda Q k haciendo que el residuo sea ortogonal a un espacio test W k. Esto se formula como: Sea x k = x 0 + Q k y k. Encontrar y k tal que W T k (r 0 AQ k y k ) = 0 Estas son las condiciones de Petrov-Galerkin. Si W k = Q k se llaman condiciones de Galerkin. (UPV) Métodos iterativos Curso / 90

78 Método GMRES Veamos un segundo método para obtener un mínimo del residuo. Minimizar g(x k ) = A(x k x) 2 2 = rk T r k es un problema bien definido incluso si A es no simétrica. (UPV) Métodos iterativos Curso / 90

79 Método GMRES El problema es encontrar x k = x 0 + Q k y k tal que r k es mínimo. r k = b Ax k = r 0 AQ k y k = r 0 q 1 AQ k y k así r k = r 0 q 1 AQ k y k = r 0 Q k+1 e 1 Q k+1 H k y k = r 0 e 1 H k y k (UPV) Métodos iterativos Curso / 90

80 Método GMRES Resolviendo el problema sobredeterminado H k y k = r 0 e 1 se tienen las iteraciones que minimizan el residuo. x k = x 0 + Q k y k El algoritmo resultante se llama GMRES. GMRES, es uno de los métodos más populares para resolver sistemas no simétricos (UPV) Métodos iterativos Curso / 90

81 Método GMRES El método GMRES es equivalente al MINRES si A es simétrica. Otras características son: GMRES no tiene limitada la memoria: Q k se ha de guardar completamente. En cada iteración se ha de calcular y guardar un nuevo vector de la base. La ortogonalización de un nuevo vector se hace cada vez más cara al aumentar k. GMRES minimiza la norma del residuo. El método es finito, pero esto sólo tiene interés teórico. Para llegar a este punto, se han de calcular n vectores de la base y se han de guardar. GMRES es robusto: H k y k = r 0 e 1 tiene siempre una solución de mínimos cuadrados. (UPV) Métodos iterativos Curso / 90

82 Método GMRES Los métodos de Arnoldi minimzan el residuo, calculando un nuevo vector ortogonal de la base en cada iteración. El coste de hacer esto se hace prohibitivo si se hacen muchas iteraciones. Se suele fijar un número máximo de m pasos consecutivos. Si el método no ha convergido se hace x 0 = x m y se reinicia el método. (se obtiene GMRES(m), por ejemplo) Ahora veremos otro tipo de métodos que se basan en el método de bi-lanczos. Usan relaciones de recurrencia cortas, pero las iteraciones no son óptimas. (UPV) Métodos iterativos Curso / 90

83 Método Bi-Lanczos El método de Lanzcos simétrico construye una matriz Q k tal que Q T k Q k = I y Q T k AQ k = T k tridiagonal. El método Bi-Lanczos construye matrices W k y V k tales que W k T AV k = T k tridiagonal y tales que W k T V k = I Así W k y V k no son ortogonales, pero forman un par biortogonal. (UPV) Métodos iterativos Curso / 90

84 Método Bi-Lanczos Se eligen dos vectores v 1 y w 1 tales que v1 T w 1 = 1 β 1 = δ 1 = 0 w 0 = v 0 = 0 inicialización FOR k = 1, DO iteración α k = wk T Av k ˆv k+1 = Av k α k v k β k v k 1 nueva ŵ k+1 = A T w k α k w k δ k w k 1 direccion v δ k+1 = ˆv k+1ŵk+1 T ortogonal al β k+1 = ˆv k+1ŵk+1/δ T k+1 w previo. w k+1 = ŵ k+1 /β k+1 v k+1 = ˆv k+1 /δ k+1 END FOR (UPV) Métodos iterativos Curso / 90

85 Método Bi-Lanczos Sea y Entonces T k = α 1 β 2 0 δ 2 α βk δ k α k V k = [v 1 v 2... v k ] W k = [w 1 w 2... w k ]. AV k = V k T k + δ k+1 v k+1 e T k, A T W k = W k T T k + β k+1 w k+1 e T k (UPV) Métodos iterativos Curso / 90

86 Método Bi-Lanczos Notar que y env{v 1 v k } es una base dek k (A; v 1 ) env{w 1 w k } es una base de K k (A T ; w 1 ) (UPV) Métodos iterativos Curso / 90

87 Método Bi-Lanczos El método Bi-Lanczos se estropea si Esto puede ocurrir si: w T k+1v k+1 = 0 v k+1 = 0 : w k+1 = 0 : {v 1 v k } generan un subespacio invariante de A {w 1 w k } generan un subespacio invariante de A T w k+1 0 y v k+1 0 : fallo serio (UPV) Métodos iterativos Curso / 90

88 Método Bi-CG Un método de tipo GC se puede definir como v 1 = r 0 / r 0 y w 1 = r 0 / r 0 (con r 0 = r 0 ). - Calcular W k y V k usando el método de Bi-Lanczos - Calcular x k = x 0 + V k y k con y k tal que W T k AV k y k = W T k r 0 T k y k = r 0 e 1 Este algoritmo se puede escribir de forma compacta como el método CG. El algoritmo resultante se llama método Bi-CG. (UPV) Métodos iterativos Curso / 90

89 Algoritmo Bi-CG r 0 = b Ax 0 Elige r 0, p 0 = r 0, p 0 = r 0 inicialización FOR k = 0, 1,, DO END FOR α k = rt k r k p T k Ap k x k+1 = x k + α k p k r k+1 = r k α k Ap k r k+1 = r k α k A T p k β k = rt k+1 r k+1 r T k r k p k+1 = r k+1 + β k p k p k+1 = r k+1 + β k p k (UPV) Métodos iterativos Curso / 90

90 Algoritmo Bi-CG El método usa memoria limitada: Sólo se necesita almacenar cinco vectores El método no es óptimo. Si A es SDP y r 0 = r 0 se obtiene el método GC. El método es finito: todos los residuos son ortogonales r T i r j = 0 si i j. El método no es robusto: r T k r k puede ser cero y r k 0. (UPV) Métodos iterativos Curso / 90