GRADIENTE CONJUGADO. May 15, 2018 DWIN ANCIZAR DIAZ ZAPATA (UNIVERSIDAD NACIONAL GRADIENTE DECONJUGADO COLOMBIA )

Transcripción

1 GRADIENTE CONJUGADO EDWIN ANCIZAR DIAZ ZAPATA UNIVERSIDAD NACIONAL DE COLOMBIA May 15, 2018 May 15, / 37

2 A definida positiva x t Ax > 0 x 0 Definamos producto interno x, y A = x t Ay x es un vector conjugado a otro vector y con respecto a una matriz A si x,y A = 0, con x y E May 15, / 37

3 MÉTODOS ITERATIVOS pueden ser Métodos estacionarios Métodos no estacionaros Métodos NO estacionarios Hacen uso de información, evaluada en cada iteración, que les permite obtener la solución de modo dinámico, además suelen ser mas eficientes que los métodos estacionarios contienen a los métodos basados en subespacios de Krylov May 15, / 37

4 GRADIENTE CONJUGADO El método del CG fue presentado por Hestenes y Stiefel (1952) como un método directo, mas tarde Reid (1971) y Concus et al (1976) le descubrieron su verdadero potencial al mirarlo como un método iterativo bastante adecuado para resolver sistemas de la forma Ax = b, donde A es simétrica y definida positiva. El método de CG está basado en un principio de conjugación teniendo un almacenamiento modesto y siempre converge. E May 15, / 37

5 Gradiente Conjugado Un método basado en el subespacio de Krylov no accede directamente a los elementos de la matriz, si no que realiza la multiplicación matriz-vector para obtener vectores que son proyecciones en un subespacio de Krylov de dimensión inferior donde se resuelve un problema correspondiente. Este resultado se convierte luego en una solución del problema original No requiere una factorización de la matriz, ni es dependiente de parámetros definidos por el usuario, como sucede con otros métodos iterativos. E May 15, / 37

6 Problema de minimización Si A R nxn es simétrica y definida positiva b R n, entonces la función cuadrática φ : R n R φ(x) = 1 Ax, x b, x 2 Alcanza un único mínimo en el vector x R n solución del sistema Ax = b Nota: φ(x) = 1 2 Ax, x b, x = 1 2 x t Ax x t b May 15, / 37

7 Figure: matriz S.D.P Figure: Matriz indefinida; en este caso el punto crítico es un punto silla. E May 15, / 37

8 Figure: Matriz S.D.N Figure: Matriz singular (positiva), en este caso no existe un único mínimo E May 15, / 37

9 Métodos de Descenso Se parte de un punto u 0 R n y en cada paso k = 0, 1, 2,... se determina un nuevo punto u k+1 R n /φ(u k+1 ) < φ(u k ) de la siguiente manera? a) Se calcula una dirección de búsqueda P k b) se considera la recta L k que pasa por el punto u k con dirección P k c) Se elige el punto u k+1 L k donde φ alcanza su mínimo sobre L k May 15, / 37

10 Como L k = { x k + αp k : α R }, entonces φ ( x k + αp k) = 1 ( x k + αp k) t ( A x k + αp k) b ( t x k + αp k) +c 2 Por lo tanto dφ ( x k + αp k) = 0 α = α k = r k, p k dα Ap k, p k Donde r k = b Ax k es el residuo de x k Luego x k+1 = x k + α k p k E May 15, / 37

11 Método del máximo Descenso Los distintos métodos de descenso se distinguen por la manera de escoger la dirección de descenso p k La elección más simple es escoger la dirección de máximo descenso de φ p k = φ ( x k) = b Ax k = r k Esta elección conduce al Método del Máximo Descenso o del Gradiente May 15, / 37

12 algoritmo descenso input : A, x 0, b, ɛ k 0 repetir r k b Ax k α k r t k r k r t k Ar k x k+1 x k + α k r k k k + 1 hasta que r k < ɛ x 0 es una coordenada inicial May 15, / 37

13 MÉTODO GRADIENTE CONJUGADO Determinación dirección descenso consideremos d 0 = r 0 la primera dirección de descenso llamaremos d al vector que une x 1 con x d 1 = x x 1 = x x 0 ρ 0 d 0 Teorema Los vectores d 0 y d 1 son conjugados respecto a la matriz A May 15, / 37

14 d 1 se puede expresar como combinación lineal de d 0 y r 1 d 1 = β 1 r 1 + β 2 d 0 No es preciso obtener el vector d 1 basta con determinar cual es su dirección para ello se realiza lo siguiente d 1 = 1 β 1 d 1 = r 1 + β 2 β 1 d 0 = r 1 + α 0 d 0 Donde α 0 se puede ver que α 0 = (d 0) t Ar 1 (d 0 ) t Ad 0 E May 15, / 37

15 Algoritmo del método del gradiente conjugado Versión provisional método gradiente conjugado para solucionar el sistema AX=b Leer : A, x 0, b, ɛ, maxiter k 0, r 0 b Ax, tol r 0 mientrasi < maxiter y tol > ɛ hacer α k r t k d k d t k Ar k x k+1 x k + α k d k r k+1 b Ax k+1 ρ k r t k+1 Ad k d t k Ad k d k+1 r k+1 + ρ k d k k k + 1 tol r k May 15, / 37

16 Modificando algoritmo preliminar términos a modificar ρ k = r k+1 r k+1 r k r k r k+1 = r k α k Ad k α k = (r k) t r k (d k ) t Ad k May 15, / 37

17 Algoritmo final del método del gradiente conjugado Leer : A, x 0, b, ɛ, maxiter k 0, r 0 b Ax, d r β r t r tol r 0 mientrasi < maxiter y tol > ɛ hacer z Ad α k β d t k z x x + αz r r αz γ β β r t r ρ k β γ d r + ρd k k + 1 tol r E May 15, / 37

18 Ejemplo 2x2 [ ] [ ] [ ] 2 1 x1 1 = 1 2 x 2 0 iniciamos con x 0 = 0 p 0 = r 0 = b = [1, 0] T α 0 = r [ ] [ ] [ ] 0 T r /2 p0 T Ap = 1, x 2 1 = x 0 + α 0 p 0 = = [ ] [ ] [ ] r 1 = r 0 α 0 Ap 0 = 0 1 =, r /2 T r 0 = 0 β 0 = r [ ] [ ] [ ] 1 T r /4 r0 T r = 1, p 4 1 = r 1 + β 0 p 0 = + 0 1/2 1 = 4 0 1/2 α 1 = r [ ] [ ] [ ] 1 T r 1 1/2 1/4 2/3 p1 T Ap = 2, x 3 2 = x 1 + α 1 p 1 = = 3 1/2 1/3 r 2 = 0, Solución exacta E May 15, / 37

19 PROPIEDADES DEL MÉTODO DEL GRADIENTE CONJUGADO Cada dirección de descenso del método de gradiente conjugado es conjugada, respecto a la matriz A, con todas las direcciones de descenso calculadas anteriormente: (d i ) t Ad j = 0 0 j < i Los gradientes de f (f (x) = 1 2 x t Ax b t x) en los puntos generados en el método del gradiente conjugado son ortogonales a las direcciones de descenso de las iteraciones anteriores r i d j = 0 0 j < i E May 15, / 37

20 Si se utiliza aritmética exacta al realizar las operaciones, el método del gradiente conjugado alcanza la solución exacta del sistema Ax = b en no más de n iteraciones: k n/r k = 0 r i r j = 0 0 j < i E May 15, / 37

21 Velocidad de convergencia método del gradiente k cond(a) 4 ln ( 1 α ) Velocidad de convergencia método del gradiente conjugado k cond(a) 2 ln ( ) 2 α May 15, / 37

22 Condicionamiento de un sistema Al hablar de condicionamiento en un sistema de ecuaciones nos referimos a las estabilidad que presenta la solución frente a pequeñas perturbaciones tanto en la matriz de coeficientes como en el vector de términos independientes El llamado número de condición constituye una herramienta eficaz para predecir el comportamiento en un sistema de ecuaciones lineales frente a perturbaciones de la matriz de coeficientes y/o del vector de segundos miembros. May 15, / 37

23 Técnicas de Precondicionamiento Las técnicas de Precondicionamiento permiten mejorar el número de condición en un sistema. La idea es considerar una matriz invertible M y resolver el sistema M 1 Ax = M 1 b en lugar de Ax = b. Esta matriz M recibe el nombre de matriz de Precondicionamiento Naturalmente, para que este procedimiento sea efectivo se tiene que dar: cond(m 1 A) < cond(a) May 15, / 37

24 Técnicas de Precondicionamiento Lo mas conveniente sería tomar M de tal modo que M 1 A = I es decir M = A hay que tomar algunas precauciones a la hora de precondicionar un sistema. La más importante es tener en cuenta que se puede destruir la estructura de la matriz del sistema. si la matriz A es simétrica, la matriz M 1 A no tiene por qué serlo, o si la matriz A es definida positiva, la matriz M 1 A puede no serlo. May 15, / 37

25 Técnicas de Precondicionamiento si se trabajo con métodos de resolución de tipo gradiente se prefiere precondicionar de la siguiente manera: Ax = b MAM }{{ 1 }}{{} Mx P y = Mb }{{} c Resolviendo este sistema y posteriormente el Mx = y garantizamos que este método conserva las propiedades de la matriz A May 15, / 37

26 Técnicas de Precondicionamiento En la idea de utilizar matrices de Precondicionamiento parecidas a la matriz del sistema, este tipo de precondicionadores trabajan, en lugar de con la descomposición A = LU exacta, con una descomposición aproximada, de tal forma que A = L U + R y utilizan como matriz de precondicinamiento M = L U. Los precondicionadores de este tipo, denominados LU incompletos (ILU), son particularmente efectivos en el caso, muy frecuente en la práctica, de que la matriz A tenga muchos elementos nulos, es decir, sea una matriz hueca. En este caso, se suele tomar una matriz L con el mismo patrón de huecos que la parte triangular inferior de la matriza. May 15, / 37

27 GRACIAS E May 15, / 37