Análisis aplicado. Ax = b. Gradiente conjugado.

Transcripción

1 José Luis Morales jmorales Departamento de Matemáticas. ITAM

2 Cuadráticas estrictamente convexas. φ(x) = 1 2 xt Ax b T x, A R n n minimizar φ(x) Ax = b.

3 Cuadráticas estrictamente convexas. φ(x) = 1 2 xt Ax b T x, A R n n minimizar φ(x) Ax = b. A simétrica positiva definida.

4 Cuadráticas estrictamente convexas. φ(x) = 1 2 xt Ax b T x, A R n n minimizar φ(x) Ax = b. A simétrica positiva definida. φ(x) = Ax b.

5 Cuadráticas estrictamente convexas. φ(x) = 1 2 xt Ax b T x, A R n n minimizar φ(x) Ax = b. A simétrica positiva definida. φ(x) = Ax b. x = A 1 b.

6 Cuadráticas estrictamente convexas. φ(x) = 1 2 xt Ax b T x, A R n n minimizar φ(x) Ax = b. A simétrica positiva definida. φ(x) = Ax b. x = A 1 b. Factorización de Cholesky: A = LL T.

7 Método iterativo: GC

8 Método iterativo: GC Lejos de la solución: Aˆx b.

9 Método iterativo: GC Lejos de la solución: Aˆx b. Relajar la condición: spd s.

10 Método iterativo: GC Lejos de la solución: Aˆx b. Relajar la condición: spd s. Residuo: r(ˆx) = Aˆx b = φ(ˆx).

11 Método iterativo: GC Lejos de la solución: Aˆx b. Relajar la condición: spd s. Residuo: r(ˆx) = Aˆx b = φ(ˆx). Aproximación inicial: x 0. x = x 0 + α 0 p 0 + α 1 p α n 1 p n 1 sucesión (finita) de aproximaciones {x k } n 1 0. Forma general del método x k = x k 1 + α k 1 p k 1 Residuo r k = b Ax k = φ(x k )

12 Recursos para construir el método.

13 Recursos para construir el método. Direcciones de descenso: {p k } n 1 0.

14 Recursos para construir el método. Direcciones de descenso: {p k } n 1 0. Paso (búsqueda lineal exacta) α k = rt k p k p T k Ap k

15 Recursos para construir el método. Direcciones de descenso: {p k } n 1 0. Paso (búsqueda lineal exacta) α k = rt k p k p T k Ap k Base de R n. B = {p 0,p 1,...,p n 1 }

16 Recursos para construir el método. Direcciones de descenso: {p k } n 1 0. Paso (búsqueda lineal exacta) α k = rt k p k p T k Ap k Base de R n. B = {p 0,p 1,...,p n 1 } Pregunta: Cómo obtener {p k } n 1 0?

17 Respuestas 1 Teorema 5.1: Utilizar una base A-ortogonal.

18 Respuestas 1 Teorema 5.1: Utilizar una base A-ortogonal. Producto interior definido por A: < u,v >= u T Av

19 Respuestas 1 Teorema 5.1: Utilizar una base A-ortogonal. Producto interior definido por A: < u,v >= u T Av Norma inducida: u A = u T Au

20 Respuestas 1 Teorema 5.1: Utilizar una base A-ortogonal. Producto interior definido por A: < u,v >= u T Av Norma inducida: u A = u T Au A-ortogonalidad: u v = 0 = u T Av

21 Respuestas 1 Teorema 5.1: Utilizar una base A-ortogonal. Producto interior definido por A: < u,v >= u T Av Norma inducida: u A = u T Au A-ortogonalidad: u v = 0 = u T Av Base A-ortogonal: pi T Ap j = 0 si i j

22 Respuestas 2 A-Ortogonalización de Gram-Schmidt

23 Respuestas 2 A-Ortogonalización de Gram-Schmidt Dirección inicial: p 0 = r 0.

24 Respuestas 2 A-Ortogonalización de Gram-Schmidt Dirección inicial: p 0 = r 0. Primer iterando: x 1 = x 0 + α 0 p 0.

25 Respuestas 2 A-Ortogonalización de Gram-Schmidt Dirección inicial: p 0 = r 0. Primer iterando: x 1 = x 0 + α 0 p 0. Residuo asociado con x 1 : r 1 = Ax 1 b.

26 Respuestas 2 A-Ortogonalización de Gram-Schmidt Dirección inicial: p 0 = r 0. Primer iterando: x 1 = x 0 + α 0 p 0. Residuo asociado con x 1 : r 1 = Ax 1 b. A-ortogonalizar p 0 y r 1 para obtener p 1. β 1 p 0 + p 1 = r 1. p 1 = r 1 + rt 1 Ap 0 p0 TAp p 0 0 en donde β 1 = rt 1 Ap 0 p T 0 Ap 0

27 Algoritmo de direcciones conjugadas Supongamos que el conjunto B = {p 0,...,p n 1 } es A-conjugado, i.e. p T i Ap j = 0, i j. x 0 una aproximación inicial x k+1 = x k + α k p k α k = rt k p k p T k Ap k

28 Propiedades del algoritmo de direcciones conjugadas Teorema 5.1 Supongamos que B es cualquier base A-ortogonal y x 0 es cualquier punto inicial. Entonces la sucesión generada por el algoritmo de direcciones conjugadas termina en a lo más n pasos. Teorema 5.2 Los residuos y las direcciones satisfacen la relación: r T k p i = 0, i = 0,1,...,k 1. Además x k es el minimizador de φ en el conjunto {x x = x 0 + gen{p 0,p 1,...,p k 1 }}.

29 Teoría de soporte Teorema Supongamos que obtenemos B a partir de los residuos por A-ortogonalización de Gram-Schmidt. Entonces:

30 Teoría de soporte Teorema Supongamos que obtenemos B a partir de los residuos por A-ortogonalización de Gram-Schmidt. Entonces: 1 Los residuos son ortogonales r T i r j = 0, i j.

31 Teoría de soporte Teorema Supongamos que obtenemos B a partir de los residuos por A-ortogonalización de Gram-Schmidt. Entonces: 1 Los residuos son ortogonales r T i r j = 0, i j. 2 Se cumple la propiedad r T k+1 Ap i = 0, i = 0,1,...,k 1. Corolario La propiedad 2) implica que la recurrencia para el cálculo de la dirección involucra sólo 1 término, i.e. p k+1 = r k+1 + rt k+1 Ap k pk TAp p k k Tarea

32 Algoritmo GC Escoger x 0 una aproximación inicial; fijar TOL > 0. r 0 Ax 0 b, p 0 r 0, k 0; mientras r k / r 0 TOL α k rt k r k p T k Ap k x k+1 x k + α k p k r k+1 r k + α k Ap k β k+1 rt k+1 r k+1 r T k r k p k+1 r k+1 + β k+1 p k k k + 1 fin Tarea

33 Teoría de GC Teorema 5.3 Propiedades del algoritmo GC gen{r 0,...,r k } = gen{r 0,Ar 0,...,A k r 0 } gen{p 0,...,p k } = gen{r 0,Ar 0,...,A k r 0 } Teorema 5.4 Si A tiene r valores propios distintos entonces GC converge en a lo más r iteraciones.

34 Base de la prueba del Teorema 5.4 x k+1 = x 0 + α 0 p 0 + α 1 p α k p k = x 0 + γ 0 r 0 + γ 1 Ar γ k A k r 0 = x 0 + Pk (A)r 0 x k+1 x 2 A = φ(x k+1) φ(x ) = x 0 + P k (A)r 0 x 2 A P k = arg min P k x 0 + P k (A)r 0 x 2 A x k+1 x = [I + P k (A)A](x 0 x )

35 Análisis con valores y vectores propios Estimar A = n i=1 x k+1 x 2 A min P k λ i v i v T i, Av i = λ i v i, i = 1,...,n min P k x 0 x = n ξ i v i i=1 max [1 + λ ip k (λ i )] 2 x 0 x 2 A 1 i n max [1 + λ ip k (λ i )] 2. 1 i n