Factorización QR Método iterativo de Jacobi

Transcripción

1 Clase No. 13: MAT 251 Factorización QR Método iterativo de Jacobi Dr. Alonso Ramírez Manzanares CIMAT A.C. cimat.mx web: alram/met_num/ Dr. Joaquín Peña Acevedo CIMAT A.C. cimat.mx Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

2 Ajuste de una recta (I) Tenemos un conjunto de puntos {x i } m i=1, con x i = (x i, y i ). El modelo y = ax + b no sirve para el siguiente conjunto de datos X Y Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

3 Ajuste de una recta (II) Usamos la siguiente formulación: Sea x = ( x, ȳ) el centroide de los puntos, x = 1 m x i, m i=1 ȳ = 1 m y i. m i=1 Y X Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

4 Ajuste de una recta (III) Idealmente x debería estar sobre la recta que vamos a ajustar, de modo que si x es otro punto sobre la recta, se debe tener que n (x x) = 0. Como los datos no están sobre una recta, debemos tener ε i = (x i x) n = [ x i x y i ȳ ]n i = 1,..., m. Si definimos ε 1 x 1 x ε =. =. ε m x m x Entonces queremos minimizar y 1 ȳ. n = An y m ȳ m min ε 2 i i=1 = ε 2 = ε ε = n A An Note que Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

5 Ajuste de una recta (IV) La matriz A A es semidefinida positiva. Falta agregar una condición al problema. Así como está planteado el problema, el vector n = 0 es solución. Pedimos que, por ejemplo, n = 1. Esto equivale a pedir que n n = 1. Entonces el problema que queremos resolver es min n n A An sujeto a n n = 1. Para resolverlo, construimos la función Lagrangiana L(n, λ) = n A An λ(n n 1). Calculamos su gradiente e igualamos a cero: 2A An 2λn = 0 = A An = λn Esto es, la solución es un eigenvector de la matriz A A. Si sustituimos en la función de error tenemos n A An = n (λn) = λn n = λ Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

6 Ajuste de una recta (V) Por lo tanto, el error mínimo se obtiene si elegimos n como el eigenvector asociado al eigenvalor más pequeño. Para cada conjunto de datos, se obtienen los resultados siguientes: Y Eigenvalores: λ 1 = , λ 2 = Eigenvectores v 1 = , v = X Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

7 Ajuste de una recta (VI) Y n Eigenvalores: λ 1 = , λ 2 = Eigenvectores v 1 = , v = X Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

8 Factorización QR Sea A R m n con m n. La factorización QR de A es A = QR = [Q 1 Q 2 ] R1 = Q 0 1 R 1 donde Q R m m es una matriz ortogonal y R 1 R n n es una matriz triangular superior. Se dice que la matriz R es trapezoidal superior. Esta factorización es útil para resolver sistemas de ecuaciones lineales, problemas de mínimos cuadrados y problemas de eigenvalores. Las maneras más comunes de calcular la factorización QR son aplicando las transformaciones de Householder, las rotaciones de Givens, el proceso de ortogonalización de Gram-Schmidt. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

9 Transformaciones de Householder Sea v R n, v = 0. La matriz de Householder se define como P = I 2 v v vv. La matriz es simétrica y ortogonal y, por tanto, P 2 = I. x span(v) La figura muestra porque se le llama reflexión. El objetivo de esta matriz es usarla para producir ceros en la matriz que queremos factorizar. Para hacerlo, debemos considerar el problema: Dados los vectores x y y, cómo calculamos P tal que Px = y? v P x Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

10 Cálculo de la transformación de Householder Puesto que P realiza una reflexión, se debe cumplir que y 2 = x 2 para poder calcular P. Hay que notar que P es invariante a la escala de v. x y tiene la dirección del vector que queremos. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

11 Cálculo de la transformación de Householder Puesto que P realiza una reflexión, se debe cumplir que y 2 = x 2 para poder calcular P. Hay que notar que P es invariante a la escala de v. x y tiene la dirección del vector que queremos. Así, podemos definir v = x y. Para que P produzca el mayor número de ceros, debemos tener que y = σe 1, donde e 1 es el vector canónico que tiene un 1 como primer elemento y el resto son ceros, y σ = ± x. Entonces v = x y = x σe 1. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

12 Cálculo de la transformación de Householder Puesto que P realiza una reflexión, se debe cumplir que y 2 = x 2 para poder calcular P. Hay que notar que P es invariante a la escala de v. x y tiene la dirección del vector que queremos. Así, podemos definir v = x y. Para que P produzca el mayor número de ceros, debemos tener que y = σe 1, donde e 1 es el vector canónico que tiene un 1 como primer elemento y el resto son ceros, y σ = ± x. Entonces v = x y = x σe 1. Sea x = (x 1, x 2,..., x n ). Para evitar errores por sustracción conviene definir σ = sign(x 1 ) x. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

13 Uso de la transformación de Householder (I) El proceso se ilustra en la siguiente figura para una matriz 4 3. P 1 0 P 2 0 P 3 0 A = = R Sea A 1 = A y a 1 su primer columna. Calculamos la matriz de Householder P 1 tal que P 1 a 1 = σe 1, con σ = sign(a 11 ) a 1, y hagamos P 1 = P 1. Así, A 2 = P 1 A 1 tiene ceros en la primera columna, excepto en el primer elemento. En el paso k-ésimo tenemos Rk 1 z A k = k B k, R 0 x k C k 1 R (k 1) (k 1), x k R m k+1, z k R k 1 k y R k 1 es triangular superior. Definimos la matriz de Householder P k tal que P k x k = σe 1, con σ = sign(x k1 ) x k, y Ik 1 0 P k = 0 P k Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

14 Uso de la transformación de Householder (II) A k+1 = P Ik 1 0 Rk 1 z k A k = k B k Rk 1 z = k B k 0 P k 0 x k C k 0 σe 1 P k C k No es necesario construir las matrices de Householder. Es suficiente con determinar v, puesto que con β = 2/v v. Definimos Q = P 1 P 2 P n. P k A k = (I βvv )A k = A k βv(v A k ), Es mejor hacer el cálculo de Q multiplicando de derecha a izquierda. El número de operaciones es 2n 2 (m n/3). Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

15 Rotaciones de Givens (I) Una rotación de Givens, G(i, j, θ) = [g ij ] R n n, es una matriz que coincide con la matriz identidad, excepto en cuatro entradas: g ii = g jj = cos θ = c, g ij = sin θ = s, g ji = sin θ = s c 0 0 s G(i, j, θ) = s 0 0 c Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

16 Rotaciones de Givens (II) Si y = G(i, j, θ)x, entonces Si y j = 0, entonces x k k = i, j, y k = cx i + sx j k = i, sx i + cx j k = j. x j s =, c = x 2 i + x 2 j x i x 2 i + x 2 j Las rotaciones de Givens son usadas para crear ceros, uno a la vez. La siguiente figura ilustra el proceso. G 41 A = 0 G G Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

17 Rotaciones de Givens (III) G G G 43 0 = R En general, se genera una secuencia G k de rotaciones de Givens tales que G s G s 1 G 1 A = R. Tenemos que G k G k = I, por lo que Q = G 1 G s 1 G s. El número de operaciones realizadas es 3n 2 (m n/3). Este número es mayor que cuando se usan reflexiones de Householder. Aun así, hay casos en los que conviene más aplicar las rotaciones de Givens para calcular la factorización QR. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

18 Ortogonalización de Gram-Schmidt (I) Proceso de Gram-Schmidt Sea x 1,..., x n un conjunto de n vectores linealmente independientes. Entonces podemos construir un conjunto v 1,..., v n de vectores ortogonales con el siguiente proceso. Iniciamos haciendo v 1 = x 1. k 1 x k v k = x k v i v i=1 i 2 v i para k = 2,..., n Usando el proceso de ortogonalización de Gram-Schmidt se puede calcular la factorización directamente de la ecuación A = QR, con A, Q R m n, Q ortonormal y R R n n. Denotemos por a j y q j a las columnas de la matrices A y Q, respectivamente. Entonces j a j = r kj q k k=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

19 Ortogonalización de Gram-Schmidt (II) Supongamos que para i = 1,..., j 1 ya tenemos determinadas las columnas q i de Q. Por la ortonormalidad de las columnas de Q, se debe tener que q i j a j = r kj q i k=1 q k = r ij (1) Entonces podemos definir donde v j = a j j 1 k=1 q j = 1 r jj v j, (2) r kj q k, r jj = v j. (3) De esta forma, (1) y (3) nos dan los elementos de la columna j de la matriz Q y R. Así, podemos ir construyendo columna por columna. El costo computacional es de 2mn 2. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

20 Solución de mínimos cuadrados usando QR (I) Sea A R m n con m n y rank(a) = n. Si A tiene una factorización QR, entonces Q R A = 0 entonces Ax b 2 2 = Q 2 2 Ax b 2 2 = Q Ax Q b 2 Rx c 2 2 = d 2 c donde = Q d b. Así, Ax b 2 2 = Rx c d 2 2. Se sigue que la solución (única) de mínimos cuadrados es x = R 1 c y que el residual es Ax b 2 2 = d 2 2. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

21 Ejemplo de mínimos cuadrados usando QR (I) Resolver con min Ax b A = , b = Tenemos que R = , Q = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

22 Ejemplo de mínimos cuadrados usando QR (II) Entonces hay que resolver el sistema x = c donde c son las dos primeras componentes del vector Q b = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

23 Cálculo de eigenvalores basado en QR Algoritmo basado en QR Dada la matriz A (0) y fijar k = 0. Iterar los siguientes pasos hasta convergencia: 1 Q (k) R (k) = A (k). 2 A (k+1) = R (k) Q (k). 3 k = k + 1. En la diagonal de la última matriz A (k) generada se encuentran los eigenvalores de la matriz A (0). Un criterio para convergencia es que ver si Q (k) = [Q (k) ij ] se cumple que para alguna tolerancia dada τ. 1 Q (k) ii < τ, Q (k) ij < τ, i = j; Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

24 Ejemplo del cálculo de eigenvalores (I) A = σ(a) { , , }. En k = 1152 iteraciones se tiene que Q (k) = , A (k) = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

25 Método iterativo de Jacobi (I) Sea A (0) R n n una matriz simétrica y G(i, j, θ) una rotación de Givens. Entonces A (1) = G A (0) G es una matriz simétrica similar a A (0). Además, tenemos la siguiente relación entre las entradas de las matrices: A (1) ii = c 2 A (0) ii 2scA (0) ij + s 2 A (0) jj A (1) jj = s 2 A (0) ii + 2scA (0) ij + c 2 A (0) jj A (1) ij = (c 2 s 2 )A (0) ij + sc(a (0) ii A (0) jj ) A (1) ik = ca (0) ik A (1) ij = sa (0) ik A (1) kl = A (0) kl sa(0) jk + A(0) jk k, l = i, j k = i, j k = i, j Escogemos θ de modo que A (1) ij = A (1) ji = 0. Entonces tan 2θ = 2A (0) ij A (0) jj A (0) ii Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24

26 Método iterativo de Jacobi (II) El proceso se repite de forma iterativa definiendo A (k+1) = G A (k) G. Lo ideal es escoger el elemento A (0) ij de mayor magnitud para acelerar el proceso. En la práctica se van revisando cada elemento fuera de la diagonal, y si es mejor que cierta tolerancia, se aplica el proceso anterior para hacerlo cero. Se tienen que dar varios barridos a la matriz porque el proceso iterativo no preserva los ceros que previamente se han creado. Al final se obtiene una matriz A (k) que es diagonal y los elementos en ella corresponden a los eigenvalores de la matriz original. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 24