Clase No. 13: Factorización QR MAT 251. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

Transcripción

1 Clase No 13: Factorización QR MAT 251 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

2 Factorización QR Sea A R m n con m n La factorización QR de A es A = QR = [Q 1 Q 2 ] R1 = Q 0 1 R 1 donde Q R m m es una matriz ortogonal y R 1 R n n es una matriz triangular superior Se dice que la matriz R es trapezoidal superior Esta factorización es útil para resolver sistemas de ecuaciones lineales, problemas de mínimos cuadrados y problemas de eigenvalores Las maneras más comunes de calcular la factorización QR son aplicando las transformaciones de Householder, las rotaciones de Givens, el proceso de ortogonalización de Gram-Schmidt Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

3 Transformaciones de Householder Sea v R n, v = 0 La matriz de Householder se define como P = I 2 v v vv La matriz es simétrica y ortogonal y, por tanto, P 2 = I x La figura muestra porque se le llama reflexión El objetivo de esta matriz es usarla para producir ceros en la matriz que queremos factorizar Para hacerlo, debemos considerar el problema: Dados los vectores x y y, cómo calculmos P tal que Px = y? v P x Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

4 Cálculo de la transformación de Householder Puesto que P realiza una reflexión, se debe cumplir que y 2 = x 2 para poder calcular P Hay que notar que P es invariante a la escala de v x y tiene la dirección del vector que queremos Así, podemos definir v = x y Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

5 Cálculo de la transformación de Householder Puesto que P realiza una reflexión, se debe cumplir que y 2 = x 2 para poder calcular P Hay que notar que P es invariante a la escala de v x y tiene la dirección del vector que queremos Así, podemos definir v = x y Para que P produzca el mayor número de ceros, debemos tener que y = σe 1, donde e 1 es el vector canónico que tiene un 1 como primer elemento y el resto son ceros, y σ = ± x Entonces v = x y = x σe 1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

6 Cálculo de la transformación de Householder Puesto que P realiza una reflexión, se debe cumplir que y 2 = x 2 para poder calcular P Hay que notar que P es invariante a la escala de v x y tiene la dirección del vector que queremos Así, podemos definir v = x y Para que P produzca el mayor número de ceros, debemos tener que y = σe 1, donde e 1 es el vector canónico que tiene un 1 como primer elemento y el resto son ceros, y σ = ± x Entonces v = x y = x σe 1 Sea x = (x 1, x 2,, x n ) Para evitar errores por sustracción conviene definir σ = sign(x 1 ) x Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

7 Uso de la transformación de Householder (I) El proceso se ilustra en la siguiente figura para una matriz 4 3 A = P 1 0 P P = R Sea A 1 = A y a 1 su primer columna Calculamos la matriz de Householder P 1 tal que P 1 a 1 = σe 1, con σ = sign(a 11 ) a 1, y hagamos P 1 = P 1 Así, A 2 = P 1 A 1 tiene ceros en la primera columna, excepto en el primer elemento En el paso k-ésimo tenemos Rk 1 z A k = k B k, R 0 x k C k 1 R (k 1) (k 1), x k R m k+1, z k R k 1 k y R k 1 es triangular superior Definimos la matriz de Householder P k tal que P k x k = σe 1, con σ = sign(x k1 ) x 1, y definimos Ik 1 0 P k = 0 P k Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

8 Uso de la transformación de Householder (II) A k+1 = P Ik 1 0 k A k = 0 P k Rk 1 z k B k 0 x k C k Rk 1 z = k B k 0 σe 1 P k C k No es necesario construir las matrices de Householder Es suficiente con determinar v, puesto que con β = 1/v v Definimos Q = P 1 P 1 P n P k C k = (I βvv )C k = C k βv(v C k ), Es mejor hacer el cálculo de Q multiplicando de de derecha a izquierda El número de operaciones es 2n 2 (m n/3) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

9 Rotaciones de Givens (I) Una rotación de Givens, G(i, j, θ) = [g ij ] R n n, es una matriz que coincide con la matriz identidad, excepto en cuatro entradas: g ii = g jj = cos θ = c, g ij = sin θ = s, g ji = sin θ = s G(i, j, θ) = c s s c Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

10 Rotaciones de Givens (II) Si y = G(i, j, θ)x, entonces Si y j = 0, entonces x k k = i, j, y k = cx i + sx j k = i, sx i + cx j k = j x j s =, c = x 2 i + x 2 j x i x 2 i + x 2 j Las rotaciones de Givens son usadas para crear ceros, uno a la vez La siguiente figura ilustra el proceso A = G 41 G 31 G Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

11 Rotaciones de Givens (III) G G G = R En general, se genera una secuencia G k de rotaciones de Givens tales que Tenemos que G k G k = I, por lo que G s G s 1 G 1 A = R Q = G 1 G s 1 G s El número de operaciones realizadas es 3n 2 (m n/3) Este número es mayor que cuando se usan reflexiones de Householder Aun así, hay casos en los que conviene más aplicar las rotaciones de Givens para calcular la factorización QR Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

12 Ortogonalización de Gram-Schmidt (I) Proceso de Gram-Schmidt Sea x 1,, x n un conjunto de n vectores linealmente independientes Entonces podemos construir un conjunto v 1,, v n de vectores ortogonales con el siguiente proceso Iniciamos haciendo v 1 = x 1 k 1 x k v k = x k v i v i=1 i 2 v i para k = 2,, n Usando el proceso de ortogonalización de Gram-Schmidt se puede calcular la factorización directamente de la ecuación A = QR, con A, Q R m n, Q ortonormal y R R n n Denotemos por a j y q j a las columnas de la matrices A y Q, respectivamente Entonces j a j = r kj q k k=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

13 Ortogonalización de Gram-Schmidt (II) Supongamos que para i = 1,, j 1 ya tenemos determinadas las columnas q i de Q Por la ortonormalidad de las columnas de Q, se debe tener que q i j a j = r kj q i k=1 q k = r ij (1) Entonces podemos definir donde v j = a j j 1 k=1 q j = 1 r jj v j, (2) r kj q k, r jj = v j (3) De esta forma, (1) y (3) nos dan los elementos de la columna j de la matriz Q y R Así, podemos ir construyendo columna por columna El costo computacional es de 2mn 2 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

14 Solución de mínimos cuadrados usando QR (I) Sea A R m n con m n y rank(a) = n Si A tiene una factorización QR, entonces Q R A = 0 entonces Ax b 2 2 = Q 2 2 Ax b 2 2 = Q Ax Q b 2 Rx c 2 2 = d 2 c donde = Q d b Así, Ax b 2 2 = Rx c d 2 2 Se sigue que la solución (única) de mínimos cuadrados es x = R 1 c y que el resodual es Ax b 2 2 = d 2 2 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

15 Cálculo de eigenvalores basado en QR Algoritmo basado en QR Dada la matriz A (0) y fijar k = 0 Iterar los siguientes pasos hasta convergencia: 1 Q (k) R (k) = A (k) 2 A (k+1) = R (k) Q (k) 3 k = k + 1 En la diagonal de la última matriz A (k) generada se encuentran los eigenvalores de la matriz A (0) Un criterio para convergencia es que ver si Q (k) = 1 q (k) ii para alguna tolerancia dada τ < τ, q (k) ij q (k) ij < τ, i = j; se cumple que Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

16 Ejemplo del cálculo de eigenvalores (I) A = σ(a) { , , } En k = 1152 iteraciones se tiene que Q (k) = , A (k) = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

17 Método iterativo de Jacobi (I) Sea A (0) R n n una matriz simétrica y G(i, j, θ) una rotación de Givens Entonces A (1) = G A (0) G es una matriz simétrica similar a A (0) Además, tenemos la siguiente relación entre las entradas de las matrices: A (1) ii = c 2 A (0) ii 2scA (0) ij + s 2 A (0) jj A (1) jj = s 2 A (0) ii + 2scA (0) ij + c 2 A (0) jj A (1) ij = (c 2 s 2 )A (0) ij + sc(a (0) ii A (0) jj ) A (1) ik = ca (0) ik A (1) ij = sa (0) ik A (1) kl = A (0) kl sa(0) jk + A(0) jk k, l = i, j k = i, j k = i, j Escogemos θ de modo que A (1) ij = A (1) ji = 0 Entonces tan 2θ = 2A (0) ij A (0) jj A (0) ii Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16

18 Método iterativo de Jacobi (II) El proceso se repite de forma iterativa definiendo A (k+1) = G A (k) G En cada iteración, para definir los índices i y j, lo ideal es escoger el elemento A (k) ij de mayor magnitud para acelerar el proceso En la práctica se van revisando cada elemento fuera de la diagonal, y si es mejor que cierta tolerancia, se aplica el proceso anterior para hacerlo cero Se tienen que dar varios barridos a la matriz porque el proceso iterativo no preserva los ceros que previamente se han creado Al final se obtiene una matriz A (k) que es diagonal y los elementos en ella corresponden a los eigenvalores de la matriz original Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 16