Calculando los valores singulares y la pseudo-inversa de una matriz

Transcripción

1 Calculando los valores singulares y la pseudo-inversa de una matriz Juan David Alzate Universidad Nacional de Colombia jdalzater@unal.edu.co May 30, 2018 Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

2 Contenido 1 Introducción definiciones observación ejemplo 2 idea Lanczos 3 Descomposición Bidiagonal 4 Calculando los valores singulares Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

3 Recordando definiciones Dada una matriz rectangular A R mxn, queremos encontrar su descomposición en valores singulares DVS: A = UΣV Donde U R mxm, V R nxn son matrices unitarias y Σ R mxn es diagonal con entradas no negativas. Definición (valores singulares) A los elementos de la diagonal de Σ los llamamos valores singulares de A = UΣV. Estos corresponden a las raíces positivas de los valores propios de A A o AA Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

4 Recordando definiciones Definición (Σ y pseudo inversa) Definimos Σ como 1 σ 1 1 σ 2... Σ := 1 σ r σ 1 σ 2 con Σ =... σr m n n m y definimos la pseudo inversa de A como: A := V Σ U Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

5 Observación Es difícil determinar (solo observando los términos de la diagonal de la regular row echelon form-rref) si la matrix A original tiene un valor propio lo suficientemente pequeño como par ser "eliminado" durante el cálculo de A. (En cálculos de punto flotante no es fácil determinar si un número es cero o no) Ejemplo: Consideremos la siguiente matriz A := n n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

6 Para un n lo suficientemente grande, la matrix es "violentamente" mal condicionada (tiene un valor singular muy pequeño) si multiplicamos A por el vector columna [ n+1 ] T obtenemos: n n n+1 n 1 = 2 n+1 2 n+1 2 n+1 2 n+1. 2 n+1 n 1 Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

7 La matriz es mal condicionada pero al cambiar todos los 1 s por +1 s en la matriz, esto no afecta la diagonal, pero la matriz resultante se comporta bien A = De esta forma es difícil determinar (solo observando los términos de la diagonal de la regular row echelon form-rref) si la matrix A original tiene un valor propio lo suficientemente pequeño como para ser "eliminado" durante el cálculo de A. En otras palabras, parece no haber un método satisfactorio para encontrar el rango de A sin encontrar explícitamente sus valores singulares. Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20 n n

8 Idea Lanczos El método se basa en una idea propuesta por Lanczos Teorema Sea A C mxn, la matriz ( ) 0 A Ã := A 0 (n+m) (n+m) tiene como valores propios los valores singulares de A, cada uno apareciendo con signo positivo y negativo. Demostración: Sean λ, w pareja valor propio y vector propio de Ã, con ( ) u w = m 1 v n 1 (m+n) 1 Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

9 Así como Ãw = λw ( ) ( ) ( ) ( ) ( ) { 0 A u λu Av λu Av = λu A = 0 v λv A = u λv A u = λv (2.1) Ahora bien, considerando los vectores propios w i de A, sabemos que los w i son ortogonales, luego w i w j = 0 u i u j + v i v j = 0, i j (2.2) Así, si λ i es valor propio (λ i 0), entonces (v i, u i, λ i ) es solución del sistema (2.1), pero notemos que(v i, u i, λ i ) también sería solución. { Av i = λ i u i A u i = λ i v i { Av i = ( λ i )( u i ) A ( u i ) = ( λ i )v i Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

10 Luego, como (v i, u i, λ i ) también es solución, λ i, ( u i, v i ) T también es pareja valor propio, vector propio, y así obtenemos la ecuación u i u j v i v j = 0, i j (2.3) Así, de (2.2) y (2.3) obtenemos u i u j = 0 v i v j = 0, i j De esta forma los u i, v j son ortogonales. Por otro lado, de (2.1) tenemos: { { Av = λu A A Av = A λu = λa u = λ 2 v u = λv AA u = Aλv = λav = λ 2 u { A Av = λ 2 v AA u = λ 2 u Finalmente, si λ es valor propio de à entonces λ2 es valor propio de A A y AA, i.e λ es valor singular de A. Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

11 Descomposición PJQ Para facilitar los cálculos de los valores singulares y la pseudo inversa, realizamos primero una descomposición conveniente. En nuestro razonamiento suponemos m n sin pérdida de generalidad. Teorema Sea A C m n. A se puede descomponer como A = PJQ donde P,Q son unitarias y J m n es bidiagonal de la forma: α 1 β 1 α 2 β J =... βn 1 α n m n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

12 Descomposición PJQ Demostración: La demostración es constructiva utilizando transformadas de Householder. Sea A C m n. Definimos A (1) := A A ( k+1 2 ) := P (k) A (k), k = 1,..., n A (k+1) := A ( k+1 2 ) Q (k), k = 1,..., n 1 donde P (k), Q (k) son hermitianas, unitarias de la forma: P (k) := I 2x (k) x (k), x (k) x (k) = 1 Q (k) := I 2y (k) y (k), y (k) y (k) = 1 P (k) y Q (k) se escojen de tal forma que: a ( k+1 2 ) i,k = 0 i = k + 1,..., m a (k+1) k,j = 0 j = k + 2,..., n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

13 De esta forma α 1 β 1 α 2 β A (k+1) α = k α 1 β 1 A ( m 2 ) = x x... x x x... x x x... x β k α 2 β βn 1 α n m n m n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

14 Calculando los valores singulares Los valores singulares de A y J son los mismos, así son las raíces de los valores propios de J J. σ 1 σ 2... σ n 0 Descomponemos J = XΣY. Pero notemos que las últimas m n filas de J son ceros, y no contribuyen al cálculo de los valores singulares, y tienen un efecto trivial en el cálculo de X y Y. α 1 β 1 J = α 2 β βn 1 α n m n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

15 Calculando los valores singulares Así es conveniente eliminar las últimas m n filas de J, obteniendo: α 1 β 1 α 2 β 2. J = βn 1 Sin introducir notación adicional, las ecuaciones J = XΣY, A = PJQ, A = UΣV permanecen validas "abreviando" las matrices, es decir, eliminando: i) las últimas m n filas de ceros en J y Σ ii) las últimas m n columnas de P y U iii) las últimas m n filas y columnas de X α n n n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

16 Calculando los valores singulares Así obtenemos las ecuaciones: J n n = X n n Σ n n Y n n A m n = P m n J n n Q n n A m n = U m n Σ n n V n n Por otro lado, los valores singulares σ i de J se relacionan con la matriz ( ) 0 J J := J 0 Los valores propios de J son ±σ i ( ) ( ) 0 J x J 0 ±y 2n 2n Al expandir la ecuación obtenemos 2n 1 2n 2n ( ) x = ±σ ±y Jy = σx J x = σy 2n 1 Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

17 Así realizando la multiplicación de matrices obtenemos σ i y i + β i y i+1 = σx i i = 1 : n 1 β i 1 x i 1 + ᾱ i x i = σy i i = 2 : n α n y n = σx n ᾱ 1 x 1 = σy 1 Realizamos ahora la sustitución: z 2i = x i z 2i 1 = ±y i y obtenemos la ecuación: 0 ᾱ 1 α 1 0 β 1. Tz = ±σz T = β ᾱn α n 0 2n 2n Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

18 Existe una matriz D diagonal unitaria, tal que: 0 s 1 s 1 0 t 1 t 1 0 s 2 DTD s = S := 2 0 t 2. t sn s n 0 2n 2n donde S es una matriz tridiagonal y sus elementos están dados por: s i = σ i t i = β i (4.1) Existen varios métodos para calcular los valores propios de una matriz tridiagonal simétrica. Uno de los métodos más precisos y efectivos es usar secuencias de Sturm, un algoritmo es descrito por Wilkinson. Uno puede simplificar este algoritmo aprovechando que la diagonal de S es nula. Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

19 Referencias G.GOLUB, W. KAHAN Calculating the singular values and pseudo-inverse of a matrix J.SIAM Numer. Anal. ser. B, vol. 2, no. 2 (1965) pags C. LANCZOS Linear diferential operators Van Nostrand, London (1968) pags Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20

20 Gracias :) Juan David Alzate (UNAL) Calculando los valores singulares May 30, / 20