Descomposición en Valores singulares(svd)

Transcripción

1 Descomposición en Valores singulares(svd) Año 200

2 Referencias [] R.L. Burden, J.Douglas Faires, Análisis Numérico, Grupo Editorial Iberoamericana, México, 985. [2] J. Demmel, Applied Numerical Linear Algebra, SIAM,Philadelphia,

3 Hemos visto previamente que toda matriz simétrica A Re n n se puede descomponer A = P DP T, siendo P una matriz ortogonal (P T = P ), D una matriz diagonal que contiene los autovalores de A. Cuando A no es simétrica, pero si cuadrada, si A es diagonizable existe una descomposición de A = SDS, siendo S no singular aunque no necesariamente ortogonal. Pero, cualquier matriz no es diagonizable!!.... Ahora veremos que toda matriz A R m n, m n (cuadrada o no, simétrica o no) tiene una factorización de la forma: A = UDV T, donde U R m n con columnas ortogonales y V R n n matriz ortogonal y D una matriz diagonal(n x n). Este resultado se llama descomposición en valores singulares (DVS), y es una de las más importantes entre las descomposiciones de matrices.... Explicaremos como obtenerla y haremos consideraciones sobre sus aplicaciones.. Los valores singulares de una matriz Para cualquier matriz A de m n, la matriz A T A de n n es simétrica y por tanto puede ser diagonalizada ortogonalmente. Los autovalores de A T A son reales y no negativos ( 0). Eso se sabe ya que para cualquier autovector u, se tiene que A T Au = λu si se multiplica a ambos lados por u, se obtiene la igualdad u T A T Au = λu T u que indica que Au 2 = λ u 2, por tanto λ Luego, tiene sentido tomar las λ i, si λ i, i =,..., n, son los autovalores de A T A. Definición Si A es una matriz m n, los valores singulares de A son las raíces cuadradas de los autovalores de A T A, y se denotan mediante σ,..., σ n. Es una convención acomodar los valores singulares de modo que σ σ 2... σ n. Ejemplo : Encontrar los valores singulares de A: Ejemplo 2 La matriz A T A A = A T A = 0 0 ( ) 2 2 tiene autovalores : λ = 3, λ 2 =. En consecuencia los valores singulares de A son : σ = 3, σ 2 =. 3

4 Observación : en lo que sigue, la x, es la norma 2 de un vector o norma Euclidea. Para comprender el significado lde los valores singulares de A consideremos los autovectores de A T A. Por ser simétrica sabemos que hay n autovectores ortogonales, que se pueden considerar de longitud. Así sea una base determinada por v, v 2,..., v n, los autovectores ordenados en correspondencia con los autovalores λ λ 2... λ n. Estos autovectores satisfacen: A T Av i = λ i v i, o equivalentemente por consiguiente Av i 2 = λ i, Av i = λ i. Así los valores singulares de A son las longitudes de los vectores Av,..., Av n. Geométricamente esto tiene una importante interpretación. Si consideramos el ejemplo, y si consideramos x {x : x 2 = }, entonces Ax 2 = Ax Ax = x T A T Ax = x T A T Ax = ( ) ( ) ( ) 2 x x x 2. = 2x 2 + 2x 2 x 2 + 2x 2 2 la que es una forma cuadrática.... Es fácil ver que el valor mínimo y el máximo que toma una forma cuadrática sobre los vectores x con x =, a partir de la relación x 2 λ min x T A T Ax λ max corresponden al λ min, el menor autovalor de A T A, y λ max el mayor autovalor de ( esa matriz. ) / 2 En el caso del ejemplo de arriba, el autovector correspondiente a λ min = es /, 2 ( ) / 2 y el autovector de λ max = 3 es /. 2 Por tanto, Av i 2 = λ i, se tiene que σ = 3 = Av, σ 2 = = Av 2, son los valores máximo y mínimo de las longitudes Ax, cuando x recorre la circunferencia unitaria dada por : x =. La transformación lineal T con matriz A, T : R 2 > R 3 transforma el círculo unidad x = en una elipse que está sobre el plano de ecuación: x y z = 0 (verificar que la imagen de la transformación es ese plano en R 3 ). Las longitudes σ, y σ 2 son las longitudes de los semiejes mayor y menor respectivamente de esa elipse. 2. Descomposición en valores singulares Queremos demostrar que una matriz A de m n ( m n) se puede factorizar como A = UΣV T donde U es una matriz con columnas ortogonales de m n, V es una matriz ortogonal de n n, y Σ una matriz diagonal de n n. Si los valores singulares NO NULOS de A son σ σ 2... σ r > 0, con r n. 4

5 Si el rango de A es r < n ( idem para A T A), entonces σ r+ = σ r+2 =... = σ n = 0, entonces Σ de n n tendrá una forma en bloques (un bloque diagonal D de r r ( pudiendo ser r = n), a su derecha una matriz de ceros O de r n r, abajo a la izquierda otra matriz de ceros O de n r r, y el último bloque en la diagonal de ceros O de n r n r : ( ) D O Σ = O O donde σ 0 D = σ r Si r coincide con n, la D = Σ, esas matrices nulas O no aparecerán. En el caso del ejemplo, previo,la matriz Σ tiene la forma: 3 0 Σ = Ahora, vemos c hallar los factores U y V T?... Para hallar la matriz ortogonal V primero determinamos una base ortogonal {v,..., v n } de vectores de R n compuesta por autovectores de la matriz A T A de n n. V = [v, v 2,..., v n ] es una matriz ortogonal de n n. Con respecto a la determinación de la matriz U de m n, primero observamos que los vectores de R m : Av, Av 2,..., Av n es un conjunto de n vectores, tal que dependiendo del r, serán r ortogonales. Eso se obtiene de observar que para dos autovectores de A T A, v i y v j con i j, por ser ortogonales se cumple que v T j A T Av i = v T j.λ i v i = 0 Así Av i es ortogonal a Av j si son no nulos pues v i es ortogonal a v j. Ahora recordemos que los valores singulares σ i = Av i, y que los primeros r (pudiendo ser r = n) son no nulos. Por tanto, podemos normalizar los Av i, con i =,..., r, considerando: u i = Av i σ i para cada i =,..., r, correspondientes a los σ i no nulos. Eso garantiza que [u,..., u r ] son ortonormales en R m. Si r < n, también vemos que para r +,...n, v T i A T Av i = v T i.λ i v i = 0 si λ i = 0, por tanto Av i 2 = 0, luego Av i = 0, son nulos para i = r +...n. Ese es el caso r < n. 5

6 En ese caso hay que extender ese conjunto U = [u, u 2,..., u r, u r+...u n ] para tener n vectores ortonormales de R m.... Esa es la parte más dificil de la factorización que queremos obtener: A = UΣV T. La matriz U estará formada por las columnas ortonormales U = [u,..., u r, u r+,...u n ]. Si m > n, U no es una base ortogonal de Re m m ( también se puede extender U agregando vectores del ortogonal del R(A))...Veamos que con tales matrices V, U, y Σ, se verifica que A = UΣV T Como V T = V por ser una matriz ortogonal, verificar que vale A = UΣV T, es igual a ver que ( multiplicando por V ), y pensando que r puede ser menor a n: AV = UΣ Sabemos que Av i = σ i u i, para i =, 2,..., r, y que Por tanto, si r < n, Por consiguiente, entonces Av i = σ i 0, para i = r +,..., n. Av i = 0, para i = r +,..., n. AV = A[v... v n ] = [Av... Av n ] AV = [Av... Av r, ] = [σ u... σ r u r, ] σ... 0 AV = ( ) u u 2... u n..... O 0... σ r = UΣ O O como se requiere para verificar que A = UΣV T. Observación 3 Los vectores de las columnas de U se denominan vectores singulares por la izquierda de A, mientras los vectores de las columnas de V se llaman vectores singulares por la derecha de A. Las matrices U y V no están determinadas en forma única por A, en cambio Σ si, porque contiene los valores singulares de A. Ejemplo 4 Encontrar una descomposición de valor singular de la matriz (i)a = 0 0 La matriz corresponde al Ejemplo : A = 0 Como antes consideramos A T A, y 0 sus autovalores y autovectores. Sabemos que : σ = 3, σ 2 =, y los correspondientes autovectores de A T A son... ( ) ( ) / 2 v = / / 2 v 2 = 2 / 2 6

7 Así V = ( ) / 2 / 2 / 2 / y Σ = 2 ( ) Para U, calculamos u = Av = / ( ) 2/ / 2 σ / = / / 6 y u 2 = Av 2 σ 2 = 0 0 ( ) / 2 / = 2 0 / 2 / 2 Consideramos U = [u, u 2 ] vectores ortogonales de R 3. ASi, A = U Σ V T, donde la Σ es diagonal que contiene los valores singulares, pudiendo los últimos ser 0, si el rango de A es menora a n. Otra forma de expresar la DVS de una matriz A. Para eso consideramo, si m n, σ... 0 v A = UΣV T = ( T ). u u 2... u n.... O v T 0... σ r 2. O O que es igual a v σ... 0 = (. T ). u... u r u r+... u n.... O vr T 0... σ r O O. v T n v T r+ obteniéndose... v = ( σ )... 0 T u u 2... u r.... v T ( vr+ ) ( ) T u r+... u n O σ r vr T vn T v = ( σ )... 0 T u u 2... u r... v T σ r vr T = ( ) σ u... σ r u r 7 v T. v T r v T n = σ u v T σ r u r v T r

8 Se ha justificado que... Lema 5 Sea A una matriz m ncon valores singulares σ σ 2... σ r σ r+... σ n y si r es el rango de A.Seanu,..., u r vectores singulares por la izquierda, y sean v,..., v r vectores singulares por la derecha de A correspondientes a esos valores singulares. Entonces A = σ u v T + σ 2 u 2 v2 T σ r u r vr T Observación 6 La DVS de una matriz A da mucha información acerca de A como se resalta en el siguiente teorema: Teorema 7 Sea A = UΣV T una descomposición de valores singulares de una matriz A de m n. Sean σ,..., σ r, r n, todos los valores singulares NO NULOS de A. Entonces (i) el rango de A es r. (ii){u, u 2,..., u r } es una base ortonormal de R(A) (iii){u r+, u r+2,..., u n,...u m } es una base ortonormal de N(A T ) (iv){v, v 2,..., v r } es una base ortonormal de R(A T ) (v) Si r < n, {v r+, v r+2,..., v n } es una base ortonormal de N(A) Demostración. (i) El rango de A coincide con el rango de A T A, y este depende del nḿero de autovalores no nulos.. (ii) Como Av i, con i =,..., r son linealmente independientes (ortogonales), y como u i = (/σ i )Av i, i =,..., r, entonces {u,..., u r forman una base ortonormal del rango(a). (iii) Como {u,..., u r,..., u m forman una base ortonormal de R m, luego por (ii), y considerando que {u r+,..., u m es una base del espacio complementario a R(A), se obtiene que ese conjunto es una base ortonormal del subespacio N(A T ) o del R(A). (v) Si r < n, como Av r+ = Av r+2 =... Av n = 0, se tiene que {v r+,..., v n, es un conjunto ortonormal de vectores contenido en el anulador de A, de dimensión n r, por lo que es una base ortonormal del N(A). (iv) Esta propiedad se desprende de considerar (v) y que {v, v 2,..., v r } es un conjunto ortonormal complementario del de (v), por lo que es una base de R(A T ). Otro resultado importante que se obtiene desde la descomposición DV S... Lema 8 Sea A = UΣV T la descomposición de A de m n con rango r. Por consiguiente, la imagen de la esfera unitaria en R n, bajo la transformación matricial que aplica x R n en Ax R m, es (a)la superficie de un elipsoide en R m si r = n, (b) un elipsoide sólido en R m si r < n. Demostración: Sean u,..., u m y v, v 2,..., v n los vectores singulares por la izquierda y por la derecha de A, respectivamente. En razón que rango(a) = r, los valores singulares de A satisfacen σ σ 2... σ r > 0, y σ r+ = σ r+2 =... = σ n = 0. 8

9 x x 2 Sea x =. un vector unitario de Rn. Ahora, como V es una matriz ortogonal, x n también lo es V T, por tanto V T x es un vector unitario(conserva longitudes), así v T x V T v2 T x x =. vn T x de manera que (v T x) 2 + (v T 2 x) (v T n x) 2 =. Como A = σ u v T σ r u r v T r. Por tanto, Ax = σ u v T x σ r u r v T r x = (σ v T x)u (σ r v T r x)u r Ax = (σ v T x)u (σ r v T r x)u r = y u y r u r donde denotamos con y i = (σ i v T i x). (a) Si r = n, entonces corresponde al caso n m, y donde y = y Ax = y u y n u n = Uy y 2.. Por consiguiente, como U tiene columnas ortonormales, Ax 2 = y n y T U T Uy = y 2. Así Ax = y. Como ( y ) ( y n ) 2 = (v T x) (vn T x) 2 = σ σ n lo que muestra que los vectores Ax forman la superficie de un elipsoide en R m. (b) Si r < n, la única diferencia en los pasos anteriores es que la ecuación se convierte en ( y ) ( y r ) 2 σ σ r puesto que despreciamos algunos términos. Esto corresponde a un elipsoide sólido de R m. 2.. APLICACIONES Normas y número de condición. Para la norma 2 o Euclídea de A (m n). Como A 2 = máx x 2 = Ax 2 donde la norma es la norma Euclídea en cada caso. Como x =, entonces el conjunto de vectores Ax se encuentra sobre o dentro de un elipsoide cuyos semiejes tienen longitudes iguales a los valores singulares distintos de cero de A. Desde ese resultado se sabe que el mayor semieje es σ, de tal manera que A 2 = σ 9

10 Así para una matriz cuadrada no singular (si existe A ) el número de condición que se define cond 2 (A) = A 2 A se puede expresar usando los valores singulares. Para eso, si A = UΣV T, entonces A = V Σ U T. Por tanto los valores singulares de A son σ,..., σ n, y σ n... σ De aquí se obtiene que A = σ n, de manera que Ejemplo: Sea la matriz cond 2 (A) = A 2 A = σ /σ n Compresión de imágenes digitales Una de las más importantes y llamativas aplicaciones de la descomposición DV S es su utilización en la compresión de imágenes digitales de modo que puedan ser trasmitidas de manera eficiente por medios electrónicos(internet, satélite,etc). El problema que se quiere considerar es el de saber cuál es la cantidad mínima de información que se necesita trasmitir para lograr imágenes nítidas, sin que se pierdan las partes esenciales, y por otra parte se ahorre almacenamiento. Supongamos que una matriz A de m n, representa los tonos de gris de una imagen con un tamaño de m n pixeles. La imagen está en un rectángulo y se considera una grilla de m n. Cada elemento de la grilla (pixel) tendrá un número asociado indicando el valor del tono de gris, entre 0 y 255, de la imagen. Así una matriz A de m n, tiene en cada lugar (i, j) el valor del gris correspondiente al elemento de la grilla o pixel de la fila i y columna j de la grilla. Si se conoce la DV S de la matriz A, es decir A = σ u v T + σ 2 u 2 v T σ r u r v T r siendo los valores singulares NO NULOS σ σ 2... σ r > 0. Los valores singulares más pequeños provienen de las partes de la imagen con menor interés. Eso se puede observar si se representa parcialmente A k = σ u v T + σ 2 u 2 v T σ k u k v T k con k r. entonces A k es una aproximación de A que corresponde solamente a los k primeros valores singulares y los correspondientes vectores singulares. Se puede descubrir que se necesita considerar un k << r para rescatar la imagen nítida. Ejemplo 9 Sentencias en MATLAB: 0

11 Algoritmo 0 En Matlab para levantar una imagen usando los valores singulares de la matriz de datos (o imagen). %%%%% para levantar la imagen dada en una matriz de 95 * 95 fid=fopen( b5.dat ); %% Leer los datos *.dat x3=fscanf(fid, %f %f,[ 9025]); %% guarda en x3 vector los datos fclose(fid) %% cierra el archivo %%% para generar la matriz en MATLAB for i=:95 for j=:95 A(i,j)=x3((i-)*95+j); %% genera la matriz : A(95,95) end end %%%genera la imagen figure() imagesc(a) %% Imagen verdadera arriba desde la matriz dada. colormap(gray) %%% Calculo de valores singulares y vectores por izquiera y derecha %%% Programa usado en Matlab n=95; m=95; [U,S,V] = svds(a,20); Calcula 20 valores singulares(mayores) y respectivos vectores U y V (en las columnas). A6= U(:, :6)* D(:6,:6)* V(:,:6) ; figure(2) imagesc (A6) colormap(gray) Imagen con 6 valores ( los mayores)% Idem con 0 valores...formar A0 figure(3) imagesc (A0)

12 Imagen con 0 valores singulares (los 2 mayores) %%%% 3er. experimento usando 20 valores. Obsrvación: Otra aplicación, para resolver problemas de cuadrados mínimos, lo que se explicó en clase. Ver la bibliografía Ejercicios. ( Encontrar ) la( descomposición ) DVS de las siguientes matrices: (i) (ii) ( ) (iii) (iv) Ejercicio 2: Sea A una matriz simétrica. (a)demuestre que en este caso los valores singulares coinciden con los valores absolutos de los autovalores de A. Si A es definida positiva entonces coinciden con los autovalores de la matriz. (b)demuestre que en este último caso la descomposición DV S coincide con la descomposición espectral UDU T con U los autovectores de A, y D la matriz diagonal de los autovalores. Ejercicio 3: Si A es no singular verificar que si la DV S es A = UΣV T, entonces A = V Σ U T. Ejercicio 4: Demuestre que si A = UΣV T,es una DV S de A, entonces los vectores singulares por la izquierda son autovectores de AA T. Ejercicio 5: Demuestre que A y A T tienen los mismos valores singulares. Ejercicio 6: (a) Cuál es la imagen del círculo unidad en R 2 por la acción de la matriz del Ejercicio (iii) (b)cuál es la imagen de la esfera unidad en R 3 por la acción de la matriz del Ejercicio (iv). ( ) ( ) 0, Ejercicio 7: Calcular la A 2 de las matrices: (i) (ii) Ejercicio 8: Demuestre que toda matriz cuadrada A puede ser factorizada como A = RQ donde R es simétrica y Q es ortogonal, considerando: A = UΣV T = UΣ(U T U)V T = UΣU T )(UV T ) Ver que R = UΣU T, y Q = UV T. Ejercicio 9: Para restaurar imágenes. Para matriz b5.dat, hallar los valores singulares y vectores singulares por izquierda y derecha, y la descomposición: A = σ u v T σ r u r vr T, y analizar las A k = σ u v T σ k u k vk T, con k r. Para eso, hay que analizar la matriz A guardada en en la PC.( o que le provean sus docentes). Calcular en el MATLAB los σ i, y los u i, y los v i. Luego levantar las imágenes con A k, para k = 0, 20,...r. 2