Sobre la descomposición en valores singulares y seudoinversa de una matriz *

Transcripción

1 AVANZA. Vol. II. FM - IIT, UACJ Sobre la descomposición en valores singulares y seudoinversa de una matriz * Boris Mederos, David Gardea, Gustavo Tapia y Jaime Romero ** Resumen En este trabajo presentaremos la descomposición en valores singulares de una matriz y sus propiedades. Utilizaremos dicha descomposición matricial para calcular la seudovinversa A + aplicada a un vector b. Palabras clave: Matriz seudoinversa. 1. Introducción En este trabajo estudiaremos un caso muy importante de descomposición matricial conocido como descomposición en valores singulares de una matriz y su relación con el problema de aproximación de su inversa, ver [1]. Muchas veces al resolver el sistema lineal: Ax = b, con A R n m, el sistema tiene infinitas soluciones en el caso n < m o no es posible resolverlo cuando n > m. En el caso de n > m una posible idea es encontrar la ˆx tal que Aˆx sea lo más cercano al vector b con respecto a la norma euclidiana. La idea anterior es equivalente a encontrar el ˆx que minimiza el residuo Ax b, lo que equivale a resolver un problema de mínimos cuadrados. Al resolver el problema de mínimos cuadrados uno puede obtener un conjunto infinito de soluciones, lo que conduce a un problema mal planteado [, 3]. Una posible solución a esto es encontrar dentro de todas las posibles soluciones, la que tiene menor norma más pequeña. * Artículo de divulgación ** Departamento de Física y Matemáticas IIT-UACJ, boris.mederos@uacj.mx

2 58 B. Mederos, D. Gardea, G. Tapia, J. Romero La transformación que asocia b con la solución de menor tamaño de Ax b en el sentido de los mínimos cuadrados, es lineal y se denomina de seudoinversa o inversa generalizada de Moore-Penrose. Una de las grandes utilidades de la descomposición en valores singulares SVD, es que permite calcular de manera directa la seudoinversa; también permite analizar cómo errores en b, afectan las soluciones de Ax = b en el sentido generalizado. Nuestro trabajo está organizado de la siguiente manera: la primera sección introduce los conceptos de ortogonalidad y transformaciones ortogonales, la segunda nos explica cómo obtener la SVD de una matriz, así como algunas de sus propiedades, y finalmente, la tercera sección relaciona la SVD con el concepto de seudoinversa, llevándonos a una fórmula explícita para su cálculo.. Ortogonalidad, normas y transformaciones ortogonales La ortogonalidad tiene un papel muy importante a la hora de los cálculos de matrices. Un conjunto de vectores {x 1, x,..., x n } en R n, es ortogonal si x t i x j =, cuando i j; y ortonormal si x t i x j = δ ij. Intuitivamente, los vectores ortogonales son independientes, ya que apuntan en direcciones totalmente diferentes. Una colección de subespacios S 1, S,,, S n en R n es mutuamente ortogonal, si x t y =, cuando x S i y y S j para todo i j. El complemento ortogonal de un subespacio S está definido por: S = {y R n : y t x =, x S} y no es difícil demostrar que los vectores {v 1, v,..., v k } forman una base ortonormal para un subespacio S R n, si son ortonormales y su espacio generado es S. Una matriz Q R n n, se dice que es ortogonal si Q t Q = I. Si Q = [q 1, q,..., q n ] es ortogonal, entonces las q i forman una base ortonormal de R n. Teorema.1. Si V 1 R n r tiene columnas ortogonales, entonces existe V R n n r, de manera que: V = [V 1, V ]

3 Descomposición en valores singulares y seudoinversa 59 es ortogonal. Téngase en cuenta que ranv 1 = ranv. A continuación, introduciremos los conceptos de norma de una matriz inducida por la norma de vectores. Definición.. Dada una matriz A R n n, llamaremos a: A p = Ax p máx x R n, x x p de p-norma de A inducida por la norma p en R n. En particular, la -norma será de gran utilidad en este trabajo. La -norma es invariante bajo la transformación ortogonal, ya que si Q t Q = I, entonces Q = xt Q t Qx = x. La -norma y la norma de Frobenius son invariantes con respecto a las transformaciones ortogonal. En particular, es fácil demostrar que para dos matrices ortogonales Q y Z de dimensiones adecuadas, tenemos: y QAZ F = A F QAZ = A. 3. Descomposición en valores singulares La teoría de las normas desarrolladas en las secciones previas, se puede utilizar para probar la muy útil descomposición en valores singulares. Teorema 3.1. Sea una matriz A R n r real, entonces existen matrices ortogonales: y U = [u 1,..., u m ] V = [v 1,..., v n ], de manera que U t AV = diagσ 1, σ,..., σ p, donde p = mín{m, n} y σ k, k = 1...p.

4 6 B. Mederos, D. Gardea, G. Tapia, J. Romero Demostración. Sean x R n y y R m, tal que x = y = 1, que satisfacen Ax = σy, σ = A Existen V R n n 1 y U R m m 1, tal que V = [x, V ] y U = [y, U ] son ortogonales. No es difícil ver que U t AV tiene la siguiente estructura: [ ] U t σ w AV = t = A B 1, ya que: [ A 1 σ w ] [ ] A σ 1 w [ ] σ w = σ + w t w + Bw σ + w t w = A 1 = máx A 1z z A 1 [ σ w ] σ + w t w [ ] A σ 1 w [ ] σ w σ + w t w σ + w t w. Se tiene A 1 = σ + w t w. Sin embargo, σ = A = A 1, conduce a que w =. Luego [ ] A 1 = U t σ AV =. B Los σ i son llamados valores singulares de A. El vector u i es el i-ésimo vector singular izquierdo y el vector v i es el i-esimo vector singular derecho. Es fácil comprobar que AV = UΣ y A t U = V Σ t. Es conveniente escribir las igualdades anteriores:

5 Descomposición en valores singulares y seudoinversa 61 Av i = σ i u i, i = 1,..., n Au i = σ i v i, i = 1,..., n La descomposición en valores singulares revela gran parte de la estructura de una matriz. A partir de la SVD de A, dada por el teorema anterior, se define r como el entero que satisface entonces, σ 1 σ... σ r > σ r+1 =... = σ p = ; ranka = r rana = span{v r+1,..., v p } nulla = span{v1,..., v r }. Por otro lado, haciendo el producto de matrices en la descomposición SVD tenemos que: A = n σ i u i vi. t i=1 Definición 3.. v R n es llamada una Solución por mínimos cuadrados si y sólo si: Ax b = ínf{ Az b : z R n }. Mejor solución aproximada de Ax = b si y sólo si x es una solución por mínimos cuadrados: x = ínf{ z : z es una solución en mínimos cuadrados}

6 6 B. Mederos, D. Gardea, G. Tapia, J. Romero donde. es la norma euclidiana. Se podrían utilizar otras normas que llevarían a distintas nociones de soluciones generalizadas. Además, en lugar de reducir al mínimo z con frecuencia es de interés minimizar Lz para alguna matriz L dada. Vamos a demostrar que la mejor solución aproximada siempre existe y es única; entonces, la siguiente definición tiene sentido: Definición 3.3. Definiremos como A + la matriz que asigna a cada b, la mejor solución aproximada de Ax b y se llama inversa generalizada de Moore- Penrose de A. Ahora vamos a construir A + y por lo tanto, las mejores soluciones aproximadas a través de la descomposición en valores singulares SVD de A. Teorema 3.4. Sea A una matriz que tiene descomposición en valores singulares, entonces A + : A + = V σ 1... σr... U t. Demostración. Sea b R n arbitrario. Basta con demostrar que: x = U 1 σ σ r... V t b es la mejor solución aproximada de Ax = b. Sea z R n arbitraria, y = U t z, c = V t b:

7 Descomposición en valores singulares y seudoinversa 63 y = c = y1 y c1 con y 1, c 1 en R r. Usando que una transformación unitaria deja sin cambios la norma euclidiana, llegamos a: c b Az = V t b AUU t z c1 Σ = c c = 1 Σy 1, c donde Σ = diagσ 1, σ,..., σ r. Por lo tanto, b Az es mínima si y sólo si y 1 = Σ 1 c 1 y y puede ser arbitraria. La norma euclidiana de y es mínima si y sólo si y = ; z es la mejor solución aproximada si y sólo si: y = Σ 1 c y 1 y es decir, z = Uy = Σ 1 V t b = x. La prueba anterior implica la existencia y unicidad de la mejor aproximación y muestra que otras soluciones en mínimos cuadrados tienen la forma: Σ 1 c 1 y.

8 64 B. Mederos, D. Gardea, G. Tapia, J. Romero Con y arbitraria, x puede ser escrita como: x = A + b = n i=1 v t i b σ i u i. Esta fórmula demuestra cómo errores en b, afectan el resultado de A + b. Si los errores en b corresponden a valores singulares grandes, entonces éstos no afectan la solución A + b. Por otra parte, los errores correspondientes a valores singulares pequeños amplificarán el error por un factor de 1 σ i, de manera que estos errores en los datos son muy dañinos; esto demuestra inestabilidad numérica. Si A tiene autovalores pequeños, una idea para reducir esta inestabilidad es reemplazar la suma x = n vi tb i=1 σ i u i por: x α = r i=1 v t i b σ i u i, σ i > α, siendo α un parámetro de regularización que es seleccionado convenientemente Bibliografía [1] Golub, G.; Van Loan, C. Matrix Computation. Johns Hopkins Studies in the Mathematical Science, [] Engl, H. Inverse Problems. Aportaciones Matemáticas, [3] Somersalo, J. Statistical and Computational Inverse Problems. Springer Verlag. Applied Mathematical Sciences, Boris Mederos Madrazo boris.mederos@uacj.mx David Gardea david fwb@hotmail.com Gustavo Tapia Sanchez gtapia@uacj.mx Jaime Romero jromero@uacj.mx Departamento de Física y Matemáticas, IIT, Universidad Autónoma de Ciudad Juárez, Av. Del Charro núm. 45 norte, Ciudad Juárez, Chih., México, C.P. 331, A.P D.