Gustavo Rodríguez Gómez. Agosto Dicembre 2011

Transcripción

1 Computación Científica Gustavo Rodríguez Gómez INAOE Agosto Dicembre / 44

2 Capítulo III Descomposición de Matrices 2 / 44

3 1 Descomposición de Matrices Notación Matrices Operaciones con Matrices 2 Operación con Vectores 3 Imagen, Espacio Nulo y Rango Matriz Inversa Normas Vectoriales Propiedades de las Normas Error Absoluto y Relativo Convergencia Normas de Matrices Normas de Frobenius y p-normas 4 Ortogonalidad y Descomposición en Valores Singulares (SVD) 5 Normas y Transformaciones Ortogonales 6 Descomposición en Valores Singulares Versión Simple de SVD SVD y Rango Deficiente 3 / 44

4 Descomposición de Matrices Notación Matrices Notación para Matrices Sea R el conjunto de números reales y C el conjunto de números complejos. R m n representa el espacio vectorial de todas la matrices reales, A R m n si: C m n representa el espacio vectorial de todas la matrices complejas, A C m n si: A = (a ij ), a ij R, A = (a ij ), a ij C, 4 / 44

5 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B R m n 1 La transpuesta de A de define como C = A T, c ij = a ji. Si A = A T, A es simétrica. 5 / 44

6 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B R m n 1 La transpuesta de A de define como C = A T, c ij = a ji. Si A = A T, A es simétrica. 2 La suma A + B se define como C = A + B, c ij = a ij + b ij. 6 / 44

7 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B R m n 1 La transpuesta de A de define como C = A T, c ij = a ji. Si A = A T, A es simétrica. 2 La suma A + B se define como C = A + B, c ij = a ij + b ij. 3 Multiplicación por un escalar α R C = αa, c ij = αa ij 7 / 44

8 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B R m n 1 La transpuesta de A de define como C = A T, c ij = a ji. Si A = A T, A es simétrica. 2 La suma A + B se define como C = A + B, c ij = a ij + b ij. 3 Multiplicación por un escalar α R C = αa, c ij = αa ij 4 Multiplicación entre matrices A R m p, B R p n C = AB, c ij = p a ik b kj. k=1 8 / 44

9 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B C m n, el conjugado complejo de un escalar z C, z = x + yi, se define como z = x yi. 1 La (transpuesta) conjugada hermitiana o adjunta de A de define como C = A, c ij = a ji. Si A = A, A es hermitiana. 9 / 44

10 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B C m n, el conjugado complejo de un escalar z C, z = x + yi, se define como z = x yi. 1 La (transpuesta) conjugada hermitiana o adjunta de A de define como C = A, c ij = a ji. Si A = A, A es hermitiana. 2 La suma A + B se define como C = A + B, c ij = a ij + b ij. 10 / 44

11 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B C m n, el conjugado complejo de un escalar z C, z = x + yi, se define como z = x yi. 1 La (transpuesta) conjugada hermitiana o adjunta de A de define como C = A, c ij = a ji. Si A = A, A es hermitiana. 2 La suma A + B se define como C = A + B, c ij = a ij + b ij. 3 Multiplicación por un escalar α R C = αa, c ij = αa ij 11 / 44

12 Descomposición de Matrices Operaciones con Matrices Operaciones Básicas Sea A, B C m n, el conjugado complejo de un escalar z C, z = x + yi, se define como z = x yi. 1 La (transpuesta) conjugada hermitiana o adjunta de A de define como C = A, c ij = a ji. Si A = A, A es hermitiana. 2 La suma A + B se define como C = A + B, c ij = a ij + b ij. 3 Multiplicación por un escalar α R C = αa, c ij = αa ij 4 Multiplicación entre matrices A C m p, B C p n C = AB, c ij = p a ik b kj. k=1 12 / 44

13 Operación con Vectores Operación con Vectores El conjunto R n el espacio vectorial de n vectorial, x R n x = (x 1, x 2,..., x n ) T x i R. Suponga a R, x, y R n 1 Multiplicación de un escalar por un vector z = ax, z i = ax i. 13 / 44

14 Operación con Vectores Operación con Vectores El conjunto R n el espacio vectorial de n vectorial, x R n x = (x 1, x 2,..., x n ) T x i R. Suponga a R, x, y R n 1 Multiplicación de un escalar por un vector z = ax, z i = ax i. 2 Suma vectorial z = x + y, z = x i + y i. 14 / 44

15 Operación con Vectores Operación con Vectores El conjunto R n el espacio vectorial de n vectorial, x R n Suponga a R, x, y R n x = (x 1, x 2,..., x n ) T x i R. 1 Multiplicación de un escalar por un vector 2 Suma vectorial 3 Producto punto o escalar z = ax, z i = ax i. z = x + y, z = x i + y i. c = x T y, c = n x i y i. i=1 15 / 44

16 {a 1,..., a n } R m es linealmente independiente si para toda n α j a j = 0 α i R j=1 implica que α i = 0 para toda i = 1,..., n. 16 / 44

17 {a 1,..., a n } R m es linealmente independiente si para toda n α j a j = 0 α i R j=1 implica que α i = 0 para toda i = 1,..., n. Un subespacio de R m es un subconjunto que también es un espacio vectorial. 17 / 44

18 {a 1,..., a n } R m es linealmente independiente si para toda n α j a j = 0 α i R j=1 implica que α i = 0 para toda i = 1,..., n. Un subespacio de R m es un subconjunto que también es un espacio vectorial. Dados a 1,..., a n R m definimos span {a 1,..., a n } = { n j=1 β j a j : β j R Si {a 1,..., a n } son linealmente independientes y b span {a 1,..., a n }, entonces b es una combinación lineal única de las a j. }. 18 / 44

19 Imagen, Espacio Nulo y Rango Imagen, Espacio Nulo y Rango Sea A R m n 1 La imagen de A es ran(a) = {y R m : y = Ax para alguna x R n }. 19 / 44

20 Imagen, Espacio Nulo y Rango Imagen, Espacio Nulo y Rango Sea A R m n 1 La imagen de A es ran(a) = {y R m : y = Ax para alguna x R n }. 2 El espacio nulo de A es null(a) = {x R n : Ax = 0}. 20 / 44

21 Imagen, Espacio Nulo y Rango Imagen, Espacio Nulo y Rango Sea A R m n 1 La imagen de A es ran(a) = {y R m : y = Ax para alguna x R n }. 2 El espacio nulo de A es null(a) = {x R n : Ax = 0}. 3 Si A = [a 1,..., a n ] es una matriz por columnas, entonces ran(a) = span {a 1,..., a n }. 21 / 44

22 Imagen, Espacio Nulo y Rango Imagen, Espacio Nulo y Rango Sea A R m n 1 El rango de A es rank(a) = dim(ran(a)). El rank(a) = rank(a T ). 22 / 44

23 Imagen, Espacio Nulo y Rango Imagen, Espacio Nulo y Rango Sea A R m n 1 El rango de A es rank(a) = dim(ran(a)). El rank(a) = rank(a T ). 2 La matriz A es rango deficiente si rank(a) < min{m, n}. 23 / 44

24 Imagen, Espacio Nulo y Rango Imagen, Espacio Nulo y Rango Sea A R m n 1 El rango de A es rank(a) = dim(ran(a)). El rank(a) = rank(a T ). 2 La matriz A es rango deficiente si rank(a) < min{m, n}. 3 Dado la matriz A se cumple dim(null(a)) + rank(a) = n. 24 / 44

25 Matriz Inversa Matriz Identidad La matriz identidad n n I n es I n = [e 1,..., e n ] donde e k = (0,... 0, 1, 0,..., 0 }{{}}{{} )T. k 1 25 / 44

26 Matriz Inversa Matriz Inversa Definición Si A, X R n n y AX = I, entonces X es la inversa de A y se denota por A 1. Definición Si A R n n y A 1 existe diremos que A es no singular, en caso contrario decimos que A es singular. 26 / 44

27 Matriz Inversa Propiedades Inversa Hecho (AB) 1 = B 1 A 1, ( A 1 ) T = (A T ) 1 A T, det(a) = 0 A es no singular 27 / 44

28 Normas Vectoriales Definición Definición Una norma vectorial es una función : R n R que satisface 1 x R n x 0 y x = 0 x = 0, 2 x, y R n x + y x + y, 3 α R, x R n αx = α x. 28 / 44

29 Normas Vectoriales Ejemplos de Normas Definición Las p-normas están definidas por x p = ( x 1 p + + x n p ) 1 p p 1. Casos especiales importantes 1 x 1 = x x n 2 x 2 = ( x x n 2 ) 1 2 = (x T x) x = max 1 i n x i. 29 / 44

30 Propiedades de las Normas Desigualdad de Cauchy-Schwartz Hecho Dados dos vectores x, y R n la desigualdad de Cauchy-Schwartz establece x y T x 2 y 2 Definición Diremos que dos normas α, β en R n son equivalentes si existen constantes c 1, c 2 > 0 tal que x R n c 1 x α x β c 2 x α. 30 / 44

31 Propiedades de las Normas Normas Equivalentes Hecho Todas las normas en R n son equivalentes, por ejemplo si x R n, entonces x 2 x 1 n x 2 x x 2 n x x x 1 n x. 31 / 44

32 Error Absoluto y Relativo Error Absoluto y Relativo Sea ˆx R n es una aproximación a x R n. Para una norma dada Definición Error absoluto ɛ abs = ˆx x Definición Error relativo ɛ rel = ˆx x x 32 / 44

33 Convergencia Definición de Convergencia Definición Decimos que la sucesión { x (k)} de n-vectores converge a x si lim x (k) x = 0. k La selección de la norma es irrelevante. 33 / 44

34 Normas de Matrices Definición de Norma Debido a que el espacio R m n es isomorfo a R mn, la definición de norma para una matriz debe ser equivalente a la definición de norma de un vector. Definición Una norma matricial es una función : R m n R que satisface 1 A R m n A 0 y A = 0 A = 0, 2 A, B R m n A + B A + B, 3 α R, A R m n αa = α A. 34 / 44

35 Normas de Frobenius y p-normas Norma de Frobenius y p-normas Norma de Frobenius A F = m n i=1 j=1 a ij 2 p Normas Ax p A p = sup x =0 x p = max Ax p x p =1 35 / 44

36 Ortogonalidad y Descomposición en Valores Singulares (SVD) Ortogonalidad Definición Un conjunto de vectores {x 1, x 2,..., x p } R m es ortogonal si y ortonormal si x T i x j = 0 i = j, { xi T 0 i = j, x j = δ ij = 1 i = j. 36 / 44

37 Ortogonalidad y Descomposición en Valores Singulares (SVD) Ortogonalidad Definición Una colección de subespacios S 1, S 2,..., S p es mutuamente ortogonales si x T y = 0 siempre que x S i y y S j para i = j. Definición El complemento ortogonal del subespacio S R m se definie como { } S = y R m : y T x = 0 x S 37 / 44

38 Ortogonalidad y Descomposición en Valores Singulares (SVD) Ortogonalidad Definición Los vectores {v 1, v 2,..., v k } R m forman una base ortonormal para el subespacio S R m si son ortonormales y generan S. Definición Una matriz Q R m m es ortogonal si Q T Q = I.Si Q = [q 1,..., q m ] es ortogonal, entonces las q i forman una base ortonormal para R m 38 / 44

39 Normas y Transformaciones Ortogonales Normas Invariantes La 2 norma es invariante bajo transformaciones ortogonales. Si Q T Q = I, entonces Qx 2 = (Qx) T Qx = x T Q T Qx = x 2 39 / 44

40 Descomposición en Valores Singulares Descomposición en Valores Singulares (SVD) Teorema Si A R m n, entonces existen matrices ortogonales U = [u 1,..., u m ] R m m y V = [v 1,..., v n ] R n n tal que U T AV = diag(σ 1, σ 2,..., σ p ) R m n p = min{m, n} donde σ 1 σ 2... σ p 0. σ i se llaman los valores singulares de A. u i se llaman los vectores singulares izquierdos. v i se llaman los vectores singulares derechos. 40 / 44

41 Descomposición en Valores Singulares SVD y Estructura de la Matriz Corolario Sea A R m n y considere su SVD. Supongamos que existe r tal que σ 1 σ 2... σ r > σ r +1 = = σ p = 0 entonces rank(a) = r, null(a) = span {v r +1,..., v n }, ran(a) = span {u 1,..., u r }. y tenemos la siguiente expansion A = r σ i u i vi T i=1 41 / 44

42 Descomposición en Valores Singulares Versión Simple de SVD Versión Simple de SVD Si A = UΣV T R m n es su descomposición en valores singulares de A y m n, entonces donde A = U 1 Σ 1 V T U 1 = [u 1,..., u n ] R m n, Σ 1 = diag(σ 1, σ 2,..., σ n ) R n n 42 / 44

43 Descomposición en Valores Singulares SVD y Rango Deficiente SVD y Rango Deficiente Teorema Sea A R m n y considere su SVD. Si k < rank(a) y entonces A k = k σ i u i vi T, i=1 A A k 2 = σ k+1 43 / 44

44 Descomposición en Valores Singulares SVD y Rango Deficiente Sistemas de ecuaciones lineales: Dado A R n n y b R n 1, encontrar x tal que Ax = b 44 / 44