Sistemas de ecuaciones lineales

Transcripción

1 Sistemas de ecuaciones lineales Escuela de Ingeniería Informática de Oviedo (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

2 Contenidos Introducción Métodos directos Gauss Gauss con pivote Gauss-Jordan Factorización LU Métodos iterativos Jacobi Gauss-Seidel Convergencia de los métodos iterativos 4 Descomposición en valores singulares (SVD) Diagonalización Descomposición en valores singulares (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

3 Introducción Problema Objetivo Resolver sistemas de ecuaciones lineales con el mismo número de ecuaciones que de incógnitas Problema Dados los números a ij y b j para i, j =,,..., n se trata de hallar los números x, x,..., x n que verifican las n ecuaciones lineales a x + a x a n x n = b a x + a x a n x n = b.. a n x + a n x a nn x n = b n (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

4 Introducción Problema Definimos: la matriz de coeficientes: A = (a ij ) n i,j= el vector del segundo miembro: b = (b i ) n i= el vector de incógnitas: x = (x i ) n i= Usando la notación matricial, el sistema se escribe Ax = b En lo que sigue, suponemos que el sistema tiene una única solución (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

5 Soluciones numéricas Los métodos pueden ser: Métodos directos Introducción La solución se calcula en un número finito de pasos conocidos a priori. Sólo están sujetos a errores de redondeo. Son adecuados para resolver sistemas pequeños sistemas grandes con matriz llena. Veremos los métodos de: Gauss, Gauss con pivote y Descomposición LU Métodos iterativos Construyen una sucesión que converge a la solución del sistema. Además de los errores de redondeo., exite un error de truncamiento. Veremos los métodos de: Jacobi y Gauss-Seidel (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

6 Métodos directos Gauss Método de Gauss: triangularización La idea del método de Gauss es transforma el sistema de ecuaciones lineales original en un sistema de matriz triangular superior con las mismas soluciones. Para ello se realizan las operaciones: f i f i + λf j, j i f i f j (si usamos la estrategia del pivote) En estos cálculos sólo intervienen la matriz de coeficientes y el vector del segundo miembro (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

7 Métodos directos Gauss Método de Gauss: sustitución regresiva Una vez hemos triangularizado la matriz de coeficientes tenemos un sistema del tipo Ux = b donde U es una matriz triangular superior: U = u u u... u n 0 u u... u n 0 0 u... u n u nn (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

8 Métodos directos Gauss Método de Gauss: sustitución regresiva La ecuación i-ésima del sistema, para i =,,..., n es: u ii x i + u ii+ x i+ + + u in x n = b i Por lo tanto, para i = n, n,...,, si u ii 0 entonces x i = b i u ii+ x i+ u in x n = n b i u ij x j u ii u ii j=i+ (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 8 / 8

9 Métodos directos Gauss Método de Gauss: sustitución regresiva Algoritmo sustitución hacia atrás: Si u nn = 0, parar (no existe solución única). Hacer x n = bn u nn Para i = n,..., Si u ii = 0, parar (no tiene solución) Hacer x i = n b i u ij x j u ii j=i+ (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 9 / 8

10 Métodos directos Gauss Un ejemplo de Gauss Resolver un sistema lineal por Gauss x +y z = 5 4x +4y z = x +y z = TRIANGULARIZACIÓN Hacemos ceros por debajo del pivote en la primera columna. f f f f = f f = f 4 f f = f f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 0 / 8

11 Métodos directos Gauss Un ejemplo de Gauss Resolver un sistema lineal por Gauss x +y z = 5 4x +4y z = x +y z = TRIANGULARIZACIÓN Hacemos ceros por debajo del pivote en la primera columna. f f f f = f f = f 4 f f = f f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 0 / 8

12 Un ejemplo de Gauss Métodos directos Gauss TRIANGULARIZACIÓN Hacemos ceros por debajo del pivote en la segunda columna. f 5 f = f f 0 7 f f = f f = f 6 f Y ya tenemos una matriz triangular superior (con ceros por debajo de la diagonal principal). f 5 f 0 7 f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

13 Un ejemplo de Gauss Métodos directos Gauss TRIANGULARIZACIÓN Hacemos ceros por debajo del pivote en la segunda columna. f 5 f = f f 0 7 f f = f f = f 6 f Y ya tenemos una matriz triangular superior (con ceros por debajo de la diagonal principal). f 5 f 0 7 f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

14 Métodos directos Gauss Un ejemplo de Gauss SUSTITUCIÓN REGRESIVA Despejamos las incógnitas empezando por la ecuación de abajo y progresamos hacia arriba. x +y z = 5 y z = 7 5z = 5 Empezamos por la z z = 5/( 5) = y = ( 7 + z)/( ) = ( 7 + )/( ) = x = (5 y + z)/ = (5 () + ())/ = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

15 Métodos directos Gauss Un ejemplo de Gauss SUSTITUCIÓN REGRESIVA Despejamos las incógnitas empezando por la ecuación de abajo y progresamos hacia arriba. x +y z = 5 y z = 7 5z = 5 Empezamos por la z z = 5/( 5) = y = ( 7 + z)/( ) = ( 7 + )/( ) = x = (5 y + z)/ = (5 () + ())/ = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

16 Métodos directos Gauss con pivote La estrategia del pivote En la triangularización, en la primera transformación de la matriz, obtenemos ceros por debajo de a, en el segundo paso hacemos ceros por debajo de a y así sucesivamente. Estos elemetos a ii son los pivotes. Hay casos donde se cambian: Si es pivote parcial, intercambiando filas y tomando como pivote el elemento de mayor valor absoluto a ij que está en la columna del pivote por debajo del pivote. Si es pivote total, intercambiando filas y columnas. Ejemplos que requieren pivote: cuando a ii = 0 cuando a ii es muy pequeño y se pueden producir grandes errores de redondeo. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

17 Métodos directos Gauss con pivote Un ejemplo de Gauss con pivote Resolver un sistema lineal por Gauss con pivote x +y z = 0 x +y +z = 7 x y z = 4 TRIANGULARIZACIÓN En este primer paso buscamos el pivote en la primera columna. Cogemos como pivote el elemento de mayor valor absoluto. Hacemos ceros por debajo del pivote f f f f = f f = f f f = f f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

18 Métodos directos Gauss con pivote Un ejemplo de Gauss con pivote Resolver un sistema lineal por Gauss con pivote x +y z = 0 x +y +z = 7 x y z = 4 TRIANGULARIZACIÓN En este primer paso buscamos el pivote en la primera columna. Cogemos como pivote el elemento de mayor valor absoluto. Hacemos ceros por debajo del pivote f f f f = f f = f f f = f f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

19 Métodos directos Gauss con pivote TRIANGULARIZACIÓN Ahora el máximo valor, el pivote 7/ está en la segunda columna por lo que no hace falta intercambiar filas. f 4 f f = f 0 f = f f f = f 5/ 7/ f Y ya tenemos una matriz triangular superior (con ceros por debajo de la diagonal principal) f 4 f f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

20 Métodos directos Gauss con pivote TRIANGULARIZACIÓN Ahora el máximo valor, el pivote 7/ está en la segunda columna por lo que no hace falta intercambiar filas. f 4 f f = f 0 f = f f f = f 5/ 7/ f Y ya tenemos una matriz triangular superior (con ceros por debajo de la diagonal principal) f 4 f f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

21 Métodos directos Gauss con pivote SUSTITUCIÓN REGRESIVA Despejamos las incógnitas empezando por la ecuación de abajo y progresamos hacia arriba. x y z = 4 7 y +5 z = 9 7 z = 9 7 Empezamos con la z z = (9/7)/( /7) = y = ((9/) (5/)z)/(7/) = x = ( 4 + y + z)/ = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

22 Métodos directos Gauss con pivote SUSTITUCIÓN REGRESIVA Despejamos las incógnitas empezando por la ecuación de abajo y progresamos hacia arriba. x y z = 4 7 y +5 z = 9 7 z = 9 7 Empezamos con la z z = (9/7)/( /7) = y = ((9/) (5/)z)/(7/) = x = ( 4 + y + z)/ = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

23 Métodos directos Método de Gauss-Jordan Gauss-Jordan La idea del método de Gauss-Jordan es transformar el sistema de ecuaciones lineales original en un sistema de diagonal con las mismas soluciones. Para ello se realizan las mismas operaciones que en el método de Gauss: f i f i + λf j, j i f i f j (si usamos la estrategia del pivote) En estos cálculos intervienen la matriz de coeficientes y el vector del segundo miembro. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

24 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Resolver un sistema lineal por Gauss-Jordan x +y z = 5 4x +4y z = x +y z = Dividimos la primera fila por el pivote. f 5 f 4 4 f f = f / (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 8 / 8

25 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Resolver un sistema lineal por Gauss-Jordan x +y z = 5 4x +4y z = x +y z = Dividimos la primera fila por el pivote. f 5 f 4 4 f f = f / (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 8 / 8

26 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Hacemos ceros por debajo del pivote en la primera columna. f 5 f f 4 4 f = f 4f f f = f ( )f Dividimos la segunda fila por el pivote. f 5 f 0 7 f = f /( ) f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 9 / 8

27 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Hacemos ceros por debajo del pivote en la primera columna. f 5 f f 4 4 f = f 4f f f = f ( )f Dividimos la segunda fila por el pivote. f 5 f 0 7 f = f /( ) f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 9 / 8

28 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Hacemos ceros por encima y por debajo del pivote en la segunda columna. f 5 f = f (/)f f 7 0 f f f = f 6f Dividimos la tercera fila por el pivote 5. f f 7 0 f f = f /( 5) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 0 / 8

29 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Hacemos ceros por encima y por debajo del pivote en la segunda columna. f 5 f = f (/)f f 7 0 f f f = f 6f Dividimos la tercera fila por el pivote 5. f f 7 0 f f = f /( 5) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 0 / 8

30 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Hacemos ceros por encima del pivote en la tercera columna. f f = f ( 5/4)f f 7 0 f = f (/)f f f 0 0 Y el sistema equivalente resultante es x = x = x = Es decir, la solución del sistema la da la columna de términos independientes. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

31 Métodos directos Gauss-Jordan Un ejemplo de Gauss-Jordan Hacemos ceros por encima del pivote en la tercera columna. f f = f ( 5/4)f f 7 0 f = f (/)f f f 0 0 Y el sistema equivalente resultante es x = x = x = Es decir, la solución del sistema la da la columna de términos independientes. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

32 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan La matriz inversa de una matriz A n n, caso de existir, es una matriz n n que llamaremos A que verifica AA = I = A A. Si consideramos que las columnas de A e I son como AA = I también se verifica A = (c c... c n ) y I = (e e... e n ) Ac = e, Ac = e,..., Ac n = e n Es decir, las columnas de la matriz A son las soluciones de n sistemas que tienen como matriz de coeficientes la matriz A y como término independiente las columnas de I. Es decir, si resolvemos simultaneamente estos n sistemas, las respectivas soluciones serán las columnas de A. Un método muy adecuado para resolver simultáneamente sistemas con la misma matriz de coeficientes es Gauss-Jordan. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

33 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Escribir una matriz n n que consiste en la matriz dada A a la izquierda y la matriz identidad I de dimensión n n a la derecha [A I]. Mediante operaciones por filas, transformar la matriz A en la matriz I, de forma que obenemos a partir de [A I] obtenemos [ I A ]. Comprobar que AA = I = A A. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

34 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Calcular la matriz inversa de A A = Escribimos la matriz[a I]. Dividimos la primera fila por el pivote. f 0 0 f = f / f 0 0 f 0 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

35 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Calcular la matriz inversa de A A = Escribimos la matriz[a I]. Dividimos la primera fila por el pivote. f 0 0 f = f / f 0 0 f 0 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

36 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Hacemos ceros por debajo del pivote en la primera columna. f 0 0 f f 0 0 f = f f f 0 0 f = f f Dividimos la segunda fila por el pivote. f f f f = f /( ) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

37 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Hacemos ceros por debajo del pivote en la primera columna. f 0 0 f f 0 0 f = f f f 0 0 f = f f Dividimos la segunda fila por el pivote. f f f f = f /( ) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

38 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Hacemos ceros por encima y por debajo del pivote en la segunda columna. f 0 0 f = f (/)f f 0 0 f f 0 0 f = f ( )f Como el pivote ya es, hacemos ceros por encima del pivote en la tercera columna. f 0 0 f = f ( )f f 0 0 f = f f f 0 0 f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

39 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Hacemos ceros por encima y por debajo del pivote en la segunda columna. f 0 0 f = f (/)f f 0 0 f f 0 0 f = f ( )f Como el pivote ya es, hacemos ceros por encima del pivote en la tercera columna. f 0 0 f = f ( )f f 0 0 f = f f f 0 0 f (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

40 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Como a la izquierda ya tenemos la matriz I la matriz de la derecha será A. [ I A ] = Comprobamos que es la matriz inversa AA = I = A A AA = 0 6 = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

41 Métodos directos Gauss-Jordan Cálculo de la matriz inversa con Gauss-Jordan Como a la izquierda ya tenemos la matriz I la matriz de la derecha será A. [ I A ] = Comprobamos que es la matriz inversa AA = I = A A AA = 0 6 = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

42 Factorización LU Métodos directos Factorización LU Queremos descomponer la matriz de coeficientes A en una matriz triangular superior U y una matriz triangular inferior L de forma que A = LU Matrices que admiten factorización LU son, por ejemplo: Matrices estrictamente diagonal dominantes: n por filas: a ii > aij para i =,,..., n j = j por columnas a ii > n j = j Matrices simétricas y definidas positivas: aji para i =,,..., n A = A T y x T Ax > 0 para todo x 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 8 / 8

43 Métodos directos Factorización LU Factorización LU La factorización LU de una matriz no es única Habitualmente se fija l ii = para i =,,..., n En este caso: U = A (n), la matriz triangular superior que se obtiene al triangularizar A como en Gauss Para i =,..., n y j =,,..., i siendo m ij las λ de f i f i + λf j, l ij = m ij (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 9 / 8

44 Métodos directos Factorización LU Factorización LU Consideramos el sistema de ecuaciones lineales Ax = b donde la matriz A admite la factorización LU Entonces Ax = b LUx = b Para resolver el sistema, hay que resolver Ly = b resolver Ux = y (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 0 / 8

45 Métodos directos Factorización LU Factorización LU: sustitución progresiva Si tenemos un sistema Lx = b donde L es una matriz triangular inferior: l l l L = l l l l n l n l n... l nn (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

46 Métodos directos Factorización LU Factorización LU: sustitución progresiva La ecuación i-ésima del sistema, para i =,,..., n es: l i x + l i x + + l ii x i = b i Por lo tanto, para i =,,..., n, si l ii 0 entonces x i = b i l i x l ii x i = i b i l ij x j l ii l ii j= (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

47 Métodos directos Factorización LU Factorización LU: sustitución progresiva Algoritmo sustitución hacia adelante: Si l = 0, parar (no existe solución única). Hacer x = b l Para i =,..., n Si l ii = 0, parar (no tiene solución) Hacer x i = i b i l ij x j l ii j= (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales / 8

48 Métodos directos Factorización LU Resolver un sistema lineal por factorización LU x +y +z = x +y = 0 y +z = 4 FACTORIZACIÓN En el primer paso hacemos ceros por debajo del elemento a f f 0 f = f f = f ( )/ f f 0 f = f 0/ f Los multiplicadores, que aparecen en rojo, son los elementos con los que construímos la matriz L. Los insertamos en la matriz, en lugar de los ceros creados. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

49 Métodos directos Factorización LU Resolver un sistema lineal por factorización LU x +y +z = x +y = 0 y +z = 4 FACTORIZACIÓN En el primer paso hacemos ceros por debajo del elemento a f f 0 f = f f = f ( )/ f f 0 f = f 0/ f Los multiplicadores, que aparecen en rojo, son los elementos con los que construímos la matriz L. Los insertamos en la matriz, en lugar de los ceros creados. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

50 Métodos directos Factorización LU FACTORIZACIÓN Repetimos el proceso creando ceros por debajo de a. f f f = f f f = f 0 f = f ( /) f FACTORIZACIÓN Y llegamos a la matriz que almacena simultáneamente L y U. 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

51 Métodos directos Factorización LU FACTORIZACIÓN Repetimos el proceso creando ceros por debajo de a. f f f = f f f = f 0 f = f ( /) f FACTORIZACIÓN Y llegamos a la matriz que almacena simultáneamente L y U. 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

52 Métodos directos Factorización LU FACTORIZACIÓN La matriz que almacena simultáneamente L y U. 0 FACTORIZACIÓN Y las matrices L y U son: 0 0 L = 0 U = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

53 Métodos directos Factorización LU FACTORIZACIÓN La matriz que almacena simultáneamente L y U. 0 FACTORIZACIÓN Y las matrices L y U son: 0 0 L = 0 U = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

54 Métodos directos Factorización LU Tenemos A = LU Entonces Ax = b LUx = b Para resolver el sistema, hay que resolver Ly = b por sustitución progresiva resolver Ux = y por sustitución regresiva (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

55 Métodos directos Factorización LU Sustitución Progresiva Resolvemos el sistema triangular inferior Ly = b y obtenemos y. y = y +y = 0 y +y = 4 y = y = y = y = 4 +y = Sustitución Regresiva Resolvemos el sistema triangular superior Ux = y y obtenemos x, que era lo que buscábamos. x +x +x = x +x = x = x = / = x = ( x )/ = x = x x = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 8 / 8

56 Métodos directos Factorización LU Sustitución Progresiva Resolvemos el sistema triangular inferior Ly = b y obtenemos y. y = y +y = 0 y +y = 4 y = y = y = y = 4 +y = Sustitución Regresiva Resolvemos el sistema triangular superior Ux = y y obtenemos x, que era lo que buscábamos. x +x +x = x +x = x = x = / = x = ( x )/ = x = x x = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 8 / 8

57 Métodos iterativos Métodos iterativos: ventajas Los métodos iterativos son, en general, más eficientes que los métodos directos para resolver sistemas de ecuaciones lineales grandes y de matriz hueca ya que se basan en la operación multiplicación de matriz por vector. Como consecuencia: Sólo es necesario almacenar los coeficientes no nulos de la matriz del sistema. Si no se exige mucha precisión, se puede obtener una aproximación aceptable en un número pequeño de iteraciones. Son menos sensibles a los errores de redondeo. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 9 / 8

58 Métodos iterativos Métodos iterativos: desventajas En general, no es posible predecir el número de operaciones que se requieren para obtener una aproximación a la solución con una precisión determinada. El tiempo de cálculo y la precisión del resultado pueden depender de la elección de ciertos parámetros. Generalmente no se gana tiempo por iteración si la matriz de coeficientes es simétrica (como en el método directo de Cholesky). En este caso, un método directo genérico puede reducir el tiempo de cálculo a la mitad. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 40 / 8

59 Métodos iterativos Métodos iterativos Dada una aproximación inicial x (0), un método iterativo genera una sucesión de aproximaciones x (k), para k =,,..., que converge a la solución del sistema. Para generar esta sucesión, se repite el mismo esquema de operaciones hasta que: se obtiene una aproximación a la solución con una precisión especificada de antemano, o se rebasa un número máximo de iteraciones (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

60 Métodos iterativos Métodos iterativos Los métodos iterativos clásicos (lineales) se basan en reescribir el problema Ax = b x = Gx + c donde G es una matriz n n y c es un vector columna de dimensión n. Algoritmo: Sea x (0) una aproximación inicial a la solución Para k =,,... x (k) = Gx (k ) + c La matriz G se llama matriz de iteración y el vector c se llama vector de iteración. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

61 Método de Jacobi Métodos iterativos Jacobi Se basa en la descomposición A = L + D + U donde a 0 0 L = a n a n 0 D = a a a nn U = 0 a a n 0 0 a n (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 4 / 8

62 Método de Jacobi Métodos iterativos Jacobi Tenemos que Ax = b (L + D + U) x = b Dx = (L + U) x + b x = D (L + U) x + D b Y por lo tanto x (k+) = D (L + D) x (k) + D b (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 44 / 8

63 Método de Jacobi Métodos iterativos Jacobi Algoritmo de Jacobi Elegir una aproximación inicial x (0) Para k =,,..., MaxIter Para i =,,..., n, calcular x (k) i = i (b i a ii j= a ij x (k ) j n j=i+ a ij x (k ) j ) Si se cumple el criterio de parada, tomar x (k) como aproximación a la solución (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 45 / 8

64 Métodos iterativos Jacobi Resolver un sistema lineal por Jacobi 0x x +x = 6 x +x x +x 4 = 6 x x +0x x 4 = x x +8x 4 = 5 Despejamos las incógnitas Primero despejamos x en la primera ecuación, x en la segunda,... x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 46 / 8

65 Métodos iterativos Jacobi Resolver un sistema lineal por Jacobi 0x x +x = 6 x +x x +x 4 = 6 x x +0x x 4 = x x +8x 4 = 5 Despejamos las incógnitas Primero despejamos x en la primera ecuación, x en la segunda,... x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 46 / 8

66 Métodos iterativos Jacobi Despejamos las incógnitas Teniendo en cuenta las ecuaciones x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 Definimos la suceción x (k+) = (6 + x (k) x (k) )/0 x (k+) = (6 + x (k) + x (k) x (k) 4 )/ x (k+) = ( x (k) + x (k) + x (k) 4 )/0 x (k+) 4 = (5 x (k) + x (k) )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 47 / 8

67 Métodos iterativos Jacobi Despejamos las incógnitas Teniendo en cuenta las ecuaciones x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 Definimos la suceción x (k+) = (6 + x (k) x (k) )/0 x (k+) = (6 + x (k) + x (k) x (k) 4 )/ x (k+) = ( x (k) + x (k) + x (k) 4 )/0 x (k+) 4 = (5 x (k) + x (k) )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 47 / 8

68 Métodos iterativos Jacobi Primera iteración Punto inicial x (0) = ( ) t x (0), x (0), x (0), x (0) 4 = (0, 0, 0, 0) t. x () = (6 + x (0) x (0) )/0 = 0.6 x () = (6 + x (0) + x (0) x (0) 4 )/ = x () = ( x (0) + x (0) + x (0) 4 )/0 =. x () 4 = (5 x (0) + x (0) )/8 =.875 Criterio de parada Impondremos que la distancia entre dos puntos consecutivos sea menor que una 0.0. ( ) x () x (0) x () (0) = max i x i = max (0.6, 0.545,.,.875) =.875 i 4 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 48 / 8

69 Métodos iterativos Jacobi Primera iteración Punto inicial x (0) = ( ) t x (0), x (0), x (0), x (0) 4 = (0, 0, 0, 0) t. x () = (6 + x (0) x (0) )/0 = 0.6 x () = (6 + x (0) + x (0) x (0) 4 )/ = x () = ( x (0) + x (0) + x (0) 4 )/0 =. x () 4 = (5 x (0) + x (0) )/8 =.875 Criterio de parada Impondremos que la distancia entre dos puntos consecutivos sea menor que una 0.0. ( ) x () x (0) x () (0) = max i x i = max (0.6, 0.545,.,.875) =.875 i 4 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 48 / 8

70 Métodos iterativos Jacobi Segunda iteración x () = (6 + x () x () )/0 = ( (.))/0 = 0.45 x () = (6 + x () + x () x () 4 )/ = ( (.875))/ =.886 x () = ( x () + x () + x () 4 )/0 = ( (0.6) (.875))/0 =. x () 4 = (5 x () + x () )/8 = (5 (0.545) +.)/8 =.808 Criterio de parada Se cumple? No x () x () = 0.57 > 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 49 / 8

71 Métodos iterativos Jacobi Segunda iteración x () = (6 + x () x () )/0 = ( (.))/0 = 0.45 x () = (6 + x () + x () x () 4 )/ = ( (.875))/ =.886 x () = ( x () + x () + x () 4 )/0 = ( (0.6) (.875))/0 =. x () 4 = (5 x () + x () )/8 = (5 (0.545) +.)/8 =.808 Criterio de parada Se cumple? No x () x () = 0.57 > 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 49 / 8

72 Métodos iterativos Jacobi Más iteraciones Hasta que se cumpla la condición de parada x (0) = 0 0 x() = x () = x (4) = x (6) = x () = con x = Criterio de parada Se cumple en la iteración 6. x (6) x (5) = < 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 50 / 8

73 Métodos iterativos Jacobi Más iteraciones Hasta que se cumpla la condición de parada x (0) = 0 0 x() = x () = x (4) = x (6) = x () = con x = Criterio de parada Se cumple en la iteración 6. x (6) x (5) = < 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 50 / 8

74 Métodos iterativos Método de Gauss-Seidel Gauss-Seidel Tenemos que Ax = b (L + D + U) x = b (L + D)x = Ux + b x = (L + D) Ux + (L + D) b Y por lo tanto x (k+) = (L + D) Ux (k) + (L + D) b (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

75 Métodos iterativos Método de Gauss-Seidel Gauss-Seidel Algoritmo de Jacobi Elegir una aproximación inicial x (0) Para k =,,..., MaxIter Para i =,,..., n, calcular x (k) i = i (b i a ii j= a ij x (k) j n j=i+ a ij x (k ) j ) Si se cumple el criterio de parada, tomar x (k) como aproximación a la solución (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

76 Métodos iterativos Método de Gauss-Seidel Gauss-Seidel Observar que: Jacobi x (k) i = i (b i a ii j= a ij x (k ) j n j=i+ a ij x (k ) j ) Gauss-Seidel x (k) i = i (b i a ii j= a ij x (k) j n j=i+ a ij x (k ) j ) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 5 / 8

77 Métodos iterativos Gauss-Seidel Resolver un sistema lineal por Gauss-Seidel 0x x +x = 6 x +x x +x 4 = 6 x x +0x x 4 = x x +8x 4 = 5 Despejamos las incógnitas Como en Jacobi. Primero despejamos x en la primera ecuación, x en la segunda,... x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 54 / 8

78 Métodos iterativos Gauss-Seidel Resolver un sistema lineal por Gauss-Seidel 0x x +x = 6 x +x x +x 4 = 6 x x +0x x 4 = x x +8x 4 = 5 Despejamos las incógnitas Como en Jacobi. Primero despejamos x en la primera ecuación, x en la segunda,... x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 54 / 8

79 Métodos iterativos Gauss-Seidel Teniendo en cuenta las ecuaciones x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 Definimos la sucesión Pero ahora, en cuanto calculamos una aproximación de una de las incógnitas ya la usamos x (k+) = (6 + x (k) x (k) )/0 x (k+) = (6 + x (k+) + x (k) x (k) 4 )/ x (k+) = ( x (k+) + x (k+) + x (k) 4 )/0 x (k+) 4 = (5 x (k+) + x (k+) )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 55 / 8

80 Métodos iterativos Gauss-Seidel Teniendo en cuenta las ecuaciones x = (6 + x x )/0 x = (6 + x + x x 4 )/ x = ( x + x + x 4 )/0 x 4 = (5 x + x )/8 Definimos la sucesión Pero ahora, en cuanto calculamos una aproximación de una de las incógnitas ya la usamos x (k+) = (6 + x (k) x (k) )/0 x (k+) = (6 + x (k+) + x (k) x (k) 4 )/ x (k+) = ( x (k+) + x (k+) + x (k) 4 )/0 x (k+) 4 = (5 x (k+) + x (k+) )/8 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 55 / 8

81 Métodos iterativos Gauss-Seidel Primera iteración Y comenzamos también con x (0) = ( ) t x (0), x (0), x (0), x (0) 4 = (0, 0, 0, 0) t. x () = = (6 + x (0) x (0) )/0 = 0.6( )/0 = 0.6 x () = (6 + x () + x (0) x (0) 4 )/ = ( )/ = 0.6 x () = = ( x () + x () + x (0) 4 )/0 =.( (0.6) + (0.6) + 0)/0 =.04 x () 4 = (5 x () + x () )/8 = (5 (0.6) + (.04))/8 =.78 Criterio de parada Impondremos que la distancia entre dos puntos consecutivos sea menor que una 0.0. ( ) x () x (0) x () (0) = max i x i = max (0.6, 0.6,.04,.78) =.78 i 4 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 56 / 8

82 Métodos iterativos Gauss-Seidel Primera iteración Y comenzamos también con x (0) = ( ) t x (0), x (0), x (0), x (0) 4 = (0, 0, 0, 0) t. x () = = (6 + x (0) x (0) )/0 = 0.6( )/0 = 0.6 x () = (6 + x () + x (0) x (0) 4 )/ = ( )/ = 0.6 x () = = ( x () + x () + x (0) 4 )/0 =.( (0.6) + (0.6) + 0)/0 =.04 x () 4 = (5 x () + x () )/8 = (5 (0.6) + (.04))/8 =.78 Criterio de parada Impondremos que la distancia entre dos puntos consecutivos sea menor que una 0.0. ( ) x () x (0) x () (0) = max i x i = max (0.6, 0.6,.04,.78) =.78 i 4 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 56 / 8

83 Métodos iterativos Gauss-Seidel Segunda iteración x () = (6 + x () x () )/0 = ( (.04))/0 = 0.45 x () = (6 + x () + x () x () 4 )/ = ( (.78))/ = 0.96 x () = ( x () + x () + x () 4 )/0 = ( (0.45) (.78))/0 =.0 x () 4 = (5 x () + x () )/8 = (5 (0.96) +.07)/8 =.95 Criterio de parada Se cumple? No x () x () = > 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 57 / 8

84 Métodos iterativos Gauss-Seidel Segunda iteración x () = (6 + x () x () )/0 = ( (.04))/0 = 0.45 x () = (6 + x () + x () x () 4 )/ = ( (.78))/ = 0.96 x () = ( x () + x () + x () 4 )/0 = ( (0.45) (.78))/0 =.0 x () 4 = (5 x () + x () )/8 = (5 (0.96) +.07)/8 =.95 Criterio de parada Se cumple? No x () x () = > 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 57 / 8

85 Métodos iterativos Gauss-Seidel Más iteraciones Hasta que se cumpla la condición de parada x (0) = 0 0 x() = x() = 0.78 x (4) = x() = con x = Criterio de parada Se cumple en la iteración 4. x (4) x () = < 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 58 / 8

86 Métodos iterativos Gauss-Seidel Más iteraciones Hasta que se cumpla la condición de parada x (0) = 0 0 x() = x() = 0.78 x (4) = x() = con x = Criterio de parada Se cumple en la iteración 4. x (4) x () = < 0.0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 58 / 8

87 Métodos iterativos Convergencia de los métodos iterativos Convergencia de los métodos iterativos Los métodos iterativos clásicos (lineales) se basan en reescribir el problema Ax = b x = Gx + c Si tomamos un x (0) como aproximación inicial a la solución, para k =,,... podemos definir el algoritmo como las sucesión recursiva x (k) = Gx (k ) + c (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 59 / 8

88 Métodos iterativos Convergencia de los métodos iterativos Estudio de la convergencia Definición Una matriz A se dice estrictamente diagonal dominante si n a ij < a ii para i =,,..., n j=(i j) Teorema Una condición suficiente de convergencia de los métodos de Jacobi y Gauss-Seidel es que la matriz de coeficientes del sistema lineal sea estrictamente diagonal dominante. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 60 / 8

89 Métodos iterativos Convergencia de los métodos iterativos Estudio de la convergencia Definición Una matriz A se dice estrictamente diagonal dominante si n a ij < a ii para i =,,..., n j=(i j) Teorema Una condición suficiente de convergencia de los métodos de Jacobi y Gauss-Seidel es que la matriz de coeficientes del sistema lineal sea estrictamente diagonal dominante. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 60 / 8

90 Métodos iterativos Estudio de la convergencia Convergencia de los métodos iterativos Ejemplo Podemos garantizar la convergencia del método de Jacobi y Gauss-Seidel utilizando el criterio del teorema en el sistema Ax = b 0 A = 5? 0 Estudiamos si A es diagonal dominante A = > > + > 0 + Y A es diagonal dominate. Por lo tanto, usando este criterio podemos garantizar la convergencia tanto de ambos métodos. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

91 Métodos iterativos Estudio de la convergencia Convergencia de los métodos iterativos Ejemplo Podemos garantizar la convergencia del método de Jacobi y Gauss-Seidel utilizando el criterio del teorema en el sistema Ax = b 0 A = 5? 0 Estudiamos si A es diagonal dominante A = > > + > 0 + Y A es diagonal dominate. Por lo tanto, usando este criterio podemos garantizar la convergencia tanto de ambos métodos. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

92 Métodos iterativos Convergencia de los métodos iterativos Estudio de la convergencia Definición El radio espectral de una matriz G es el módulo (o valor absoluto) máximo λ i de los autovalores de G. Teorema Dado un sistema lineal x = Gx + c, donde I G es inversible, las siguientes afirmaciones son equivalentes: El método iterativo asociado x (k) = Gx (k ) + c para k =,,..., n es convergente. El radio espectral de G es menor que. Alguna norma de G es menor que. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

93 Métodos iterativos Convergencia de los métodos iterativos Estudio de la convergencia Definición El radio espectral de una matriz G es el módulo (o valor absoluto) máximo λ i de los autovalores de G. Teorema Dado un sistema lineal x = Gx + c, donde I G es inversible, las siguientes afirmaciones son equivalentes: El método iterativo asociado x (k) = Gx (k ) + c para k =,,..., n es convergente. El radio espectral de G es menor que. Alguna norma de G es menor que. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

94 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Ejemplo Estudiar si el método de Gauss-Seidel sería convergente para el sistema lineal Ax = b 0 A = b = 0 La matriz B G S = (L + D) U con A = L + D + U = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

95 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Ejemplo Estudiar si el método de Gauss-Seidel sería convergente para el sistema lineal Ax = b 0 A = b = 0 La matriz B G S = (L + D) U con A = L + D + U = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 6 / 8

96 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Por lo que L + D = y U = Calculemos por Gauss-Jordan (L + D). Dividimos la primera fila por el pivote f f f f / f 0 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 64 / 8

97 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Por lo que L + D = y U = Calculemos por Gauss-Jordan (L + D). Dividimos la primera fila por el pivote f f f f / f 0 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 64 / 8

98 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Hacemos ceros por debajo del pivote. f f f 0 0 f f f f f f f f Dividimos la segunda fila por el pivote. f f f 0 0 f f / (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 65 / 8

99 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Hacemos ceros por debajo del pivote. f f f 0 0 f f f f f f f f Dividimos la segunda fila por el pivote. f f f 0 0 f f / (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 65 / 8

100 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Hacemos cero por debajo del pivote (por encima ya tenemos ceros). f f f f f 0 0 f Dividimos la tercera fila por el pivote. f f f f f / (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 66 / 8

101 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Hacemos cero por debajo del pivote (por encima ya tenemos ceros). f f f f f 0 0 f Dividimos la tercera fila por el pivote. f f f f f / (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 66 / 8

102 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Ya tenemos a la izquierda la matriz identidad Por lo tanto (L + D) = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 67 / 8

103 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Ya tenemos a la izquierda la matriz identidad Por lo tanto (L + D) = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 67 / 8

104 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Ya podemos calcular la matriz de iteración B G S = (L + D) U B G S = = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 68 / 8

105 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Calculemos la norma de esta matriz BG S T = = = = 0 9 La norma viene dada por B G S = Max ( 0, 7 9, 0 ) = > Como B G S < es condición suficiente, no necesaria, de convergencia, no podemos asegurar ni que converge ni que no converge. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 69 / 8

106 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Calculemos la norma de esta matriz BG S T = = = = 0 9 La norma viene dada por B G S = Max ( 0, 7 9, 0 ) = > Como B G S < es condición suficiente, no necesaria, de convergencia, no podemos asegurar ni que converge ni que no converge. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 69 / 8

107 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Calculemos la norma infinito. 0 B G S = = = = 7 8 La norma infinito es B G S = Max (, 5 ) 6, 7 = < Como B G S < podemos asegurar que converge. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 70 / 8

108 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Calculemos la norma infinito. 0 B G S = = = = 7 8 La norma infinito es B G S = Max (, 5 ) 6, 7 = < Como B G S < podemos asegurar que converge. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 70 / 8

109 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Además, si estudiamos los autovalores de la matriz B G S 0 λ 0 6 λ = λ ( ) ( ) λ 6 λ 9 λ Y los autovalores son 5 8 ( λ) = 6 λ + 5 ( 8 λ λ = (λ) λ = 0, λ = 0.57, λ = 0.9 que son todos menores que en valor absoluto λ λ ) = 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

110 Métodos iterativos Estudio de convergencia Convergencia de los métodos iterativos Además, si estudiamos los autovalores de la matriz B G S 0 λ 0 6 λ = λ ( ) ( ) λ 6 λ 9 λ Y los autovalores son 5 8 ( λ) = 6 λ + 5 ( 8 λ λ = (λ) λ = 0, λ = 0.57, λ = 0.9 que son todos menores que en valor absoluto λ λ ) = 0 (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

111 Descomposición en valores singulares (SVD) Diagonalización Recordamos: para factorizar una matriz... Matriz diagonalizable Una matriz cuadrada A se dice que es diagonalizable si puede descomponerse de la forma A = PDP donde P es una matriz invertible cuyos vectores columna son vectores propios de A. D es una matriz diagonal formada por los valores propios de A. Inconvenientes A tiene que ser cuadrada. P tiene que ser invertible. Por lo tanto no todas las matrices se pueden factorizar de esta manera. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

112 Descomposición en valores singulares (SVD) Diagonalización Recordamos: para factorizar una matriz... Matriz diagonalizable Una matriz cuadrada A se dice que es diagonalizable si puede descomponerse de la forma A = PDP donde P es una matriz invertible cuyos vectores columna son vectores propios de A. D es una matriz diagonal formada por los valores propios de A. Inconvenientes A tiene que ser cuadrada. P tiene que ser invertible. Por lo tanto no todas las matrices se pueden factorizar de esta manera. (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

113 Pero... Descomposición en valores singulares (SVD) Diagonalización Matriz real simétrica Cualquier matriz cuadrada simétrica con coeficientes reales es diagonalizable A = PDP T y P está formada por una base ortonormal de vectores propios y y los vectores filas de P son los vectores columnas de P. Por lo tanto P = P T D los valores propios son reales. MM T M m m (R) M T M M n n (R)Son matrices cuadradas simétricas con coeficientes reales para cualquier matriz rectangular M M m n (R) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

114 Pero... Descomposición en valores singulares (SVD) Diagonalización Matriz real simétrica Cualquier matriz cuadrada simétrica con coeficientes reales es diagonalizable A = PDP T y P está formada por una base ortonormal de vectores propios y y los vectores filas de P son los vectores columnas de P. Por lo tanto P = P T D los valores propios son reales. MM T M m m (R) M T M M n n (R)Son matrices cuadradas simétricas con coeficientes reales para cualquier matriz rectangular M M m n (R) (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 7 / 8

115 Descomposición en valores singulares (SVD) Diagonalización Matriz real simétrica A = 0 0 Diagonalizamos Factorizamos A = PDP pero P P T 0 0 = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 74 / 8

116 Descomposición en valores singulares (SVD) Diagonalización Matriz real simétrica A = 0 0 Diagonalizamos Factorizamos A = PDP pero P P T 0 0 = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 74 / 8

117 Descomposición en valores singulares (SVD) Diagonalización Las columnas de P son vectores ortogonales v v = (,, ) (, 0, ) = = 0 v v = (,, ) (,, ) = + = 0 v v = (,, ) (, 0, ) = = 0 Si normalizamos los vectores ( v = v ) v = (,, ) + + =, 6, 6 v = v v v = v v (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 75 / 8

118 Descomposición en valores singulares (SVD) Diagonalización Las columnas de P son vectores ortogonales v v = (,, ) (, 0, ) = = 0 v v = (,, ) (,, ) = + = 0 v v = (,, ) (, 0, ) = = 0 Si normalizamos los vectores ( v = v ) v = (,, ) + + =, 6, 6 v = v v v = v v (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 75 / 8

119 Descomposición en valores singulares (SVD) Diagonalización Base normalizada Ahora sí A = PDP T 0 0 = (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 76 / 8

120 Descomposición en valores singulares (SVD) Descomposición en valores singulares Descomposición en valores singulares (SVD) Factorización SVD Cualquier matriz rectangular A M m n (R) puede ser descompuesta de forma única A = UΣV T U M m m (R) sus columnas son los autovectores de AA T AA T = UΣV T ( UΣV T ) T = UΣV T V Σ T U T = U(ΣΣ T )U T V M n n (R) sus columnas son los autovectores de A T A A T A = ( UΣV T ) T UΣV T = V Σ T U T UΣV T = V (Σ T Σ)V T Σ M m n (R) los elementos de su diagonal son no negativos y se llaman Valores Singulares y son las raíces de los autovalores de U y V (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 77 / 8

121 Descomposición en valores singulares (SVD) Descomposición en valores singulares Descomposición en valores singulares (SVD) Factorización SVD Cualquier matriz rectangular A M m n (R) puede ser descompuesta de forma única A = UΣV T U M m m (R) sus columnas son los autovectores de AA T AA T = UΣV T ( UΣV T ) T = UΣV T V Σ T U T = U(ΣΣ T )U T V M n n (R) sus columnas son los autovectores de A T A A T A = ( UΣV T ) T UΣV T = V Σ T U T UΣV T = V (Σ T Σ)V T Σ M m n (R) los elementos de su diagonal son no negativos y se llaman Valores Singulares y son las raíces de los autovalores de U y V (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 77 / 8

122 Descomposición en valores singulares (SVD) Descomposición en valores singulares Descomposición en valores singulares (SVD) Factorización SVD Cualquier matriz rectangular A M m n (R) puede ser descompuesta de forma única A = UΣV T U M m m (R) sus columnas son los autovectores de AA T AA T = UΣV T ( UΣV T ) T = UΣV T V Σ T U T = U(ΣΣ T )U T V M n n (R) sus columnas son los autovectores de A T A A T A = ( UΣV T ) T UΣV T = V Σ T U T UΣV T = V (Σ T Σ)V T Σ M m n (R) los elementos de su diagonal son no negativos y se llaman Valores Singulares y son las raíces de los autovalores de U y V (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 77 / 8

123 Descomposición en valores singulares (SVD) Descomposición en valores singulares Descomposición en valores singulares (SVD) Factorización SVD Cualquier matriz rectangular A M m n (R) puede ser descompuesta de forma única A = UΣV T U M m m (R) sus columnas son los autovectores de AA T AA T = UΣV T ( UΣV T ) T = UΣV T V Σ T U T = U(ΣΣ T )U T V M n n (R) sus columnas son los autovectores de A T A A T A = ( UΣV T ) T UΣV T = V Σ T U T UΣV T = V (Σ T Σ)V T Σ M m n (R) los elementos de su diagonal son no negativos y se llaman Valores Singulares y son las raíces de los autovalores de U y V (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 77 / 8

124 Descomposición en valores singulares (SVD) Descomposición en valores singulares Descomposición A = = = UΣV T (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 78 / 8

125 Descomposición en valores singulares (SVD) Descomposición en valores singulares Cálculo de U AA T = = U(ΣΣ T )U T Cálculo de V A T A = ( ) = V (ΣT Σ)V T (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 79 / 8

126 Descomposición en valores singulares (SVD) Descomposición en valores singulares Cálculo de U AA T = = U(ΣΣ T )U T Cálculo de V A T A = ( ) = V (ΣT Σ)V T (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 79 / 8

127 Descomposición en valores singulares (SVD) Interpretación geométrica Descomposición en valores singulares Ejemplo ( A = UΣV T cos(φ) sin(φ) = sin(φ) cos(φ) ) ( ) ( ) σ 0 cos(θ) sin(θ) 0 σ sin(θ) cos(θ) con φ = π 6, θ = π 4, σ =, σ = A es una transformación lineal A = UΣV T está compuesta de: Un giro V T (conserva longitudes y ángulos) Un escalamiento a los largo de los ejes Σ Otro giro U (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 80 / 8

128 Descomposición en valores singulares (SVD) Interpretación geométrica Descomposición en valores singulares Ejemplo ( A = UΣV T cos(φ) sin(φ) = sin(φ) cos(φ) ) ( ) ( ) σ 0 cos(θ) sin(θ) 0 σ sin(θ) cos(θ) con φ = π 6, θ = π 4, σ =, σ = A es una transformación lineal A = UΣV T está compuesta de: Un giro V T (conserva longitudes y ángulos) Un escalamiento a los largo de los ejes Σ Otro giro U (Dpto. de Matemáticas-UniOvi) Computación Numérica Sistemas Lineales 80 / 8