Métodos Numéricos para Sistemas de Ecuaciones Lineales

Transcripción

1 Universidad de Chile Departamento de Ingeniería Matemática Cálculo Numérico MA-33A Métodos Numéricos para Sistemas de Ecuaciones Lineales Gonzalo Hernández Oliva GHO SEL - MA33A 1

2 MN para SEL: Temario 1) Motivación Aplicaciones SEL: a) Interpolación Polinomial b) Mínimos Cuadrados c) Método Simplex Optimización Lineal 2) Definiciones y Resultados Básicos 3) Métodos de Pivoteo (Directos) para SEL: Gauss y Gauss-Jordan 4) Análisis de Error del Método de Gauss GHO SEL - MA33A 2

3 MN para SEL: Temario 5) Matriz Inversa y Determinante 6) Factorización de Matrices 7) Métodos Iterativos para SEL a) Método de Jacobi y Gauss-Seidel b) Método de Relajación SOR y Gradiente Conjugado c) Análisis de Error de los Métodos Iterativos d) Métodos para Vectores y Valores Propios GHO SEL - MA33A 3

4 1) Motivación 1: Interpolación Polinomial y i n k i = ( i) = k i k = 0 y p x a x x x x x x x x Dados (n+1) puntos i Encontrar un polinomio de grado n tal que: p( x) = y = i 1,..., n+ 1 x i i p(x) ( x, y ) i x x i GHO SEL - MA33A 4

5 1) Motivación 1: Interpolación Polinomial y = p( x ) i = 1,...,( n+ 1) i i n k i = ( i) = k i k = 0 y p x a x 1 x 1 x 1 2 x 1 n a 0 y 1 1 x 2 x 2 2 x 2 n a 1 y 2 1 x 3 x 3 2 x 3 n a 2 y 3 2 n 1 x n 1 x n 1 x n 1 a n y n 1 GHO SEL - MA33A 5

6 1) Motivación 2: Mínimos Cuadrados y i Nube de puntos con tendencia lineal y k = β + β x k Dados n puntos (x i, y i ) Encontrar la recta que mejor los representa : β, β 0 1 n k = 1 [ y β + β x ] min ( ) k 0 1 k 2 x i GHO SEL - MA33A 6

7 1) Motivación 2: Mínimos Cuadrados GHO SEL - MA33A 7

8 1) Motivación 2: Mínimos Cuadrados Sea f ζ [ ab, ]. Se quiere determinar un polinomio de grado n según MCC: ( x) pn ( x ) [ ] 2 min f ( x) p ( x) dx p n b ε T = a Ecuaciones Normales: a b x 0 dx a b x 1 dx a b x 2 dx a b x n dx a b x 1 dx a b x 2 dx a b x 3 dx a b x n 1 dx a b x n dx a b x n 1 dx a b x n 2 dx a b x 2n dx n coeficientes GHO SEL - MA33A 8 a 0 a 1 a n δ ij = b a i+ j+ 1 i+ j+ 1 i+ j+ 1 Matriz tipo Hilbert! a b x 0 f x dx a b x 1 f x dx a b x n f x dx

9 1) Motivación 2: Mínimos Cuadrados = p ( x) 3 Sea f ( x) sin( π x). Determinemos polinomio de grado 3 según MC: 1 1/2 1/3 1/4 1/2 1/3 1/4 1/5 1/3 1/4 1/5 1/6 1/4 1/5 1/6 1/7 a 0 a 1 a 2 a 3 p x x x 2/ 1/ / / ( ) = sin(pi*x) v/s p 3 (x) sin(pi*x) v/s -1/20+103/25x-103/25x 2 0 GHO SEL - MA33A x

10 1) Motivación 2: Mínimos Cuadrados Ejemplo 1: f ( x) = sin( x) f( x) = sin( x) p( x) GHO SEL - MA33A 10 5,6 = akx k = 0 k i

11 1) Motivación 2: Mínimos Cuadrados Ejemplo 2: y=x/(x 2 +1) 7th degree 9th degree -0.2 f( x) = px ( ) px ( ) x 7 2 = ax k k = 0 9 k = 0 x + 1 = ax k k i k i GHO SEL - MA33A 11

12 1) Motivación 3: Programación Lineal t min cx x n Ax b z T c x n = ckx k = 1 k x 0 Región Factible Ax b x 2 x 0 Vértices x 1 GHO SEL - MA33A 12

13 2) Defs. y Resultados Básicos 1 Resolver un sistema de n ecuaciones lineales y n incógnitas consiste en determinar los valores de las variables: x 1, x,..., x 2 n tales que, dados: A = (a ij )yb = (b i ) (i =1,...,n ; j =1,...,n) se satisfagan las ecuaciones: Ax = b. a11 a12 a1 n x1 b1 a21 a22. a2n. x2 b2. = a a a x b n1 n2 nn n n GHO SEL - MA33A 13

14 2) Defs. y Resultados Básicos 2 Todo SEL se puede resolver bien numéricamente? Sea A R m n invertible y b R m. Entonces es posible demostrar que si se perturba A o b se tiene: δ x 1 δ A A A (1) δ x + x A δ x A x A 1 δb (2) b GHO SEL - MA33A 14

15 2) Defs. y Resultados Básicos 3 La norma de C R m n se define según: n n n C = max cij max c1 j,..., c = nj i= 1,..., n i= 1,..., n j= 1 j= 1 j= 1 Se define el número de condicionamiento* de A según: cond ( A) = A A Se tiene que: cond (A) 1. GHO SEL - MA33A 15 *Revisar cálculo del cond(a) en Matlab 1

16 2) Defs. y Resultados Básicos 4 Veamos un ejemplo: A = b = x = A+δA = b = x = Se tiene: cond(a) = = !!! El sistema es mejor condicionado si se tiene que cond (A) esta cerca de 1 (Mat. de Hilbert) GHO SEL - MA33A 16

17 MN para Sist. de Ecs. Lineales 3) Método de Gauss 1 Método de Gauss sin Anulación de Pivote: Parte 1: Eliminación de variables bajo la diagonal en las ecuaciones mediante operaciones elementales: Multiplicar una ecuación por un real Sumar dos ecuaciones Se entonces producen ceros bajo la diagonal. Parte 2: Sustitución backward de las variables en las ecuaciones GHO SEL - MA33A 17

18 MN para Sist. de Ecs. Lineales 3) Método de Gauss 2 Sustitución Backwards: x n = u n( n+ 1) u nn 1 n xk = uk( n+ 1) ukjxj k = ( n 1),...,1 ukk j= k+ 1 Veamos un ejemplo. GHO SEL - MA33A 18

19 3) Método de Gauss 3 Estrategias de Pivoteo En la iteración k de la primera etapa del método de Gauss es posible que el pivote a k ii (elementos de la diagonal de la ecuación i) se anule. En este caso se permuta la ecuación i con la ecuación m de mayor pivote en módulo (pivoteo parcial): a k mi a k ji para. todo j = i+1,,n Investigue la estrategia de pivoteo completo GHO SEL - MA33A 19

20 3) Método de Gauss 4: # de Ops Una medida de la eficiencia de un algoritmo es el tiempo que demora en ejecutarse, el cual es proporcional al número de operaciones aritméticas (ops) n-1 Ops_Gauss(n) = i=1 ±,, n i=1 (n - i)(2n - 2i + 6) (2i - 1) Parte 1 O(n 3 ) GHO SEL - MA33A 20 + Parte 2 O(n 2 )

21 3) Método de Gauss - Jordan: El método de Gauss Jordan consiste en aplicar 2 veces la primera parte del método de Gauss, es decir: triangularizar superior e inferiormente la matriz A n-1 Ops_G-J(n) = (n - i)(2n - 2i + 6) i=1 + ±,, n-1 i=1 4i + n Parte 2 O(n 2 ) Parte 1 O(n 3 ) GHO SEL - MA33A 21

22 4) Análisis de Error del M. de Gauss: Es posible hacer un análisis de propagación de errores, que se obtienen al realizar las operaciones aritméticas de la primera y segunda etapa del método de Gauss o Gauss Jordan Se demuestra que esta propagación de errores disminuye si se utiliza alguna técnica de pivoteo (parcial o completo) GHO SEL - MA33A 22

23 5) Matriz Inversa y Determinante 1: Matriz inversa A: Se aplica el método de Gauss Jordan al SEL aumentado con las columnas de la matriz identidad a 11 a 12 a 1n a 21 a 22 a 2n a n1 a n2 a nn GHO SEL - MA33A 23

24 5) Matriz Inversa y Determinante 2: El det(a) se puede definir recursivamente mediante la fórmula de Laplace: n i+ j det( A) = ( 1) aij det( Aij ) j= 1 Fórmula válida para cualquier fila i o columna j Matriz Cofactor ij de A Se obtiene eliminando fila i y columna j GHO SEL - MA33A 24

25 5) Matriz Inversa y Determinante 3: Propiedades del Determinante: a) Si todos los coeficientes de una fila o columna de A son ceros det(a) = 0 b) Si dos o más filas o columnas de A son linealmente dependientes det(a) = 0 c) Si se reemplaza la fila i (F i ) por la fila j (F j ) donde i j entonces det(a ) = -det(a) d) Si se reemplaza la fila i (F i ) por (F i + λf j ) donde i j entonces det(a ) = det(a) GHO SEL - MA33A 25

26 5) Matriz Inversa y Determinante 4: Propiedades del Determinante: e) Si A y B son dos matrices cuadradas de igual tamaño: det(ab) = det(a)det(b) f) det(a t ) = det(a) g) Si A es invertible: det(a -1 ) = 1/det(A) h) Si A es una matriz triangular inferior, superior o diagonal: det( A) k = 1 GHO SEL - MA33A 26 n = a kk

27 5) Matriz Inversa y Determinante 5: Para calcular el det(a) se aplica el método de Gauss y la descomposición A = LU: Efectivamente, si se puede triangularizar la matriz A, entonces: PA = LU det(a) = det(p T LU) det(a) = det(p T )det(l)det(u) = det(p T )det(u) det( U) n = u k= 1 kk GHO SEL - MA33A 27

28 6) Factorización de Matrices 1: A=LU Descomposición A = LU (Alg. Gauss) m m 31 m u u 12 u 22 0 u 1n-1 u 2n-1 u n-1n-1 u 1n u 2n m n1 m n2 m nn u nn L A = LU U GHO SEL - MA33A 28

29 6) Factorización de Matrices 2: Crout Una matriz A cuadrada es tridiagonal si sus coeficientes no nulos se ubican en las diagonales principal y secundarias A a 11 a a 21 a 22 a a 32 a 33 a a 43 a a nn 1 a nn GHO SEL - MA33A 29

30 6) Factorización de Matrices 3: Crout Una matriz A cuadrada tridiagonal puede ser factorizada según A=LU donde: l l 21 l l 32 l l 43 l l nn 1 l nn 1 u u u n 1n L GHO SEL - MA33A 30 U

31 6) Factorización de Matrices 4: Crout Método de Crout para matrices tridiagonales: Paso 1: l 11 a 11 a 12 l 11 u 12 Paso 2: Para i=2,,n-1 l i i 1 a i i 1 l ii a ii l i i 1 u i 1 i Paso 3: u i i 1 a i i 1 l ii l n n 1 a n n 1 l nn a nn l n n 1 u n 1 n GHO SEL - MA33A 31

32 6) Fact. de Matrices 5: Cholesky Una matriz cuadrada A es definida positiva si y solo si: x t Ax > 0 para todo x R n Teorema: Si A es definida positiva: a) det(a) 0 b) a kk > 0 para todo k=1,,n c) d) max a max kj 1 k, j n 1 k n 2 ( ij ) ii jj a kk a < a a i j GHO SEL - MA33A 32

33 6) Fact. de Matrices 6: Cholesky Teorema: A es definida positiva si y solo si los determinantes de las matrices cofactores principales son positivos: det(a kk ) > 0 para todo k=1,,n. A kk = a 11 a k1 a 1k a kk Matriz cofactor principal k GHO SEL - MA33A 33

34 6) Fact. de Matrices 7: Cholesky Teorema: A es definida positiva si y solo si puede factorizarse como A = LL T donde L es una matriz triangular inferior con l ii > 0 para todo i=1,,n. En este caso para resolver un SEL Ax = b se debe aplicar la sustitución forward - backward GHO SEL - MA33A 34

35 6) Fact. de Matrices 8: Met. Cholesky Paso 1: l 11 a 11 Paso 2: Para j=2,,n l j1 a j1 /l 11 Paso 3: Para i=2,,n-1 l ii a ii Para j=(i+1),,n l ji n 1 Paso 4: l nn a nn GHO SEL - MA33A 35 k 1 2 l nk 1/2 i 1 k 1 2 l ik 1/2 i 1 a ji k 1 l ii l jk l ik

36 6) Fact. Matrices 9: Ortogonalización Factorización QR: A = QR Q matriz ortogonal: Q t Q = I (Gram-Schmidt) R = Q t A Factorización SVD: A nxm = USV t U nxn, V mxm matrices ortogonales S nxm matriz valores singulares (raíz v.p. A t *A) GHO SEL - MA33A 36

37 7) Métodos Iterativos para SEL 1: Métodos Iterativos: x (0) R n x (k+1) = F(x (k) ) k 0 Los métodos para SEL son de la forma: F(x (k) ) = Bx (k) + h donde B R n n, h R n GHO SEL - MA33A 37

38 7) Métodos Iterativos para SEL 2: En general se construyen B y h de la siguiente forma: Sean M y N R n n tales que: M es invertible y A = M N Entonces: Ax = b Mx = Nx + b x = M -1 Nx + M -1 b Esto sugiere definir: B = M -1 N y h = M -1 b GHO SEL - MA33A 38

39 7) Métodos Iterativos para SEL 3: Luego, si descomponemos A = (a ij ) invertible según: A = diag(a) + low(a) + up(a) Donde diag(a), low(a), up(a) R n n se definen según: diag(a) ij = a ij si i = j 0 si i j GHO SEL - MA33A 39

40 7) Métodos Iterativos para SEL 4: low(a) ij = a ij si i > j 0 si i j up(a) ij = a ij si i < j 0 si i j En base a estas definiciones se tienen los métodos de Jacobi y Gauss - Seidel GHO SEL - MA33A 40

41 7) Métodos Iterativos para SEL 5: Jacobi: define M y N según: M = diag(a) N = -[low(a) + up(a)] B = - diag(a) -1 [low(a) + up(a)] h = diag(a) -1 b GHO SEL - MA33A 41

42 7) Métodos Iterativos para SEL 6: Si x (k) = (x i (k) ) i = 1,,n es el vector de la iteración k del método de Jacobi, entonces satisface la siguiente fórmula iterativa: n ( k 1) ax ij j + b i j= 1 ( k ) j i xi = 1 i n, k = 1,2,3... a ii GHO SEL - MA33A 42

43 7) Métodos Iterativos para SEL 7: Gauss - Seidel: define M y N según M = [diag(a) + low(a)] N = - up(a) B = - [diag(a) + low(a)] -1 [up(a)] h = [diag(a) + low(a)] -1 b J y G-S convergen x 0 si A es estrictamente diagonal dominante: a n kk > a k kj = 1,..., n j= 1, j k GHO SEL - MA33A 43

44 7) Métodos Iterativos para SEL 8: Si x (k) = (x i (k) ) i = 1,,n es el vector de la iteración k del método de Gauss-Seidel, satisface la siguiente fórmula iterativa: i 1 n ( k) ( k 1) ax ij j ax ij j + bi ( k ) j= 1 j= i+ 1 xi = 1 i n, aii k = 1,2,3... GHO SEL - MA33A 44

45 7) Métodos Iterativos para SEL 9: Si x (k) = (x i (k) ) i = 1,,n es el vector de la iteración k del método de SOR, satisface la siguiente fórmula iterativa: x + = (1 ω) x + ω a ( k) ( k 1) i i i 1 n ( k) ( k 1) ax ij j ax ij j bi j= 1 j= i+ 1 1 i n, k = 1,2,3... ii GHO SEL - MA33A 45

46 7) Métodos Iterativos para SEL 10: Para matrices tridiagonales y definidas positivas, el valor óptimo de ω está dado por la fórmula: T Donde: 1 T = [ Diag( A)] ( Low( A) + Up( A)) J T = Diag A + Low A Up A G 1 [ ( ) ( )] ( ) GHO SEL - MA33A 46

47 7) Métodos Iterativos para SEL 11: Si A es definida positiva, el método del gradiente conjugado está dado por: Paso 0: Paso 1: Paso 2: t t min qx ( ) = xax xb Ax= b x n 1 2 x, g = Ax b, d = g k t k k ( g ) d α = k t k ( d ) Ad 0 n k 1 k k k + = +α x x d GHO SEL - MA33A 47

48 7) Métodos Iterativos para SEL 12: Método del gradiente conjugado: Paso 3: Paso 4: Paso 5: β k+ 1 k+ 1 g = Ax b k = k+ 1 t k ( g ) ( d ) Ad k t k Ad k+ 1 k+ 1 k k d = g + β d Si no hay errores de redondeo el método del gradiente conjugado converge en a lo más n iteraciones. GHO SEL - MA33A 48

49 7) Métodos Iterativos para SEL 13: Análisis de Error de los Métodos Iterativos Es posible hacer un análisis de propagación de errores que se obtienen al realizar las operaciones aritméticas de las iteraciones del método de Jacobi y Gauss Seidel Si x (k) es la iteración k de J o G-S y Ax = b: x x b Ax A A x b ( k) ( k) 1 cond(a) GHO SEL - MA33A 49

50 7) Métodos Iterativos para SEL 14: Si A es una matriz cuadrada, el polinomio en λ definido por: p(λ) = det(a- λi) es el polinomio característico de A El polinomio p es de grado n y tiene a lo más n raíces distintas (complejas). Estas raíces de p se denominan valores propios de A. GHO SEL - MA33A 50

51 7) Métodos Iterativos para SEL 15: Definición: El radio espectral de A: ρ(a) se define como: ρ(a) = max λ i donde λ i es un valor propio de A Proposición: Si A es una matriz cuadrada: a) A 2 = ρ(a t A) ½ b) ρ(a) A i=1,,n GHO SEL - MA33A 51

52 7) Métodos Iterativos para SEL 16: La relación entre métodos iterativos para SEL y valores propios la establece los siguientes resultados: Proposición: Si x k es la iteración k de un método iterativo para un SEL que tiene la forma: x k+1 = Tx k + c y Ax = b Entonces: Para k x k x ρ(t) k x 0 x GHO SEL - MA33A 52

53 7) Métodos Iterativos para SEL 17: Proposición: Si x k es la iteración k de un método iterativo para un SEL que tiene la forma: x k+1 = Tx k + c y Ax = b Entonces: x k x ssi ρ(t) < 1 Proposición: Si los métodos de Jacobi y Gauss-Seidel convergen se tiene que: 0 ρ(t GS ) < ρ(t J ) < 1 GHO SEL - MA33A 53

54 Bibliografía 1) R. Burden & J. D. Faires, Análisis Numérico, Séptima Edición, Thomson Learning, ) J. Stoer & R. Burlisch, Introduction to Numerical Analysis, Second Edition, Springer, ) G. Hernández O.: Apuntes de Cálculo Numérico 2007 GHO SEL - MA33A 54