Ceros de Funciones: Multivariable

Ceros de Funciones: Multivariable Prof. Marlliny Monsalve 1 1 Postgrado en Ciencias de la Computación Universidad Central de Venezuela Análisis Numérico May 19, 2015 Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 1 / 21

Método de Newton: Caso escalar Problema Dada f : R R. Hallar x R tal que f (x ) = 0 Recta l(x) = f (x k ) + f (x k )(x x k ) Próximo iterado l(x k+1 ) = 0 x k+1 = x k f (x k ) f (x k ) Método de Newton: Caso real 1: Dado x 0 R 2: for k = 0, 1, do 3: f (x k )p k = f (x k ) Para p k 4: x k+1 = x k + p k 5: end for Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 2 / 21

Método de Newton: Caso escalar Teorema del Valor Medio (TVM): Sea f diferenciable en [a, b]. Recta: Justificada en el TVM f (x) = f (y) + f (δ)(x y), x, y [a, b] y δ (a, b) Usando y = x k y tomando f (δ) f (x k ) l(x) = f (x k ) + f (x k )(x x k ) HACIA DONDE VAMOS NO HAY TVM Teorema Fundamental del Cálculo (TFC): Sea f continua en (a, b). Recta: Justificada en el TFC f (x) = f (y) + x y f (z)dz, x, y (a, b) Usando y = x k y tomando x x k f (z)dz f (x k )(x x k ) l(x) = f (x k ) + f (x k )(x x k ) Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 3 / 21

Definiciones preliminares Bola abierta Dados a, r R con r positivo. Una bola abierta es el conjunto definido como B(a, r) = {x R n : x a < r} B(a, r) se lee Bola centrada en a de radio r Punto interior Sea S R n y sea a S. Se dice que a es un punto interior de S si existe una bola abierta centrada en a tal que todos sus puntos pertenecen a S Conjunto abierto Un conjunto S R n es abierto si todos sus puntos son puntos interiores. Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 4 / 21

Derivada Direccional Sea f : D R con D R n La derivada direccional de f en x en la dirección de p R n no nulo se define como: f p (x) = f f (x + hp) f (x) (x, p) = lim. h 0 h Si p = e k (vector canónico) entonces f (x, e k ) se denomina derivada parcial de f en x f en la dirección de e k y se denota por (x) x k Importante: En R, la derivada en x implica continuidad de f en x PERO en R n, la existencia de todas las derivadas direccionales en un punto x NO garantiza la continuidad en x (problema.m) { 0 si x1 = 0 f (x 1, x 2 ) = x 1 x2 2 si x 1 0 x 2 1 +x4 2 Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 5 / 21

Derivada Total Sea f : D R con D R n Se dice que f es diferenciable en x si existe una transformación lineal T x : R n R y una función escalar E(x, s) tal que: f (x + s) = f (x) + T x(s) + s E(x, s), con s < r y lim E(x, s) = 0 s 0 con s < r y lim s 0 E(x, s) = 0. T x se denomina derivada total de f en x. Teorema f Si, f,..., f existen en B(x, ɛ) y son continuas en x, entonces f es x 1 x 2 x n diferenciable en x, y se dice que f es continuamente diferenciable (CD) en x. Importante Si f es diferenciable en un punto x, entonces f es continua en x Si f es CD en cada punto del conjunto abierto D R n, se dice que f es CD en D lo cual se denota por f C(D) Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 6 / 21

Cálculo Multivariable: f : D R con D R n Teorema: Sobre derivadas de 1er orden Sea f C(D) con derivada total T x. Entonces f (x) (derivada direccional de p f en x en la dirección de p) existe para todo x D y se tiene que Más aún donde f (x) = f p (x) = T x(p). f p (x) = T f (x)p = f (x), p, se denomina vector gradiente de f en x. [ f (x), f (x),..., f ] T (x), x 1 x 2 x n Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 7 / 21

Cálculo Multivariable: f : D R con D R n Teorema 2 f Si las segundas derivadas parciales de f, (x) con 1 i, j n existen x i x j en B(x, ɛ) y además son continuas, entonces f es dos veces diferenciable en x. En este caso se dice que f es dos veces CD en x. Importante Si f es dos veces CD en cada punto del conjunto abierto D R n, se dice que f es dos veces CD en D lo cual se denota por f C 2 (D). Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 8 / 21

Cálculo Multivariable: f : D R con D R n Teorema: Sobre derivadas de 2do orden Sea f C 2 (D). Entonces 2 f (x) (segunda derivada direccional de f en x en p2 la dirección de p) existe para todo x D y se tiene que Más aún 2 f (x) = lim p2 h 0 f f p (x + hp) h 2 f p 2 (x) = pt 2 f (x)p p (x). donde 2 f (x) es una matriz simétrica de n n, denominada Hessiana de f en x, cuyo elemento ij se define como [ 2 f (x)] ij = 2 f x i x j (x) 1 i, j n Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 9 / 21

Teorema de Taylor Sea f : D R con D R n Suponga que f C(D) y x, x + p D no nulos. Entonces se tiene que f (x + p) = f (x) + 1 0 f (x + tp)p dt, (TFC) y f (x + p) = f (x) + f (x + tp) T p, (TVM) para algún t (0, 1). Más aún, si f C 2 (D), entonces se tiene que y f (x + p) = f (x) + 1 0 2 f (x + tp)p dt, f (x + p) = f (x) + f (x) T p + 1 2 pt 2 f (x + tp)p, para algún t (0, 1). Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 10 / 21

Ejemplo: f (x) = x 2 1 2x 1 + 3x 1 x 2 2 + 4x 3 2 f (x + p) = f (x) + f (x + tp) T p. Gradiente [ 2x1 2 + 3x f (x) = 2 2 6x 1 x 2 + 12x2 2 ] Usando x = (1, 1) T y p = ( 2, 1) T, se tiene que f (x + p) = 23 f (x) = 6 Tomando z = x + tp con t = (7 19)/6: f (z) T = [4.4617, 25.9233] T y f (z) T p = 17 23 = f (x + p) = f (x) + f (z) T p = 6 + 17 = 23 Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 11 / 21

Ejemplo: f (x) = x 2 1 2x 1 + 3x 1 x 2 2 + 4x 3 2 f (x + p) = f (x) + f (x) T p + 1 2 pt 2 f (x + tp)p Hessiana [ 2 2 6x2 f (x) = 6x 2 6x 1 + 24x 2 ] Usando x = (1, 1) T y p = ( 2, 1) T, se tiene que f (x + p) = 23 f (x) = 6 f (x) t = [3, 18] t y f (x) T p = 12 Tomando z = x + tp con t = 1/3: 1 2 pt 2 f (z)p = 5 23 = f (x + p) = f (x) + f (x) T p + 1 2 pt 2 f (z)p = 6 + 12 + 5 = 23 Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 12 / 21

Problemas de interés Sistemas de ecuaciones no lineales Dada F : R n R n. Hallar x R n tal que F(x ) = 0. Minimización Dada f : R n R. Hallar x R n solución de min f (x). x R n Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 13 / 21

Sistemas de ecuaciones no lineales: F : R n R m (m = n) Matriz Jacobiana Una función continua F(x) = [f 1 (x),... f m (x)] con f i : R n R se dice que es continuamente diferenciable (CD) en x R n, si cada función componente f i con i = 1, 2..., m es CD en x. La derivada de F conocida como matriz Jacobiana, se define como Nota J(x) = F (x) = f 1 (x) T f 2 (x) T. f m (x) T F es CD en un abierto D R n, si es CD en cada punto de D. Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 14 / 21

Ejemplo: f 1 (x) = e x 1 x 2 y f 2 (x) = x 2 1 2x 2 Jacobiana [ e x 1 1 J(x) = 2x 1 2 ] Usando x = (0, 0) T y p = (1, 1) T, se tiene que F(x + p) = [e 1, 1] T F(x) = [1, 0] T J(z)p = [e z 1 1, 2z 1 2] T NO existe z R n tal que F(x + p) = [ e 1 1 ] = Importante [ 1 0 No hay TVM!! ] [ e z 1 1 + 2z 1 2 ] = F(x) + J(z)p Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 15 / 21

Método de Newton: Multivariable Teorema Fundamental del Cálculo (TFC) Sea f continua en (a, b) f (x) = f (y) + x, y (a, b) x y f (z)dz, Recta: Justificada en el TFC Usando y = x k y x x k f (z)dz f (x k )(x x k ) l(x) = f (x k ) + f (x k )(x x k ) TFC: Multivariable Sea F : R n R m CD en un convexo abierto D R n. Para cualquier x, x + p D: F(x + p) F(x) = 1 Modelo: Justificado en el TFC Multivar Usando x = x k y x+p J(x + tp)p dt = 0 x x+p J(z) dz J(z) dz J(x k )p L(x k + p) = F(x k ) + J(x k )p x Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 16 / 21

Método de Newton: Caso multivariable Problema Dada F : R n R n. Hallar x R n tal que F(x ) = 0 Modelo L(x k + p) = F (x k ) + J(x k )p Próximo iterado: x k+1 = x k + p k L(x k + p k ) = 0 F(x k ) + J(x k )p k = 0 Valor exacto en x k + p k F (x k + p k ) = F (x k ) + x k +p k x k Valor aproximado en x k + p k J(z) dz Método de Newton: Caso multivar 1: Dado x 0 R n 2: for k = 0, 1, do 3: J(x k )p k = F(x k ) Para p k 4: x k+1 = x k + p k 5: end for Error L(x k + p k ) = F(x k ) + J(x k )p k F (x k + p k ) L(x k + p k ) Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 17 / 21

Método de Newton: Caso multivar Error F(x k + p k ) L(x k + p k ) = F(x k + p k ) F(x k ) J(x k )p k Lema Sea F : R n R m CD en un convexo abierto D R n. Sea x D y sea J (Jacobiano) Lipschitz continua en una vecindad de x. Si usamos norma vectorial y su correspondiente norma matricial inducida, se tiene que para cualquier x + p D se cumple F (x + p) F(x) J(x)p γ 2 p 2, siendo γ la constante de Lipschitz. Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 18 / 21

Convergencia y Velocidad para Métodos tipo Newton Hipótesis Estándar (HE) 1 Sea D R n abierto y convexo. 2 F : R n R n CD en D. 3 Existe x D, tal que F(x ) = 0, y J(x ) es no singular. 4 J es Lipschitz con constante σ alrededor de x. 5 J(x ) 1 β. Convergencia y Velocidad Existen ɛ > 0 y ϕ > 0 tal que SI x 0 D B(x, ɛ) y una sucesión {A k } R n n tal que A k J(x k ) ϕ k < ϕ, x ENTONCES la secuencia {x k } k 0 generada por x k+1 = x k A 1 k F(x k ) está bien definida, converge a x y además x k+1 x β[σ x k x + 2ϕ k ] x k x. Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 19 / 21

Convergencia y Velocidad de Newton Hipótesis Estándar (HE) 1 Sea D R n abierto y convexo. 2 F : R n R n CD en D. 3 Existe x D, tal que F(x ) = 0, y J(x ) es no singular. 4 J es Lipschitz con constante σ alrededor de x. 5 J(x ) 1 β. Convergencia y Velocidad Existe ɛ > 0 tal que SI x 0 B(x, ɛ) ENTONCES la secuencia {x k } k 0 generada por el método de Newton está bien definida, converge a x y además x k+1 x βσ x k x 2. Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 20 / 21

Newton: Ventajas y Desventajas Ventajas 1 Convergencia SI se inicia en una vecindad de la solución. 2 Con velocidad q-cuadrática a x. 3 Si F es lineal, convergencia en 1 iteración. Desventajas 1 No es un método de convergencia global (se puede arreglar). 2 Requiere de J(x k ) en cada iteración. 3 Solución de un SEL por iteración donde la matriz de coeficientes puede ser singular o estar muy mal condicionada. Prof. Monsalve (UCV) Ceros Multivariable May 19, 2015 21 / 21