Análisis aplicado. Descenso suficiente.

Transcripción

1 José Luis Morales jmorales Departamento de Matemáticas. ITAM

2 El problema por resolver.

3 El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2.

4 El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Optimización diferenciable.

5 Cuantificar descenso. f (x k + αp k ) f (x k ) = αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p k es una dirección de descenso: f k p k < 0. Entonces es posible encontrar α k > 0 tal que f (x k+1 ) = f (x k + α k p k ) < f (x k ). Notación: al escalar α k se le llama el paso Riesgos

6 Cuantificar descenso. f (x k + αp k ) f (x k ) = αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p k es una dirección de descenso: f k p k < 0. Entonces es posible encontrar α k > 0 tal que f (x k+1 ) = f (x k + α k p k ) < f (x k ). Notación: al escalar α k se le llama el paso Riesgos Pasos cortos: α k 0 = f (x k ) f (x k+1 ) 0.

7 Cuantificar descenso. f (x k + αp k ) f (x k ) = αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p k es una dirección de descenso: f k p k < 0. Entonces es posible encontrar α k > 0 tal que f (x k+1 ) = f (x k + α k p k ) < f (x k ). Notación: al escalar α k se le llama el paso Riesgos Pasos cortos: α k 0 = f (x k ) f (x k+1 ) 0. Direcciones poco productivas. Ejemplo p T k f (x k) 0 = f (x k ) f (x k+1 ) 0

8 Contraejemplo A. Descenso insuficiente. (Pasos cortos.) Sea f (x) = x 2 con punto inicial x 0 = 2. La dirección de descenso siempre es p k = 1 con pasos α k = 2 k+1 {x k } = {2, 3 2, 5 4, 9 8,... } = {1 + 2 k }. f (x k ) decrece monótonamente y converge a 1, que no es un mínimo de f.

9 Contraejemplo B. Descenso insuficiente. (Direcciones zigzagueantes.) Sea f (x) = x 2 con punto inicial x 0 = 2. Las direcciones de descenso son p k = ( 1) k+1 con pasos α k = 2 + 3(2 k 1 ) {x k } = {2, 3 2, 5 4, 9 8,...} = {( 1)k (1 + 2 k ) f (x k ) decrece monótonamente y converge a 1, que no es un mínimo de f. La sucesión {x k } diverge y tiene dos puntos de acumulación.

10 Pasos cortos. Pasos cortos, descenso insuficiente f(x) = x x

11 Direcciones improductivas. 4 Direcciones zigzagueantes, descenso insuficiente f(x) = x x

12 Métodología para generar direcciones de descenso. Modelos locales: minimizar m(p) = f (x k ) + p T f (x k ) pt B k p,

13 Métodología para generar direcciones de descenso. Modelos locales: minimizar m(p) = f (x k ) + p T f (x k ) pt B k p, Método del gradiente B k = I, p k = f (x k )

14 Métodología para generar direcciones de descenso. Modelos locales: minimizar m(p) = f (x k ) + p T f (x k ) pt B k p, Método del gradiente B k = I, p k = f (x k ) Método de Newton ( 2 f (x k ) spd) B k = 2 f (x k ), p k = [ 2 f (x k )] 1 f (x k )

15 Métodología para generar direcciones de descenso. Modelos locales: minimizar m(p) = f (x k ) + p T f (x k ) pt B k p, Método del gradiente B k = I, p k = f (x k ) Método de Newton ( 2 f (x k ) spd) B k = 2 f (x k ), p k = [ 2 f (x k )] 1 f (x k ) Métodos cuasi-newton (B k spd) B k 2 f (x k ), p k = B 1 k f (x k)

16 Métodología para calcular los pasos Búsqueda lineal: Si p k es una dirección de descenso, entonces α k = arg min f (x k + αp k ), α (0,1]. En la práctica, búsqueda lineal inexacta, α k es una aproximación al primer minimizador local de f (x k + αp k ).

17 Método de máximo descenso EJEMPLO: Método de máximo descenso para cuadráticas estrictamente convexas: f (x) = a + b T x xt Ax, A spd. Escoger x 0 una aproximación inicial. Desde k = 0 hasta convergencia p k α k x k+1 = f k = arg min f (x k + αp k ) α = x k + α k p k α k = f T k f k f T k A f k

18 Método de Nelder-Mead. x 0 = (1, 1) T 2 x x

19 Método de gradiente. x 0 = (1, 1) T 2 x x

20 Método de gradiente. x 0 = (1.8, 0.1) T 2 x x