Análisis aplicado. Direcciones de descenso.

Transcripción

1 José Luis Morales jmorales Departamento de Matemáticas. ITAM

2 El problema por resolver.

3 El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2.

4 El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Soluciones locales débiles: x R n, tal que existe una vecindad N(x ;ρ) f (x ) f (x), x N(x ;ρ)

5 El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Soluciones locales débiles: x R n, tal que existe una vecindad N(x ;ρ) f (x ) f (x), x N(x ;ρ) Optimización diferenciable.

6 El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Soluciones locales débiles: x R n, tal que existe una vecindad N(x ;ρ) f (x ) f (x), x N(x ;ρ) Optimización diferenciable. Aproximaciones para x.

7 Importancia del gradiente. Funciones cuadráticas f (x) = a + b T x xt Ax, f : R n R, A simétrica. f (x) = b + Ax

8 Ejemplo f (x) = x x 2 2, x T 0 = (1,1), p 0 = f (x 0 ) nbis α f (x 0 + αp 0 ) f (x 0 )

9 Definición de dirección de descenso

10 Definición de dirección de descenso Descenso a primer orden. Sea p k R n f (x k + αp k ) = f (x k ) + αp T k f (x k) + O(α 2 ), α > 0.

11 Definición de dirección de descenso Descenso a primer orden. Sea p k R n f (x k + αp k ) = f (x k ) + αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p T k f (x k) < 0.

12 Definición de dirección de descenso Descenso a primer orden. Sea p k R n f (x k + αp k ) = f (x k ) + αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p T k f (x k) < 0. Entonces existe α tal que para toda α < α f (x k + αp k ) < f (x k ). Definición: p k es dirección de descenso para f en el punto x k si y sólo si p T k f (x k) < 0.

13 Interpretación del gradiente Considerar el siguiente problema min p p T f (x k ), p 2 = 1, f (x k ) 0. El problema anterior es equivalente a resolver min θ = p 2 f (x k ) 2 cos θ Por lo tanto p = f (x k) f (x k ) 2. es la solución.

14 Ejemplo. Consideremos las direcciones siguientes en el punto x = (1,1) T : Naturalmente f (x) ˆp = f (x) p N pˆ N = p N = ˆp T f (x) < pˆ T N f (x) = Sin embargo, p N consigue un descenso de 11 unidades con α = 1. La dirección p alcanza un descenso de unidades con α =.0545 (el valor óptimo de α).

15 Conclusiones.

16 Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría.

17 Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis.

18 Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis. La diferenciabilidad de f proporciona una dirección natural de descenso.

19 Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis. La diferenciabilidad de f proporciona una dirección natural de descenso. Otras direcciones de descenso: p T f (x k ) < 0.

20 Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis. La diferenciabilidad de f proporciona una dirección natural de descenso. Otras direcciones de descenso: p T f (x k ) < 0. Condiciones de optimalidad: Si x es un minimizador local de f entonces f (x ) = 0. Tarea.