José Luis Morales http://allman.rhon.itam.mx/ jmorales Departamento de Matemáticas. ITAM. 2009.
El problema por resolver.
El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2.
El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Soluciones locales débiles: x R n, tal que existe una vecindad N(x ;ρ) f (x ) f (x), x N(x ;ρ)
El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Soluciones locales débiles: x R n, tal que existe una vecindad N(x ;ρ) f (x ) f (x), x N(x ;ρ) Optimización diferenciable.
El problema por resolver. Problemas reales que se pueden formular como: minimizar f (x), f : R n R, en donde f es una función con derivadas continuas de orden 2. Soluciones locales débiles: x R n, tal que existe una vecindad N(x ;ρ) f (x ) f (x), x N(x ;ρ) Optimización diferenciable. Aproximaciones para x.
Importancia del gradiente. Funciones cuadráticas f (x) = a + b T x + 1 2 xt Ax, f : R n R, A simétrica. f (x) = b + Ax. 5 0 5 10 15 20 25 15 10 5 0 5 10 15
Ejemplo f (x) = x 2 1 + 10x 2 2, x T 0 = (1,1), p 0 = f (x 0 ) nbis α f (x 0 + αp 0 ) f (x 0 ) 0 1.0000 3611.0000 11.0 1 0.5000 810.0000 11.0 2 0.2500 160.2500 11.0 3 0.1250 23.0625 11.0 4 0.0625 1.3906 11.0
Definición de dirección de descenso
Definición de dirección de descenso Descenso a primer orden. Sea p k R n f (x k + αp k ) = f (x k ) + αp T k f (x k) + O(α 2 ), α > 0.
Definición de dirección de descenso Descenso a primer orden. Sea p k R n f (x k + αp k ) = f (x k ) + αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p T k f (x k) < 0.
Definición de dirección de descenso Descenso a primer orden. Sea p k R n f (x k + αp k ) = f (x k ) + αp T k f (x k) + O(α 2 ), α > 0. Supongamos que p T k f (x k) < 0. Entonces existe α tal que para toda α < α f (x k + αp k ) < f (x k ). Definición: p k es dirección de descenso para f en el punto x k si y sólo si p T k f (x k) < 0.
Interpretación del gradiente Considerar el siguiente problema min p p T f (x k ), p 2 = 1, f (x k ) 0. El problema anterior es equivalente a resolver min θ = p 2 f (x k ) 2 cos θ Por lo tanto p = f (x k) f (x k ) 2. es la solución.
Ejemplo. Consideremos las direcciones siguientes en el punto x = (1,1) T : Naturalmente f (x) ˆp = f (x) p N pˆ N = p N 20.099... = ˆp T f (x) < pˆ T N f (x) = 15.55... Sin embargo, p N consigue un descenso de 11 unidades con α = 1. La dirección p alcanza un descenso de 10.66... unidades con α =.0545 (el valor óptimo de α).
Conclusiones.
Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría.
Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis.
Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis. La diferenciabilidad de f proporciona una dirección natural de descenso.
Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis. La diferenciabilidad de f proporciona una dirección natural de descenso. Otras direcciones de descenso: p T f (x k ) < 0.
Conclusiones. Descenso monótono en f. x k+1 = x k + α k p k. Contraejemplos. Construir teoría. La diferenciabilidad de f permite usar el teorema de Taylor para hacer análisis. La diferenciabilidad de f proporciona una dirección natural de descenso. Otras direcciones de descenso: p T f (x k ) < 0. Condiciones de optimalidad: Si x es un minimizador local de f entonces f (x ) = 0. Tarea.