Análisis aplicado. José Luis Morales. Departamento de Matemáticas. ITAM

Transcripción

1 Departamento de Matemáticas. ITAM

2 Consideraciones jmorales Temas del curso + bibliografía. Exámenes, proyectos. Aprender haciendo Trabajo individual

3 Consideraciones jmorales Temas del curso + bibliografía. Exámenes, proyectos. Aprender haciendo Trabajo individual

4 Consideraciones jmorales Temas del curso + bibliografía. Exámenes, proyectos. Aprender haciendo Trabajo individual

5 Consideraciones jmorales Temas del curso + bibliografía. Exámenes, proyectos. Aprender haciendo Trabajo individual

6 Consideraciones jmorales Temas del curso + bibliografía. Exámenes, proyectos. Aprender haciendo Trabajo individual

7 Consideraciones jmorales Temas del curso + bibliografía. Exámenes, proyectos. Aprender haciendo Trabajo individual

8 El problema por resolver minimizar sujeta a f (x) l x u en donde f es una función 2 veces continuamente diferenciable. La notación x u indica x i u i, i = 1,...,n

9 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

10 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

11 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

12 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

13 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

14 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

15 Dificultades técnicas (casos reales) No es posible encontrar una solución en forma cerrada. f no convexa el número de variables, n 10 6 algoritmos: {x k }, k = 0,1,... calcular/aproximar: f (x), f (x), 2 f (x) x N : aproximación a un minimizador local x.

16 Optimización con restricciones generales minimizar f (x) x R n sujeta a c(x) 0, Reformulación con variables de holgura minimizar x R n, s R m f (x) sujeta a c(x) s = 0, s 0 L k : T 2 minimizar x R n f (x) (c(x) s) λ k + µ k c(x) s sujeta a s 0 λ vector de multiplicadores de Lagrange, µ parámetro de penalización. µ k.

17 Optimización con cotas simples. minimizar f (x), x R n sujeta a l x u. Alternativas Métodos de puntos interiores. Métodos basados en conjuntos activos. Métodos estudiados en el curso de programación lineal.

18 Estadística Conjunto de observaciones: {x i, i = 1,2,...,n}. Función de distribución de probabilidades: f (k,λ;x) = λk Γ(k) xk 1 e λx, Γ(k) = 0 s k 1 e s ds Estimar los parámetros (k,λ) a partir de las observaciones siguiendo el principio de máxima verosimilitud. maximizar k,λ n f (k,λ;x i ) i=1

19 Estadística Conjunto de observaciones: {x i, i = 1,2,...,n}. Función de distribución de probabilidades: f (k,λ;x) = λk Γ(k) xk 1 e λx, Γ(k) = 0 s k 1 e s ds Estimar los parámetros (k,λ) a partir de las observaciones siguiendo el principio de máxima verosimilitud. maximizar k,λ n f (k,λ;x i ) i=1

20 Estadística Conjunto de observaciones: {x i, i = 1,2,...,n}. Función de distribución de probabilidades: f (k,λ;x) = λk Γ(k) xk 1 e λx, Γ(k) = 0 s k 1 e s ds Estimar los parámetros (k,λ) a partir de las observaciones siguiendo el principio de máxima verosimilitud. maximizar k,λ n f (k,λ;x i ) i=1

21 Estadística Conjunto de observaciones: {x i, i = 1,2,...,n}. Función de distribución de probabilidades: f (k,λ;x) = λk Γ(k) xk 1 e λx, Γ(k) = 0 s k 1 e s ds Estimar los parámetros (k,λ) a partir de las observaciones siguiendo el principio de máxima verosimilitud. maximizar k,λ n f (k,λ;x i ) i=1

22 Reconstrucción de imágenes (deconvolución) Ax = y, A R n n A modela la distorsión; A muy mal condicionada. x es la imagen real. y es la imagen nublada minimizar x R n Ax y δ x 2 2, Ejemplo: A R ; x R

23 Ajuste de parámetros Modelo lineal Ax = y, A R m n, m > n A es de rango completo; x es el vector de parámetros; y es el vector de observaciones. y no está en el espacio generado por las columnas de A. Obtener un vector x sparse. Minimizar el número de parámetros. minimizar x R n Ax y δ x 1,

24 Ajuste de parámetros Modelo lineal Ax = y, A R m n, m > n A es de rango completo; x es el vector de parámetros; y es el vector de observaciones. y no está en el espacio generado por las columnas de A. Obtener un vector x sparse. Minimizar el número de parámetros. minimizar x R n Ax y δ x 1,

25 Ajuste de parámetros Modelo lineal Ax = y, A R m n, m > n A es de rango completo; x es el vector de parámetros; y es el vector de observaciones. y no está en el espacio generado por las columnas de A. Obtener un vector x sparse. Minimizar el número de parámetros. minimizar x R n Ax y δ x 1,

26 Objetivos generales Formular y resolver problemas reales utilizando métodos de optimización. Estudiar algoritmos que resuelven eficientemente el problema de optimización sin restricciones. Un algoritmo genera una sucesión de aproximaciones {x k } k=0 x, x es un minimizador local de f. Teoría de convergencia global: x 0 cualquier aproximación inicial. Teoría de convergencia local. Tasa cuadrática/superlineal.

27 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

28 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

29 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

30 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

31 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

32 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

33 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

34 Contenido 1 Motivación y antecedentes 2 Fundamentos. Caracterización de una solución. 3 Algoritmos I: búsquedas lineales. Análisis de convergencia. 4 Algoritmos II: regiones de confianza. Análisis de convergencia. 5 Gradiente conjugado. Análisis de convergencia. 6 Métodos de Newton prácticos. 7 Métodos quasi-newton. Análisis de convergencia.

35 Motivación y antecedentes 1 Teorema de Taylor en varias variables. 2 Diferenciabilidad. Diferencias finitas. Diferenciación automática. 3 Propiedades teóricas de matrices simétricas. 4 Cálculo de valores y vectores propios de una matriz simétrica. 5 Matrices de rango 1. Fórmula de Sherman-Morrison-Woodbury. 6 Normas matriciales. Propiedades de normas. 7 Método de Newton y variantes. Análisis de convergencia local.

36 Direcciones de descenso f (x k + αp) = f (x k ) + α f (x k ) T p + α 21 2 pt 2 f (x k + θαp)p 0 < θ < 1, α > 0. p T k f k < 0, Modelo local cuadrático de f : m k (x k + p) = f k + p T f k pt B k p en donde B k es simétrica positiva definida. p k = argmin p m k (x k + p)

37 Propiedades de m k m k es una función diferenciable estrictamente convexa. Condición de optimalidad (KKT) Unicidad de la solución m k (p) = B k p k + f k = 0. p k = B 1 k f k. Descenso p T k f k = f T k B 1 k f k < 0.

38 Direcciones de descenso II Modelo local cuadrático de f : p T k f k < 0. m k (x k + p) = f k + p T f k pt B k p, en donde B k es simétrica (B k = 2 f (x)) p k = argmin p k m k (x k + p)