Ejercicios de optimización sin restricciones

Transcripción

1 Ejercicios de optimización sin restricciones Programación Matemática Licenciatura en Ciencias y Técnicas Estadísticas Curso 5/6 Indica la dirección que el método de Newton (sin modificaciones calcularía en el punto x ( T para el problema máx x x x + log x x Qué dirección tomaría el método de Newton modificado? Sería necesario modificar la matriz de coeficientes? Solución Para calcular la dirección de movimiento p mediante el método de Newton hemos de resolver un sistema de ecuaciones en cuyos coeficientes intervienen las primeras y segundas derivadas de las funciones que definen el problema que en nuestro caso valen: f(x x + x x ( x + x f(x Para el punto x obtenemos los siguientes valores: ( 3 f(x 3 f(x ( x x 4x ( x ( x 3 x ( 3 Con estos datos podemos formar el sistema de ecuaciones de Newton ( ( ( 3 5 f(x p f(x p 3 p 3 9 Esta sería la dirección que obtendría el método de Newton sin modificaciones; puede verse que dicha dirección es de descenso ya que f(x T p 8 pero como estamos maximizando esa no es la propiedad que deseamos tener en p debido a que no solo no nos acerca a un máximo sino que nos aleja del mismo Obsérvese que la matriz f(x es indefinida por lo que para aplicar el método de Newton modificado es necesario modificar la matriz de coeficientes del sistema de ecuaciones de manera que dicha matriz sea definida negativa (por ser un problema de maximización Una modificación posible del sistema anterior consiste en añadir un múltiplo de la identidad a la matriz de coeficientes Como los autovalores de la matriz Hessiana son 83 y 3 83 (obtenidos por ejemplo de los ceros del polinomio de segundo grado ( λ(3 λ 4 podemos restar 4 veces la identidad a dicha matriz Hessiana para obtener la matriz modificada B f(x 4I ( 5

2 y la solución del sistema modificado es ahora ( ( 5 3 p 3 p ( 9 Esta dirección sí es una dirección de ascenso con f(x T p 9 > Compara las direcciones que se obtendrían aplicando el método de Newton y un método de Newton modificado al problema en el punto x ( T máx x x x + log x x Solución Al igual que en el problema anterior comenzamos calculando las derivadas de la función objetivo del problema f(x x + x x ( x + x f(x ( x x 4x ( x ( x 3 x En el punto indicado los valores correspondientes a estas derivadas son ( ( 3 f(x f(x 3 3 Con estos valores calculamos la dirección de Newton y varias direcciones correspondientes al método de Newton modificado La dirección de Newton vale ( ( ( 3 5 f(x p f(x p p Los autovalores y autovectores de la matriz Hessiana H son tales que se cumple ( ( ( H V DV T donde V es la matriz de autovectores y D es la matriz de autovalores (en este caso se han obtenido utilizando Matlab De esta información tenemos que la matriz H no es definida negativa y debe ser modificada para asegurar que las direcciones obtenidas sean de ascenso Si modificamos la matriz restando un múltiplo de la identidad tenemos ( ( ( 484 M H γi y la dirección de movimiento es ( 484 M ˆp f(x ˆp 84 ( 3 3 ˆp ( Por último si sustituimos los autovalores positivos por su valor negativo obtenemos como matriz modificada ( ( ( ( M

3 y la dirección correspondiente es ( 7 M p f(x p ( 3 3 p ( 6 Para comparar las tres direcciones podemos mirar el descenso local en el punto esto es el valor de g T p/ p que nos mide la calidad local de la dirección (para considerar una medida mejor tendríamos que comparar el comportamiento completo en todas las iteraciones y ver que método necesita menos para calcular la solución Para este criterio tenemos g T p/ p 9 g T ˆp/ ˆp 39 g T p/ p 4 y de acuerdo con el criterio la mejor opción sería la última Además el tamaño de p es mucho más razonable que el de ˆp mientras que p es una dirección de descenso 3 Dado el problema máx x x + 3x x + x + x x 3 y el punto x ( T Para qué valores de γ sería p ( 4 γ T una dirección de movimiento aceptable en el método de Newton (modificado? Para el método de búsqueda lineal define σ y calcula una longitud de paso aceptable para γ 4 Solución Para el método de Newton modificado con búsqueda lineal las direcciones de movimiento aceptables deben cumplir que sean direcciones de ascenso (en este caso estamos maximizando En particular deberá cumplirse que f(x T p > En nuestro caso el gradiente de la función objetivo es: x + x 6x x ( x + x f(x 3x 3x x x f(x ( x + x + x 3 Para la dirección indicada y la condición deseada obtenemos x f(x T p 6 + γ > γ > 3/ / Para realizar la búsqueda lineal tomamos γ 4 Obsérvese que para este valor tenemos una dirección de descenso El criterio de terminación de la búsqueda lineal sería f(x + αp f(x + σα f(x T p y podría suceder que como la dirección que tenemos no es adecuada acabáramos con un punto peor que el inicial (el último término es negativo en este caso Tenemos los siguientes valores en nuestro caso: f(x 3 f(x T p 4 σ Si comenzamos probando con α obtenemos 5 x + p 5 f(x + p 7 5 > 3 5 f(x + σ f(x T p luego pese a que la dirección no es adecuada en este caso aceptaríamos α 3

4 4 Aplica una iteración del método de Newton modificado al problema mín x x ( + x ( + x partiendo del punto x ( T Toma σ Haz los cálculos correspondientes a una iteración para un método quasi-newton partiendo de la matriz B I Solución Se trata de emplear el método de Newton modificado en un problema sin restricciones Para ello necesitamos las derivadas de la función objetivo Estas son: f(x ( + x ( + x x ( + x ( + x ( + x f(x 3 ( + x ( + x ( + x x ( + x ( + x ( + x ( + x 3 Con estos datos podemos aplicar el método de Newton a partir de x ( T En cualquiera de los dos métodos comenzamos por calcular el gradiente y comprobar si es suficientemente pequeño como para poder considerar el punto indicado como solución del problema El gradiente vale ( f(x f(x El punto no parece ser solución A continuación aplicamos en primer lugar el método de búsqueda lineal Para ello calculamos una dirección de movimiento a partir del sistema de Newton f(x p f(x pero modificamos dicho sistema si la matriz de coeficientes no es definida positiva En nuestro caso la matriz de segundas derivadas en x vale ( f(x 4 4 y esta matriz no es definida positiva (es indefinida Para modificarla por ejemplo sumamos a la matriz Hessiana la matriz identidad multiplicada por (un poco mayor que el menor autovalor 59 obtenido por ejemplo de las raíces de ( λλ /6 La matriz resultante es M ( 5 5 y el sistema a resolver y la dirección resultante son ( ( 5 5 M p f(x p 5 p ( Una vez conocida la dirección de movimiento p a continuación determinamos una longitud de paso adecuada Debemos encontrar un valor de α para el que se cumpla que f(x + αp f(x + σα f(x T p 4

5 donde podemos calcular que f(x y f(x T p 69 (negativo como debiera ser Tomamos σ Si comenzamos probando con α obtenemos f(x + p f(x + σ f(x T p 7 Como no se cumple la condición este valor de α no es aceptable y probamos de nuevo con α / Obtenemos ahora f(x + αp 49 f(x + σα f(x T p 8 Este valor de α no es aceptable y probamos con α /4 Obtenemos f(x + αp 99 f(x + σα f(x T p 4 Este valor sí es aceptable y tomamos α /4 El nuevo punto vendrá dado por x x + α p ( 85 8 A partir de aquí se volvería a repetir el proceso anterior Para el método quasi-newton comenzamos por calcular la dirección de movimiento a partir de ( ( ( 5 5 B p f(x p p Para llevar a cabo la búsqueda lineal comenzamos probando con α obteniendo f(x + p 7 f(x + σ f(x T p y la condición de descenso suficiente se cumple (el problema es de minimización aceptando como nuevo punto en este caso ( 5 x x + p Por último obtendremos la nueva matriz B empleando la fórmula de la actualización simétrica de rango uno donde y f(x f(x B B + (y B s (y B s T (y B s T s ( 8/9 / ( / ( 7/8 / ( /4 s α p Obtenemos de estos valores ( 7/8 y B s / ( / ( 8/9 / (y B s T s 5/36 y finalmente ( 64/8 8/8 B I + 8/8 /44 ( /(5/

6 5 Aplica dos iteraciones del método quasi-newton al problema máx x x + x x x + x + x partiendo del punto x ( T Toma σ y B I Solución Como en los casos anteriores comenzamos por obtener la forma de las derivadas de la función objetivo del problema observando que para aplicar un método quasi-newton no hace falta conocer el valor de las segundas derivadas f(x x + x x ( + x + x x + x ( + x + x y para el punto inicial indicado tenemos f(x ( /9 6/9 La dirección de movimiento en la primera iteración vendrá dada por ( /9 B p g p 6/9 Obsérvese que al ser un problema de maximización la matriz B ha de ser definida negativa (B I Iniciamos la búsqueda lineal buscando un valor de α que cumpla f(x + αp f(x + σα f(x T p probando con α valor para el que obtenemos f(x 67 f(x + σα f(x T p 48 f(x + p 5 39 y por tanto se cumple la condición y aceptamos el nuevo punto como ( /9 x x + p 5/9 En este punto las derivadas de la función objetivo valen ( 84 f(x 96 Estos valores no son pequeños y por tanto debemos seguir iterando Como primer paso obtendremos la nueva matriz quasi-newton empleando la fórmula de actualización simétrica de rango uno B B + (y B s (y B s T (y B s T s donde en este caso y f(x f(x s α p ( /9 6/9 ( ( /9 6/9 ( 3 6 8

7 Obtenemos de estos valores ( 3 6 y B s 8 y finalmente + ( /9 6/9 ( 7 64 B I ( (y B s T s 6 ( 57 / 6 37 Con esta matriz volvemos a calcular la dirección de movimiento como ( 47 B p g p 9 Para la búsqueda lineal deberíamos buscar un valor de α que cumpliese la condición de ascenso suficiente f(x + αp f(x + σα f(x T p pero un problema que tiene la actualización simétrica de rango uno es que no garantiza que las matrices obtenidas sean definidas negativas (en este caso y en particular tenemos que f(x T p 5 esto es una dirección de descenso y no existen valores de α aceptables Por tanto modificamos la matriz B para que sea definida negativa utilizando las mismas técnicas que para el método de Newton modificado obteniendo y B V DV T B ( y la dirección de movimiento es ( ( 8 Probamos con α y obtenemos ( 8 ( B p g p ( 47 9 ( ( f(x 5 39 f(x + σα f(x T p 5 64 f(x + p 7 87 y por tanto se cumple la condición y aceptamos el nuevo punto como ( 76 x x + p 3 87 En este punto las derivadas de la función objetivo valen ( 4 f(x Por último actualizamos la matriz B a partir de ( 44 y f(x f(x 5 y finalmente B B + (y B s (y B s T (y B s T s ( s α p ( ( 47 9 (

8 6 Demuestra que el método de Newton encuentra la solución del problema mín xt Qx + r T x en una sola iteración desde un punto inicial x cualquiera Supón que Q es definida positiva Cómo deben ser las constantes para que esta propiedad siga siendo válida en un método de Newton con búsqueda lineal? Solución Empezamos por observar que el gradiente y la matriz Hessiana de esta función objetivo en un punto x son f(x r + Qx f(x Q El método de Newton para este problema aplicado a partir de un punto inicial cualquiera x busca el punto siguiente como la solución del sistema de ecuaciones f(x p f(x esto es Qp (r + Qx ( Obsérvese que como Q es definida positiva no hay que modificar nunca la matriz de coeficientes Reescribiendo ( el punto x + p cumple por tanto la condición siguiente: Q(x + p + r esto es el gradiente de la función objetivo en el nuevo punto es cero y por tanto cumple las condiciones de primer orden pero como además nos dicen que Q es definida positiva cumple también las condiciones de segundo orden y es por tanto una solución local de nuestro problema De hecho como el problema es convexo es la solución global del problema En el caso de aplicar un método de búsqueda lineal la dirección de movimiento sigue siendo la indicada anteriormente Hace falta además para que la convergencia tenga lugar en un único paso que se cumpla la condición de descenso suficiente esto es y en nuestro caso f(x + p f(x + σ f(x T p (x + p T Q(x + p + r T (x + p xt Qx + r T x + σ(r + Qx T p ( σ(p T Qx + r T p pt Qp y aplicando la condición Qx r Qp que implica que p T Qx + r T p p T Qp (x + p T Q(x + p + r T (x + p xt Qx + r T x + σ(r + Qx T p ( σp T Qp pt Qp σ 7 Dado el problema cuadrático mín x r T x + xt Qx donde la matriz Q y el vector r cumplen Qr r así como el punto inicial x r y la matriz quasi-newton inicial B I cuál sería la siguiente matriz quasi-newton a emplear en la segunda iteración? Por qué? 8

9 Solución En este problema se trata de aplicar el procedimiento general de aplicación de métodos quasi-newton pero haciéndolo para la forma genérica indicada esto es empleando constantes en lugar de números para los datos del problema Las derivadas de las funciones del problema vienen dadas por y en el punto inicial valen f(x r + Qx f(x Q f(x r + Qr 3r f(x Q La dirección de movimiento vendrá dada por B p g p 3r y para llevar a cabo la búsqueda lineal empezamos probando con el valor α obteniendo y como se cumple que x + p r 3r r f(x + p r T r + rt Qr rt r f(x 4r T r + 4rT Qr 6r T r g T p 9r tenemos que f(x + p rt r 5 r T r f(x + σg T p y por tanto se cumple la condición de descenso suficiente (hemos tomado σ y el nuevo punto es x x + p r con un valor del gradiente dado por f(x r + Qx r Qr esto es se trata de un mínimo de la función siempre que Q sea definida positiva Por tanto no haría falta llevar a cabo una segunda iteración pero si se quisiera calcular la nueva matriz quasi-newton tendríamos y g g 3r s p 3r y B s 3r + 3r y por tanto la fórmula de la actualización simétrica de rango uno no estaría bien definida ya que el denominador valdría (y B s T s 9