f(x) f(x) 2.- OPTIMIZACIÓN. CONCEPTOS BÁSICOS CONCAVIDAD Y CONVEXIDAD DE FUNCIONES.

Transcripción

1 .- OPTIMIZACIÓN. CONCEPTOS BÁSICOS...- CONCAVIDAD Y CONVEXIDAD DE FUNCIONES. La determinación de la concavidad y conveidad de unciones nos ayudará a establecer si una solución optima local es también una solución óptima global. Además cuando se sabe que la unción obetivo presenta ciertas propiedades, el cálculo del óptimo se puede acelerar utilizando algoritmos de optimización adecuados. Se dice que una unción es convea sobre una región R cuando se cumplen las siguiente relación: Para dos valores dados de, ( a, b ) que pertenecen a la región R, [ θ a + ( θ ) b ] θ ( a ) + ( θ ) ( b ) ( [ θ + θ ) ] θ ( ) + ( θ ) ( ) a convea ( b a b cóncava) donde θ es un escalar cuyo valor está entre y.la unción es estrictamente convea si la desigualdad es estrictamente menor que (<). La Figura ilustra convenientemente este punto: () Función convea () Función cóncava Figura. Concavidad y conveidad de unciones.

2 La ecuación anterior no es una ecuación conveniente para comprobar la concavidad o conveidad de una unción. En lugar de ello haremos uso de la segunda derivada o de la matriz Hessiana, que denotaremos con el signo H(), y que es una matriz simétrica ormada por las segundas derivadas de (). Por eemplo, si () es una unción cuadrática de dos variables: ( ) h + h + h ( ) ( ) H( ) ( ) ( ) ( ) h h h h Veremos ahora como se puede etender el concepto de concavidad y conveidad a unciones de varias variables utilizando la matriz hessiana. Para cualquier unción obetivo la matriz hessiana se debe evaluar para poder determinar la naturaleza de (). Primero haremos un resumen de los tipos de matrices hessianas:.- H es deinida positiva si y sólo si T H > para todo.- H es deinida negativa si y sólo si T H < para todo 3.- H es indeinida si T H > para algún y < para otros Las deiniciones y se pueden etender a H semideinida positiva o negativa si incluimos el signo igual en la desigualdad. Se puede demostrar, por desarrollo en series de Taylor que si () tiene segunda derivadas parciales continuas () es cóncava si y solo si la matriz hessiana es semideinida negativa. Para que () sea convea H() debe ser semideinida positiva y si () es estrictamente convea H() debe de ser deinida positiva. Podemos desarrollar dos test para saber si una unción es convea a través de su matriz hessiana asociada:.- Todos los elementos de la diagonal principal deben ser positivos y los determinantes de los menores principales, así como el determinante de la matriz Hessiana deben ser positivos. 3

3 .- Todos los valores propios de H() deben ser positivos. La Tabla da una relación entre el carácter de () y el estado de H() Tabla.- Relación del carácter de () y el estado de H() () H() Valores propios de H() Determinantes de los menores principales Estrictamente Deinida positiva > >; >... convea Convea Semideinida > ;,... positiva Cóncava Semideinida negativa < ; ;,... Signos alternativos Estrictamente cóncava Deinida negativa < <; >; 3 < Signos alternativos En la tabla anterior cuando la matriz no es ni convea ni cóncava es indeinida...- REGIÓN CONVEXA El concepto de región convea (conunto de puntos) uega un papel importante en la optimización con restricciones. La siguiente Figura () muestra una región convea y otra no convea. Una región convea eiste si para cualquier par de puntos en la región, µ + µ, donde µ, pertenecientes a la línea de a, b todos los puntos ( ) a b unión de a con b pertenecen al conunto. Nótese que este requerimiento no es satisecho por la línea punteada de la igura (b). 4

4 Región convea Región no convea a a b b Figura.- a) region convea. b) región no convea. Si una unción está totalmente acotada por unciones g() conveas para el caso en que todas las restricciones g i ( ), entonces estas unciones orman una región cerrada convea. Téngase en cuenta que una desigualdad cualquiera siempre se puede transormar a la orma g i ( ). Además las líneas rectas son a la vez cóncavas y conveas. La eistencia de regiones conveas uega un importante papel en la optimización de unciones suetas a restricciones. En los problemas de optimización que incluyen restricciones, aquellos puntos que satisacen todas las restricciones se dice que son puntos actibles todos los otros puntos son no-actibles. Las restricciones de desigualdad especiican una región actible ormada por el conunto de puntos que son actibles, mientras que las restricciones de igualdad limitan el conunto de puntos de h,,... ), curvas, o hipersupericies (supericies multidimensionales ( ) i 3 n quizás incluso puntos. Todos los puntos que satisacen las restricciones como desigualdades estrictas se llaman puntos interiores. Los que las satisacen como igualdades son puntos de contorno, todos los demás son puntos eteriores. En la siguiente Figura (3.a) el máimo de la unción obetivo sin restricciones cae uera de la región actible. Está claro que el conunto de restricciones hace que la búsqueda del óptimo termine en el meor valor de la unción obetivo dentro del conunto de restricciones. Así pues una de las restricciones del conunto de soluciones es una restricción activa (la restricción se satisace como igualdad. Si el óptimo cae dentro de la región activa la solución será la de un óptimo sin restricciones (3.b). El apartado (c) de la 5

5 igura muestra la importancia de tener un conunto de restricciones que ormen una región convea, para evitar posibles óptimos locales. Mínimo sin restricciones Mínimo actible Region Factible Mínimos locales Figura 4. Localización del mínimo de diversas unciones con restricciones. 6

6 3.- FUNDAMENTOS DE OPTIMIZACIÓN NO LINEAL 3..-OPTIMIZACIÓN NO LINEAL SIN RESTRICCIONES En esta sección repasaremos los undamentos de la optimización no lineal sin restricciones, así como las condiciones necesaria y suiciente de optimalidad Formulación y deiniciones: La optimización de una unción no lineal trata el problema de buscar un mínimo de una unción no lineal () de n variables reales (,, 3, n ) T y que se denota como: Min ( ) n R Cada una de las variables,,.. n, se le permite variar entre - y +. Mínimo local: sea ε alrededor de *, B ε ) si: n * R se dice que * es un mínimo local si eiste una bola de radio ( * * ( ) ( ) para todo Bε ( * ) Mínimo Global: sea * ( ) ( ) n * R se dice que * es un mínimo global si: para todo n R * Punto de silla: Sea el vector que se divide en dos sub-vectores, a y b, ( a * ), b se dice * * que eiste un punto de silla ( a ) si eiste una bola de radio ε alrededor de ( ) si se cumple que: *, b * * * * * * (, ) (, ) ( ) para todo ( ) B (, ) a b a b a, b a, b ε a b a *, b 7

7 3...- Condición necesaria y suiciente para la eistencia de un etremo en una unción sin restricciones En un problema de optimización sin restricciones estamos interesados en encontrar un mínimo o un máimo de una unción () de una o más variables. El problema se puede interpretar geométricamente como encontrar un punto en un espacio n-dimensional en el cual la unción presente un etremo. La orma más sencilla de desarrollar una condición necesaria y suiciente para minimización o maimización consiste en desarrollar la unción en serie de Taylor alrededor del punto * (presunto óptimo). T T ( ) ( *) + ( *) + ( *) + O ( ) 3 donde *. Admitiendo que todos los términos en la ecuación anterior eisten y son continuos, e ignorando los términos de orden 3 y superior, veremos que ocurre para varios casos que consideran sólo los términos de segundo orden. Suponiendo que * es un mínimo local está claro que cualquier otro punto en la vecindad de * debe dar un valor de la unción mayor, así: ( ) ( *) Eaminando el siguiente término del desarrollo, vemos que puede tomar tanto valores negativos como positivos, dependiendo de así pues, si para que el punto * sea un mínimo se debe cumplir que ( ) ( *) debemos orzar a que este término del desarrollo sea nulo, o lo que es lo mismo que en dicho punto el gradiente de la unción sea cero. ( *). Así pues una condición necesaria para tener un mínimo o un máimo es que: ( *) Por lo tanto, el que una unción sea un mínimo un máimo o un punto de silla viene determinado por el término T ( * ). La siguiente Tabla () es un resumen de lo que ocurre para pequeños desplazamientos alrededor de *. Así: 8

8 Tabla.- Eecto del carácter de la matriz Hessiana en el punto etremo ( *) ( ) ( ) ( * ) Deinida positiva > Incrementa Semideinida positiva Posible incremento Deinida negativa < Decremento Semideinida negativa Posible decremento Indeinida Ambos ó dependiendo de Incrementa o decrementa Así pues, la condición suiciente para le eistencia de un mínimo es que la matriz hessiana sea deinida positiva, y la condición suiciente para que eista un máimo es que la matriz hessiana sea deinida negativa. Por supuesto, podría eistir un máimo o un mínimo en un punto incluso aunque la matriz hessiana no uera deinida positiva o negativa, deberíamos hacer un estudio local en ese punto. 9

9 3..- CONCEPTOS BÁSICOS DE LA OPTIMIZACIÓN NO LINEAL CON RESTRICCIONES En esta sección introduciremos primero las deiniciones básicas de la optimización no lineal con restricciones. Después presentaremos los multiplicadores de Lagrange unto con su interpretación. A continuación las condiciones necesarias de primer orden de Fritz John y discutiremos la necesidad de las restricciones de cualiicación. Finalmente se introducirán las condiciones necesaria y suiciente de Karush Kuhn Tucker Formulación y Deiniciones Un problema de programación no lineal con restricciones intenta encontrar un mínimo a una unción () de n variables reales T (,,, n ) sueto a una serie de restricciones de igualdad y de desigualdad que se suele escribir de la orma: Min s. a. ( ) h( ) g( ) n X R Si alguna de las unciones (), g(), h() es no lineal entonces la ormulación anterior corresponde a un problema de programación no lineal. Las unciones (), h(), g() podrían tomar cualquier orma, en nuestro caso asumiremos que son unciones que cumplen los requisitos de continuidad y dierenciabilidad. Restricción activa: se dice que una restricción de desigualdad, g () es activa en un punto actible si g ( ), y una desigualdad se dice que es inactiva en un punto si ( ) < g. Las restricciones que son activas en el punto restringen el dominio de actibilidad, mientras que las que no lo son no imponen ninguna restricción al dominio en la vecindad del punto.

10 Vector de dirección actible: sea un punto actible F (F es el conunto de puntos _ actibles). Cualquier punto dentro de una bola de radio ε alrededor de que se pueda escribir como + d y en el que y d se llama dirección actible del punto si eiste una bola de radio ε tal que: ( d ) B ( ) F + λ ε Para todo λ ε d El conunto de actible de vectores d que salen desde es lo que se llama cono de direcciones actibles de F en. d B ε ( ) Figura 5.- Ilustración del cono de direcciones actibles. Señalar que si es un mínimo local y d es un vector de dirección actible de entonces para un valor suicientemente pequeño de λ se debe satisacer que: ( ) ( + λ d ). Podemos plantear el siguiente lema: Lema: Sea d una dirección actible, dierente de cero, del vector, entonces debe satisacer las condiciones:

11 T d h T d g ( ) ( ) para las restricciones activas g( ) Vectores de dirección actible que meoran la unción obetivo: Es aquel conunto de vectores d, que cumplen: ( λd ) < ( ) + para todo λ ε d El conunto de vectores que meoran la unción obetivo se llama cono de direcciones de meora de F en el punto. Si d T < d y ( ) punto entonces d es un vector de dirección actible de meora en el

12 3.3.- OPTIMIZACIÓN CON RESTRICCIONES DE IGUALDAD Un problema de optimización con restricciones de igualdad se puede escribir de la orma: Min ( ) s. a. h( ) Quizás el resultado más importante de la optimización con restricciones de igualdad sea el siguiente teorema: Teorema : Si () tiene un etremo en * restringido, tal que h ( ),,3..., m entonces los gradientes () y h () son linealmente dependientes. Para ver lo que el teorema anterior implica consideremos el caso de un problema con dos variables y una única restricción: Min s. a (, ) h(, ) En el óptimo restringido se deben cumplir las siguientes dos restricciones simultáneamente: Si ( ) d d + d h h d h d + d, uera una unción sin restricciones, ambas derivadas parciales de (*) deberían ser cero (esto es y ).Sin embargo, las variables y, están restringidas, y por lo tanto d y d no son independientes. No obstante () debe de ser un etremo en el óptimo, y por lo tanto d() debe ser igual a cero. Las ecuaciones anteriores podrían rescribirse para el óptimo como: 3

13 4 d d h h Eiste una solución trivial (d d ) y soluciones no triviales, no únicas, en este caso el determinante de los coeicientes debe ser igual a cero. O dicho en otras palabras, el Jacobiano del sistema, unción obetivo más restricciones, debe ser igual a cero. Esto signiica que los acobianos de la unción obetivo y de las restricciones son linealmente dependientes. Lo cual se puede epresar como: [ ] ( ) ( ) ), '( * * + m h L λ λ λ donde [ ] + m h L ) ( ) (, ' λ λ λ A la unción L así deinida se la conoce como unción de Lagrange débil. Volveremos más adelante sobre el tema, de momento supondremos que λ es igual a uno, con lo cual la unción de Lagrange queda: [ ] + m h L ) ( ) (, λ λ y ( ) ( ) * * + m h λ Y por lo tanto las condiciones necesarias de optimalidad de primer orden son:. Dependencia lineal de los gradientes: ( ) ( ) * + L h m λ. Factibilidad de las restricciones: ( ) m h L 3,...,, * λ

14 3.4.- OPTIMIZACIÓN CON RESTRICCIONES (DE DESIGUALDAD O IGUALDAD) El problema general de la optimización con restricciones de igualdad y desigualdad se puede escribir como: Min s. a. ( ) h( ) g( ) X n R A continuación presentamos, asumiendo dierenciabilidad de (), g() y h() las condiciones necesarias de primer orden, conocidas como condiciones de Fritz John: Condiciones de Fritz John: Sea X una solución actible del problema, esto es cumple h ( ) ; g( ), Sean () y g() dierenciables en y h() derivable con derivadas parciales primeras continuas en. Entonces, si es una solución local eisten unos multiplicadores λ, λ y µ de tal manera que se cumple: T ( ) + µ g( ) T λ ( ) + λ h h ( ) g ( ) µ ( ), p g,..., ( λ, µ ) (,), p,..., Restricciones de complementariedad: La restricción ( ) complementariedad. {, p} µ g,..., es lo que se conoce como restricción de 5

15 Señalar que el problema es prácticamente idéntico al caso en el que sólo aparecen restricciones de igualdad. La dierencia la marcan las restricciones de complementariedad y la restricción que obliga a los multiplicadores asociados a las restricciones de desigualdad a ser no negativos. Si el punto satisace las restricciones de desigualdad de orma estricta, es decir las restricciones no son activas, desde un punto de vista local se puede considerar que dichas restricciones no eisten, esto es lo que nos asegura la restricción de complementariedad. Si las restricciones son activas el multiplicador asociado no puede ser cero la restricción es activa en la lagrangiana si la restricción es inactiva entonces, que el multiplicador sea cero asegura que la restricción no tiene ningún peso en la lagrangiana. El hecho de que el multiplicador sea positivo indica que solamente se puede obtener (desde un punto de vista de análisis local) una meora de la unción obetivo si la restricción se relaa. Si uera negativo indicaría que es posible obtener una meora de la unción obetivo moviéndonos en una dirección en la que la restricción se sigue cumpliendo (interior de la región actible). g3 g en g g g3 < activas inactiva g ( ) + µ g + g µ µ, µ > µ 3 g g Figura 6.-Ilustración condiciones de complementariedad. 6

16 Cualiicación de las restricciones: En las condiciones necesarias de optimalidad de primer orden de Frit John, el multiplicador λ asociado a la unción obetivo se puede hacer cero en el punto sin violar las condiciones de optimalidad. En tal caso, la unción de Lagrange se hace independiente de () y las condiciones de optimalidad las satisace cualquier unción obetivo dierenciable, independientemente de si es un mínimo local de dicha unción o no. Veamos un eemplo de la debilidad de las condiciones de Fritz John: Considérese el siguiente problema: Min s. a ( ) + g( ) g( ) ( ) + ( 3) + ( ) ( ) g ( ) g (,) (3,) Figura 7.- Ilustración de la necesidad de la cualiicación de las restricciones. El problema anterior sólo tiene un punto actible el (,). En el punto (,) ambas restricciones son activas y: g g T ( ) (,) T ( ) (,) ( ) (,) T 7

17 Nótese que ( ) y g ( ) g son linealmente dependientes: λ + µ + µ λ + µ µ µ µ λ λ Para eliminar esta debilidad de las condiciones necesarias de Fritz Johns, necesitamos determinar que condiciones hacen que λ sea estrictamente positivo. Estas restricciones se conocen como restricciones de cualiicación de primer orden. Eisten dierentes tipos de cualiicación de las restricciones debidas a Slater, a Khun-Tucker etc sin embargo la orma más sencilla es la siguiente: Cualiicación de independencia lineal de las restricciones: { : } Sea un mínimo local y J un conunto deinido como: g ( ) g (), J, hi ( ) i,,.., m J. Sea también continuas y dierenciables en. La restricción de cualiicación de independencia lineal dice: Los gradientes ( ) independientes. g para J y ( ) h i para i,,..,m son linealmente Interpretación de los multiplicadores de Lagrange Consideremos un problema en el que se cumplen las condiciones de KKT, por lo tanto: p ( ) + µ g ( ) () Considérese ahora una dirección actible, p (apunta al interior de la región actible) tal que p Esto nos permite perturbar los gradientes de la unción obetivo y de las restricciones: 8

18 T p T p g ( ) δ ( ) δ g () Si pre-multiplicamos la ecuación () por p nos queda: p T T p ( ) + µ p g ( ) y sustituyendo por () p δ + µ δ g Sin perder generalidad podemos considerar que todos los δ g ecepto para uno de ellos k, k. δ + µ k δ gk µ δ k g g δ δ k k Es decir el multiplicador de lagrange es la relación entre la perturbación de la unción obetivo y la perturbación de la restricción. Por lo tanto µ k representa el decrecimiento local de la unción obetivo para una perturbación de las restricciones. Si es de signo positivo indica que solo se puede conseguir meorar (localmente) la unción obetivo violando la restricción, si es de signo negativo indica que se puede meorar la unción obetivo sin violar la restricción. El conunto de todas las condiciones necesarias de primer orden es lo que se conoce como condiciones de Karush Kuhn Tucker.: 9

19 Condiciones de Necesarias Optimalidad de Primer Orden. Condiciones de Karush-Kuhn-Tucker. Cualiicación de las restricciones. Por eemplo, independencia lineal de los gradientes de las restricciones activas.. Dependencia lineal de los gradientes: m p i i µ i ( ) + λ h ( ) + g ( ) 3. Restricciones del problema: hi g ( ) i,,..., m ( ),,..., p 4. Condiciones de complementariedad: ( ) µ p µ g... La siguiente propiedad es muy importante en los problemas de optimización no lineal: Propiedad: Si () es convea, y la región actible deinida por las restricciones del problema es convea, entonces eiste un mínimo local en entonces: a. es un mínimo global. b. Las restricciones de cualiicación se satisacen c. Las condiciones de Karush Kuhn Tucker son necesarias y suicientes para que sea un mínimo global. 3

20 Condiciones necesarias de segundo orden Las condiciones necesarias de primer orden utilizan sólo inormación de los gradientes de la unción obetivo y de las restricciones. Como resultado la curvatura de las unciones, no se tiene en cuenta. Ilustremos el caso con un pequeño eemplo debido a Fiacco y McCormick: Min s. a. ( ) k + donde se buscan los valores del parámetro k> para los cuales el punto (,) es un mínimo. Las restricciones de cualiicación se cumplen. Considerando las condiciones KKT en el punto (,) tenemos: + µ µ el valor µ no depende del parámetro k. sin embargo, para k, por eemplo, el punto (,) no es un mínimo local, mientras que para k4 sí que lo es. Además las condiciones necesarias de primer orden de KKT indican que el punto (,) es un candidato a ser un mínimo, pero no dan inormación sobre el intervalo correcto de los valores de k. Como ocurría en las condiciones necesarias de primer orden, es necesario introducir restricciones de cualiicación de segundo orden. Sin embargo la cualiicación que supone la independencia lineal de los gradientes de las restricciones activas en el punto es suicientemente uerte para satisacer la cualiicación de primer y segundo orden. 3

21 Las condiciones necesarias de optimalidad de segundo orden son:. Condiciones necesarias de KKT de primer orden.. Dado un vector z distinto de cero: T z T z g hi ( ) i,,... m ( ) J : g ( ) { } entonces (, λ, ) z T L µ z En otras palabras la matriz Hessiana asociada a la Lagrangiana debe ser semideinida positiva. Si la matriz es deinida positiva entonces es también condición suiciente. Continuando con el eemplo anterior la unción de Lagrange es: L + + k (,, µ ) ( ) La matriz Hessiana de la unción de Lagrange en el punto (,) es: L 4 k ( ) 4, k Que nos dice que k tiene que ser mayor o igual que. Las condiciones de optimalidad de segundo orden dicen que el punto (,) es un mínimo para k. 3

22 Solución de las condiciones de KKT. Método de conunto activo Aunque veremos más adelante los métodos más utilizados para resolver los problemas de programación no lineal, vamos a ver ahora un método sencillo que permite resolver el problema. El método sigue una estrategia de conunto activo, es decir busca la solución a las condiciones KKT siguiendo conuntos dierentes de restricciones activas. Los pasos del algoritmo son los siguientes: Deinimos un conunto { / g } J índice de desigualdades activas.. Suponemos que no eisten desigualdades activas. Y por lo tanto: J φ µ... p. Formulas las ecuaciones y 3 de KKT y resolver para, λ i y µ m p i i µ i h i ( ) i... m ( ) + λ h ( ) + g ( ) g ( ) J 3. Si todas las restricciones se cumplen y los µ entonces parar. 4. Si alguna de las restricciones de desigualdad no se cumple g ( ) > y/o el multiplicador asociado tiene el signo incorrecto µ < entonces: a. Eliminar una de las restricciones de desigualdad del conunto activo de restricciones que tenga un multiplicador asociado con signo erróneo. Elegir aquella con el mayor valor absoluto del multiplicador. b. Añadir al conunto J las restricciones violadas g > para hacerlas activas c. Volver al paso 33

23 34 Eemplo: ( ).. 3 ) ( g g g a s Min g g 3 g g Figura 8. Representación gráica de las restricciones del eemplo de aplicación de un método de conunto activo para resolver las condiciones de optimalidad. Calculamos los gradientes de la unción obetivo y las restricciones / 3 3 g g g

24 primera iteración:. -Hacemos Jφ, µ µ µ 3.- ( ) Comprobamos las restricciones g - < g ½ > restricción violada g3 -< 4.- Hacemos g activa J { } segunda iteración:.- ( ) + µ g( ) g( ).6;.; µ µ Sistema de Comprobamos las restricciones g -.4 < g g3 -. luego cumplen las tres. µ µ.4 > µ 3 Por lo tanto hemos encontrado un punto estacionario de KKT. 35

25 Si calculamos la Hessiana en la solución vemos que: H Que tiene como valores propios λ λ. Por lo tanto tenemos un mínimo. De todas ormas lo teníamos garantizado, porque tenemos una unción obetivo convea sueta a restricciones lineales. Por lo tanto el mínimo es también un mínimo global. 36