Tema 5 Dualidad y condiciones de Karush-Kuhn-Tucker

Transcripción

1 Tema 5 Dualidad y condiciones de Karush-Kuhn-Tucker José R. Berrendero Departamento de Matemáticas Universidad Autónoma de Madrid

2 Contenidos del tema 5 Condiciones de Karush-Kuhn-Tucker (KKT). Problemas con restricciones de desigualdad. Problemas con restricciones de desigualdad y de igualdad. El problema dual. Dualidad en optimización lineal. Algoritmo simplex dual. Relaciones entre el problema dual y las condiciones de KKT.

3 Problemas que vamos a analizar En este tema consideraremos problemas generales de optimización de la forma minimizar f (x) s.a. f i (x) 0, i = 1,..., m h i (x) = 0, i = 1,..., p. También consideraremos problemas convexos de la forma minimizar f (x) s.a. f i (x) 0, i = 1,..., m ai x = b i, i = 1,..., p, donde las funciones f, f 1,..., f n son convexas. En general, denotamos por D la intersección de los dominios de todas las funciones del problema y suponemos que D es un abierto que incluye los puntos que satisfacen las restricciones.

4 Condiciones de Karush-Kuhn-Tucker (solo desigualdades) Consideramos el problema (P): minimizar f (x) s.a. f i (x) 0 i = 1,..., m, donde todas las funciones son diferenciables. Se dice que el punto x R n, junto con el vector de multiplicadores ū R m, verifica las condiciones KKT para (P) si m f ( x) + ū i f i ( x) = 0 i=1 f i ( x) 0, i = 1,..., m ū i 0, i = 1,..., m ū i f i ( x) = 0, i = 1,..., m.

5 Condiciones KKT necesarias para mínimo local de (P) Cualquier mínimo local de (P), que verifique una condición adicional debe satisfacer las condiciones KKT. Cualificación de las restricciones: Dado un punto factible x, sea I = {i : f i ( x) = 0} el conjunto de restricciones activas en x. Se dice que x verifica la cualificación de las restricciones si los vectores f i ( x), i I, son linealmente independientes. Teorema: Sea x un mínimo local de (P) que verifica la cualificación de las restricciones anterior. Entonces, existe un vector ū 0 tal que x y ū verifican las condiciones KKT.

6 Condiciones KKT necesarias para mínimo local de (P) Demostración: Si x es un mínimo local de (P), no existe ninguna dirección d R n tal que f ( x) d < 0, f i ( x) d < 0 para i I. Por el teorema de Gordan, existen u 0 0, u i 0, i I, no todos nulos, tales que u 0 f ( x) + i I u i f ( x) = 0. Por la cualificación de las restricciones, u 0 > 0. Definimos ū i = u i /u 0 si i I y ū i = 0 si i / I. Es fácil comprobar que x y ū verifican las condiciones KKT.

7 Observaciones Para encontrar el mínimo global del problema (P): Hallar los puntos que verifican las condiciones de KKT. Hallar los puntos factibles que no verifican la cualificación de las restricciones. Si el problema tiene solución, debe encontrarse entre los puntos hallados de alguna de estas dos formas. Ejemplo: Determina los puntos que verifican las condiciones KKT y resuelve el problema: minimizar x x x 2 3 s.a. 2x 1 + 3x 2 + x 3 6

8 Ejemplo Considera el siguiente problema de optimización: maximizar 3x 1 + x 2 s.a. x 2 (1 x 1 ) 3 0 x 1 0, x 2 0 Resuelve el problema gráficamente Escribe las condiciones KKT Verifican KKT los puntos del interior del conjunto factible? Verifica el máximo global del problema las condiciones KKT? Existen puntos que verifican las condiciones KKT y que no son máximos locales?

9 Ejemplo

10 Condiciones de Karush-Kuhn-Tucker (también igualdades) Consideramos el problema (PI): minimizar f (x) s.a. f i (x) 0, i = 1,..., m h i (x) = 0, i = 1,..., p. donde todas las funciones son diferenciables. Se dice que el punto x R n, junto con los vectores de multiplicadores ū R m y v R p, verifica las condiciones KKT para (PI) si m p f ( x) + ū i f i ( x) + v i h i ( x) = 0 i=1 i=1 f i ( x) 0, h i ( x) = 0, ū i 0, ū i f i ( x) = 0, i = 1,..., m i = 1,..., p i = 1,..., m i = 1,..., m

11 Condiciones KKT necesarias para mínimo local de (PI) Cualquier mínimo local de (PI), que verifique una condición adicional debe satisfacer las condiciones KKT. Cualificación de las restricciones: Dado un punto factible x, sea I = {i : f i ( x) = 0} el conjunto de restricciones activas en x. Se dice que x verifica la cualificación de las restricciones si los vectores f i ( x), i I y h i ( x), i = 1,..., p son linealmente independientes. Teorema: Sea x un mínimo local de (PI) que verifica la cualificación de las restricciones anterior. Entonces, existen vectores ū 0 y v tales que x, ū y v verifican las condiciones KKT.

12 Condiciones KKT necesarias para mínimo local de (PI) Demostración (esquema): Si x es un mínimo local de (PI), no existe ninguna dirección d R n tal que f ( x) d < 0; f i ( x) d < 0, para i I ; h i ( x) d = 0, para i = 1,..., p. Por un teorema de la alternativa, existen u 0 0; u i 0, i I ; v i, i = 1,..., p, no todos nulos, tales que u 0 f ( x) + i I p u i f ( x) + v i h i ( x) = 0. i=1 Por la cualificación de las restricciones, u 0 > 0. Definimos ū i = u i /u 0, si i I ; ū i = 0, si i / I y v i = v i /u 0, i = 1..., p. Es fácil comprobar que x, ū y v verifican las condiciones KKT.

13 La función dual Para un problema general (no necesariamente convexo) la función lagrangiana es: La función dual es L(x, u, v) = f (x) + m u i f i (x) + i=1 p v i h i (x). i=1 g(u, v) = inf L(x, u, v). x D Si u 0, calcular g(u, v) puede interpretarse como resolver una versión menos exigente del problema original (PI). La función dual es cóncava (aunque (PI) no sea convexo).

14 El problema dual La función dual (es decir el valor óptimo de la versión menos exigente del problema) es una cota inferior del valor óptimo del problema original: Teorema: Sea p el valor óptimo de un problema de optimización cuya función dual es g(u, v). Para todo u 0 y para todo v, g(u, v) p. Resulta natural preguntarse cuál es la mejor de las cotas que pueden obtenerse de esta forma. Esto lleva al problema dual.

15 El problema dual maximizar g(u, v) s.a. u 0. El problema dual es siempre convexo, independientemente de que lo sea o no el problema primal al que corresponde. Un punto (u, v) con u 0 y g(u, v) > (es decir, en el dominio de la función dual) se llama solución factible dual. Llamamos solución factible dual óptima al punto (ū, v) que resuelve el problema dual.

16 Dualidad débil Si p y d son los valores óptimos de los problemas primal (minimización) y dual (maximización) respectivamente, las definiciones implican la desigualdad de dualidad débil: d p. Qué ocurre si p =? Qué ocurre si d =? Si el primal es no acotado, entonces el dual es no factible. Si el dual es no acotado, entonces el primal es no factible. La brecha de dualidad es la diferencia p d.

17 El dual de un problema lineal en forma estándar Función lagrangiana: minimizar c x s.a. Ax = b, x 0. L(x, u, v) = b v + (c + A v u) x. La función dual es g(u, v) = b v, si c + A v u = 0, y g(u, v) =, en caso contrario. Problema dual: maximizar s.a. b v A v c

18 El dual de un problema lineal en forma canónica Problema primal: Problema dual: Ejercicio: Escribe el dual de Observaciones: maximizar c x s.a. Ax b, x 0. minimizar b v s.a. A v c, v 0. minimizar c x s.a. Ax b, x 0. El dual del dual es el primal. Los duales de problemas primales equivalentes son también equivalentes entre sí.

19 Ejemplos Escribe el problema dual de los siguientes problemas de optimización lineal: minimizar 6x 1 + 8x 2 s.a. 3x 1 + x 2 4 5x 1 + 2x 2 7 x 1 0, x 2 0 minimizar 8x 1 + 3x 2 2x 3 s.a. x 1 6x 2 + x 3 2 5x 1 + 7x 2 2x 3 = 4 x 1 0, x 2 0, x 3 0

20 Interpretación económica del problema dual Un pastelero dispone de 150 kg de harina, 22 kg de azúcar y 27.5 kg de mantequilla para elaborar dos tipos de pasteles (A y B). Cada caja de pasteles de tipo A requiere 3 kg de harina, 1 kg de azúcar y 1 kg de mantequilla, y su venta le reporta un beneficio de 20 euros. Cada caja de pasteles de tipo B requiere 6 kg de harina, 0.5 kg de azúcar y 1 kg de mantequilla y su venta le reporta un beneficio de 30 euros. (a) Cuántas cajas de cada tipo debe elaborar el pastelero de manera que se maximicen sus ganancias? (b) Supongamos que la cantidad de harina disponible aumenta en un kg. Cuánto aumenta el beneficio del pastelero? Contesta a la misma cuestión para un aumento de un kg en la cantidad de azúcar y mantequilla.

21 Interpretación económica del problema dual maximizar 20x x 2 s.a. 3x 1 + 6x x 1 + x 2 /2 22 x 1 + x x 1 0, x 2 0 La solución es x 1 = 5 y x 2 = El beneficio óptimo es z = 775. Si H = 1, tenemos z = 10/3. Si A = 1, tenemos z = 0. Si M = 1, tenemos z = 10.

22 Interpretación económica del problema dual Un comprador está interesado en adquirir el negocio del pastelero (es decir, los recursos de azúcar, harina y mantequilla de los que dispone) y quiere hacerle una oferta de precios por kg de azúcar, harina y mantequilla. Por supuesto el pastelero solo aceptará la oferta del comprador si lo que gana con la venta es al menos lo mismo que ganaría fabricando pasteles. Qué problema debe resolver el comprador para hacerle la oferta más ventajosa al pastelero? Resuelve el problema del comprador. Qué relaciones existen entre las soluciones de los problemas del pastelero y del comprador?

23 Interpretación económica del problema dual Las variables u 1, u 2 y u 3 representan los precios de los tres recursos (harina, azúcar y mantequilla) respectivamente. El problema del comprador es: minimizar 150u u u 3 s.a. 3u 1 + u 2 + u u 1 + u 2 /2 + u 3 30 u 1 0, u 2 0, u 3 0 La solución es ū 1 = 10/3, ū 2 = 0 y ū 3 = 10. El beneficio óptimo es z = 775. Los valores óptimos del objetivo son los mismos para ambos problemas (la brecha de dualidad es cero). Los precios óptimos coinciden con los beneficios marginales.

24 Dualidad fuerte Se dice que hay dualidad fuerte cuando p = d. En problemas lineales factibles siempre hay dualidad fuerte. Puede ocurrir d = y p =. Escribe el dual de maximizar x 1 + x 2 s.a. x 1 1 x 1 x 2 1 x 1 0, x 2 0

25 Dualidad fuerte para problemas lineales Teorema: Consideremos un problema lineal en forma estándar (P) y el correspondiente problema dual (D). Si (P) tiene solución factible óptima finita, también la tiene (D) y los correspondientes valores óptimos son iguales. Demostración: Sea x = ( B 1 b 0 Sea ū = c B B 1. Se cumple ) la solución factible óptima de (P). Luego ū es factible para (D). ū A c c B B 1 N c N z j c j, j N Además ū b = c B B 1 b = c x.

26 Dualidad fuerte para problemas lineales La condición de factibilidad de ū equivale a la de optimalidad de x. En el ejemplo, el pastelero ganará lo mismo tanto si fabrica pasteles como si vende el negocio. Si su problema no fuese acotado, no aceptaría ninguna oferta y como consecuencia, el problema del comprador no sería factible. Resolver el primal y el dual es equivalente a partir de la relación ū = c B B 1. Sensibilidad de soluciones: z = ū b = m i=1 ūib i. Por lo tanto z b i = ū i. La solución del dual puede interpretarse en términos del incremento del valor óptimo del primal ante pequeñas variaciones de los recursos.

27 Algoritmo simplex-dual Punto de partida: Un punto factible para el dual, pero no para el primal. z j c j 0, para todo j, pero b = B 1 b 0. Criterio de salida: Sale de la base la variable x r tal que b r = min{ b i : b i < 0}. Criterio de entrada: Entra en la base la variable x k tal que { } z k c k zj c j = min : y rj < 0. y rk y rj Infactibilidad: Si y rj 0 para todo j, el problema primal es no factible.

28 Ejemplo minimizar 3x 1 + 2x 2 s.a. 3x 1 + x 2 3 4x 1 + 3x 2 6 x 1 + x 2 3 x 1 0, x 2 0. En forma estándar, minimizar 3x 1 + 2x 2 s.a. 3x 1 x 2 + x 3 = 3 4x 1 3x 2 + x 4 = 6 x 1 + x 2 + x 5 = 3 x i 0, i = 1,..., 5.

29 Ejemplo c Variables x 1 x 2 x 3 x 4 x 5 x 3 = x 4 = x 5 = z j c j c Variables x 1 x 2 x 3 x 4 x 5 x 3 = 1-5/ /3 0 x 2 = 2 4/ /3 0 x 5 = 1-1/ /3 1 z j c j -1/ /3 0

30 Ejemplo c Variables x 1 x 2 x 3 x 4 x 5 x 1 = 3/ /5 1/5 0 x 2 = 6/ /5-3/5 0 x 5 = 6/ /5 2/5 1 z j c j 0 0-1/5-3/5 0 La solución del primal es x 1 = 3/5, x 2 = 6/5 ( z = 21/5). La solución del dual es 3/5 1/5 0 ū = cb B 1 = (3, 2, 0) 4/5 3/5 0 = ( 1/5, 3/5, 0). 1/5 2/5 1

31 Algoritmo simplex-dual (1) Tras el pivoteo se mantiene la factibilidad dual (optimalidad primal): ẑ j ĉ j = (z j c j ) y rj y rk (z k c k ) (2) Tras el pivoteo mejora el objetivo del dual: c i b i = i ˆB i B c i bi = i ˆB i B c i b i = i B i ˆB ( c i b i b ) r b r y ik + c k y rk y rk c i bi b r ( c i y ik c k ) y rk i B c i b i b r (z k c k ) > c i b i. y rk i B

32 Algoritmo simplex-dual (3) Si y rj 0 para todo j, el problema primal no es factible: Si existiera x 0 con Ax = b tendríamos: Ax = b B 1 Ax = b n y j x j = b. j=1 En particular, b r = n j=1 y rjx j 0, lo que no puede ser porque b r < 0.

33 Holgura complementaria en problemas lineales Sean x y ū las soluciones de (P) y (D): (P) max c x s.a. Ax b, x 0. (D) min b u s.a. A u c, u 0. Sabemos c x = b ū (dualidad fuerte en el caso lineal). c x ū A x ū b = c x, Por lo tanto, si a i y a j denotan las columnas y las filas de A, ū (A x b) = 0 ū j (a j x b j ) = 0, j = 1,..., m (c ū A) x = 0 x i (c i ū a i ) = 0, i = 1,..., n Estas condiciones caracterizan las soluciones de (P) y (D) ( Por qué?)

34 Holgura complementaria en problemas lineales maximizar 3x 1 + 4x 2 + 6x 3 s.a. 3x 1 + x 2 + x 3 2 x 1 + 2x 2 + 6x 3 1 x i 0, i = 1, 2, 3 Escribe el dual del problema anterior. Resuelve el problema dual gráficamente. Utiliza la condiciones de holgura complementaria para resolver el primal.

35 Holgura complementaria Consideramos un problema general (no necesariamente convexo) minimizar f (x) s.a. f i (x) 0, i = 1,..., m h i (x) = 0, i = 1,..., p. para el que se cumple la dualidad fuerte. Sean x y (ū, v) las soluciones óptimas del primal y el dual respectivamente. f ( x) = g(ū, v) = inf x f ( x) + ( m f (x) + ū i f i (x) + m ū i f i ( x) + i=1 i=1 p v i h i (x) ) i=1 p v i h i ( x) f ( x) i=1 Todas las desigualdades son en realidad igualdades.

36 Holgura complementaria f ( x) = g(ū, v) = inf x = f ( x) + ( m f (x) + ū i f i (x) + m ū i f i ( x) + i=1 Dos consecuencias relevantes: i=1 p v i h i ( x) i=1 p v i h i (x) ) i=1 x minimiza L(x, ū, v) en x. Se cumple m i=1 ūif i ( x) = 0. Como consecuencia: ū i f i ( x) = 0, i = 1,..., m. Estas son las condiciones de holgura complementaria.

37 Dualidad y condiciones de Karush-Kuhn-Tucker Supongamos las siguientes condiciones: Las funciones f, f 1,..., f m, h 1,..., h p son diferenciables. Las soluciones óptimas de los problemas primal y dual se alcanzan en los puntos x y (ū, v). Hay dualidad fuerte: f ( x) = p = d = g(ū, v). Entonces, los óptimos deben cumplir las condiciones KKT: m p f ( x) + ū i f i ( x) + v i h i ( x) = 0 i=1 i=1 f i ( x) 0, h i ( x) = 0, ū i 0, ū i f i ( x) = 0, i = 1,..., m i = 1,..., p i = 1,..., m i = 1,..., m

38 Condiciones KKT en problemas convexos Cuando el problema primal es convexo, las condiciones KKT son suficientes para el óptimo global. Teorema: Consideremos un problema primal convexo y con funciones diferenciables. Sean x y (ū, v) puntos que satisfacen las condiciones KKT. Entonces x es la solución del problema primal, (ū, v) es la solución del dual y p = d. Verdadero o falso? Un punto x es la solución de un problema convexo si y solo si verifica las condiciones KKT.

39 Condiciones KKT en problemas convexos Demostración: x es factible. L(x, ū, v) es convexa en x. Como su gradiente se anula en x, se tiene que x es el mínimo global de L(x, ū, v). Por tanto, m p g(ū, v) = L( x, ū, v) = f ( x) + ū i f i ( x) + v i h i ( x) = f ( x). i=1 i=1

40 Dualidad fuerte para problemas convexos En problemas convexos la dualidad fuerte no se cumple en general. Pero puede probarse bajo condiciones adicionales no restrictivas. Condición de Slater: en un problema convexo minimizar f (x) s.a. f i (x) 0, i = 1,..., m Ax = b, en el que rango(a) = p, se cumple la condición de Slater si existe x D tal que f i ( x) < 0, para i = 1,..., m, y A x = b. (Recordatorio: estamos suponiendo D abierto)

41 Dualidad fuerte para problemas convexos Teorema: Si en un problema convexo se verifica la condición de Slater, entonces p = d. Demostración: Como el primal es factible, p <. Qué ocurre si p =? Definimos los conjuntos: A = {(u, v, t) R m R p R : x D con f i (x) u i, Ax b = v, f (x) t} B = {(0, 0, s) R m R p R : s < p} A y B son convexos y disjuntos. Teorema de separación: existe α R y (ū, v, µ) 0 tales que 1. Si (u, v, t) A, ū u + v v + µt α. 2. Si (0, 0, t) B, µt α. Es decir µt α para t < p, lo que implica µ p α. Por 1, ū 0 y µ 0.

42 Dualidad fuerte para problemas convexos Además, por 1 y 2, para todo x D, m ū i f i (x) + v (Ax b) + µf (x) µ p (1) i=1 Si µ > 0, para todo x D, L(x, ū/µ, v/µ) p. Por lo tanto g(ū/µ, v/µ) p y d = p, que es lo que queríamos probar. Usando la condición de Slater, vamos a llegar a una contradicción cuando µ = 0. Por (1), m i=1 ūi f i (x) + v (Ax b) 0, para todo x D. Si x es el punto en el que se cumple la condición de Slater, m i=1 ūi f i ( x) 0, por lo que ū = 0. Como (ū, v, µ) 0, tenemos que v 0. Pero ū = 0 y (1) implican v (Ax b) 0, para todo x D. Para λ > 0 suficientemente pequeño, x λa v D (abierto). v [A( x λa v) b] = λ A v 2 0. Por lo que A v = 0. Como rango(a) = p, v = 0.

43 Dualidad fuerte para problemas convexos Corolario: Consideremos un problema primal convexo y con funciones diferenciables, tal que se verifica la condición de Slater. Entonces, x y (ū, v) son las soluciones del primal y del dual respectivamente si y solo si x y (ū, v) verifican KKT. Ejemplo: Caracteriza las soluciones del problema de optimización cuadrático: min 1 2 x Qx + c x s.a. Ax = b, donde x R n, c R n, Q es una matriz n n definida positiva, A es una matriz m n de rango m < n, y b R m.