OPTIMIZACIÓN 1. Jorge Amaya A. Universidad de Chile. Departamento de Ingeniería Matemática y Centro de Modelamiento Matemático

Transcripción

1 OPTIMIZACIÓN 1 Jorge Amaya A. Departamento de Ingeniería Matemática y Centro de Modelamiento Matemático Universidad de Chile 1 Curso dictado en la II Escuela de Matemática, Guatemala, Noviembre 213

2 Índice general 1. Matemáticas para la Optimización El problema de Optimización Conjuntos convexos Poliedros: caracterización y propiedades Puntos extremos Direcciones y direcciones extremas Proyección sobre conjuntos convexos Separación de convexos: teoremas de Farkas y Gordan Funciones convexas Conjuntos relevantes asociados a funciones convexas Funciones convexas diferenciables Caracterización de optimalidad Definición del problema de Optimización Condiciones de optimalidad Optimización sin restricciones Optimización con restricciones Programación Lineal Introducción y ejemplos Resolución de problemas de Programación Lineal: algoritmo Simplex

3 Fase II del algoritmo Simplex: mejorar solución en curso Fase I del algoritmo Simplex: obtener una solución inicial básica factible Programación Lineal Entera (ramificaciónyacotamiento) Dualidad en Programación Lineal y Aplicaciones Definición de dualidad y principales propiedades Interpretación económicadeladualidad Dual de cualquier problema lineal Algoritmo Simplex-dual Introducción al análisis post-optimal Variación en los coeficientes de la función objetivo Variación en el vector de recursos (o lado derecho) Introducción de una nueva actividad (o variable) Introducción de una nueva restricción Modelos para flujos en redes Motivación y descripción de problemas clásicos Problema de asignación Problema de transporte Problema de flujo máximo Problema de camino máscorto Resolución del problema de transporte Obtener una solución básicafactibleinicial (FaseI) Examinar si una solución básica factible es óptima Modificar una solución básica factible (si no es óptima) Flujo de costo mínimo: mejoramiento de una soluciónencurso Algoritmos para Programación no Lineal Optimización sin restricciones

4 Método del gradiente (descenso máspronunciado) Método de Newton Método de paso (minimizaciónunidimensional) Optimización con restricciones Método del gradiente proyectado Método de direcciones admisibles Método de penalización

5 Capítulo 1 Matemáticas para la Optimización 1.1. El problema de Optimización La formulación matemática de un problema de Optimización se escribe habitualmente en la forma: (P ) minimizar (o maximizar) f(x) x S donde x es el vector de variables de decisión, f : S IR es la función objetivo y S IR n es el conjunto factible. Deaquí en adelante trabajaremos solamente con la formulación en términos problema de minimización, sabiendo que el otro caso es completamente análogo. A menudo el conjunto factible está descrito mediante S = {x IR n /g i (x) i =1,...,m, x X IR n } ysedicequelasexpresionesg i (x) i = 1,...,m representan el conjunto de restricciones del problema (P ). El subconjunto X puede representar, por ejemplo, el primer cuadrante de IR n, las variables enteras, o las variables binarias. Si S = IR n,elproblemase dirá irrestricto. Un vector x IR n que pertenezca al conjunto S se llamará solución (o punto) factible de (P ). Si además satisface que f( x) f(x) x S, 4

6 se dirá que x es solución óptima o simplemente solución de (P ). Dependiendo de las características particulares del problema, éste recibe nombres y tratamientos especiales para su resolución. Dos casos de interés, son el de la programación lineal (f y g i son funciones lineales afines i) ylaprogramación lineal entera (en que además las variables sólo toman valores enteros). También trataremos la teoría y técnicas de solución de un problema con funciones no lineales. Un concepto esencial para entender cómo plantear y resolver un problema de optimización es el de convexidad. Mostraralgodelateoría básica del análisis convexo y su vinculación con la teoría de optimización son los objetivos de las siguientes secciones Conjuntos convexos Definición Sea S IR n, S. Se dice que S es convexo 1 si λx +(1 λ)y S x, y S, λ [, 1] Geométricamente, esta definición se puede interpretar como sigue: un conjunto no vacío es convexo si dados dos puntos del conjunto, el segmento de recta que los une está contenido en dicho conjunto (ver Figura 1.1). a) b) y x y x Figura 1.1: El conjunto de la figura a) es convexo. El conjunto de la figura b) no es convexo, pues existe un segmento de recta, uniendo dos puntos del conjunto, que no está incluido en el conjunto. Ejemplo Un espacio vectorial es un conjunto convexo (en particular, IR n lo es). 1 Por convención, el conjunto vacío será considerado convexo 5

7 Demostración. Directo pues, por definición, un espacio vectorial es cerrado para la suma y la ponderación por escalar. Ejemplo S = {x IR 3 /x 1 +2x 2 x 3 =2} es un conjunto convexo. Demostración. Sean x, y S, λ [, 1]. Por definición del conjunto S, esto significa que x 1 +2x 2 x 3 =2 e y 1 +2y 2 y 3 =2. λx 1 +(1 λ)y 1 Vemos que λx +(1 λ)y = λx 2 +(1 λ)y 2 pertenece a S, pues λx 3 +(1 λ)y 3 λx 1 +(1 λ)y 1 +2{λx 2 +(1 λ)y 2 } {λx 3 +(1 λ)y 3 } = λ(x 1 +2x 2 x 3 )+(1 λ)(y 1 +2y 2 y 3 ) = 2λ +2(1 λ) = 2 Definición Sean a IR n, α IR fijos. Se l lama hiperplano al conjunto H = {x IR n /a T x = α} Un hiperplano H define dos semiespacios: H = {x IR n /a T x α} H + = {x IR n /a T x α} Porejemplo,enelcasoH = {x IR 3 /x 1 +2x 2 x 3 =2} se tiene que a T α = 2. Los dos semiespacios asociados son: =(1, 2, 1) y H = {x IR 3 /x 1 +2x 2 x 3 2} H + = {x IR 3 /x 1 +2x 2 x 3 2}. Ejemplo Un semiespacio S en IR n es un conjunto convexo. Demostración. Consideremos a IR n y α IR, que definen el semiespacio S = {x IR n /a T x α}. Sean x, y S, λ [, 1], entonces 6

8 x3 H - H 1 x 2 x1 2 H + -2 Figura 1.2: Semiespacios generados por el hiperplano H a T {λx +(1 λ)y} = λa T x +(1 λ)a T y λα +(1 λ)α = α Luego λx +(1 λ)y S y, por lo tanto, S es convexo. Proposición Sean S 1 y S 2 dos conjuntos convexos. Entonces S 1 S 2 es un conjunto convexo. Demostración. Sean x, y S 1 S 2, λ [, 1]. Entonces x, y S 1 λx +(1 λ)y S 1 y x, y S 2 λx +(1 λ)y S 2, puesto que S 1 y S 2 son convexos. Luego λx +(1 λ)y S 1 S 2, es decir, S 1 S 2 es convexo. 7

9 Observación Observemos que: i) Esta propiedad se puede generalizar fácilmente a una intersección cualquiera de convexos. Esto es, si Γ es un conjunto arbitrario, incluso no numerable, y {S γ } γ Γ es una clase de conjuntos convexos, entonces γ Γ S γ es un conjunto convexo. ii) Aunque del Ejemplo puede concluirse fácilmente que un hiperplano es un conjunto convexo (reemplazando las desigualdades por igualdades), podemos usar esta proposición para probar que un hiperplano es un conjunto convexo, dado que es intersección de convexos. Ejemplo Sistema de desigualdades lineales: a 11 x a 1n x n b 1. a m1 x a mn x n b m con a ij,b i,x j IR, i =1,...,m, j =1,...,n. El sistema se anota Ax b, cona =(a ij ) i=1...m;j=1...n, b = El conjunto S = {x IR n /Ax b} es la intersección de m semiespacios de la forma S i = {x IR n /A i x b i } (donde A i denota la fila i-ésima de la matriz A), los cuales, según vimos en el Ejemplo 1.2.3, son conjuntos convexos. Luego, por la Proposición 1.2.1, S es convexo. Definición Sean x 1,...,x k IR n, λ 1,...,λ k IR + tales que k λ i =1.Elvector i=1 x = k λ i x i se dice combinación convexa de los k vectores x 1,...,x k. i=1 Definición Sea S IR n (no necesariamente convexo). Se define la envoltura convexa de S, de la manera siguiente: b 1. b m. co(s) ={ k λ i x i /k IN,x 1,...,x k IR n, λ 1,...,λ k IR +, i=1 k λ i =1}. i=1 8

10 Es decir, es el conjunto de todas las posibles combinaciones convexas de puntos de S. Observación Sean S, S IR n,entonces: S co(s). S es convexo si y sólo si co(s) =S. Si S S entonces co(s) co(s ). a) b) y x y x Figura 1.3: La envoltura convexa del conjunto de la figura a) coincide con él, por ser convexo. Para el conjunto de la figura b), la ĺınea sólida delimita su envoltura convexa. Ejemplo La envoltura convexa de los números racionales es IR. Ejemplo Sean v 1 = 5 2,v 2 = 6 7 3,v 3 = 3 1,v 4 = vectores en IR 3. Su envoltura convexa queda determinada por el poliedro de la Figura 1.4, cuyos vértices están dados por el conjunto de vectores {v 1,v 2,v 3,v 4 }. Proposición co(s) es un conjunto convexo. Demostración. Sean x, y co(s), es decir, x = k ν i x i, y = i=1 9 m μ i y i i=1

11 Figura 1.4: La envoltura convexa del conjunto de puntos señalados queda determinada por un poliedro cuyos vértices están dados por un subconjunto del conjunto de puntos. donde x 1,...,x n,y 1,...,y m S y ν 1,...,ν n,μ 1,...,μ m, son ponderadores de las combinaciones convexas. Sea λ [, 1] y λx +(1 λ)y = λ k ν i x i +(1 λ) m μ i y i. i=1 Llamando z i = x i, α i = λν i, i =1,...,k y z k+i = y i, α k+i =(1 λ)μ i i =1,...,m, se tiene que λx +(1 λ)y = k+m α i z i con i=1 i=1 z i S, α i [, 1], i =1,...,k+ m y k+m i=1 α i =1. Luego por definición se tiene que λx +(1 λ)y co(s), por lo tanto co(s) esconvexo. Proposición El conjunto co(s) es el convexo más pequeño (en el sentido de la inclusión) que contiene a S, es decir, co(s) = {C IR n /C convexo, S C}. Demostración. Sea x {C IR n /C convexo, S C}. Entonces x C, C convexo, tal que S C. Luegox co(s), que es un convexo particular que contiene a S. 1

12 Sean ahora x co(s) y C un convexo cualquiera que contiene a S. Entonces co(s) co(c) =C, porlotantox C. Luego, x {C IR n /C convexo, S C}. Ejercicio Sean S 1 y S 2 convexos, α IR. Se define la suma y ponderación de conjuntos como sigue: S 1 + S 2 = {x + y / x S 1,y S 2 } αs 1 = {αx / x S 1 } Pruebe que S 1 + S 2 y αs 1 son convexos Poliedros: caracterización y propiedades Definición Se llama poliedro aunconjuntodelaformap = {x IR n /Ax b} con A M m n (IR) y b IR m, es decir, un poliedro es una intersección finita de semiespacios. Proposición P = {x IR n /Ax = b,x } es un poliedro. 2 Demostración. Claramente, el conjunto P queda representado por el siguiente sistema de inecuaciones lineales : A A I x donde I la matriz identidad en dimensión n. A b Llamando A = A, b = b, se obtiene un sistema de la forma I P = {x IR n /A x b }, que es igual a P. Luego, P es un poliedro. b b 2 x siysolamentesix i i =1,...,n 11

13 Observación Es obvio que P ={x IR n /Ax b} es un poliedro. En efecto: como x IR n es irrestricto, basta multiplicar el sistema de desigualdades por -1, y definir A =-A, b =-b. Proposición Todo poliedro es un conjunto convexo. Demostración. Ver Ejemplo Se dirá que un poliedro P = {x IR n /Ax = b, x } está escrito en forma canónica. Enlo sucesivo trabajaremos con esta representación. Proposición Un poliedro es un conjunto cerrado. Demostración. Sea P el poliedro {x IR n /Ax = b, x } yconsideremos x P (adherencia o cerradura de P). Mostraremos que x P. Como x P, existe una sucesión {x k } en P tal que lím k x k = x. Además, k, el punto x k verifica Ax k = b x k Tomando límite (y por continuidad de la función lineal x Ax) setiene: A x = b x Luego x Pyporlotanto P P. Dado que se cumple siempre que P P, se obtiene P = P, luegop es cerrado. Ejemplo C = {x IR 2 / x 1 + x 2 2, x 1 + x 2 4, x 2 4, x 1, x 2 }. Matricialmente esto puede escribirse de la siguiente manera: ( ) 1 x1 4 1 x El conjunto C es un poliedro, convexo y cerrado, pero no acotado, tal como se aprecia en la Figura

14 y 4 (2,4) 2 (1,3) C (4,) 4 x Figura 1.5: El conjunto C es un poliedro, convexo y cerrado, pero no acotado Puntos extremos Definición Sea S IR n un conjunto convexo, S. Un vector x S se llama punto extremo de S si no puede ser representado como combinación convexa de otros dos puntos distintos del convexo. Es decir, si x = λx 1 +(1 λ)x 2,conx 1,x 2 S y λ ], 1[, entonces x = x 1 = x 2. Ejemplo Veamos algunos casos de conjuntos convexos y sus puntos extremos. a) Sea S=B(,1), la bola unitaria en IR n. El conjunto de puntos extremos queda representado por {x IR n / x =1}, que es la frontera de S. b) El conjunto de puntos extremos del poliedro del Ejemplo es E = 2, 7, 3, c) El conjunto de puntos extremos de un semiespacio cerrado es vacío. 13

15 {( d) Sean U = ) ( 1, 1 ) ( 1, 3 ) ( 2, 4 ) (, 2 )} y S = co{u} y (-2,4) * y>=-2x y<=-1x (,2) * (1,3) * x<=1 * (,) * y>=x (1,1) x Figura 1.6: S es la envoltura convexa del conjunto U Naturalmente, el conjunto de puntos extremos de S es El sistema que representa a S es S = x IR 2 : x {( ) ( 1, 1. ) ( 1, 3 ) ( 2, 4 )}. 14

16 En general, fácilmente se puede ver que x es punto extremo de un convexo S si y solamente si S\{x} es un conjunto convexo, de donde se sigue que si S es tal que co(s )=S, entonces necesariamente S debe incluir al conjunto de puntos extremos de S. La noción de punto extremo es de suma importancia en la teoría de optimización pues, como veremos más adelante, está enrelación directa con el conjunto de soluciones para un problema de Programación Lineal, por lo cual es importante tener una caracterización simple. Veamos el siguiente ejemplo de motivación: P = {x IR 2 /x 1 + x 2 2, 8x 1 +3x 2 8, x 1,x 2 } El gráfico se muestra en la Figura 1.7. X2 8 /3 2 P 1 2 X1 Figura 1.7: Ejemplo de motivación. Los puntos extremos son (en IR 4 ) {( ) ( 1, ) ( 2/5, 8/5 ) (, 2 )}. Trabajaremos con el poliedro P = {x IR 4 /x 1 + x 2 + x 3 =2, 8x 1 +3x 2 + x 4 =8, x 1,x 2,x 3,x 4 } 15

17 que es equivalente a P en el sentido siguiente: ( x1 x 2 ) P x 3,x 4 : x 1 x 2 x 3 x 4 P. Examinemos entonces el sistema x 1 + x 2 + x 3 = 2 8x 1 +3x 2 + x 4 = 8 x 1,x 2,x 3,x 4 Asignando valor nulo a dos variables cualesquiera podemos entonces resolver el sistema de dos ecuaciones cada vez. Esto da las soluciones 2 8, 2 2, 8/3 2/3, 2 8, 1 1, 2/5 8/5. Se observa que dos de ellas (la tercera y la cuarta) no satisfacen la condición de positividad, luego no pertenecen a P. Sin embargo las cuatro soluciones restantes determinan en sus dos primeras coordenadas, los puntos extremos de P, asaber: {( ), ( 2 ), ( 2/5 8/5 ), Esto se expresa en forma general en el siguiente teorema. ( 1 )}. Teorema Sea un poliedro P = {x IR n /Ax = b, x }, donde A M m n (IR) es de rango m y b IR m.unpuntox es extremo de P si y sólosilamatriza se puede descomponer, eventualmente reordenando sus columnas, en la forma A = [B,N], donde B M m m (IR) es invertible, N M m (n m) (IR) corresponde a las columnas restantes y x = ( B 1 b ),conb 1 b. Demostración. ( B ( =) Sea x = 1 b ). Se tiene que x P, pues 16

18 ( ) B Ax =[B,N] 1 b = BB 1 b + N =b. Sean u, v P tales que x = λu +(1 λ)v, paraalgún λ ], 1[, es decir ( B 1 b ) ( u1 = λ u 2 ) ( v1 +(1 λ) v 2 ) De allí: (1) λu 1 +(1 λ)v 1 = B 1 b (2) λu 2 +(1 λ)v 2 = Como u, v P, necesariamente u,v. Luego de (2) se tiene que u 2 = v 2 =. ( ) u1 Como u P satisface Au = b, estoes[b,n] = Bu 1 = b entonces u 1 = B 1 b, por lo tanto, u = x. De la misma manera se prueba que v = x, conloqueseconcluyequex es punto extremo. (= ) Supongamos ahora que x P es un punto extremo. Eventualmente reordenando las columnas del sistema, x puede escribirse con x i > parai =1,...,k, k m. x = x 1. x k., Notemos por A k la k-ésima columna de A. Luego A =[A 1,...,A n ]y Ax = b k i=1 x i A i = b Probaremos que A 1,...,A k son linealmente independientes. Supongamos que son linealmente dependientes, es decir, que existen μ 1,...,μ k no todos nulos, tales que k μ i A i =. 17 i=1

19 Definamos el vector μ = μ 1. μ k. y, para α>, construyamos los siguientes vectores y = x + αμ z = x αμ Es claro que y, z P,paraα suficientemente pequeño. Además x y, y z y z x, porlo tanto x = 1y + 1 z es combinación convexa de dos puntos distintos en P, luego no es extremo 2 2 (contradicción). Así, A 1,...,A k son linealmente independientes, lo que implica, en particular, que k m. Podemos agregar A k+1,...,a m (eventualmente reordenando columnas) para obtener un conjunto maximal (recordar que A es de rango m) y definir B =[A 1,...,A m ], que es una matriz invertible, y N =[A m+1,...,a n ]. Con esto, A se puede escribir en la forma A =[B,N], a menos de una reordenación de las columnas. Se tiene entonces las equivalencias Notando x = Ax = b ( xb x N ),con x B = n x i A i = b i=1 x 1. x m, x N = m x i A i + i=1 x m+1. x n = n i=m+1. x i A i = b, la ecuación anterior se escribe: de donde x B = B 1 b. Bx B + Nx N = b 18

20 Corolario El númerodepuntosextremosdeunpoliedroenlaformacanónica es finito. ( ) n Demostración. Hay a lo sumo formas de elegir las m columnas independientes de m A, y cada matriz B está asociadaalomás a un punto extremo. Ejemplo Consideremos un poliedro en la forma canónica dado por las matrices [ ] [ ] A = y b = Calculemos sus puntos extremos. De acuerdo al corolario anterior, existen a lo sumo 6 puntos extremos dado que hay 6 formas posibles de elegir la matriz B. [ ] 2 1 (1) B = no es invertible. [ ] ( 2 1 ) (2) B = es invertible, pero B 1 1 b = 2 no es un vector positivo. 1 [ ] ( ) (3) B = es invertible y el vector B 2 1 b = 4 1 tiene todas sus coodenadas 2 positivas. [ ] ( ) 1 1 (4) B = es invertible, pero B 1 1 b = no es un vector positivo. 1 [ ] ( ) (5) B = es invertible y el vector B 2 1 b = 2 1 tiene todas sus coodenadas 2 positivas. [ ] ( ) 1 3 (6) B = es invertible, pero B b = no es un vector positivo. 1 Los casos (3) y (5) nos entregan puntos extremos para el poliedro en estudio, sólo falta ubicar los valores resultantes en las posiciones correctas: La matriz del caso (3) toma las columnas primera y cuarta de la matriz A, luego el 3 4 vector punto extremo correspondiente será

21 La matriz del caso (5) toma las columnas segunda y cuarta de la matriz A, luego el 3 vector punto extremo correspondiente será Definición Se llama polítopo a la envoltura convexa de un conjunto finito de puntos. De acuerdo con esta definición, puede concluirse fácilmente que todo polítopo es envoltura convexa de sus puntos extremos. Es obvio, además, que todo polítopo es un poliedro. Luego, parece natural preguntarse si todo poliedro puede escribirse como combinación convexa de sus puntos extremos. La respuesta es negativa, cuando el poliedro es no acotado. En el Ejemplo observamos que los puntos del poliedro que no están en la superficie del ( ) ( ) 1 2 triángulo definido por los puntos, y 3 4 combinación convexa de esos tres puntos extremos. ( 4 Ejemplo Sea S = {x IR 2 /x 2 x 1 }. Dado que se tiene x 2 x 1 x 2 x 1 x 2, x 2, S = {x IR 2 /x 1 x 2, x 1 x 2, x 2 } ), no pueden ser expresados como o, en forma matricial x. Como es posible ver en la Figura 1.8, el origen es el único punto extremo y ningún punto del poliedro S puede expresarse como combinación convexa de sus puntos extremos. Luego, para poliedros no acotados introduciremos un nuevo concepto, en la subsección siguiente Direcciones y direcciones extremas Definición Sea S IR n, un conjunto convexo. Un vector d IR n,d,sedice dirección de S si x S se tiene que x + λd S, λ. 2

22 d 1 d 2 Figura 1.8: El origen es el único punto extremo del poliedro de la figura y d 1,d 2 son sus únicas direcciones extremas. Consideremos el poliedro P = {x IR n /Ax = b, x }.Una dirección de P debe satisfacer que x P: A(x + λd) =b λ x + λd λ Luego, d es dirección de P si y solamente si satisface el sistema Ad =, d. Definición Dos direcciones d 1 y d 2 se dirán iguales si d 1 = αd 2 para algún α>. Se escribirá d 1 = d 2, si no hay posible confusión. Definición Sea S un convexo cerrado y d IR n una dirección de S. Sedicequed es dirección extrema si, dadas d 1 y d 2, direcciones de S, tales que d = αd 1 + βd 2 para algún α, β >, entonces se tiene que d = d 1 = d 2. Es decir, d no puede expresarse como combinación lineal positiva (estricta) de dos direcciones distintas. 21

23 Ejemplo En la Figura 1.8, d 1 y d 2 son direcciones extremas y toda otra dirección se escribe como combinación lineal positiva de ellas. Con lo que hemos hecho hasta aquí, una pregunta interesante es: existirá alguna caracterización de las direcciones extremas, equivalente a la obtenida para puntos extremos? Escribamos la matriz A que representa el poliedro escrito en la forma canónica ( tal) como B en el caso de puntos extremos, es decir, A =[B,N] y consideremos d = 1 a j con e j B 1 a j, donde a j es columna de N. Elvectore j tiene coordenadas nulas, salvo un 1 en la posición que indica el índice j. Verifiquemos que d es dirección: en efecto, d y ( ) B Ad =[B,N] 1 a j = BB 1 a j + Ne j = a j + a j =. e j Supongamos que no es extrema. Entonces existen d 1 y d 2, direcciones de P distintas entre sí, tales que d es combinación lineal positiva de ellas, es decir, ( ) B d = 1 a j = λ 1 d 1 + λ 2 d 2, para algunos λ 1,λ 2 >. Entonces d 1 y d 2 tendrán necesariamente la forma: ( ) d11 d 1 =, d η 1 e 2 = j para algunos η 1,η 2 talesqueη 1 + η 2 =1. e j ( d21 Como d 1 y d 2 son direcciones de P entonces Ad 1 = Ad 2 =.Luego ( ) d11 [B,N] = Bd η 1 e 11 + η 1 Ne j = Bd 11 + η 1 a j = d 11 = η 1 B 1 a j j ( ) d21 [B,N] = Bd η 2 e 21 + η 2 Ne j = Bd 21 + η 2 a j = d 21 = η 2 B 1 a j j por lo tanto d 1 = d 2 = d (en el sentido de la igualdad de direcciones), lo que muestra que d es dirección extrema. De paso, se observa que η 1,η 2 puesto que d 1 y d 2 son direcciones. Lo explicado anteriormente nos permite formular el teorema de caracterización de direcciones extremas. 22 η 2 e j )

24 Teorema Sea un poliedro P = {x IR n /Ax = b, x }, donde A M m n (IR) es de rango m y b IR m. Una dirección d IR n es dirección extrema de P si y sólosilamatriz A se puede descomponer, eventualmente reordenando sus columnas, en la forma ( A =[B,N], ) donde B M m m (IR) es invertible y d B es un múltiplo positivo de d = 1 a j con B 1 a j, donde a j N (es un vector columna de N) ye j es el j-ésimo vector de la base canónica de IR n m. Corolario El número de direcciones extremas de un poliedro en la forma canónica es finito. ( ) n Demostración. Hay a lo más formas de elegir B m 1 ycomohayn m columnas en ( ) n N, entonces (n m) es el número máximo de direcciones extremas. m e j Ejemplo Volvamos al Ejemplo De acuerdo al corolario anterior, existen 12 posibles direcciones extremas, por lo tanto no desarrrollaremos el cálculo completo. Sólo consideraremos el siguiente caso: [ tomemos ] la matriz B formada por la segunda y cuarta 1 1 columnas de A, esdecirb =. 2 [ ] [ ] 2 2 Luego N = y B N = 2 1. El producto de B 1 con la primera columna 2 de N no es negativo, por lo tanto, no nos permite calcular una dirección extrema. Sin embargo, el producto con la segunda columna de N es negativo. Tal como en el caso de puntos 1 extremos, sólo basta ordenar la información para decir que d = 2 1 es dirección extrema 1 2 del poliedro. Para concluir esta sección, enunciaremos, sin demostrar, un teorema de caracterización que liga todo lo que hemos desarrollado en esta sección. Teorema Sea P = {x IR n /Ax = b, x }, donde A M m n (IR) es de rango m y b IR n.seanx 1,...,x k lospuntosextremosyd 1,...,d l las direcciones extremas de P. 23

25 Entonces, x Psi y sólo si puede ser escrito como la suma de una combinación convexa de los puntos extremos y una combinación lineal positiva de las direcciones extremas, es decir, x = k l λ i x i + μ j d j i=1 j=1 donde λ i i =1,...,k, k λ i =1, i=1 μ j, j =1,...,l. Teorema P = {x IR n /Ax = b, x } tiene al menos una dirección si y sólo si P es no acotado. Demostración. (= ) SiP tiene una dirección d, entonces es no acotado puesto que dado x Pse tiene que x + λd P, λ yporlotanto lím x + λd =. λ ( =) Supongamos que P es no acotado y que no posee direcciones. Entonces tampoco poseee direcciones extremas y, por el teorema anterior, todo punto x Ppuede escribirse de la forma x = k k λ i x i, para algunos λ i, i=1,...,k, λ i =1. i=1 Por la desigualdad triangular k x = λ i x i k λ i x i k x i < x P i=1 lo que contradice que P seanoacotado. i=1 i=1 i=1 Ejercicio Sea S un convexo. Demuestre que x S es punto extremo si y sólo si S\{x} es convexo. Ejercicio Probar que si S es un conjunto finito, co(s) es un poliedro Proyección sobre conjuntos convexos Teorema Sea S un conjunto convexo, cerrado, no vacío en IR n, y IR n, y / S. Entonces, existe un único x S que minimiza la función 24

26 ϕ y : S x IR ϕ y (x) = y x Demostración. Existencia: Seaγ =ínf{ϕ y (x) /x S}. Existe una sucesión minimizante {x k } k IN S tal que ϕ y (x k ) γ, k. Usando la propiedad conocida como Ley del Paralelógramo, para u = x k y, v = x l y, tenemos u + v 2 + u v 2 =2 u 2 +2 v 2, x k x l 2 =2 x k y 2 +2 x l y 2 x k + x l 2y 2 =2 x k y 2 +2 x l y x k x l y 2 Notar que, por convexidad de S, setieneque 1 2 x k x l S, luego 1 2 x k x l y 2 γ 2, por lo tanto, x k x l 2 2 x k y 2 +2 x l y 2 4γ 2 Si k, l,setieneque x k y γ y x l y γ, luego x k x l 2, es decir, {x k } k IN es una sucesión de Cauchy en IRn y, por lo tanto, converge a un cierto x S, pues S es cerrado. Por continuidad de la norma, ϕ y ( x) =γ. Unicidad: Sea x S, x x, talqueϕ y ( x) =γ. De manera análoga a la parte anterior, se llega a x x 2 2 x y 2 +2 x y 2 4γ 2, que es igual a cero, luego x = x. Observación El teorema anterior es válidoparalanormaeuclideana,perosiseusa otra norma, entonces es posible que la proyección no quede bien definida al no haber unicidad. En lo que sigue, salvo indicación expresa en contrario, siempre entenderemos que se usa la norma euclideana. Definición Sea S un convexo cerrado no vacío. i) Para y IR n, se define la distancia de y a S, pord(y, S) =mín{ϕ y (x) /x S}. 25

27 y * d(y,s) P (y) S x _ S Figura 1.9: Distancia y proyección del punto y al conjunto S ii) Para y IR n, se define la proyección de y sobre S, mediante P S (y) =argmín{ϕ y (x) /x S} = x S, siendo x el único que satisface ϕ y ( x) ϕ y (x), x S. Observación La notación arg mín se lee como el argumento que minimiza. Claramente, si y S se tiene que d(y, S) =y P S (y) =y. Por otra parte, de aquí en adelante usaremos la notación u, v para el producto interno habitual en IR n pero, como interpretamos los vectores de IR n como columnas, es equivalente escribir u T v. Teorema Sean S un convexo cerrado no vacío e y/ S. Setieneque si y solamente si x minimiza ϕ y (x). y x, x x, x S 26

28 Demostración. Supongamos que para cierto x IR n se tiene y x, x x, x S. Entonces y x 2 = y x (x x) 2 = y x 2 + x x 2 2 y x, x x y x 2 + x x 2 y x 2 Esto implica que y x y x, x S. Es decir ϕ y ( x) ϕ y (x), x S. Inversamente, si x minimiza ϕ y en S, entonces x S: y x 2 = y x (x x) 2 Luego y x, x x 1 2 x x 2, x S. = y x 2 + x x 2 2 y x, x x y x 2 + x x 2 2 y x, x x Como S es un conjunto convexo y x S, entonces λx +(1 λ) x S, λ ], 1[ y por lo tanto: de donde y x, λx +(1 λ) x x 1 λx +(1 λ) x x 2 2 Tomando λ +, se tiene el resultado. y x, x x λ x x 2 2 Geométricamente, el teorema anterior quiere decir que la proyección de y sobre S se alcanza en un punto x tal que el trazo y x es ortogonal al conjunto. Teorema Sea S un convexo cerrado no vacío, entonces P S (x) P S (y) x y, x, y IR n. Observación Esto es equivalente a decir que si S un convexo cerrado no vacío, la función de proyección P S es de Lipschitz (continua). Ejercicio Demuestre el Teorema

29 S _ x y Figura 1.1: Proyección de y sobre S Separación de convexos: teoremas de Farkas y Gordan Teorema (Hahn-Banach) Sea S un convexo cerrado no vacío, y / S. Entonces existen p IR n, p,α IR, tales que p T y > α p T x α, x S. y S t H={z/p z= α } Figura 1.11: H es el hiperplano separador entre S e y. Demostración. De acuerdo a lo desarrollado en la subsección anterior, existe un único x S tal que y x, x x, x S. 28

30 Sean p = y x yα = p, x. Tenemos que p, x x, x S por lo tanto Por otro lado p, x p, x = α x S (1.1) p, x x = p, x y + y x = p, x y + p, y x = p, x y + p 2, x S lo que implica que p, x + p 2 p, y, x S. Como p 2,setieneque p, x < p, y, x S (1.2) Por (1.1), se tiene que p, x α x S y por (1.2), se tiene que α< p, y, lo que concluye la demostración. El teorema anterior introduce la noción de hiperplano separador (ver Figura 1.11). Definición Sea S un convexo cerrado no vacío. Un hiperplano soportante de S es un hiperplano H tal que H S y {S H + S H }. Esto se muestra en la Figura a) b) S ω S ω H 1 H 2 H 3 Figura 1.12: Para la figura a), H 1 y H 2 son dos hiperplanos soportantes en el punto señalado. Cuando definimos los poliedros, los caracterizamos como una intersección finita de semiespacios. El siguiente teorema nos permitirá deducir una caracterización similar para un conjunto convexo no vacío cualquiera. 29

31 Teorema Sea S IR n un conjunto convexo y sea x unpuntoenlafronterades. Entonces S tiene un hiperplano soportante en x. Corolario Sea S un convexo cerrado no vacío. Entonces S = {W semiespacio/s W } Observación Note que la intersección anterior no es necesariamente finita. Demostración. Basta tomar los semiespacios generados por todos los hiperplanos soportantes del convexo, que contengan a S. Teorema (Farkas) Sea A M m n (IR), c IR n. Uno y sólo uno de los siguientes sistemas tiene solución: (1) Ax, c T x> (2) A T y = c, y Demostración. Supongamos que (2) tiene solución, es decir, que existe y talque A T y = c. Si (1) tuviese solución, existiría x IR n tal que Ax, c T x>. Premultiplicando la primera desigualdad por y, se tiene que y T Ax =(A T y) T x = c T x, lo cual es una contradicción. Por lo tanto (1) no tiene solución. Supongamos ahora que (2) no tiene solución. Sea S = {ω IR n /ω = A T y, y }, que es un convexo, cerrado y no vacío. Como (2) no tiene solución, entonces c/ S. Luegoexistenp,α IR tales que Como ω = S, α, lo que implica p, c >α y p, ω α, ω S. p, c > (1.3) De p, ω α ω S, setieneque p, A T y = Ap, y α, y. 3

32 Supongamos que Ap tiene una coordenada estrictamente positiva, digamos (Ap) 1,yconsideremos y = λ 1., λ>. Entonces λ(ap) 1 α λ >, lo que es una contradicción, pues se puede elegir λ suficientemente grande de modo de violar la desigualdad, dado que (Ap) 1 >. Luego, Ap no tiene coordenadas positivas, es decir, De (1.3) y (1.4) se deduce que (1) tiene solución para x = p. Ap (1.4) Ejercicio Sea A M m n (IR), c IR n. Uno y sólo uno de los siguientes sistemas tiene solución: (1) Ax, x, c T x> (2) A T u c, u Basta considerar la matriz à = [ A I ] y aplicar Farkas. Teorema Sean S 1 y S 2, conjuntos convexos no vacíos en IR n, tales que S 1 S 2 =. Existe un hiperplano que separa S 1 y S 2,esdecir,existep IR n no nulo tal que p T x 1 p T x 2 x 1 S 1,x 2 S 2. Demostración. Consideremos el conjunto S = {x/x = x 2 x 1, x 1 S 1, x 2 S 2 } = S 2 S 1. Se deduce del Ejercicio (1.2.1) que S es un convexo. Además, es claro que / S (en efecto, S implicaría que S 1 S 2 ). Luego, usando el Teorema 1.2.8, existe p talque de donde se concluye que p T x x S 31

33 S 2 S 1 Figura 1.13: En el caso de la figura, el hiperplano separador de los dos conjuntos convexos es soportante para la clausura de ambos. H lo que prueba el teorema. p T (x 2 x 1 ) x 1 S 1, x 2 S 2 Teorema (Gordan) Sea A M m n (IR). Entonces uno y sólo uno de los siguientes sistemas tiene solución: (1) Ax < (2) A T p =,p, p Demostración. Supongamos primero que (1) tiene solución, es decir, que existe x IR n tal que Ax <. Demostraremos que (2) no tiene solución.sino,existiría p IR n,p, p tal que A T p =. Entonces, premultiplicando (1) por p T se obtiene que p T Ax <, lo que contradice que A T p =. Supongamos ahora que (1) no tiene solución. Demostraremos que (2) posee solución. Si no, definamos S 1 = {z IR m /z = Ax, x IR n } y S 2 = {z IR m /z < } Como (1) no tiene solución, entonces tenemos 32

34 S 1 S 2 = S 1,S 2 S 1 y S 2 convexos Entonces, por teorema anterior (separación de dos convexos), existe un hiperplano separador; es decir existe p talque Luego, p T z 1 p T z 2 z 1 S 1, z 2 S 2 p T Ax 1 p T z 2 x 1 IR n, z 2 S 2 (1.5) lo cual implica que p T Ax 1 sup{p T z 2 }. z 2 < Probaremos que p. Si p tiene alguna coordenada negativa, entonces el supremo del lado derecho de esta desigualdad es igual a +. Se deduce entonces que p T Ax 1 =+, x 1 IR n, lo que es una contradicción. Así, p. Luego, tomando límite z 2 en (1.5), se tiene que p T Ax 1, x 1 IR n. Eligiendo x 1 = A T p,setieneque A T p = lo que implica A T p =. Esto demuestra que (2) tiene solución Funciones convexas Definición Sea S IR n un conjunto convexo. Se dice que f : S IR es una función convexa si f(λx +(1 λ)y) λf(x)+(1 λ)f(y), x, y S, λ 1. Esta definición se puede interpretar geométricamente, diciendo que la imagen por f del segmento [x, y] queda por debajo de la recta que une (x, f(x)) e (y, f(y)) (ver Figura 1.14). Es posible probar la siguiente definición equivalente de convexidad de funciones. Definición Sea S IR n un conjunto convexo. Se dice que f : S IR es una función convexa si k IN,x 1,...x k S y λ 1,...,λ k tales que k λ i =1,setiene 33 i=1

35 f(y) f(x) x y Figura 1.14: Función convexa: imagen del segmento [x, y] queda por debajo de la recta que une los puntos (x, f(x)) e (y,f(y)). f(λ 1 x λ k x k ) λ 1 f(x 1 ) λ k f(x k ). Definición Una función f, definida sobre un convexo S, se dice estrictamente convexa si para todo x, y S, x y, <λ<1, se tiene f(λx +(1 λ)y) <λf(x)+(1 λ)f(y) Definición Se dice que f : S IR es cóncava si f es convexa o, equivalentemente, si f(λx +(1 λ)y) λf(x)+(1 λ)f(y), x, y S, λ 1. Del mismo modo, f es estrictamente cóncava si f es estrictamente convexa. Ejemplo i) Una función f : IR n IR tal que f(x) =α T x + β (lineal afín)escóncava y convexa. ii) La función f definida por x si x ], ] f(x) = si x ], 1[ x si x [1, [ (lineal por pedazos) no es convexa ni cóncava. 34

36 iii) La función f(x) = x 2 es estrictamente cóncava. iv) La función f(x) = { x 2 si x ], 2] 4 si x ]2, [ no es convexa ni cóncava. i) ii) iii) iv) Figura 1.15: Gráfico de las funciones del Ejemplo A continuación enunciamos y demostramos (a modo de ejercicio de cálculo en varias variables reales) el teorema que garantiza la continuidad de las funciones convexas en el interior de su dominio. Teorema Sea f : S IR convexa. Entonces, f es continua en el interior de S. Demostración. Sea x int(s). Para probar la continuidad de f en x necesitamos mostrar que, dado ε>, existe δ>talque x x δ f (x) f ( x) ε. 35

37 Sea entonces ε>. Dado que x int(s) existeη>talquelaboladecentro x yradio η está incluida en S, es decir, B( x, η) S. Claramente x ± ηe i S, cone i vector de la base canónica. Luego, es claro que yestoimplica(porconvexidaddef) x = 1 2 ( x + ηe i)+ 1 2 ( x ηe i) f( x) 1 2 f( x + ηe i)+ 1 2 f( x ηe i) i =1,...,n de donde 1 2 {f( x + ηe i) f( x)} {f( x ηe i) f( x)}. De aquí se desprende que i, f( x+ηe i ) f( x) yf( x ηe i ) f( x) no pueden ser simultáneamente negativos. Sea K =máx{f( x±ηe i ) f( x), i =1,...,n}, K<, y definamos δ =mín{ η n, εη nk }. Sean α i i =1,...,n,talesquex x = n α i d i, con d i = i=1 { ηe i si x i x i ηe i si x i x i < Luego, x x 2 = n 2 α i d i = n n α i α j d i d j = n αi 2 d i 2 = η 2 n αi 2 δ2. i=1 i=1 j=1 i=1 i=1 n Así, se tiene que αi 2 δ2 η =mín{ 1 2 n, ε 2 }, lo que implica en particular que 2 n 2 K2 i=1 α i mín{ 1 n, ε nk } i =1,...,n. 36

38 Entonces, f(x) = n n 1 f(x x + x) =f( α i d i + x) =f( n (nα id i + x)) i=1 i=1 n 1 n f(nα id i + x) = 1 n f[(1 nα i ) x + nα i ( x + d i )] n i=1 i=1 1 n [(1 nα i )f( x)+nα i f( x + d i )] n i=1 = f( x)+ n α i [f( x + d i ) f( x)] i=1 Luego (de la definición de K y por la cota establecida para α i más arriba), f (x) f( x) n α i [f( x + d i ) f ( x)] K n α i ε i=1 Para terminar, falta probar que f ( x) f(x) ε. Sea y =2 x x. Notemos que y x = x x δ, luego, f(y) f( x) ε. Pero f( x) =f( 1y + 1x) 1f(y)+ 1 f(x) implica que i=1 1 2 [f ( x) f(x)] 1 2 [f(y) f( x)] 1 2 ε. Luego, f (x) f( x) ε y se tiene el resultado. Una función convexa podría no ser continua en todo su dominio, sin embargo, el teorema anterior dice que los puntos de discontinuidad se encuentran en la frontera, como muestra el siguiente ejemplo. Ejemplo Sea S = {x/ x 1} y f : S IR, definida por f (x) = { x 2 x < 1 2 x =1 La función f es convexa, continua en int (S) y los puntos de discontinuidad { 1, 1} están en la frontera de S. 37

39 Conjuntos relevantes asociados a funciones convexas Definición Sea f : S IR n IR, con S un conjunto cualquiera. Para α IR se definen los siguientes conjuntos (ver Figura 1.16) N α (f) ={x IR n /f(x) α}, elconjunto de nivel α. C α (f) ={x IR n /f(x) =α}, curva de nivel α. epi(f) ={(x, α) S IR /f(x) α}, elepígrafo de f. f α epi(f) N α f(x) =[x 1,x 2 ] x 1 * * x 2 C α f(x)={x 1,x 2 } Figura 1.16: Conjunto de nivel, curva de nivel y epígrafo de una función real f. Teorema Sea una función f : S IR n IR, con S convexo. Se tiene que (i) f es convexa si y sólo si epi(f) es un conjunto convexo (ii) Si f es convexa, entonces N α (f) es convexo. Demostración. 38

40 (i) Sea f convexa. Sean (x, α), (y, β) epi(f), λ [, 1]. Entonces, por convexidad λ(x, α)+(1 λ)(y, β) =(λx +(1 λ)y, λα +(1 λ)β) S IR Como f es convexa, entonces f(λx +(1 λ)y) λf(x)+(1 λ)y λα +(1 λ)β, puesto que f(x) α y f(y) β. Luego, por lo tanto epi(f) esconvexo. λ(x, α)+(1 λ)(y, β) epi(f), Sea ahora epi(f) un conjunto convexo. Claramente se tiene que (x, f(x)), (y, f(y)) epi(f) y, por lo tanto, para λ [, 1] se tiene λ(x, f(x)) + (1 λ)(y, f(y)) epi(f). Es decir, (λx +(1 λ)y, λf(x)+(1 λ)f(y)) epi(f), de donde se concluye que f es convexa. (ii) Sean x, y N α (f). Se tiene que f(x) α y f(y) α, porlotanto de donde λx +(1 λ)y N α (f). f(λx +(1 λ)y) λf(x)+(1 λ)f(y) α La recíproca de (ii) no es cierta: para la función (iv) del Ejemplo 1.3.1, N α (f) esconvexo α IR, sin embargo la función no es convexa Funciones convexas diferenciables Definición Sea S IR n,novacío, f : S IR, x S, y d tal que x + λd S λ [,η[, algún η>. Se define la derivada direccional de f en el punto x, en la dirección d, por (cuando el límite existe) 39

41 donde IR = IR {, + }. f ( x, d) = lím λ + f( x + λd) f( x) λ IR Definición Sea S IR n,novacío. Una función f : S IR se dice diferenciable en x int (S) si existe f( x) IR n tal que donde lím x x o (x x) x x =. f(x) =f( x)+ f( x) T (x x)+o (x x) x S Teorema Si f es diferenciable en el interior de S, entoncesf ( x, d) = f( x) T d. Demostración. Sea x int (S), como f es diferenciable se tiene que f (x) =f ( x)+ f( x) T (x x)+o(x x) x S. Sea x = x + λd S (para λ> suficientemente pequeño), luego f ( x + λd) =f ( x)+ f( x) T (λd)+o(λd) implica f ( x + λd) f ( x) λ = f( x) T d + o(λd) λd d Tomando límite cuando λ +, se obtiene f ( x, d) = f( x) T d. La siguiente proposición garantiza la existencia de la derivada direccional de las funciones convexas (bajo ciertas hipótesis generales). Proposición Sea f : S IR, convexa. Sean x S, y d tales que existe η> que cumple x + λd S, para todo λ [,η[. Entoncesf ( x, d) existe. Demostración. Sean <λ 1 <λ 2 <η. Entonces f( x + λ 1 d)=f( λ 1 λ 2 ( x + λ 2 d)+(1 λ 1 λ 2 ) x) λ 1 λ 2 f( x + λ 2 d)+(1 λ 1 λ 2 )f( x) 4

42 implica f( x + λ 1 d) f( x) λ 1 f( x + λd) f( x) Así, la función ϕ(λ) = λ existe (estamos en IR). f( x + λ 2d) f( x) λ 2 es monótona (no decreciente) y por lo tanto ínf λ> ϕ(λ) Pero ínf ϕ(λ) = lím ϕ(λ) =f ( x, d), luego la derivada direccional existe. λ> λ + El teorema siguiente permite caracterizar la convexidad de las funciones diferenciables, estableciendo que el hiperplano soportante de la función, en un punto cualquiera de la frontera del epígrafo, acota inferiormente a la función. Teorema (Caracterización de convexidad en el caso diferenciable) Sea f : S IR una función diferenciable en S IR n, convexo. Entonces f es convexa si y sólo si f(x) f( x)+ f( x) T (x x), x, x S. Demostración. ( ) Seaf convexa. Dados x, x S se tiene que Reordenando, tenemos que f(λx +(1 λ) x) λf(x)+(1 λ)f( x), λ [, 1] f( x + λ(x x)) f( x) λ y tomando límite λ + : f(x) f( x), λ [, 1[ f ( x, d) = f( x) T (x x) f(x) f( x) que implica f(x) f( x)+ f( x) T (x x), x, x S. ( ) Seanx, x S. Entonces, f(x) f(λx +(1 λ) x)+ f(λx +(1 λ) x), (1 λ)(x x) λ [, 1] f( x) f(λx +(1 λ) x)+ f(λx +(1 λ) x),λ( x x) λ [, 1] 41

43 Multilplicando la primera desigualdad por λ, la segunda por (1 λ) y sumando, se tiene Es decir, f es convexa. λf(x)+(1 λ)f( x) f(λx +(1 λ) x) λ [, 1] Observación Es directo probar que f, satisfaciendo las hipótesis del teorema anterior, es estrictamente convexa si y sólo si f(x) >f( x)+ f( x) T (x x), x, x S, x x. Corolario Sea f : S IR una función diferenciable en S IR n, convexo. Entonces f es convexa si y sólo si f(x 2 ) f(x 1 ),x 2 x 1, x 1,x 2 S. Demostración. De acuerdo al teorema anterior, f(x 1 ) f(x 2 )+ f(x 2 ),x 1 x 2 f(x 2 ) f(x 1 )+ f(x 1 ),x 2 x 1 x 1,x 2 S x 1,x 2 S Sumando las desigualdades anteriores, se tiene que f(x 2 ),x 1 x 2 + f(x 1 ),x 2 x 1 = f(x 2 )+ f(x 1 ),x 2 x 1 es decir, f(x 2 ) f(x 1 ),x 2 x 1 x 1,x 2 S. Definición Sea S IR n,novacío. Una función f : S IR se dice dos veces diferenciable en x si existe f( x) IR n y H( x) M n n (IR) tal que f(x) =f( x)+ f( x) T (x x)+ 1 2 (x x)t H ( x)(x x)+o (x x) x S donde o (x x) si x x x x 2 La matriz H ( x) se llama matriz Hessiana de f en x: H ( x) = 2 f( x) x f( x) 2 f( x) x 1 x n x 1 x f( x) x i x j. 2 f( x) x n x f( x) x 2 n

44 Teorema (Caracterización de convexidad para una función dos veces diferenciable) Sea S IR n un abierto, convexo, no vacío, y sea f : S IR dos veces diferenciable en S. Entonces f es convexa si y sólo si H (x) es semi-definida positiva x S. Demostración. ( ) Sea x S. Queremos probar que x IR n, x T H ( x) x. x + λx S, paraλ suficientemente pequeño. Del Teore- Como S es abierto, x IR n, ma se tiene que f ( x + λx) f( x)+λ f( x) T x, x IR n Además, f( x + λx) =f( x)+λ f( x) T x + λ2 2 xt H ( x) x + o (λx), x IR n Restando las dos ecuaciones, se tiene que de donde, λ2 2 xt H ( x) x o (λx) x IR n x T H ( x) x + 2 λ 2 o (λx) x IRn. Para x (elcasox = es directo), dividamos por x 2 y tomemos límite cuando λ + para obtener que x T H ( x) x x IR n, es decir, que H ( x) es semi-definida positiva. ( ) Seanx, x S. Por teorema del valor medio f(x) =f( x)+ f( x) T (x x)+ 1 2 (x x)t H( x)(x x) con x = λ x +(1 λ)x S, paraalgún λ ], 1[. Como H( x) es semi-definida positiva, (x x) T H( x)(x x), luego f(x) f( x)+ f( x) T (x x) x, x S Por el Teorema 1.3.4, f es convexa. 43

45 ( x1 Ejemplo Sea f x 2 es convexa, cóncava o ninguna de ellas. ) = x 2 1 5x x 1 x 2 +1x 1 1x 2. Deseamos verificar si f Podemos escribir f de una manera más conveniente como sigue: ( ) x1 f = ( 1, 1 ) ( ) x 1 + ( ) [ 1 1 x x 2 x 1, x = ( 1, 1 ) ( ) x ( ) [ 2 2 x1, x x ]( x1 ) x 2 ]( x1 x 2 ) [ ] 2 2 Luego, H(x) = (no depende explícitamente de x). 2 1 Calculemos sus valores propios: [ 2 λ 2 det 2 1 λ de donde λ 1 = 1,5279 y λ 2 = 1,4721. ] =(2+λ)(1+λ) 4=λ 2 +12λ +16= Como ambos valores son negativos, H(x) es definida negativa. Luego, por el teorema anterior, f es cóncava. Más aún, como lo demuestra el siguiente resultado, f es estrictamente cóncava. Corolario Sea S IR n un abierto, convexo, no vacío, y sea f : S IR dos veces diferenciable en S. Se tiene que, (i) si H(x) es definida positiva en cada punto de S, entoncesf es estrictamente convexa. (ii) si f es estrictamente convexa, entonces H(x) es semi-definida positiva en todo punto de S. Demostración. (i) Análogamente a la segunda parte de la demostración del teorema anterior, de la igualdad f(x) =f( x)+ f( x) T (x x)+ 1 2 (x x)t H( x)(x x) 44

46 y usando el hecho que H(x) es definida positiva, se obtiene f(x) >f( x)+ f( x) T (x x) x, x S, x x, Por la Observación 1.3.1, esto es equivalente a decir que f es estrictamente convexa. (ii) Notar que ( ) x T lím λ x H ( x) x o (λx) +2 x λ 2 x 2 > implica x T H ( x) x x IR n, es decir, H( x) es semi-definida positiva. 45

47 Capítulo 2 Caracterización de optimalidad 2.1. Definición del problema de Optimización En este capítulo trataremos el problema: (P )mín f(x) x S Con S IR n, generalmente definido por ecuaciones no necesariamente lineales, que llamaremos región factible y f una función cualquiera. Ciertamente, si S es un poliedro y f es lineal entonces se trata del caso de la Programación Lineal. Definición Un punto x S se dirá mínimo local de f si existe ɛ> que cumpla f(x ) f(x), x S tal que x x <ɛ. Es decir, existe una vecindad de x donde dicho punto es mínimo. Definición Un punto x S se dirá mínimo global de f en S si f(x ) f(x), x S. Esdecir,x es solución de (P). En términos del lenguaje utilizado, un elemento x S se llama solución factible de (P )y si x resuelve (P ) se puede decir que es solución, solución óptima, mínimo, o solución global del problema. Teorema Sea f : S IR, con S convexo no vacío, y sea x una solución local del problema (P ). Entonces, 46

48 (i) Si f es convexa, x es mínimo global. (ii) Si f es estrictamente convexa, x es el único mínimo global. Demostración. (i) Sea ε>talquef( x) f(x), x V ε ( x) ={x S/ x x <ε} y supongamos que x no es óptimo global. Es decir, existe y S tal que f(y) <f( x). Luego, para λ ], 1[, f(λy +(1 λ) x) λf(y)+(1 λ) f( x) <λf( x)+(1 λ) f( x) =f( x), ε para λ suficientemente pequeño (en realidad basta con elegir λ < ), se tiene que y x λy +(1 λ) x V ε ( x), lo cual es una contradicción pues x es mínimo local en V ε ( x). (ii) Como f estrictamente convexa entonces f es convexa. Luego, por (i), x es mínimo global. Supongamos que no es único, esto es, que existe y S, cony x, tal que f(y) =f( x). Entonces f( 1 2 y x) < 1 2 f(y)+1 f( x) =f( x) 2 lo que implica que existe z S, z = 1 y + 1 x, distintode x, talquef(z) <f( x). Esto 2 2 contradice el hecho que x es mínimo global Condiciones de optimalidad Optimización sin restricciones En esta sección, obtendremos condiciones necesarias y suficientes para resolver problemas no lineales irrestrictos (que es el caso en que S = IR n ), es decir problemas del tipo: (P ) mín f(x) x IR n En general supondremos que f es una función una o dos veces continuamente diferenciable. 47

49 Teorema (Condiciones necesarias de optimalidad) Sea x solución local de (P) ysupongamosf C 2 (S), donde S es un conjunto abierto que contiene a x.entonces, a) f(x )=y b) La matriz Hessiana H(x ) es semidefinida positiva. Demostración. Sea d IR n, no nulo dado y consideremos la función g(α) =f(x + αd). a) Como x es un mínimo local de f se tiene que: f(x ) f(x + αd) α > suficientemente pequeño. Es decir, Tomando límite, f(x + αd) f(x ). α lím α + f(x + αd) f(x ) α = g () Ahora, por la regla de la cadena se tiene que g (α) = f(x + αd) T d, lo que implica que g () = f(x ) T d,porlotanto f(x ) T d. Como d es arbitrario, tomando d = ± e i, siendo e i el i-ésimo vector de la base canónica, se deduce que f(x ) =yporlotanto f(x )=. x i b) Consideremos el desarrollo de Taylor de segundo orden, g(α) =g() + g ()α g ()α 2 + o(α 2 ), o(t) donde la función o(t) cumple lím =. t t Considerando que g (α) = (x + αd) T d y g (α) =d T H(x + αd)d, laexpresión anterior se escribe f(x + αd) f(x )=α f(x ) T d + α2 2 dt H(x )d + o(α 2 ), 48

50 por lo tanto, como f(x )=yf(x + αd) f(x ), para α> suficientemente pequeño, se tiene que d T H(x )d + o(α2 ) α 2 Tomando α se obtiene que H(x ) es semidefinida positiva. En relación a las condiciones suficientes, se puede fácilmente probar los siguientes teoremas, para el caso de funciones convexas (las demostraciones quedan como ejercicio de cálculo). Teorema Sea f una función convexa y diferenciable sobre un conjunto convexo S, abierto. Entonces f(x )=es una condición necesaria y suficiente para que x S sea un mínimo global de f sobre S. Teorema (Condiciones suficientes de optimalidad, caso general) Sea f C 2 (S), con S abierto. Supongamos que x S satisface: a) f(x )=. b) La matriz H(x ) es definida positiva. Entonces, x es un mínimo local estricto de f en S Optimización con restricciones Para el caso con restricciones, las condiciones de optimalidad son algo más complicadas que para el caso irrestricto. Comencemos con algunas definiciones previas. Definición Sea f : IR n IR. Se dice que d IR n es dirección de descenso de f en x si f( x) T d<. Definición Sea S un conjunto no vacío en IR n y x S. Se llama cono de direcciones admisibles de S en x al conjunto: A( x) ={d/d, x + λd S, λ [,η[ para algún η>} Denotaremos por D( x) ={d/ f( x) T d<} al conjunto de direcciones de descenso. Además, por simplicidad notacional y si no hay posible confusión, escribiremos A = A( x) y D = D( x). Ambos conjuntos pueden ser vacíos. 49

51 Teorema Sea f : IR n IR diferenciable en x S. Si x es mínimo local del problema entonces, A D=. (P ) mín f(x) x S Demostración. Razonando por contradicción, supongamos que existe d A D, entonces d A= existe η>talque x + λd S, λ [,η[ y d D= existe ε>talquef( x + λd) <f( x), λ [,ε[. Luego f( x + λd) <f( x), para todo λ ], mín{ε, η}[, lo que contradice la minimalidad local de x. Muy frecuentemente el conjunto factible S está descrito mediante una sistema de inecuaciones, que denominaremos restricciones. Seang 1,...,g m, funciones de IR n en IR, diferenciables. Consideremos también el conjunto S = {x IR n /g i (x), i=1,...,m}, que es un convexo cuando las funciones g 1,...,g m son convexas en IR n (dejamos al lector la tarea de probar esta afirmación y encontrar un contraejemplo para la afirmación recíproca). Entonces el problema (P )seescribe (P ) mín f(x) g i (x) i =1,...,m Definición Sea x IR n. Si una restricción g i verifica g i ( x) =entonces se dice que es activa en x. Además, I = {i/g i ( x) =} denota el conjunto de índices restricciones activas en x. Sea ahora el conjunto G( x) ={d/ g i ( x) T d<, i I}, el cual denotaremos simplemente por G. Teorema Sea x un punto factible de (P), es decir, g i ( x) i =1,...,m.Entonces, si x es mínimo local de f, se cumple que G D=. 5