Optimización no lineal

Transcripción

1 Optmzacón no lneal José María Ferrer Caja Unversdad Pontfca Comllas

2 Planteamento general mn f( x) x g ( x) 0 = 1,..., m f, g : n R R La teoría se desarrolla para problemas de mnmzacón, los problemas de maxmzacón se tratan de forma análoga En un msmo problema puede haber restrccones de gualdad y de desgualdad Las funcones f, g pueden ser dferencables o no serlo La resolucón es más dfícl y costosa que en optmzacón lneal Exsten algortmos específcos para certos problemas Optmzacón no lneal- 1

3 Clasfcacón (1) Optmzacón sn restrccones mn f( x) x Es mportante dstngur s f es o no contnua y/o dferencable Optmzacón con restrccones lneales mn f ( x ) Exste una extensón del algortmo smplex para resolverlo Programacón cuadrátca x Ax= b T 1 T n n mn cx+ xqx ( Q R ) x Ax= b Aparece en muchas stuacones. Exsten algortmos efcentes Optmzacón no lneal-

4 Clasfcacón () Programacón convexa, convexas f g Todo mínmo local es global S el problema es de maxmzacón, las funcones deben ser cóncavas Programacón separable fx ( ) = f ( x ) n j= 1 n g ( x) = g ( x ) j= 1 j j j j Cumple la hpótess de adtvdad de la PL Optmzacón no lneal- 3

5 Clasfcacón (3) Programacón geométrca f( x), g ( x) = cp ( x) j j= 1 a a j1 j jn ( ) =..., = 1,..., 1 Problemas de dseño en ngenería n j j P x x x x j Programacón fracconal a n n fx ( ) = f ( x) 1 f ( x) Optmzacón no lneal- 4

6 Expansón en sere de Taylor Aproxmacón del valor de una funcón por un polnomo Se conoce f(x 0 ). Se desea obtener f(x) T 1 T f( x) = f( x + p) f( x ) + fx ( ) p+ p f( x ) p xx, R 0 n p= x x f f 0 Gradente de la funcón Matrz hessana de la funcón Una funcón polnómca concde con su polnomo de Taylor Optmzacón no lneal- 5

7 Expansón en sere de Taylor. Ejemplo Obtener el polnomo de Taylor de grado de f( xy, ) = e x y Calcular aproxmadamente f (0.1, 0.) Usamos el punto (x 0,y 0 ) = (0,0) p T = (x,y) - (0,0) = (x,y) x y f( xy, ) = e f(0,0) = 1 x y f e x f( xy, ) = f(0,0) = x y f = 1 y e x y x y f f 4 4 xx yx e e f( xy, ) = = f(0,0) x y x y = f f e e 1 xy yy T 1 T f( xy, ) f(0,0) + f(0,0) p+ p f(0,0) p= x 1 4 x 1 = 1+ ( 1) ( x y) + = 1+ x y+ x xy+ y y 1 y f(0.1, 0.) = 1.48 Optmzacón no lneal- 6

8 Matrces smétrcas. Menores Se llaman menores de una matrz a los determnantes de las submatrces cuadradas de la matrz Menores prncpales de una matrz (cuadrada): se obtenen cruzando k flas cualesquera con sus respectvas columnas Exsten n 1 menores prncpales en una matrz de orden n Menores de esquna de una matrz (cuadrada): se obtenen cruzando las k prmeras flas con sus respectvas columnas Exsten n menores de esquna en una matrz de orden n La matrz cuadrada A (de orden n) es smétrca s t A = A Optmzacón no lneal- 7

9 Matrces defndas y semdefndas postvas La matrz smétrca A (de orden n) es semdefnda T n postva s x Ax 0 x R o ben todos sus autovalores son no negatvos o ben todos sus menores prncpales son no negatvos La matrz smétrca A (de orden n) es defnda postva s T x Ax o ben todos sus autovalores son postvos o ben {} n > 0 x R 0 todos sus menores de esquna son postvos Optmzacón no lneal- 8

10 Matrces defndas y semdefndas negatvas La matrz smétrca A (de orden n) es semdefnda T n negatva s x Ax 0 x R o ben todos sus autovalores son no postvos o ben -A es semdefnda postva La matrz smétrca A (de orden n) es defnda negatva s T x Ax o ben todos sus autovalores son negatvos o ben sus menores de esquna son alternatvamente <0, >0, etc. o ben {} n < 0 x R 0 -A es defnda postva Optmzacón no lneal- 9

11 Funcones convexas y cóncavas La funcón f es convexa en un conjunto X s xy, X, λ [0,1] f( λx+ (1 λ) y) λfx ( ) + (1 λ) fy ( ) La funcón f es cóncava s -f es convexa La funcón f es convexa (cóncava) en un punto x 0 s exste un entorno X de en el que la funcón es convexa (cóncava) Convexa Cóncava Convexa Cóncava Optmzacón no lneal- 10

12 Funcones convexas y cóncavas. Hessano La funcón f es convexa en el punto x 0 s la matrz hessana es semdefnda postva en x 0 La funcón f es cóncava en el punto x 0 s la matrz hessana es semdefnda negatva en x 0 La regón f(x) 0 es convexa s la matrz hessana es semdefnda postva en todos sus puntos La regón f(x) 0 es cóncava s la matrz hessana es semdefnda negatva en todos sus puntos f ( xy, ) = x y 0 f ( xy, ) = 0 0 Semdefnda postva x y 0 Regón convexa Optmzacón no lneal- 11

13 Optmzacón sn restrccones y dferencabldad Condcón necesara de optmaldad (para funcones dferencables) x es mínmo local de f( x) f( x) = 0 x Condcón necesara de optmaldad (para funcones dos veces dferencables) es mínmo local de f( x) f ( x ) = 0 fx ( ) semdefnda postva Condcón sufcente de optmaldad (para funcones dos veces dferencables) fx ( ) = 0 x fx ( ) defnda postva es mínmo local estrcto de fx ( ) Optmzacón no lneal- 1

14 Optmzacón sn restrccones y convexdad Condcón necesara y sufcente de optmaldad (para funcones convexas y dos veces dferencables) x es mínmo global de f( x) f( x) = 0 Ejemplo: mn (, ) = fxy x y xy y x + y 0 fxy (, ) = = ( xy, ) = ( 1,1) 6y x fxy (, ) = 6 defnda postva ( xy, ) f es convexa En (-1,1) se alcanza el mínmo global de f: f(-1,1) = - Optmzacón no lneal- 13

15 Optmzacón con restrccones. Lagrangano (1) Se tene el problema mn fx ( ) x g ( x) 0 = 1,..., m h ( x) = 0 j= 1,..., l j x X R n Su funcón lagrangana o lagrangano es: λ R m, µ R l Interesa la cota nferor más ajustada m Lx (, λµ, ) = fx ( ) + λ g ( x) + µ h ( x) = 1 j= 1 l j j Multplcadores de Lagrange Lxλµ (,, ) proporcona una cota nferor de fx ( ) paraλ 0, µ max Lx (, λµ, ) λ 0, µ Relajacón lagrangana { Lxλµ } mn max (,, ) x X λ 0, µ Optmzacón no lneal- 14

16 Optmzacón con restrccones. Lagrangano () S todas las restrccones son de gualdad: El mínmo del lagrangano concde con el mínmo de la funcón En el mínmo, el gradente de la funcón objetvo es combnacón lneal de los gradentes de las restrccones Los coefcentes de la c.l. son los multplcadores Para el problema lneal Lagrangano: mnc T x x Ax= b T T Lx (, µ ) = c x+ µ ( Ax b) Lx (, µ ) = 0 T Lx (, µ ) = c + A µ T T x c+ Aµ = 0 c= A µ Lx (, µ ) = Ax b Ax b= 0 Ax= b Aplcando la condcón necesara µ Los multplcadores son las varables duales cambadas de sgno Optmzacón no lneal- 15

17 Condcones de optmaldad de KKT (1) Condcones necesaras de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad Sea el problema P mn fx ( ) x g ( x) 0 = 1,..., m x X n X R es aberto y no vacío Sea x un punto factble (verfca las restrccones) Sea I = { / g ( x ) = 0 } Sean f,{ g, I} dferencables en x Sean { g, I} contnuas enx Sean g ( x ) lnealmente ndependentes { } I Optmzacón no lneal- 16

18 Condcones de optmaldad de KKT () Condcones necesaras de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad x es mínmo local de P exsten escalares λ, I tales que f x + = λ ( ) λ g ( x ) 0 I 0 I { } S además g, I son dferencables en λ λ m f ( x ) λ g ( x ) 0 = 1 g ( x ) = 0 = 1,..., m + = 0 = 1,..., m x { } Las condcones necesaras para máxmo local son déntcas salvo el sgno de los multplcadores: λ 0 Optmzacón no lneal- 17

19 Condcones de KKT. Ejemplo (1) mn f ( x, y) = 9 y ( x 5) xy, x + y 0 x y 0 x 1 0 ( x 5) xλ λ + λ = λ 0 1 λ = λ ( x + y) = 0 1 Condcones de KKT λ ( x y) = 0 λ ( x 1) = 0 3 λ, λ, λ Además se deben cumplr las restrccones orgnales de factbldad x + y 0 x y 0 x 1 0 Optmzacón no lneal- 18

20 Condcones de KKT. Ejemplo () Se resuelve dstnguendo para cada multplcador que sea nulo o no λ = 0 λ = 9< 0 1 Imposble. Luego se tene λ 0 λ 0 y = x λ = 0 λ = 9. Queda el sstema 1 x λ = 0 3 λ ( x 1) = 0 3 ( ) λ = 0 A= (1, 1 ), λ = 0, 9, 0 3 A λ 0 B = (1, 1), λ = 0, 9, 1 3 B λ 0 y = x x = x x( x+ 1) = 0 1 Se han obtendo 3 puntos KKT canddatos a mínmos: ( ) ( ) x = 0 y = 0 C = (0, 0), λ C = 1,10, 0 x = 1 y = 1 λ = 0 λ = 3, λ = A= (1, 1 ), B = (1, 1), C = (0, 0) Imposble Optmzacón no lneal- 19

21 Condcones de KKT. Ejemplo (3) Análss gráfco: 10 x f ( x, y) = 9 9 f ( A) = f (1/, 1/ ) = 9 8 f ( B ) = f (1, 1) = 9 10 C fc ( ) = f (0, 0) = 9 B y C son mínmos locales estrctos A no es nada No exste mínmo global, la funcón no es acotada A B Optmzacón no lneal- 0

22 Condcones de optmaldad de KKT (3) Condcones sufcentes de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad Sea x un punto factble (verfca las restrccones) de P Sea I = { / g ( x ) = 0 } Sean f,{ g, I } convexas y dferencables enx f( x ) + λ g ( x ) = 0 { λ, I} S exsten tales que I λ 0 I entonces x es mínmo local de P { } S además f, g, I son convexas y dferencables en todo el conjunto factble, entonces x es el mínmo global de P Para el caso de maxmzacón, la funcón objetvo debe ser cóncava y los escalares λ 0 I Optmzacón no lneal- 1

23 Condcones de optmaldad de KKT (4) Condcones sufcentes de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad Como alternatva a la convexdad se puede usar el lagrangano restrngdo Lx f x ( ) = ( ) + λg( x) I S la matrz hessana en el canddato Lx ( ) = f ( x ) + λ g ( x ) I es semdefnda postva, entonces x es un mínmo local de P S la matrz hessana anteror es defnda postva, entonces x es un mínmo local estrcto de P x Optmzacón no lneal-

24 Condcones de optmaldad de KKT (5) Condcones necesaras de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad e gualdad Sea el problema P mn fx ( ) x g ( x) 0 = 1,..., m h ( x) = 0 j= 1,..., l n X R es aberto y no vacío Sea x un punto factble (verfca las restrccones) { } Sea I = / g ( x ) = 0 Sean f,{ g, I} dferencables en x Sean { g, I} contnuas enx Sean h, j= 1,..., l contnuamente dferencables en Sean g ( x ), I ; h ( x ), j= 1,..., l l.. j x X { j } { j } x Optmzacón no lneal- 3

25 Condcones de optmaldad de KKT (6) Condcones necesaras de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad e gualdad x es mínmo local de P exsten escalares λ, I; µ, j= 1,, l tales que { j } l ( ) λ ( ) µ j j( ) 0 I j = 1 f x + g x + h x = λ 0 I S además g, I son dferencables en m l ( ) λ ( ) µ j j( ) 0 = 1 j= 1 f x + g x + h x = λ λ ( ) = 0 = 1,..., { } g x m 0 = 1,..., m x Optmzacón no lneal- 4

26 Condcones de optmaldad de KKT (7) Condcones sufcentes de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad e gualdad Sea x un punto factble (verfca las restrccones) de P Sea I = { / g ( x ) = 0 } Sean f, g, I convexas y dferencables enx { } { j } S exsten escalares λ, I; µ, j= 1,, l tales que l ( ) λ ( ) µ j j( ) 0 I j= 1 f x + g x + h x = λ 0 I de modo que hj sea convexa en x s µ j> 0 ó sea cóncava en x s µ < 0 h j entonces x es mínmo local de P j Optmzacón no lneal- 5

27 Condcones de optmaldad de KKT (8) Condcones sufcentes de Karush-Kuhn-Tucker para problemas con restrccones de desgualdad e gualdad { } S además, las condcones sobre las funcones f, g, I, h se cumplen en todo el conjunto factble, entonces x es el mínmo global de P j Optmzacón no lneal- 6