Simulación y Optimización de Procesos Químicos. Titulación: Ingeniería Química. 5º Curso Optimización.

Transcripción

1 Smulacón y Optmzacón de Procesos Químcos Ttulacón: Ingenería Químca. 5º Curso Optmzacón. Programacón Cuadrátca Métodos de Penalzacón Programacón Cuadrátca Sucesva Gradente Reducdo Octubre de 009.

2 Programacón Cuadrátca Sea el Problema T T mn : z = c x + x Q x s. a. A x b x 0 Q es una matrz smétrca y defnda postva T x Q x > 0 x 0 Nota: S f = a x + a x + a x b x x + b x x b x x +...,,3 3,3 3 c x + c x + c x d 3 3 Reordenando el problema queda: Q a b b3 L b a b3 L = b3 b3 a3 L M M M O T T mn : z = c x + x Q x s. a. A x b 0 x 0 L = T c x + x T Q x +µ T (Ax - b)+ v T (-x)

3 Programacón Cuadrátca L = T c x + x T Q x +µ T (Ax - b)+ v T (-x) Condcones de Optmaldad de KKT Funcón de Lagrange Ax - b 0 T c +Qx + A µ - v = 0 ( ) T µ Ax - b = 0 T v x = 0 Condcones de Complementaredad Añadendo varables de olgura a la restrccón: Ax - b + x = 0 Ax -b = - x Susttuyendo en la condcón de complementaredad ( ) ( ) = 0 T T T µ Ax - b =µ -x = 0 µ x

4 Programacón Cuadrátca Con lo que queda: T c +Qx + A µ - v = 0 Ax - b + x = 0 Pasando los térmnos constantes a la dereca Qx A µ + v = c T T µ x = 0 ; v x = 0 µ x = 0 ; v x = 0 T Ax + x = b T T Las dos prmeras ecuacones se pueden resolver utlzando una fase I del método smplex. S además se tene la precaucón de no permtr que en la base (utlzando el crtero de entrada) aparezcan smultáneamente µ y x ó v y x, la Fase I del smplex resuelve tambén el problema.

5 Programacón Cuadrátca Ejemplo: mn : z = 4x 6x + x + x x + x s. a. x + x x 0; x 0 Transformar el problema a forma estándar mn : z = 4x 6x + x + x x + x s. a. x + x + x = x 0; x 0; x 0 Escrto en forma matrcal x 4 x mn : z = ( 4, 6 ) + ( x, x ) x 4 x x s. a. (,, ) x = x x 0; x 0; x 0

6 Programacón Cuadrátca x 4 x mn : z = ( 4, 6 ) + ( x, x ) x 4 x x s. a. (,, ) x = x x 0; x 0; x 0 Recordando que el problema a resolver es: Qx A µ + v = c T Ax + x = b T T µ x = 0 ; v x = 0 Q 4 x v 4 µ 4 x + = v 6 x + x + x = T A µ x = 0 ; v x = 0; v x = 0 c

7 Programacón Cuadrátca Reescrbr el problema oblgando a que los coefcentes de la parte dereca sean postvos 4x + x + µ v = 4 x + 4x + µ v = 6 x + x + x = Añadr, s es necesaro varables artfcales, y resolver fase I del smplex max: x a a x a µ 4x + x + v + x = 4 a µ x + 4x + v + x = 6 x + x + x =

8 Programacón Cuadrátca Ejemplo: a a a a µ v v x x x x x x x x Z W Entran x o x ( o ncluso µ); S entrase x entonces v no puede ser parte de la base S entrase x entonces v no podría ser parte de la base S entrase µ entonces no podría ser parte de la base x

9 Programacón Cuadrátca Ejemplo: a a µ v v x x x x 0 x x x Z W Entra x. v no podría formar parte de la base. S fuese así entraría el sguente canddato.

10 Programacón Cuadrátca Ejemplo: a a µ v v x x x x 0 x x x Z W Entra µ. La varable de olgura no podría formar parte de la base.

11 Programacón Cuadrátca Ejemplo: µ v v x x x 0 x µ x Z W Susttuyendo en la F.O del problema orgnal vemos que el óptmo es 5/6

12 Métodos de Penalzacón La dea es transformar un NLP con restrccones es una secuenca de problemas sn restrccones, y el msmo resultado mn : f ( x) s. a. ( x) = 0 g( x) 0 mn : P( f, g,, r) Penalzacón Clásca P( x, r) = f ( x) + r ( x) + max{ 0, g j ( x) } El problema se vuelve mal condconado ncluso para valores pequeños del térmno de penalzacón. No funcona excepto para problemas muy smples. j

13 Métodos de Penalzacón Ejemplo ( x ) + ( x ) mn : s. a. x + x 4= r = 0 r = ( ) ( ) P( x, r) = x + x + ( x 4) + r x r = r =

14 Métodos de Penalzacón Penalzacón Exacta P( x, w, w j ) = f ( x) + w ( x) + w j max{ 0, g j ( x) } w, w son factores de penalzacón postvos. j Sea x* un mínmo local del problema orgnal, entonces s e cumple que: w λ =,... m w µ j =... m j j x* es un mínmo del problema de penalzacón No exste problema de mal condconamento, n es necesaro llevar w, w asta nfnto. Sn embargo, el problema es no dferencable.

15 Métodos de Penalzacón Lagrangana Aumentada LA = f ( x) + λ ( x) + r ( x) Funcón de penalzacón dervable y exacta. Donde λ es el multplcador de KKT y r es un parámetro de penalzacón

16 Métodos de Penalzacón Esquema básco de aplcacón de L.A. Incalzacón Selecconar un valor de λ, y un valor ncal para x y valores postvos para los parámetros de penalzacón r Iteracón k: Hacer k { x } Vol( x) = max ( ) Bucle nterno: mnmzar la funcón de penalzacón con los parámetros selecconados S Vol( x ) = ε Fn k k k S Vol( x ) Vol( x ) r a bucle externo 4 k k S Vol( x ) > Vol( x ) reemplazar el parámetro de penalzacón de 4 k todas las ( x) > Vol( x ) por r = 0r 4 Bucle externo: Actualzacón del multplcador (Bazaraá, pag 496) λ k+ k k = λ + r x ( )

17 Programacón Cuadrátca Sucesva El objetvo es resolver el sguente problema de optmzacón mn : f ( x) s. a. ( x) = 0 g( x) 0 x R n Comenzamos suponendo que se conoce el conjunto de restrccones actvas J. mn : f ( x) s. a. ( x) = 0 g ( x) = 0 j J Restrccones actvas j N varables m restrccones de gualdad m restrccones de desgualdad actvas La funcón de Lagrange es entonces: L = f ( x) + λ ( x) + µ g ( x) j j j J

18 Programacón Cuadrátca Sucesva Las condcones de optmaldad de prmer orden de KKT son: L = f ( x) + λ ( x) + µ g ( x) = 0 x j j j J L = ( x) = 0 λ L = g ( x) = 0 j J µ j j Sstema de ecuacones N+m+m ecuacones y varables El sstema se puede resolver aplcando el método de Newton: Supongamos que emos termnado la teracón k, y comenzamos la k+. x k k k j = valor del vector x en la teracón k λ = valor del multplcador asocado a la restrccón en la teracón k µ = valor del multplcador asocado a la restrccón j en la teracón k

19 L = f ( x) + λ ( x) + µ g ( x) = 0 x j j j J L = ( x) = 0 λ L = g ( x) = 0 j J µ j j Programacón Cuadrátca Sucesva KKT Sstema de ecuacones N+m+m ecuacones y varables k k k k k j j j J f ( x ) + λ ( x ) + µ g ( x ) + k k k k k k k k xx xx j xx j j J f ( x ) ( x x ) + λ ( x )( x x ) + µ g ( x )( x x ) + k k k k j j j j J ( x )( λ λ ) + g ( x )( µ µ ) = 0 k k k ( x ) + ( x )( x x ) = 0 k k k j g ( x ) + g ( x )( x x ) = 0 j J j Valor en el punto x k Lnealzacón con respecto a x en el punto x k Lnealzacones con respecto a λ y a µ Lnealzacón de las Restrccones

20 Programacón Cuadrátca Sucesva k k k k k j j j J f ( x ) + λ ( x ) + µ g ( x ) + k k k k k k k k xx xx j xx j j J f ( x )( x x ) + λ ( x )( x x ) + µ g ( x )( x x ) + k k k k j j j j J ( x )( λ λ ) + g ( x )( µ µ ) = 0 k k k ( x ) + ( x )( x x ) = 0 k k k j g ( x ) + g ( x )( x x ) = 0 j J j k k k k xx j L( x, λ, µ )( x x )

21 Programacón Cuadrátca Sucesva Smplfcando queda: k k k k k k k j j xx j j J f ( x ) + ( x ) λ + g ( x ) µ + L( x, λ, µ )( x x ) = 0 k k k ( x ) + ( x )( x x ) = 0 k k k j g ( x ) + g ( x )( x x ) = 0 j J j k Que escrto en forma matrcal, y llamando d = ( x x ) k k T k T k k k k xx j f ( x ) + ( x ) λ + g( x ) µ + L( x, λ, µ ) d = 0 k T k k ( x ) + ( x ) d = 0 k T k k g( x ) + g ( x ) d = 0

22 Programacón Cuadrátca Sucesva k k T k T k k k k xx j f ( x ) + ( x ) λ + g( x ) µ + L( x, λ, µ ) d = 0 k T k k ( x ) + ( x ) d = 0 k T k k g( x ) + g ( x ) d = 0 Consderemos aora el sguente problema cuadrátco mn : f ( x ) d + d xxl( x, λ, µ ) d j T k k T k k k k k T k k s. a. ( x ) + ( x ) d = 0 k T k k g( x ) + g ( x ) d = 0 Utlzar el método de Newton para resolver el sstema de ecuacones que vene de aplcar las condcones de KKT a un NLP es equvalente a resolver un Problema Cuadrátco, en cada teracón. Resulta que las condcones de KKT de este problema son

23 Programacón Cuadrátca Sucesva Extensón a sstemas con desgualdades: Trval: Dejar que en cada teracón sea el QP el que decda cuál es el conjunto de restrccones actvas mn : f ( x ) d + d xxl( x, λ, µ ) d j T k k T k k k k k T k k s. a. ( x ) + ( x ) d = 0 k T k k g( x ) + g ( x ) d 0 La programacón cuadrátca sucesva suele presentar convergenca muy rápda aca la solucón Son algortmos de camno no-factble: Buscan el óptmo a la vez que convergen las restrccones. Los puntos ntermedos de búsqueda no tenen por que ser factbles.

24 Programacón Cuadrátca Sucesva Algunos problemas con SQP:. S la Hessana de la Lagrangana no es defnda postva puede que el problema cuadrátco no genere una dreccón de descenso. En ese caso se suele susttur la matrz Hessana por una matrz B utlzando un método cuas-newton. Dca matrz es smétrca y defnda postva: Fórmula BFGS: k k+ k s = x x k k+ k+ k+ k k k y = L( x, λ, µ ) L( x, λ, µ ) B k+ k k k T k k k T k B s ( s ) B y ( y ) = B + ( s ) B s ( y ) s k T k k k T k

25 Programacón Cuadrátca Sucesva Algunos problemas con SQP:. S el SQP no converge drectamente, en cada teracón es convenente realzar una búsqueda undrecconal. Sn embargo dca búsqueda debe tratar de mnmzar la Lagrangana y no sólo la funcón objetvo. Exsten varas alternatvas, la más corrente es tratar de mnmzar una funcón de mérto. p.e.: Penalzacón Exacta: { } P( x, w) = f ( x) + w ( x) + max 0, g ( x) j j Lagrangana Aumentada: T T ρ Ψ p ( x) = f ( x) + µ g( x) + λ ( x) + ( x) + max 0, g j ( x) j ( )

26 Programacón Cuadrátca Sucesva Algortmo Básco.- Sea k = 0; B 0 = I. Suponer punto ncal x k.- Evaluar la funcón, las restrccones y sus gradentes en el punto x k k k k k k k f ( x ); g( x ); ( x ); f ( x ); ( x ); g( x ) 3.- Resolver el problema cuadrátco para obtener d, λ k+, µ k+ mn : f ( x ) d + d B d T k k T k k k T k k s. a. ( x ) + ( x ) d = 0 k T k k g( x ) + g ( x ) d 0

27 Programacón Cuadrátca Sucesva Algortmo Básco (cont) 4.- Comprobar convergenca S L x k k+ k+ (,, ) λ µ ε ( ) donde L x, λ, µ = f ( x) + ( x) λ + g( x) µ Parar S no k+ k x = x + α d (α= paso de Newton; s no búsqueda undrecconal usando funcón de mérto regón de confabldad o fltro) 5.- Actualzar Hessana utlzando BFGS k k+ k s = x x k k+ k+ k+ k k k y = L( x, λ, µ ) L( x, λ, µ ) B k+ 6.- Hacer k = k+ y volver al paso. k k k T k k k T k B s ( s ) B y ( y ) = B + ( s ) B s ( y ) s k T k k k T k

28 Gradente Reducdo Sea el problema mn : f ( x) s. a. Ax = b x 0 Funcón objetvo no lneal Restrccones lneales en forma estándar (m restrccones, n varables; n m) Es posble acer una partcón de varables x xd = xi Varables dependentes o Báscas ( m varables) Varables ndependentes o no-báscas (n-m varables) Tambén es posble partconar la matrz A A = (B N) B = (m x m) nvertble N = m x (n-m)

29 Gradente Reducdo Es posble despejar las varables dependentes en funcón de las ndependentes D I ; D I Ax = b Bx + Nx = b x = B b B N x O sea x B b B N x I = x I S se susttuye en la funcón objetvo, pasamos a tener un problema sn restrccones D I I I mn : f ( x) = f ( x, x ) = f ( B b B N x, x ) Las condcones de optmaldad requeren que la dervada respecto a las varables ndependentes sea cero

30 Gradente Reducdo D I I I mn : f ( x) = f ( x, x ) = f ( B b B N x, x ) df f f dxd = + = = I D dx x x dx I I D I T T T x f ( x) x f ( x) B N gr Gradente Reducdo Por otra parte, consdere que nos movemos en un x en el problema anteror k ( I ) k k k+ + xd x B b B N x D I B b B N x x = = k+ k x k k I x + I xi x I B N = xi = Z x I I B N Z = I Matrz de transformacón

31 Gradente Reducdo S se desarrolla en sere f(x) k+ k T T f ( x ) = f ( x ) + f ( x) x + x xx f ( x) x +... Recordando que x = Z xi y susttuyendo k+ k T T T I I xx I f ( x ) = f ( x ) + f ( x) Z x + x Z f ( x) Z x +... T gr HR T R T g = f ( x) Z T H = Z f ( x) Z R xx Gradente Reducdo Hessana Reducda

32 Gradente Reducdo k+ k T T R I I R I f ( x ) = f ( x ) + g x + x H x +... Tenemos por lo tanto un problema sn restrccones, para resolverlo se puede utlzar cualquera de los métodos para problemas sn restrccones f Por ejemplo, s se utlza el método de Newton debemos resolver: = 0 x Elmnando los térmnos de orden superor a dos y dervando con respecto a las varables ndependentes un paso del método de Newton sería: I g + H x = 0 R R k I Nota: La Hessana se puede actualzar utlzando BFGS (u otra smlar).

33 Gradente Reducdo Extensón a sstemas con restrccones no lneales mn : f ( x) s. a. ( x ) = 0 Se lnealza la restrccón Sólo restrccones de gualdad. S aparecen desgualdades se transforman en gualdades a través de varables de olgura. g( x) 0 g( x) + s = 0 mn : f ( x) k k k s. a. ( x ) + ( x ) x = 0 k J ( x ) El problema se a transformado en uno equvalente al caso cuando aparecen restrccones lneales Jacobano Así pues: [, ] J = J J B I B N = J = J B N xd x = xi T T T R = x ( ) ( ) I xd B N g f x f x J J

34 Gradente Reducdo Esquema Básco de un algortmo de Gradente Reducdo (con restauracón de factbldad).- Incalzar el problema y obtener un punto factble ncal. S el punto ncal no es factble resolver un problema de factbldad ncal (p.e. usando este msmo método) mn u s. a. ( x) = u.- Dvdr las varables en dependentes e ndependentes 3.- Evaluar la dreccón de búsqueda en el espaco de varables reducdo (método de Newton, máxmo descenso u otro) 4.- Hacer una búsqueda undrecconal varando sólo las varables ndependentes. 5.- Recuperar la factbldad: Se mantenen fjas las varables ndependentes y se resuelve el sstema de ecuacones en funcón sólo de las varables dependentes- 6.- Comprobar convergenca. S no converge volver al punto

35 Códgos de Ordenador Fuentes para consegur códgos de optmzacón sn restrccones Harwell (HSL) IMSL NAg Netlb ( MINPACK TOMS Algortms etc Estas fuentes contenen varos métodos Cuas-Newton Gauss-Newton Newton Dsperso Gradente Conjugado, etc.

36 Códgos de Ordenador Fuentes para consegur códgos de optmzacón con restrccones Quzás los mejores códgos dsponbles oy en día sean: GRG/CONOPT GRG es el solver de Excel. Gradente reducdo con restauracón CONOPT aparece en GAMS (y otros sstemas de modelado y es quzás el más robusto de todos MINOS Gradente reducdo sn restauracón (dsponble en GAMS) SQP SNOPT Dsponble en GAMS usa rsqp (SQP proyectado en el espaco de varables reducdas IPOPT Método de barrera Algortmos SQP se pueden encontrar en: HSL, NaG, IMSL lbrerías de métodos numercos NPSOL Standford System Optmzaton Lab SNOPT Standford System Optmzaton Lab IPOPT: