Problemas de Optimización. Conceptos básicos de optimización. Indice. Un problema de optimización NLP. Equivalencias. Contornos / Curvas de nivel

Transcripción

1 Conceptos báscos de optmzacón Problemas de Optmzacón Prof. Cesar de Prada Dpt. Ingenería de Sstemas y Automátca UVA prada@autom.uva.es mn J() h() = g() Problema general NPL Para encontrar una solucón al problema es mportante:. Estudar las propedades matemátcas de las funcones que ntervenen en el problema. Estudar la estructura matemátca del problema, los dstntos tpos que se presentan y las técncas de solucón partculares para cada uno de ellos Indce Conceptos Generales ormulacón Optmos locales y globales actbldad Propedades matemátcas Contnudad Convedad Tpos de problemas de optmzacón Un problema de optmzacón NLP mn J() h() = g() R n = (,,..., n ) vector de varables de decsón J() funcón de costo h() = =,,...,l gualdad g () =,,...,m desgualdad restrccones de restrccones de S no esten h n g el problema se denomna sn restrccones Equvalencas Contornos / Curvas de nvel mn J() h() = g() Mnmzar / Mamzar mn J() = ma J() g () a puede escrbrse como g () a J() J() * J J() = (, ) J J J g () es equvalente a -g () g () es equvalente a g () + ε =, ε h () = es equvalente a h () -ε, ε *

2 actbldad actbldad mn J() h() = g() J() mn J() h() = g() J J J Defnen la regón de busqueda o conunto factble Defnen la regón de busqueda o conunto factble S no hay nngún punto que satsfaga todas las restrccones, o sea s el conunto factble es vacío, el problema es no-factble y no este solucón Eemplos Restrccones actvas mn( ) + ( ) J mn( ) + ( + ) + + = 4 + J + = 4 mn J() h() = g() mn( + ) + 4 Una restrccón g () es Restrccón actva en actva en un punto s se verfca: g ( ) = Punto = (, ) (A menudo se refere a la solucón) Restrccón nactva en + = 4 Regones coneas Optmo local (mínmo local) J J J Regón factble conea J J J Regón factble no conea Un punto * se denomna un mínmo local del problema de optmzacón s este un entorno de * tal que para cualquer otro punto del entorno: J() J( * ) J() Pueden estr varos óptmos locales * * S se verfca la desgualdad estrcta el óptmo es propo J() J() * * Mínmos mpropos

3 Optmo global Eemplo Un punto * se denomna un mínmo global del problema de optmzacón s para cualquer punto del conunto factble : J() J( * ) J() Problema no acotado J() * S no este nngún valor de * tal que J(*) J() el problema es no acotado y no este mínmo Optmo global Varos mámos y mínmos locales Eemplos Contnudad Curvas de nvel J() Contnua en J() dscontnua en J J J J J J Dervada no defnda Optmo global Optmo local Mínmo sn restrccones lm J() J( ) este este lm J() = J( ) Es mportante para muchos algortmos trabaar con funcones contnuas y con dervadas contnuas Contnudad Teorema J() Contnua pero con dervada dscontnua en Métodos de optmzacón basados en el cálculo de dervadas pueden producr osclacones y falta de convergenca en la solucón s hay dscontnudades J() dervada dscontnua debdo a la conversón en funcón contnua medante nterpolacón lneal de una funcón orgnalmente defnda solo en puntos dscretos de Una funcón contnua J() tene un mínmo global en cualquer conunto cerrado y acotado J()

4 Convedad Conunto Conveo mn J() La forma de la regón de J búsqueda es h() = J mportante J para los g() algortmos de optmzacón es conveo s y solo s:,, γ [,] = γ + ( γ) La nterseccón de dos conuntos conveos es convea conveo Un conunto es conveo s el segmento que une dos puntos cualquera del msmo esta totalmente contendo en no-conveo Regón convea y cerrada uncón convea uncón concava La funcón J() es convea en un conunto conveo s no toma valores superores a los de una nterpolacón lneal,, γ [,] J() J( γ + ( γ) ) γj() + ( γ)j( ) S se cumple con < es estrctamente convea La funcón J() es cóncava en un conunto conveo s no toma valores nferores a los de una nterpolacón lneal,, γ [,] J() J( γ + ( γ) ) γj() + ( γ)j( ) S se cumple con < es estrctamente convea Convedad Eemplos de funcones conveas J() J() ep(-) log() > σ ma () S J() es convea, -J() es concava Una funcón lneal es convea y concava J() a a, > Todas las normas son conveas. La meda geométrca es cóncava

5 Convedad de funcones (una varable) Convedad de funcones dj( ) d J() J() = J( ) + ( ) + ( ) +... d d dj( ) d J() J() (J( ) + ( )) = ( ) +... d d dj() H = d J() S H es contnua y postva semdefnda la funcón J() es convea en un entorno de J( )+J ( )(- ) J J() J() = J( ) + ( ) + ( )' ( ) +.. J J() J() (J( ) + ( )) = ( )' ( ) +.. J() = ( )' ( ) ( )'H( ) La forma cuadrátca z Hz determna s la funcón J() es convea en un entorno de J() H Hessano J( )+J ( )(- ) ormas Cuadrátcas / Matrces PD Regón J() α Una forma cuadrátca z Hz es postva defnda (PD) s z Hz > z Para ello la matrz H debe tener todos sus autovalores > Se dce tambén que la matrz H es PD Una forma cuadrátca z Hz es postva semdefnda (PSD) s z Hz z Para ello la matrz H debe tener todos sus autovalores Una forma cuadrátca z Hz es negatva defnda (ND) s z Hz < z Para ello la matrz H debe tener todos sus autovalores < S la funcón J() es convea en un conunto conveo, entonces el conunto: J α {,J() α} es conveo Una forma cuadrátca z Hz es ndefnda s puede tomar valores postvos o negatvos para dstntos valores de z En ese caso la matrz H tene autovalores postvos y negatvos J() α Conunto f()= Convedad de funcones lneales En general, el conunto defndo por la restrccón no-lneal de gualdad f() = es no conveo Conunto de puntos que verfcan f(, ) = Regones defndas por desgualdades o gualdades lneales son conveas. Se denomnan poltopos. Igualmente, las funcones lneales son conveas (y concavas)

6 uncones cuadrátcas Convedad de regones cuadrátcas J() = a + b' + 'H J() = b' + 'H J() = H La matrz H defne el tpo de forma cuadrátca La convedad es global [ ] a b = c d J() [ ] a b uncón (forma) cuadrátca en R c d Descrbe una regón en R El conunto H es conveo s la matrz H es real smétrca postva semdefnda H es postva semdefnda s Q() = H, autovalores H es postva defnda s Q() = H >, autovalores > H es negatva semdefnda s Q() = H, autovalores H es negatva defnda s Q() = H <, autovalores < La funcón cuadratca Q() es PD s H es PD, etc. Convedad de regones cuadrátcas Convedad de regones cuadrátcas.5.5 [ ] Autovalores.5,.5 PD [ ] Autovalores 5., -. Indefnda uncón.5 J(, ) = [ ].5 Curvas de.5 = α.5 nvel uncón cuadratca PD uncón cuadratca ndefnda Punto de slla J(, ) = + + J(, ) = (, )' J = + J eg =, J(, ) = J(, ) = (, )' 8 J = J eg = 6,

7 Convedad Convedad sen() S J () y J () son funcones conveas en el conunto conveo, entonces J () + J () tambén es convea en S J () y J () son funcones conveas y acotadas superormente en el conunto conveo, entonces J() = ma { J (), J ()} tambén es convea en S J () y J () son funcones cóncavas y acotadas nferormente en el conunto conveo, entonces J() = mn { J (), J ()} tambén es cóncava en S J() es convea en el conunto conveo, entonces J(A+b) es convea S J() es una funcón convea en el conunto conveo, y s V(.) es una funcón convea (defnda en el rango de J) y no decrecente, entonces V[J()] es tambén convea en. O ben J() es concava y V convea y no crecente. En el ntervalo (,π] ver la convedad de: 5 8 ep( sen() + ) (( ) + 4) +, ma + sen() log( sen() ) (( ) ) log + Caa convea (Conve hull) Resumen La caa convea H de es el mínmo conunto conveo que contene a H Para estudar su convedad en un punto puede estudarse el correspondente Hessano Una funcon con hessano contnuo, defnda sobre un conunto conveo (con al menos un punto nteror) es convea s, y solo s, el hessano es una matrz postva sem-defnda en Un conunto defndo por las epresones g () y h ()= es conveo s las g son conveas y las h lneales Optmzacón en un conunto conveo Tpos de problemas de optmzacón mn J() h() = g() S J es convea y el conunto es tambén conveo, un mínmo local es tambén un mínmo global S todas las restrccones de desgualdad son conveas contrburán a generar un conunto conveo. Las restrccones de gualdad, s no son lneales, no serán en general conveas con lo que el problema puede tener varos mínmos locales. mn J() R n mn J() h() = Optmzacón sn restrccones Optmzacón con restrccones de gualdad Multplcadores de Lagrange

8 Tpos de problemas de optmzacón Tpos de problemas de optmzacón mnb' A c Programacón lneal (LP) funcón de coste y restrccones lneales mn J() h() = g() Programacón no lneal (NLP) funcón de coste y / o restrccones no-lneales mn' H A c + b' Programacón cuadrátca (QP) funcón de coste cuadrátca y restrccones lneales mn J(, y) h(, y) = g(, y) n R, y Z Programacón mta entera (MINLP) algunas de las varables son reales y otras enteras Tpos de problemas de optmzacón mnj(,z) dz = f(z,) dt g() r(z) mn{j (), J (),...J()} Ω Optmzacón dnámca Parte de las restrccones venen dadas por ecuacones dferencales s Optmzacón multobetvo Hay varas funcones de costo a mnmzar smultáneamente