Aplicaciones de la Optimización Convexa al análisis de redes

Transcripción

1 Aplicaciones de la Optimización Convea al análisis de edes

2 Intoducción Repaso de conceptos básicos de unciones de vaias vaiables y conveidad

3 Repaso : Función deivada pacial La deivada pacial de con especto de, la denotamos po, y se deine así paa todos los puntos (, y) donde este límite eista. (+h, y)-(, y) (, y) = lim h h La deivada pacial de con especto de y se deine de oma simila Si z = (, y), otas notaciones usuales paa las deivadas paciales son (, y)= z y (, y)= z y

4 Repaso: Gadiente El gadiente de una unción escala de n vaiables (,,, n,), denotado po, es el vecto n-dimensional ( ) ( ) ( ) ( ) =,, L, El gadiente de una unción en un punto indica la diección, a pati de ese punto, en la que dicha unción cece más ápidamente y, además, la diección otogonal a las cuvas de nivel de (cuvas en las que la unción tiene un valo constante) n

5 Repaso: Deivada dieccional La Deivada dieccional de en p según el vecto unitaio µ [ D µ (p) ] es el poducto escala del gadiente en p, po µ : D µ (p) = (p) T µ En qué sentido debeían desplazase las vaiables de, patiendo del punto p, paa que los valoes de cezcan más ápidamente?

6 Repaso: Deivada dieccional Como la apidez está dada po : (p) T µ En esta epesión se suponen ya conocidos y p; altando conoce µ que haga máimo el poducto escala Siendo (p) T µ = (p). µ Cos θ = (p).(). Cos θ Donde : θ, es el ángulo omado po los vectoes (p) y µ (p) T µ, seá máimo si y sólo si Cos θ es máimo, ó sea cuando θ = y (p) con µ son colineales. Lo cual signiica que el vecto unitaio µ debe tene el mismo sentido que el vecto gadiente de en p

7 Ejemplo: (,y) = y = [6, y] y

8 Repaso: Hessiano El Hessiano de una unción escala de n vaiables (,,, n,), denotado po H, es la matiz de dimensión nn Una matiz cuadada A es deinida positiva si : y es deinida negativa si la desigualdad es la contaia = n n n n n L M L L H > A T

9 Repaso: Dieenciabilidad de unciones de vaias vaiables Deinición: T ( + v ) = ( ) + ( ) v + v Ec ( v) E ( v) cuando v c Teoema: Si : u R, u R n, es dieenciable en entonces es continua en. El ecípoco es also. Teoema: (Condición suiciente de dieenciabilidad) Si : u R, u R n, posee deivadas paciales continuas en u entonces es dieenciable en. Sin embago, una unción puede se dieenciable en un punto sin que sus deivadas paciales sean continuas en dicho punto. Deinición: Decimos que una unción es de clase C k en A R n, y escibimos C k (A), si todas sus deivadas paciales de oden k eisten y son continuas en A. La llamaemos también k veces continuamente dieenciable. Esta nomenclatua no es uniome en dieentes autoes.

10 Repaso: Fomula de Taylo en Vaias Vaiables En una notación mas compacta donde, ( ) ( ) ( ) ( ) ( ) ( ) ( ) L = = = = j j j i i i n j n i oj j j n j! Σ Σ Σ ( ) ( ) ( ) ( ) ( ) ( ) K =! T T Η,, n = L n n n n n L L L Η Gadiente Hessiano

11 Optimización Intoducción

12 Optimización Fomulación del poblema de optimización min ( ) X n : R R es una unción continua de n vaiables n n X= R o X es un subconjunto de R. n Si X= R se habla de poblemas sin esticciones. Si es lineal y X es un poliedo, entonces es un poblema de optimización lineal. La unción objetivo puede tene un solo mínimo, en cuyo caso se denomina unimodal, o vaios mínimos locales o globales, en cuyo caso se denomina multimodal

13 Optimización sin esticciones

14 Caacteización de los etemos

15 Condición necesaia de optimalidad n Sea * un mínimo local de : R R asumimos que es continuamente dieenciable en un conjunto abieto S que contiene a *. Entonces, ( *) = Si además es dos veces continuamente dieenciable en S, entonces, ( *) : sem ideinida positiva

16 Condición suiciente de optimalidad n Sea : R R dos veces continuamente dieenciable. Supóngase que * satisace: ( *) = ( *) : deinida positiva entonces * es un mínimo local esticto de. Pueba: Sea > el meno valo popio de

17 Repaso: Funciones Conveas Estamos paticulamente inteesados en la optimización de este tipo de unciones sobe los llamados conjuntos conveos Deinición: Un conjunto X en R n es conveo si y sólo si paa dos puntos cualquiea y en X y cualquie valo escala λ, el punto = λ + ( - λ) también está dento de X Conveo No Conveo Una esea, un tiángulo, el espacio R n, una línea ecta y un punto son conjuntos conveos. Un hipeplano también es un conjunto conveo

18 Repaso: Funciones Conveas Deinición: Una unción () es una unción convea deinida sobe un conjunto conveo X en R n si paa dos puntos cualquiea y en X donde λ ( λ + ( λ ) ) λ ( ) + ( λ ) ( ) A B AC BC = = λ ( a ) + ( λ ) ( b) ( λa + ( λ ) b) a c b

19 Repaso: Funciones Conveas Las unciones conveas tienen una caacteización geomética simple e inomativa Teoema: Cualquie unción lineal () = c T es tanto cóncava como convea Teoema: Si () es convea -() es cóncava (y vicevesa) Teoema: La suma de o más unciones conveas es convea Teoema: Cualquie oma cuadática semideinida positiva q() = T D donde D es simética, es una unción convea en todo R n, y si D es deinida positiva es estictamente convea Teoema: Cualquie oma cuadática semideinida negativa q() = T D donde D es simética, es una unción cóncava en todo R n, y si D es deinida negativa es estictamente cóncava

20 Citeios de conveidad Teoema: Supongamos que () tiene pimeas deivadas paciales continuas. Luego () es cóncava sobe alguna egión R en R n si y sólo si ( ) ( ) t ( ) ( + ) similamente, () es convea sobe alguna egión R en R n si y sólo si ( ) ( ) ( ) t ( + )

21 Citeios de conveidad Teoema: Sea () una unción C (segundas deivadas paciales eisten y son continuas). Entonces () es convea sobe una egión R en R n si y sólo si su Hessiano es deinido o semideinido positivo paa todo de la egión R

22 Citeios de conveidad Teoema de Schwatz: Si (,y) es tal que son continuas en un entono de un punto (,y ), entonces eiste y se cumple que y y y, ( ) y y ( ) ( ),, y y y y =

23 Citeio de optimalidad: Caso conveo Sea es una unción convea A) Un mínimo local de, es también un mínimo global. Además, si es estictamente convea entonces eiste a lo sumo un mínimo global de. B)Si es convea, entonces ( *) = Es una condición necesaia y suiciente paa que el vecto * sea un mínimo global de sobe X.

24 Optimalidad en el caso conveo Se cumple que Po lo tanto ( *) = implica que * es un mínimo global

25 Caso cuadático: Con Q simética nn y b en R n Ejemplo:

26 Métodos de descenso paa unciones de vaias vaiables La oma geneal de los métodos básicos de descenso se puede epesa como = + +α d k k k k Deteminación de Diecciones de Descenso a b = a b cosθ b θ a Si θ > 9º, entonces cos(θ ) < Si sabemos que el gadiente es la máima diección de cecimiento en un punto Cualquie vecto que tenga más de 9º con el gadiente deine una diección de descenso d K < d

27 Método de descenso Si ( ) eiste un intevalo de pasos (,δ) tales que ( α ( )) < ( ) α (, δ ) Si d tiene un ángulo con que es mayo que 9º, ( )' d < ( ) entonces hay un intevalo (, δ ) de pasos paa los cuales α ( + d) < ( ) α (, δ )

28 Métodos de descenso Los métodos básicos de descenso entonces son de la oma: = k + + k αkdk donde, si ( ) las diecciones d satisacen: ( )' d < k y α es un paso positivo. k Fomulación de muchos de los métodos: = k k αk D + k ( k ) donde D es una matiz simética deinida positiva. k ( )' d = ( )' D ( ) < po se deinida positiva k k k k

29 Dos métodos de descenso El método de descenso más ápido (steepest) (es común llamalo método del gadiente) = k k α + k ( k ) Es un método de convegencia lenta Método de Newton convege más ápido = α ( + ( )) ( ) k k k k k Eisten muchas modiicaciones y vaiaciones de estos métodos

30 Método del descenso más Rápido Ejemplo : Se desea minimiza la unción (, y ) = + + y El mínimo está ubicado en el punto (,) Supongamos que se asume como punto inicial, el punto (-.7,.7635).5.5 El gadiente en un punto cualquiea es, = {, y} y

31 Método del descenso más Rápido Ejemplo : Evolución del método paa un α =.5 Evolución del método paa un α =

32 Método del Descenso más Rápido Ejemplo : Se desea minimiza la unción (, y ) = y Esta unción es unimodal El mínimo está ubicado en el punto (,) Supongamos que se asume como punto inicial, el punto (-.7,.7) El gadiente en un punto cualquiea es, = {6, y}

33 Método del Descenso más Rápido Ejemplo : Se desea minimiza la unción (, y ) = y Las cuvas de nivel de esta unción son de oma elíptica, y el cambio de la diección de búsqueda de una iteación a ota, se obseva en la tayectoia en oma de zigzag

34 Método de Newton Consideamos una apoimación cuadática de () a pati del desaollo de Taylo: k ( ) = ( ) + ( )' ( ) + ( ) ( )( ) k k k k k k Se puede estima k+ deteminando el punto donde el gadiente de k () se hace ceo ( ) ( ) ( )( ) = + = k k k k ( ( )) ( ) = k+ k k k ( ( )) ( ) = α k+ k k k k () k k+

35 Método de Newton Ejemplo 3: Se desea minimiza la unción (, y ) = y utilizando el método de Newton El gadiente en un punto cualquiea es, = {6, y} mientas que el Hessiano es la matiz.5.5 H = 6 H = La apoimación de esta unción utilizando la seie de Taylo es eacta, debido a que es una unción cuadática

36 Citeios de selección del paso Citeio de minimización: Hay que esolve oto poblema de minimización peo esta vez en una sola vaiable. Minimización limitada. Igual al anteio peo con Paso constante Paso dececiente y veiicando la condición: Eisten otos citeios, como po ejemplo citeios de tipo backtacking.

37 Citeios tipo backtacking Sea d una diección de descenso, k y sean dados β [,] y α [,.5] t : = ( + td ) > ( ) + αt ' ( ) d while t = : β t k k k k k

38 Convegencia Po un lado, debe eisti una disminución signiicativa de : ( k ) ( ) ' d d Si k k k ( ) d = D k k k se puede asegua si los valoes popios de D están acotados supeiomente y acotados ineiomente po un valo positivo, entonces: m z z ' D z M z k, z k ' ( k ) dk = ' ( k ) Dk ( k ) m ( k ) d = ' ( ) D ( ) M ( ) k k k k k k

39 Convegencia Además de la diección de descenso impota elegi el paso adecuadamente. Po lo tanto las puebas de convegencia dependen de que la diección de descenso sea buena y que se elija un buen paso de iteación.

40 Teoemas de convegencia ) Sea la secuencia = k k αk D + k ( k ) Si el paso α k se elije mediante un método de minimización o po backtacking y la matiz D k veiica la condición vista paa las cotas de sus valoes popios, entonces todo punto límite de { k } es estacionaio. Eisten esultados más geneales que la condición en los valoes popios.

41 Teoemas de convegencia ) Sea la secuencia = k k αk D k ( k ) con d = k D + k ( k ) Si la matiz D k veiica la condición vista paa las cotas de sus valoes popios, se asume además que: ( ) ( ) Eiste L > tal que y L y, y ( Lipschitz) k d y ε < α < ( ε ) β con β = k ε > ijo. k ( ) d entonces todo punto límite de { k } es estacionaio. k L d k k

42 Velocidad de convegencia Se analiza a tavés de una unción de eo. Las más comúnmente utilizadas son: Convegencia geomética o lineal: Convegencia supelineal Convegencia sublineal =

43 Velocidad de convegencia del método de gadiente Se puede poba que utilizando el método de minimización del paso ( k + ) ( *) m ( ) ( *) M asumiendo que eisten m y M el meno y mayo valo popio de k ( ( )) k k Es deci que la convegencia es lineal.

44 Idea de la pueba Podemos escibi : con z en [,y] y acotando el Hessiano utilizando el meno valo popio: () Donde minimiza el lado deecho de (). Po ota pate Como vale paa todo (y), vale también paa el mínimo (p*)

45 Idea de la pueba Po oto lado si en tomamos y llamamos usando la cota con el mayo valo popio Minimizando ambos lados de la ecuación De donde, Po lo tanto luego de iteaciones Po último cuando m <<M

46 Velocidad de convegencia del método de Newton Idea:, obseva que si se tiene la oma pua del algoitmo de Newton. Si con y el gadiente de g() es invetible, Lo cual implica convegencia supelineal