Optimización no lineal

Transcripción

1 Optmzacón no lneal Andrés Ramos Unversdad Pontfca Comllas

2 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal -

3 Problemas de programacón no lneal ( Problema de transporte con descuentos por cantdad El preco untaro de transporte entre un orgen y un destno es decrecente en funcón de la cantdad a transportar. Problema de flujo de cargas en un sstema eléctrco Las pérddas son no lneales Problema de produccón con elastcdad en el preco y/o en el coste Curva de demanda o curva demanda-preco p( representa el preco untaro que se necesta para poder vender undades. Es una funcón decrecente, nunca nferor al coste untaro de produccón c. Los ngresos brutos (producto de cantdad producda por preco es una epresón no lneal. Margen de contrbucón Los costes no lneales pueden aparecer por una mayor efcenca untara en funcón de la cantdad. f ( p ( c Optmzacón no lneal -

4 Problemas de programacón no lneal ( Problema de seleccón de una cartera de nversones n tpos de accones j, j,,n representan el número de accones j que se van a nclur en la cartera µ j jj y σ la meda y la varanza hstórcas del rendmento sobre cada accón de tpo j, en donde σ jj es una medda del resgo de estas accones. Seaσ j la covaranza del rendmento sobre una accón de cada tpo y j. R( rendmento esperado y su varanza V( R ( V ( n j n µ n j j la funcón objetvo es j σ j j f ( R ( β V ( sendo β el factor de aversón al resgo. Optmzacón no lneal - 3

5 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal - 4

6 Optmzacón no lneal ( Optmzacón SIN restrccones mn f ( n f ( : R R R n Optmzacón CON restrccones (Programacón No Lneal NLP mn f ( g ( ε g ( n f ( : R R n g ( : R R R n φ Optmzacón no lneal - 5

7 Optmzacón no lneal ( Programacón cuadrátca mn f ( Q b A b Programacón convea es convea (cóncava s es mamzacón y es convea, f ( g (,, m Programacón separable la funcón se puede separar en una suma de funcones de las varables ndvduales n j j f ( f ( j Programacón geométrca funcón objetvo y restrccones toman la forma a a a n j j jn P (..., j,..., n j n j j j g ( c P ( Optmzacón no lneal - 6

8 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal - 7

9 Clasfcacón métodos optmzacón SIN restrccones según el uso de dervadas Sn dervadas Necesaros cuando no se pueden calcular éstas Prmeras dervadas (gradente Segundas dervadas (hessano Mayor coste computaconal Mejores propedades de convergenca Optmzacón no lneal - 8

10 Epansón en sere de aylor Aproma una funcón f cerca de un punto dado Se necestan conocer las dervadas de la funcón f ( + p f ( + f ( p + p f ( p + n p R f ( f ( un vector dferente de valor de la funcón gradente de la funcón f ( hessano de la funcón (s f tene segundas dervadas contnuas es una matrz smétrca O alternatvamente f ( + p f ( + f ( p + p f ( ξ p sendo un punto ξ entre y Optmzacón no lneal - 9

11 Funcón cuadrátca ( f ( Q b n R b R Q n R R n Gradente Hessano n f ( Q b f ( Q Optmzacón no lneal -

12 Funcón cuadrátca ( f y y y y (, y f (, y y + f (, y Estamos en (, f (, 9 y queremos saber el valor de la funcón en (.,.9 Evaluacón drecta f (., Apromacón medante epansón en sere de aylor.. f (., ( ( La apromacón de aylor de º orden es eacta en una funcón cuadrátca Optmzacón no lneal -

13 Funcón cuadrátca ( ezsurf('.5*^+**y+.5*y^-y+9' f y y y y (, Optmzacón no lneal -

14 Mínmo local, global ( Sea la funcón f dferencable con prmera y segunda dervadas contnuas mn f ( * n R n f ( : R R R n es el óptmo de la funcón * Es mínmo global s f ( f ( para n R * Es mínmo global estrcto s f ( < f ( para n R * Es mínmo local s f ( f ( en su vecndad * < ε sendo ε un número postvo (típcamente pequeño cuyo valor puede depender de * * Es mínmo local estrcto s f ( < f ( en su vecndad * < ε Optmzacón no lneal - 3

15 Mínmo local, global ( El mínmo global es dfícl de encontrar. Muchos métodos son locales. Sólo bajo supuestos adconales (convedad se puede garantzar que es global. Mínmo global estrcto Mínmo local estrcto (global Mínmo local estrcto Mínmo local Optmzacón no lneal - 4

16 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal - 5

17 Optmzacón SIN restrccones Condcones de optmaldad ( mn f ( R n Condcón necesara de º orden S * es un mínmo local de f entonces necesaramente Condcón satsfecha tambén por cualquer punto estaconaro Condcón necesara de º orden S * es un mínmo local de f entonces necesaramente f ( * es una matrz semdefnda postva (equvalente a convea, curvatura postva Condcón sufcente de º orden * S f ( y f ( * es defnda postva entonces * es un mínmo local estrcto de f Condcón necesara y sufcente Sea f convea y dferencable en * (s es dos veces dferencable el hessano será semdefndo postvo; * es un mínmo local s y sólo s f * * ( regón f * (. * es un mínmo global s y sólo s f convea en toda la Optmzacón no lneal - 6

18 Matrz defnda postva Una matrz A es defnda postva s A > para cualquer vector no nulo O ben s todos sus autovalores son postvos O ben s todos los menores de esquna (determnantes de orden,,,n (sendo n la dmensón de la matrz obtendos añadendo flas y columnas consecutvas desde el prmer elemento son postvos. Es defnda postva No lo es f (, f (, y Optmzacón no lneal - 7

19 Matrz semdefnda postva Una matrz A es semdefnda postva s A para cualquer vector no nulo O ben s todos sus autovalores son no negatvos O ben s todos los menores prncpales de orden,,,n (sendo n la dmensón de la matrz son no negatvos. Menores prncpales son los determnantes de flas cualesquera cruzadas con sus correspondentes columnas δ δ δ δ, Es semdefnda postva δ, δ,3 6 4 δ 3 f (, y, z ,, Optmzacón no lneal - 8

20 Matrz defnda negatva Una matrz A es defnda negatva s A para cualquer vector no nulo O ben todos sus autovalores son negatvos O ben s los menores de esquna son, alternatvamente, negatvo, postvo, etc. O ben s la matrz -A (resultado de cambar el sgno de todos los elementos es defnda postva. Optmzacón no lneal - 9

21 Equvalencas Funcón convea Hessano matrz defnda postva Curvatura (ª dervada postva Funcón cóncava Hessano matrz defnda negatva Curvatura (ª dervada negatva Mínmo local + convedad en toda la regón Mínmo global Mámo local + concavdad en toda la regón Mámo global Semdefnda postva (negatva Mínmo (mámo local Defnda postva (negatva Mínmo (mámo local estrcto Optmzacón no lneal -

22 Ejemplo : Optmzacón SIN restrccones f y y y y (, Gradente es un sstema de ecuacones + y f (, y y + con solucón (, y ( 3, 3 f (, y Hessano es matrz ndefnda (no es n semdefnda postva n semdefnda negatva Luego no es n un mínmo n mámo local Optmzacón no lneal -

23 Ejemplo : Optmzacón SIN restrccones f y y y y (, ezsurf('.5*^+**y+.5*y^-y+9' Optmzacón no lneal -

24 Ejemplo : Optmzacón SIN restrccones f y y y y (, ezcontourf('.5*^+**y+.5*y^-y+9' [,y] meshgrd(-6:.5:6,-6:.5:6; z.5*.^+*.*y+.5*y.^-y+9; [p,py] gradent(z,.5,.5; contour(,y,z; hold on quver(,y,p,py Optmzacón no lneal - 3

25 Autovalores y autovectores Hessano f (, y es matrz ndefnda Sus autovalores son Y los autovectores v λ v.7.7 Optmzacón no lneal - 4

26 Ejemplo : Optmzacón SIN restrccones f (, y + y y Gradente es un sstema de ecuacones 3 4 y f (, y y Hessano f (, y Optmzacón no lneal - 5

27 Ejemplo : Optmzacón SIN restrccones f (, y + y y ezsurf('*^+y^-**y+*^3+^4' Optmzacón no lneal - 6

28 Ejemplo : Optmzacón SIN restrccones f (, y + y y ezcontourf('*^+y^-**y+*^3+^4' [,y] meshgrd(-6:.5:6, -6:.5:6; z*.^+y.^-*.*y+*.^3+.^4; [p,py] gradent(z,.5,.5; contour(,y,z; hold on, quver(,y,p,py Optmzacón no lneal - 7

29 Ejemplo 3: Optmzacón SIN restrccones f (, y ( + ( y Gradente es un sstema de ecuacones ( f (, y ( y con solucón (, y (, Hessano f (, y es matrz semdefnda postva e ndependente del punto, luego es un mínmo global Optmzacón no lneal - 8

30 Ejemplo 3: Optmzacón SIN restrccones f (, y ( + ( y ezsurf('(-^+(y-^' Optmzacón no lneal - 9

31 Ejemplo 3: Optmzacón SIN restrccones f (, y ( + ( y ezcontourf('(-^+(y-^' [,y] meshgrd(-6:.5:6, -6:.5:6; z(-.^+(y-.^; [p,py] gradent(z,.5,.5; contour(,y,z; hold on, quver(,y,p,py Optmzacón no lneal - 3

32 Ejemplo 4: Optmzacón SIN restrccones (, f y y y y Gradente es un sstema de ecuacones y 5 f (, y 3 4 y con solucón (, y (.6,.656 Hessano 6 3 f (, y 3 4 es matrz semdefnda postva e ndependente del punto, luego es un mínmo global Optmzacón no lneal - 3

33 Ejemplo 4: Optmzacón SIN restrccones (, f y y y y ezsurf('8*^+3**y+7*y^-5*+3*y-9' Optmzacón no lneal - 3

34 Ejemplo 4: Optmzacón SIN restrccones (, f y y y y ezcontourf('8*^+3**y+7*y^-5*+3*y-9' [,y] meshgrd(-6:.5:6, -6:.5:6; z8*.^+3*.*y+7*y.^-5*+3*y-9; [p,py] gradent(z,.5,.5; contour(,y,z; hold on, quver(,y,p,py Optmzacón no lneal - 33

35 Autovalores y autovectores Hessano f (, y es matrz semdefnda postva Sus autovalores son Y los autovectores λ 8.6 v.58.8 v.8.58 Optmzacón no lneal - 34

36 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal - 35

37 Lagrangano ( Sea el problema de optmzacón sendo R, A R, b R n m n m Se defne el lagrangano como L(, λ f ( + λ ( A b mn f ( sendo λ R m los multplcadores de Lagrange. El lagrangano es un problema sn restrccones. El problema con restrccones se transforma en otro sn ellas con m varables adconales. El mínmo de ambos problemas concde puesto que A b. A b Optmzacón no lneal - 36

38 Lagrangano ( Condcones de optmaldad de prmer orden + * * * * * * (, ( (, L λ f A λ L λ * * * (, λ L A b λ y por tanto s * es un mínmo local debe cumplr f ( * A λ * En un mínmo local el gradente de la funcón objetvo es una combnacón lneal de los gradentes de las restrccones y los multplcadores de Lagrange son los pesos. Los multplcadores representan el cambo en la funcón objetvo para un cambo untaro (margnal en la cota de cada restrccón. En el caso partcular de LP éstos recbían el nombre de varables duales o precos sombra. Con esta formulacón del lagrangano los multplcadores resultan con sgno contraro a las varables duales. Optmzacón no lneal - 37

39 Lagrangano ( Sea el problema de optmzacón n donde : R R, n f : R R Se defne el lagrangano como g m mn f ( g (,..., m h ( j,..., l L (, λ, µ f ( + λ g ( + µ h ( donde λ R m y µ R l son los multplcadores de Lagrange. Lagrangano es sempre una cota nferor de f( para valores factbles de y valores conocdos de λ (no negatvos y µ (lbre. j j j l j Optmzacón no lneal - 38

40 Ejemplo ( Punto óptmo (-.5,-.5 Gradente mn( + ( y + y ( 5 f (, y ( y 5 ( * * * (.5,.5 λ * λ 5 Óptmo sn restrccones Óptmo con restrccones Optmzacón no lneal - 39

41 Ejemplo ( mn( + ( + λ ( + + y y mn( + ( + ( + + y y mn( + ( + 5( + + y y mn( + ( + ( + + y y Optmzacón no lneal - 4

42 Ejemplo ( mn( + ( y + y Optmzacón no lneal - 4

43 Ejemplo ( mn( + ( y + y ff y (, Gradente de la f.o. perpendcular a las curvas de nvel ( f (, y ( y gg y (, g (, y Gradente de la restrccón en la frontera de la regón factble perpendcular a dcha frontera Optmzacón no lneal - 4

44 Ejemplo ( mn( + ( y + y En el óptmo (-.5,-.5 ambos gradentes tenen sentdos opuestos ( 5 ( 5 * * f (, y y (.5,.5 ( *, * g y * * g (, y f y g y λ * * * * (, λ (, ( *, * f y 5 5 λ λ λ 5 Optmzacón no lneal - 43

45 Ejemplo 3 ( mn( + ( y + y 6 y 8 Optmzacón no lneal - 44

46 Ejemplo 3 ( mn( + ( y + y 6 y 8 gg 3 y 3 (, ff y (, ( f (, y ( y ( / 7,6 / 7 gg y (, g (, y g 6 (, y Optmzacón no lneal - 45

47 Ejemplo 3 ( mn( + ( y + y 6 y 8 En el óptmo (-/7,6/7 el gradente de la f.o. se puede epresar como combnacón lneal de los gradentes de las restrccones cambados de sgno f y ( 68/ 7 ( y / 7 * * (, ( / 7,6 / 7 f y ( *, * gg y ( *, * gg y ( *, * g y * * (, f (, y λ g (, y λ g (, y λ, λ g y * * (, 6 * * * * * * 68/ 7 6 / 7 λ λ + λ, λ λ.75 λ.5 Optmzacón no lneal - 46

48 Ejemplo 4 ( mn( + ( y + y 3 y 4 Optmzacón no lneal - 47

49 Ejemplo 4 ( ff y (, gg 3 y 3 (, mn( + ( y + y 3 y 4 gg (, y ( f (, y ( y g (, y gg y (, g g 3 (, y (, y Optmzacón no lneal - 48

50 f y ( *, * Ejemplo 4 ( En el óptmo (-3, el gradente de la f.o. se puede epresar como combnacón lneal de los gradentes de las restrccones actvas cambados de sgno gg y ( *, * gg y ( *, * gg (, y 3 mn( + ( y + y 3 y 4 ( ( y * * f (, y g y * * (, ( 3, f (, y λ g (, y λ g (, y λ, λ g y * * 3 (, * * * * * * λ λ + λ, λ g y * * (, λ λ λ 3 La prmera restrccón es superflua. Solucón degenerada. Optmzacón no lneal - 49

51 Condcones necesaras con restrccones de desgualdad ( Sea el problema mn f ( g (,..., m n donde : R R, n f : R R Sea * un punto factble I * { / g ( } el conjunto de restrccones actvas f y { g, I} dferencables en * { g, I} contnuas en * * { g } ( I g lnealmente ndependentes Optmzacón no lneal - 5

52 Condcones necesaras con restrccones de desgualdad ( mn f ( g (,..., m S * es mínmo local entonces esten unos escalares tales que f + * ( * * * λ g ( I λ I { λ, } I Además s las funcones { g, I} son dferencables en *, s * es óptmo local entonces ( * m * * λ g ( f + λ g (,..., m * * λ,..., m * Condcón de complementaredad de holguras Restrccón no actva multplcador. Restrccón actva multplcador puede ser o no. Optmzacón no lneal - 5

53 Condcones necesaras con restrccones de desgualdad ( Sea el problema mn f ( g (,..., m Condcones necesaras de Karush-Kuhn-ucer (KK de prmer orden para tener un óptmo local Gradente de f.o.: combnacón lneal de gradentes de restrccones cambados de sgno Punto factble ( * m * * λ g ( f + λ g (,..., m * * g m * (,..., λ,..., m * Condcón de complementaredad de holguras Restrccón no actva λ Restrccón actva λ Optmzacón no lneal - 5

54 Condcones necesaras con restrccones de desgualdad (v Sea el problema El lagrangano será mn f ( g (,..., m L (, λ f ( + λ g ( λ La condcón de optmaldad para el lagrangano será * * * * * * * L(, λ f ( λ g( L (, λ I L * * * (, g ( I λ λ la ª corresponde a la defncón de restrccones actvas Para consderar todas las restrccones lo epreso como m + λ g (,..., m * * I Optmzacón no lneal - 54

55 Condcones sufcentes con restrccones de desgualdad ( S la f.o. es no convea o la regón factble es no convea puede haber puntos que verfquen las condcones necesaras. Sea * un punto factble I * { / g ( } el conjunto de restrccones actvas f y { g, I} conveas y dferencables en toda la regón factble S esten unos escalares { λ, } tales que λ I ( * * λ g ( I f + I entonces * es mínmo global Optmzacón no lneal - 55

56 Condcones sufcentes con restrccones de desgualdad ( Condcón de mínmo local estrcto Alternatvamente, en lugar de poner la condcón de que f y { g, I} sean conveas y dferencables en * se puede epresar * tambén como que el lagrangano L ( f ( + λ ( g I, * sendo λ los multplcadores de Lagrange de las restrccones, tenga un hessano L ( * f ( * + λ * ( * g I que sea una matrz defnda postva en *. Las condcones sufcentes para el caso de mamzacón se traducen en que la funcón f sea cóncava en el punto, las restrccones no camban y los multplcadores sean menores o guales que. Optmzacón no lneal - 56

57 Condcones necesaras con restrccones de gualdad y desgualdad ( Sea el problema mn f ( g (,..., m h ( j,..., l j n donde : R R, n f : R R Sea * un punto factble { } g * I / g ( el conjunto de restrccones actvas f y { g, I} dferencables en * { g, I} contnuas en * { h j, j,..., l} { g ( *, ; ( * I h j, j,..., l} contnuamente dferencables en * lnealmente ndependentes Optmzacón no lneal - 57

58 Condcones necesaras con restrccones de gualdad y desgualdad ( S * es mínmo local entonces esten unos escalares { λ, I; µ j, j,, l} λ tales que * * * ( λ ( l µ j j ( I j f + g + h I Además s las funcones { g, I} son dferencables en *, s * es óptmo local entonces m l * * * ( λ ( µ j j ( j f + g + h λ g m * (,..., λ,..., m Optmzacón no lneal - 58

59 Ejemplo 5 ( mn fy (, 9 y ( 5 y, + y y Optmzacón no lneal - 59

60 Ejemplo 5 ( mn fy (, 9 y ( 5 y, + y y Punto C (,,,, f.o.-5 Punto A (/,-/,,9, f.o Punto B (,-,,9, f.o.-5 Optmzacón no lneal - 6

61 Ejemplo 5 ( mn Ly (,, λ, λ, λ 9 y ( 5 + λ ( + y + λ ( y + λ ( y,, λ, λ, λ Lagrangano para los valores de los multplcadores correspondentes al punto A (/,-/,,9, Funcón no acotada Optmzacón no lneal - 6

62 Ejemplo 5 (v mn Ly (,, λ, λ, λ 9 y ( 5 + λ ( + y + λ ( y + λ ( y,, λ, λ, λ Lagrangano para los valores de los multplcadores correspondentes al punto A (/,-/,,9, Punto A (/,-/,,9, Optmzacón no lneal - 6

63 Ejemplo 5 (v mn Ly (,, λ, λ, λ 9 y ( 5 + λ ( + y + λ ( y + λ ( y,, λ, λ, λ Lagrangano para los valores de los multplcadores correspondentes al punto B (,-,,9, Funcón no acotada Optmzacón no lneal - 63

64 Ejemplo 5 (v mn Ly (,, λ, λ, λ 9 y ( 5 + λ ( + y + λ ( y + λ ( y,, λ, λ, λ Lagrangano para los valores de los multplcadores correspondentes al punto B (,-,,9, Punto B (,-,,9, Optmzacón no lneal - 64

65 Ejemplo 5 (v mn Ly (,, λ, λ, λ 9 y ( 5 + λ ( + y + λ ( y + λ ( y,, λ, λ, λ Lagrangano para los valores de los multplcadores correspondentes al punto C (,,,, Funcón no acotada Optmzacón no lneal - 65

66 Ejemplo 5 (v mn Ly (,, λ, λ, λ 9 y ( 5 + λ ( + y + λ ( y + λ ( y,, λ, λ, λ Lagrangano para los valores de los multplcadores correspondentes al punto C (,,,, Punto C (,,,, Optmzacón no lneal - 66

67 Condcones necesaras con restrccones de gualdad y desgualdad ( Sea el problema mn f ( g (,..., m h ( j,..., l j Condcones necesaras de Karush-Kuhn-ucer (KK de prmer orden para tener un óptmo local Gradente de f.o.: combnacón lneal de gradentes de restrccones cambados de sgno Punto factble * m * * l ( λ * * ( µ j j ( j f + g + h λ g (,..., m * * g m * (,..., h j l * j (,..., λ,..., m * Condcón de complementaredad de holguras Restrccón no actva λ Restrccón actva λ Optmzacón no lneal - 67

68 Condcones sufcentes con restrccones de gualdad y desgualdad ( Sea * un punto factble I * { / g ( } el conjunto de restrccones actvas f y { g, I} conveas y dferencables en toda la regón factble { j } S esten unos escalares λ, I; µ, j,, l tales que λ * * * ( λ ( l µ j j ( I j f + g + h I de modo que h j sea convea en toda la regón factble s µ j > y h j sea cóncava en toda la regón factble s µ j <, entonces * es mínmo global µ > j Optmzacón no lneal - 68

69 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal - 7

70 Clasfcacón métodos optmzacón SIN restrccones según el uso de dervadas Sn dervadas Método de búsqueda aleatora Método de Hooe y Jeeves Método de Rosenbroc (de las coordenadas rotatvas o cíclcas Método de Nelder y Mead (símplce Prmeras dervadas (gradente Método de mámo descenso (Steepest Descent Método del gradente conjugado (Flectcher y Reeves Segundas dervadas (hessano Método de Newton Métodos cuas Newton (Broyden-Fletcher-Goldfarb-Shanno BFGS, Davdon-Fletcher-Powell DFP Optmzacón no lneal - 7

71 Método de Newton para funcón undmensonal ( Los algortmos de nterpolacón realzan en cada teracón una apromacón de la funcón f, en el punto consderado en dcha teracón, por un polnomo de segundo o de tercer grado. Para hacerlo necesta evaluar las prmeras dervadas de la funcón en. Este método ajusta, en la teracón, una parábola q( a f ( y toma + como el vértce de dcha parábola q ( ( ( ( + f + f + + f ( ( + f ( q ( + + f ( El algortmo converge cuadrátcamente bajo certas condcones, pero es muy nestable y suele ser necesaro tomar precaucones e nclur proteccones. Optmzacón no lneal - 7

72 Método de Newton para funcón undmensonal ( 3 ( ( + ( + 3 f f ( 3( + 4( f ( 6( + 4 Secuenca de puntos.75 f ( f ( Optmzacón no lneal - 73

73 Procedmento general de optmzacón Genera una secuenca de puntos hasta convergenca Partr de un punto ncal Buscar una dreccón de movmento p Calcular la longtud de pasoα Actualzar al nuevo punto + +α + p Optmzacón no lneal - 74

74 Condcones de cada teracón Elegr el nuevo punto de manera que el valor de la funcón dsmnuya f ( + < f ( Condcones sobre la dreccón de movmento p La dreccón es descendente p f ( < El descenso es sufcente (vectores no ortogonales La dreccón de movmento está relaconada con gradente Condcones sobre el escalarα El descenso es sufcente (condcón de Armjo f ( + f ( + µα p f ( < µ < Descenso no demasado pequeño Por ejemplo, se defne α como una secuenca, ½, ¼, /8, etc. Se van utlzando los valores de la secuenca empezando por. S para α se satsface la condcón anteror se para, s no se utlza el valor sguente Mnmza el valor de la funcón: método de búsqueda undmensonal (lne-search methods α α mn α > F ( f ( + p + α p + p f ( p f ( p ε > m f ( Optmzacón no lneal - 75

75 Método de Rosenbroc o de coordenadas cíclcas Consste en partr de un punto y mnmzar la funcón f en la dreccón d (,,,, (mnmzacón de una funcón undmensonal; alcanzado el punto que mnmza la funcón en esa dreccón, se mnmza desde ese punto en la dreccón d (,,,, para determnar el punto 3 y así sucesvamente hasta llegar al punto n+ en que se vuelve a mnmzar en la dreccón d. (,,,, El proceso se repte hasta alcanzar la precsón deseada. No es un método muy efcente, los otros métodos aprovechan mejor las dreccones detectadas de mejora, pero es bueno para hacerse una prmera dea de lo que son métodos de búsqueda. Cada búsqueda undmensonal puede ser con o sn dervadas. Optmzacón no lneal - 76

76 Gradente ( Curva de nvel Optmzacón no lneal - 77

77 Gradente ( y (, f y y y y Curva de nvel 5 f (, f (, 3 Vector gradente El gradente de una funcón da la dreccón de mámo aumento y 5 f (, y 3 4 y (, y (.6,.656 Optmzacón no lneal - 78

78 Método del mámo descenso No requere el uso de segundas dervadas. Por tanto, es poco costoso computaconalmente. ene una convergenca más lenta, lneal. En general, no se debe utlzar. Se aproma la funcón por la sere de aylor de prmer orden La dreccón de búsqueda resultante para mnmzar al mámo la funcón es la opuesta al gradente de la funcón p f ( Optmzacón no lneal - 79

79 Ejemplo f (, y ( + ( y ( p f (, y ( y mn F ( α f ( + α p α > Punto ncal (, Dreccón de movmento p (4, mn F( α (4α + (α α α + 5 α F ( α 4α α.5 Sguente punto + +α p (, Dreccón de movmento p (, Se ha llegado al óptmo ya que el gradente es Optmzacón no lneal - 8

80 Ejemplo ( (, f y y y y y 5 p f (, y 3 4 y Punto ncal (-4,4 Dreccón de movmento p (77,-75 F mn ( α 8( 4 77 α 3( 4 77 α(4 75 α α F ( α 38964α 554 α.83 7(4 75 α 5( α + 3(4 75 α 9 α α mn F ( α f ( + α p Sguente punto ( , (.4,-.36 α Optmzacón no lneal - 8

81 Ejemplo ( Dreccón de movmento p (-6.76,-6.95 mn F( α 8( α 3( α(. 6.9 α α Etc (. 6.9 α 5( α + 3(. 6.9 α 9 Optmzacón no lneal - 8

82 Ejemplo ( y Optmzacón no lneal - 83

83 Ejemplo 3 ( mn f ( Q b Q 5 5 b Para funcones cuadrátcas, el óptmo se puede determnar como f ( Q b y, por tanto, Q b 5 5 * La dreccón de mámo descenso es p f ( ( Q b S se utlza una búsqueda undmensonal eacta el valor resultante de es f ( α p Qp p Optmzacón no lneal - 84

84 Ejemplo 3 ( Punto ncal f ( f ( α Se utlza la norma del gradente como medda de la convergenca f ( Nuevo punto α p Norma del gradente f f (.45 ( f (.56 α Optmzacón no lneal - 85

85 Ejemplo 3 ( Nuevo punto f (.37 f ( Norma del gradente f (.44 Etc. El proceso contnúa hasta que la norma del gradente se haga sufcentemente pequeña (nferor a una certa toleranca, -8 por ejemplo. En este ejemplo se necestan 6 teracones hasta alcanzar esta toleranca. Optmzacón no lneal - 86

86 Convergenca del método del mámo descenso para funcones cuadrátcas La convergenca del método de mámo descenso para una funcón cuadrátca con búsqueda undmensonal eacta es lneal. La relacón de mejora entre dos teracones consecutvas se puede acotar superormente de esta manera: * f ( + f ( cond( Q * f ( ( f cond( Q + donde el número de condcón de la matrz A que se defne como cond( A A A y, sendo el autovalor mámo de la matrz A ( A λma A A λ ma( A A A. S A es una matrz defnda postva y smétrca cond( A λ λ n sendo λ y λ n el mayor y menor autovalor respectvamente. En el ejemplo anteror cond( Q 5 Un valor elevado del número de condcón ndca que la convergenca es muy lenta. Para cond( Q este método mejora la solucón como mucho del 4 % en cada teracón. Optmzacón no lneal - 87

87 Número de condcón Mde la sensbldad de la solucón de un sstema de ecuacones lneales a los errores en los datos. Optmzacón no lneal - 88

88 Convergenca del método del mámo descenso para funcones no lneales generales Para funcones no lneales generales la convergenca es tambén lneal con esta cota superor cond( Q cond( Q + donde ahora Q f ( * es el hessano de la funcón en la solucón. Optmzacón no lneal - 89

89 Método de Newton para resolucón de un sstema de ecuacones no lneales ( Resuelve teratvamente un sstema de ecuacones no lneales Aproma la funcón no lneal por una funcón lneal en cada punto (teracón, utlzando la epansón en sere de aylor de prmer orden f f f n ( ( (,, n,,,, n n f ( + p f ( + f ( p f f f p * ( ( + ( p f ( f ( + p f ( f ( + ( f ( f ( f ( f ( n jacobano de la funcón Optmzacón no lneal - 9

90 Método de Newton para resolucón de un sstema de ecuacones no lneales ( Converge cuadrátcamente cuando el punto está prómo a la solucón El jacobano de la funcón en cada punto debe ser no sngular Optmzacón no lneal - 9

91 Optmzacón no lneal - 9 Método de Newton para resolucón de un sstema de ecuacones no lneales ( Suponemos como punto ncal Después de 8 teracones el punto toma el valor apromado de y las funcones toman valor , ( 3 7 3, ( f f , ( 3 7 3, ( f f (, f f f f f (, f f f f f

92 Método de Newton para optmzacón Se aplca el método de Newton de resolucón de un sstema de ecuacones a la condcón necesara de optmaldad de prmer orden. f ( El jacobano de esta funcón f ( es el hessano Iteracón p f f + ( + ( f ( Donde p (la dreccón de Newton se obtene medante la resolucón de un sstema de ecuacones lneales (sstema de Newton en lugar de calcular la nversa del hessano. f ( p f ( Optmzacón no lneal - 93

93 Ejemplo ( f (, y ( + ( y ( f (, y ( y f (, y f ( p f ( Punto ncal (, Dreccón de movmento p (, p Cálculo de α mn F( α (α + ( α 5α α + 5 α F ( α α α Optmzacón no lneal - 94

94 Ejemplo ( Sguente punto + +α p (, Dreccón de movmento p (, Se ha llegado al óptmo ya que el gradente es Optmzacón no lneal - 95

95 Método cuas Newton Dsmnur el coste computaconal asocado a calcular y almacenar el hessano y a resolver el sstema de ecuacones lneales. Basados en apromar el hessano de la funcón f ( en cada punto por otra matrz B defnda postva más fácl de calcular. Los dferentes métodos cuas Newton dferen en la eleccón de B y en su actualzacón. Ventajas: Prescnde del cálculo de las segundas dervadas (hessano, utlza sólo prmeras dervadas en la apromacón de B La dreccón de búsqueda se puede calcular con menor coste computaconal Desventajas: La convergenca ya no es cuadrátca, teracones menos costosas Requeren el almacenamento de una matrz, luego no son aptos para problemas grandes Optmzacón no lneal - 96

96 Cálculo de la matrz B Condcón de la secante Apromacón Para una funcón cuadrátca el hessano Q satsface esta condcón, luego la apromacón es eacta. Defnendo s + y y f f ( entonces En los métodos cuas Newton la matrz B se actualza en cada teracón B + B + actualzacón f ( ( f ( f ( B f ( f ( ( B s ( + + La ncalzacón de B suele ser la matrz dentdad B I. y Optmzacón no lneal - 97

97 Procedmento método cuas Newton. Especfcacón de una solucón ncal y de una apromacón ncal al hessano B. Iterar,, hasta encontrar la solucón óptma Calcular la dreccón de movmento Hacer una búsqueda undmensonal para determnar Calcular s + Actualzar la apromacón del hessano B + B + actualzacón B + y f + f ( p ( + f ( + α p + Optmzacón no lneal - 98

98 Optmzacón no lneal - 99 Actualzacones de la matrz B Actualzacón BFGS (Broyden-Fletcher-Goldfarb-Shanno Actualzacón DFP (Davdon-Fletcher-Powell En ambas actualzacones para garantzar que B + sgue sendo defnda postva se debe cumplr condcón que se debe garantzar controlando la búsqueda undmensonal. La matrz B se apromada más al hessano en cada teracón ( ( s y y y s B s s B s B B B + + ( ( s y y y s B s s B s B B B + + ( ( u u s B s s y y y s B s s B s B B B + ( + + ( ( u u s B s s y y y s B s s B s B B B + ( + + s B s s B s y y u s B s s B s y y u > y s

99 CONENIDO PROBLEMAS DE PROGRAMACIÓN NO LINEAL IPOS DE PROBLEMAS NLP CLASIFICACIÓN DE MÉODOS DE RESOLUCIÓN CONDICIONES DE OPIMALIDAD PARA OPIMIZACIÓN SIN RESRICCIONES CONDICIONES DE OPIMALIDAD PARA NLP MEHODS FOR UNCONSRAINED OPIMIZAION (master NONLINEAR PROGRAMMING MEHODS (master Optmzacón no lneal -

100 Programacón no lneal Sea el problema mn f ( g (,..., m h ( j,..., l j n f, g, h : R R j n R donde f, g y h son funcones dferencables con prmera y segunda dervadas contnuas. S la regón factble es convea y la funcón objetvo es convea en toda la regón factble cualquer óptmo local es tambén global Optmzacón no lneal -

101 Métodos de programacón no lneal (NLP. Métodos de penalzacón: mnmzan una funcón relaconada con el lagrangano que tene el msmo mínmo Métodos de penalzacón y barrera Método del lagrangano aumentado Método de programacón cuadrátca secuencal. Métodos factbles: mantenen factbldad al partr de un punto factble y moverse en dreccones factbles Generalzacón del método smple de LP. Resuelven una secuenca de subproblemas con un conjunto de restrccones actvas que camba en cada teracón. Inconvenentes: seleccón del conjunto de restrccones actvas y dfcultad de satsfacer las restrccones Método del gradente reducdo Optmzacón no lneal -

102 Métodos de penalzacón Resuelven un problema NLP resolvendo una secuenca de problemas de optmzacón sn restrccones. En el límte la solucón de ambos problemas es la msma. En la funcón objetvo se ncluyen unas penalzacones que mden las volacones de las restrccones y además unos parámetros que determnan la mportanca de cada restrccón. Métodos de penalzacón (método de penalzacón eteror Penalzan la volacón de una restrccón. Se mueve por puntos nfactbles. Mejor para restrccones de gualdad Métodos barrera (método de penalzacón nteror Evtan que se alcance el contorno de una restrccón. Puntos estrctamente factbles. No son váldos para restrccones de gualdad Optmzacón no lneal - 3

103 Método de penalzacón (eteror Sea el problema mn f ( g (,..., m Se defne la funcón de penalzacón ψ m ( g ( g ( g ( El problema orgnal se transforma en mn π (, ρ f ( + ρ ψ ( sendo ρ, el parámetro de penalzacón, un escalar postvo que crece monótonamente haca Al avanzar las teracones los óptmos se mueven haca la regón factble Optmzacón no lneal - 4

104 Método de penalzacón (eteror Condcón de optmaldad de la funcón de penalzacón f m ( ( ρ + ρ g ( ( ρ g ( ( ρ Defnmos λ λ ( ρ ρ g ( ( ρ. Estmacón de los multplcadores de Lagrange. Entonces, las condcones de optmaldad de la funcón orgnal son m f ( ( ρ + λ ( ρ g ( ( ρ λ ( ρ ρ g ( ( ρ,, m λ ( ρ,, m Optmzacón no lneal - 5

105 Método de penalzacón (eteror El hessano del problema penalzado puede dar un número de condcón elevado π ( ( ρ, ρ Optmzacón no lneal - 6

106 Ejemplo ( mn( + ( y + y λ 5 (.5,.5 Optmzacón no lneal - 7

107 Ejemplo ( mn( + ( y + ρ ( + y + Condcón de optmaldad de prmer orden ( + ρ ( + y + 4 ρ 3 ρ y ( y + ρ ( + y + + ρ + ρ π ( ρ λ + ρ Para ρ Para ρ Para ρ4 Para ρ8 Para ρ6 Para ρ3 Para ρ64 Para ρ ( *, * (.75,.5 y * * (, y (/ 3, / 3 ( *, * (, y * * (, y ( / 9, / 9 ( *, * ( 6/7, 3/7 y * * (, y ( 4 / 33, 47 / 33 ( *, * ( 6 /3, 9 /3 y * * (, y (.5,.5 λ.5 λ 4 λ 8/7 4.7 λ 64 /3 4.9 λ 5 Cada uno es una optmzacón sn restrccones Optmzacón no lneal - 8

108 Ejemplo ( ρ λ.5 ρ 4 λ 4 (.75,.5 (, ρ 6 λ 8/7 4.7 ρ 64 λ 64 /3 4.9 ( 6/7, 3/7 ( 6/3, 9 /3 Optmzacón no lneal - 9

109 Ejemplo (v El hessano del problema penalzado es + ρ ρ π ( ( ρ, ρ ρ ρ + Para ρ Paraρ4 Para ρ6 Para ρ64 3 π ( ( ρ, ρ π ( ( ρ, ρ π ( ( ρ, ρ π ( ( ρ, ρ ( / 4 / cond π λ λ ( / / 5 cond π λ λ ( / 34 / 7 cond π λ λ ( / 3/ 65 cond π λ λ Optmzacón no lneal -

110 Método barrera (penalzacón nteror Sea el problema mn f ( g (,..., m Se defne la funcón barrera m φ ( log( g ( o ben φ( m g ( Es una funcón contnua en el nteror de la regón factble que se hace al acercarse al contorno El problema orgnal se transforma en mn π (, µ f ( + µ φ ( sendo µ, el parámetro barrera, un escalar postvo que decrece monótonamente haca Al dsmnur el parámetro los puntos se acercan al contorno de la regón factble Optmzacón no lneal -

111 Método de penalzacón (eteror Condcón de optmaldad de la funcón barrera Defnmos m g ( f ( µ g ( λ λ ( µ µ g ( Estmacón de los multplcadores de Lagrange. Entonces, las condcones de optmaldad de la funcón orgnal son m f ( ( µ + λ ( µ g ( ( µ λ ( µ g ( ( µ µ,, m λ ( µ,, m λ ( µ g ( µ Optmzacón no lneal -

112 Método de penalzacón (eteror El hessano del problema penalzado puede dar un número de condcón elevado π ( ( µ, µ Optmzacón no lneal - 3

113 Ejemplo ( mn( + ( y y λ 5 5 (.5,.5 Optmzacón no lneal - 4

114 Ejemplo ( y µ y mn( + ( log( Condcón de optmaldad de prmer orden ( + µ /( y 3 ± + 6 µ ( y + µ /( y 4 8 π ( y ± + 6 µ 4 8 µ λ + y + Para µ Para µ Para µ4 Para µ.8 Para µ.6 Para µ.3 Para µ.64 Para µ ( *, * ( 4.439, y * * (, y (.87,.87 ( *, * (.858,.858 y * * (, y (.5776,.5776 ( *, * (.559,.559 y * * (, y (.53,.53 ( *, * (.56,.56 y * * (, y (.5,.5 λ.878 λ 5.76 λ 5.38 λ 5.3 λ 5 Cada uno es una optmzacón sn restrccones Optmzacón no lneal - 5

115 Ejemplo ( µ λ.878 µ 4 λ 5.76 (.858,.858 ( 4.439, µ.6 λ 5.38 µ.64 λ 5.3 (.559,.559 (.56,.56 Optmzacón no lneal - 6

116 Ejemplo (v El hessano del problema barrera es + µ / ( + y + µ / ( + y + π ( ( µ, µ µ / ( + y + + µ / ( + y + Para µ Para µ4 Para µ π ( ( µ, µ π ( ( µ, µ π ( ( µ, µ ( / 5.8/.64 cond π λ λ ( / 8.5/ 9.5 cond π λ λ ( / 38.48/ 59.4 cond π λ λ Optmzacón no lneal - 7

117 Método del lagrangano aumentado ( El mal condconamento de los métodos anterores puede mejorarse ncluyendo los multplcadores en la funcón de penalzacón. Los algortmos ahora deben actualzar tanto las varables como los multplcadores. La convergenca es más rápda que en los métodos anterores. Optmzacón no lneal - 8

118 Método del lagrangano aumentado ( Sea el problema El óptmo del lagrangano concde con el del problema anteror s el punto es factble Resolvemos este problema por el método de penalzacón eteror m m mn A ( f ( + λ [ ( [ ( ] g + ρ g De forma general mn f ( g (,..., m m mn L ( f ( + λ g ( g (,..., m mn A(, λ, ρ f ( + λ g( + ρ g ( g ( Optmzacón no lneal - 9

119 Método del lagrangano aumentado ( Elegr valores de, y Prueba de optmaldad. S se verfca se detene el algortmo. L (, λ Resolver el problema no lneal sn restrccones y calcular Actualzar y λ ρ mn A(, λ, ρ f ( + λ g( + ρ g ( g ( + + λ ρ + + λ λ + ρ g ( ρ + ha de ser mayor que ρ + Optmzacón no lneal -

120 Programacón cuadrátca secuencal ( Sea el problema mn f ( g (,..., m Formulamos el lagrangano mn L ( f ( λ g ( Condcones de optmaldad de prmer orden L * * (, λ L (, g ( λ λ Se formula el método de Newton para este sstema de ecs. + λ + p + λ v donde p y v se determnan resolvendo el sguente sstema de ecuacones lneales m + m L (, λ f ( + λ g ( Optmzacón no lneal -

121 Programacón cuadrátca secuencal ( Sstema de ecuacones lneales p L (, λ L (, λ v (, L(, λ g( p L λ g( v g( Representa las condcones de optmaldad de prmer orden de este problema de optmzacón cuadrátca con restrccones lneales mn p L (, λ p + p [ L (, λ ] p [ ] g ( p + g ( : v En lugar de resolver un sstema de ecs lneales se resuelve este problema de optmzacón cuadrátca con restrccones lneales Optmzacón no lneal -

122 Programacón cuadrátca secuencal (. Se resuelve el problema cuadrátco [ ]. Se obtenen [ λ ] mn p L(, λ p + p L(, p g ( p + g ( : v ( p, v 3. Se actualzan los valores de las varables y multplcadores + λ + p + λ v Optmzacón no lneal - 3

123 Funcón reducda ( Sea el problema mn f ( A b, R Supongamos un punto factble y una dreccón factble p, Ap, entonces cualquer punto factble se puede epresar como + p. mn f ( + p p n Ap, p R n Optmzacón no lneal - 4

124 Funcón reducda ( S Z es una matrz n r ( r n m del espaco nulo de A (espaco defndo por el conjunto de vectores ortogonales a las flas de A la regón factble tambén se puede epresar como + Zv, donde r v R Ahora el problema se transforma en una mnmzacón de la funcón φ(v que es la funcón reducda de f en la regón factble, problema sn restrccones y de menores dmensones mn φ ( v f ( + Zv v v R r Optmzacón no lneal - 5

125 Cálculo de Z (método de reduccón de varables Sean las matrces A R, B R, N R, Z R m n m m m ( n m n ( nm Las dreccones factbles han de cumplr p p B Ap ( B N Bp + Np p Z B N N p p B N B I N B I El nuevo punto se obtene como + p + Zp N p N B b + B N p N I N Optmzacón no lneal - 6

126 Condcones de optmaldad NLP con restrccones lneales de gualdad Gradente reducdo (proyectado de f en Hessano reducdo (proyectado de f en φ( v Z f ( φ( v Z f ( Z Condcones necesaras de prmer y segundo orden Z * ( f ( * p f p sendo pzv un vector del espaco nulo de A Condcones sufcentes de prmer y segundo orden para mínmo local estrcto A Z * b f * ( ( * Z f Z matrz defnda postva Optmzacón no lneal - 7

127 Ejemplo Sea el problema mn f ( f (, f ( *.5 B ( N ( Z 3 * * 4 4 Z f ( 3, Z f ( Z El hessano de la f.o. no es una matrz defnda postva y, sn embargo, el hessano reducdo sí lo es. Luego el punto es un mínmo local estrcto. Optmzacón no lneal - 8

128 Método de Newton reducdo Sea el problema + p + Zv sendo punto factble ncal y p dreccón factble donde Z es una matrz n n-m del espaco nulo de A La funcón reducda es mn f ( A b, R Se aplca el método de Newton para calcular la dreccón resolvendo este sstema de ecuacones lneales p se obtene a partr de v, p Zv. No depende matemátcamente de Z pero sí numércamente. n mn φ ( v f ( + Zv v v R Z f ( Z ( v Z f p Zv Z Z f ( Z Z f ( r v Optmzacón no lneal - 9

129 Método del gradente conjugado lneal ( Sea el sstema de ecuacones A b donde A es una matrz smétrca y defnda postva Resolver el sstema es equvalente a resolver mn f ( A b ya que por condcones de optmaldad f ( A b y el hessano es defndo postvo f ( A Vectores conjugados p Ap j j S AI entonces los vectores conjugados son ortogonales. Optmzacón no lneal - 3

130 Método del gradente conjugado lneal ( Supongamos que tenemos un punto y combnacón lneal de m+ vectores conjugados y m α p Evaluando la funcón m m m m α α α j j α j f ( y f p p A p b p m m m α α j p Ap j α b p j m m α p Ap α b p m α p Ap α b p Desaparecen los productos p Ap j Optmzacón no lneal - 3

131 Método del gradente conjugado lneal ( Mnmzando la funcón m m mn f ( y mn f p mn p Ap b p y α α α α α El problema de mnmzacón multdmensonal se ha transformado en m+ problemas de mnmzacón undmensonales Para cada dmensón ( p Ap b p α α b p p Ap Es decr, s representamos un punto como combnacón lneal de un conjunto de vectores conjugados la solucón es nmedata Optmzacón no lneal - 3

132 Método del gradente conjugado lneal (v Determna teratvamente el conjunto de vectores conjugados y los pesos Método, r b b A, p, β Para,, S r < ε fn. S > β r r r r p r + β p α r r p Ap + α p + r r α Ap + Dreccón de movmento Longtud de paso Actualzacón del punto Actualzacón del resduo es la solucón, p son vectores conjugados, r son vectores ortogonales Optmzacón no lneal - 33

133 Método del gradente conjugado lneal (v Ejemplo A b 3, r, p, β, ε.5.5 r.73 > ε, p, α.5,.5, r r.7 > ε, p.67, α.6,.6, r r.45 > ε, p.8, α.556, 3.5, r Optmzacón no lneal - 34

134 Método del gradente conjugado lneal (v Adecuado para la resolucón de problemas de gran tamaño Requeren poco almacenamento Poco cálculo por teracón Convergenca lneal con este rato * cond A A * cond A A + ( ( + y A y Ay S cond ( A rato converge en una teracón S cond ( A rato.8 S cond ( A rato.998 Optmzacón no lneal - 35

135 Método del gradente conjugado no lneal ( Sólo requere el uso de prmeras dervadas mn f (, p, β Para,, ( S f < ε fn. f ( f ( ( ( ( β S > β f f p f + p + ( + α Determnar α para mnmzar f p + α p Dreccón de movmento Longtud de paso Actualzacón del punto Optmzacón no lneal - 36

136 Método del gradente conjugado no lneal ( Ejemplo f ( ( 6.46 ( ( ( f p f α.65 mn f ( ( e D ( e + 4 e ( D n f ( (.985 ( ( ( f p f α.5 ( Optmzacón no lneal - 37

137 Precondconamento Idea básca Sacar partdo de nformacón aular sobre el problema para acelerar la convergenca Supongamos que conocemos la matrz M defnda postva En lugar de resolver A resolvemos b M A M b cond ( A 7 M. cond M ( 3 El objetvo es encontrar M de manera que A M A Optmzacón no lneal - 38

138 Andrés Ramos Optmzacón no lneal - 39