Resumen que puede usarse en el examen

Transcripción

1 Resume que puede usarse e el exame ema. Optimizació Irrestrigida. Codicioes ecesarias y suficietes de optimalidad. Proposició (C. Necesarias) Sea x* u míimo local irrestrigido de f :!! y supogamos que f es cotiuamete difereciable sobre u abierto S que cotiee a x*, etoces f( x*) =. Si, además f es dos veces cotiuamete difereciable e S, etoces f(*) x es semidefiida positiva. Proposició (Caracterizació de las fucioes covexas difereciables) Sea C! u covexo y f : C! ua fució difereciable sobre C. (a) La fució f es covexa sii f( z) f( x) + ( z x) f( x) x, z C (b) Si la desigualdad aterior es estricta cuado x z, etoces f es estrictamete covexa. Proposició (fució objetivo covexa) Sea f : C! ua fució covexa sobre el covexo C, (a) Cualquier míimo local de f sobre C es tambié míimo global sobre C. Si además f es estrictamete covexa, etoces como mucho existe u míimo global de f. (b) Si f es covexa y C abierto, etoces f( x*) = es ua codició ecesaria y suficiete para que x* C sea míimo global de f sobre C. Proposició (C. Suficiete) Sea f :!! dos veces cotiuamete difereciable e u abierto C. Supogamos que x* C satisface que f( x*) = y f(*) x es ua matriz defiida positiva. Etoces x* es u míimo local irrestrigido de f. E particular se tiee que: γ γ >, ε > tales que f( x) f( x*) + x x* x: x x* < ε Proposició Sea C! u covexo y f :!! dos veces cotiuamete difereciable e C. Sea Q ua matriz real x simétrica, (a) Si f( x) es semidefiida (defiida) positiva x C, etoces f es covexa (estrictamete covexa). (b) Si C =! y f es covexa, etoces f( x) es semidefiida positiva x (c) La fució f( x) = x Qx es covexa sii Q es semidefiida positiva.

2 Métodos de desceso basados e el gradiete Dado x, iterado -ésimo, si f( x ), defiimos x + = x + α d siedo direcció tal que f( x ). d < y α la logitud de salto adecuada. Las direccioes de desceso E muchos casos d = D f( x ), siedo Desceso más rápido : D = I x Newto : ( ) - D = f( x ) d ua D ua matriz simétrica defiida positiva: Newto modificado: E lugar de calcular cada vez la iversa del hessiao, sólo se hace cada cierto úmero de iteracioes. Esquema algorítmico Iicializació: Elegir!> y x " R. Hacer = e ir al paso. Paso. Evaluar f( x ). Si f( x ) <! SOP (os quedamos co x ). E otro caso, hacer d = -D f( x ) e ir a. Paso. Evaluar la logitud del desplazamieto α > e ir a 3. Paso 3. Hacer x + = x + α d. Hacer =+ y volver a. Selecció de la amplitud de salto Regla de miimizació ( búsqueda lieal exacta ) Elegimos α Arg mi f ( x + αd ) α Regla de miimizació limitada Elegimos α Arg mi [, ] f ( x + αd ) para u escalar fijo s> α s Estas reglas se implemeta co ayuda de algoritmos de búsqueda lieal uidimesioal (ver apédices A y A) Reducció sucesiva Búsqueda lieal mediate la Regla de Armijo Iicializació: Elegir s, β"(.,.5), σ"[ -5, - ]. Sea x"r arbitrario y d ua direcció de desceso e x. Sea m=, ir a. m m Paso. Evaluar G(m)= f( x) f( x+ β sd) y g(m)= σβ s f( x) d. Si G(m) g(m) SOP y α= β m s. E otro caso, hacer m=m+ y repetir el paso.

3 Regla de Goldstei Se fija u escalar σ, y se elige α de modo que se satisfaga la relació: f( x + α d ) f( x ) σ < σ α f( x ) d 3 Reglas de Wolfe Se elige α de modo que se satisfaga las relacioes: f( x + α d ) f( x ) + cα f( x ) d f( x α d ) d c f( x ) d + siedo < c < c < Resultados de covergecia Los métodos de desceso os coduce hacia los putos estacioarios más cercaos x es la sucesió de iterados obteida al aplicar uo de estos métodos, la existecia Si { } de límite de ésta sucesió está asegurada si el cojuto de ivel iferior { x: f( x) f( x )} está acotado, siedo x la solució iicial. Para asegurar que el límite es u puto estacioario hay que añadir otras codicioes técicas, por ejemplo: C. Sea d = D f( x ), supogamos que los valores propios de la matriz simétrica defiida positiva D está acotados superior e iferiormete por el cero. Es decir, existe dos escalares positivos c y c tales que: c z z D z c z z!, C. La sucesió de direccioes de desceso { d } es gradiete afí para { x } satisface la codició siguiete: Para cualquier subsucesió { x } K puto o estacioario, la correspodiete subsucesió { d } lim sup K f( x ) d <. K si se que coverge a u está acotada y cumple que Proposició x la sucesió geerada por u método basado e el gradiete. Supogamos que Sea { } { d } es gradiete afí y que búsqueda lieal exacta. Etoces cada puto límite de { x } α se ha determiado mediate la regla de Armijo o ua es estacioario.

4 asa de covergecia Aálisis local La tasa se evalúa e térmios de ua fució de error e :!!, ex ( ). Habitualmete e ( x) = x x* o e ( x) = f( x) f( x*). ex ( ) Se dice que { } coverge liealmete o geométricamete si q > y β (,) : e( x ) qβ. Lo que se obtiee si para algú β (,) se cumple + ex ( ) lim sup β. ( ex ) Si para cada β (,), q : e( x ) qβ >, diremos que { ex ( )} superliealmete. Lo que se obtiee, e particular, si + ex ( ) = lim sup ex ( ) coverge Proposició. Sea f( x) = x Qx dode Q es simétrica defiida positiva. Cosideremos el método de desceso más rápido, eligiedo α mediate la regla de miimizació, etoces : M m f( x + ) f( x )( es decir la covergecia de la sucesió de errores es lieal), M + m siedo m y M los valores propios de Q meor y mayor respectivamete. Métodos de direccioes cojugadas. Dada ua matriz Q x defiida positiva, diremos que los vectores o ulos i j Q-cojugados si ( d ) Qd = i, j i j. d,..., d so d d d, el método de direccioes cojugadas para miimizar ua fució cuadrática f( x) = x Qx b x, geera ua sucesió de iterados x + = x + α d =,,...,, siedo x ua solució iicial arbitraria y α = Arg mi f ( x + αd ). Dado u cojuto de vectores Q-cojugados {,,..., } α Propiedad fudametal. Los sucesivos iterados miimiza f sobre la variedad lieal geerada por las direccioes cojugadas. E particular, para cada, x + miimiza f sobre M L x d, d,..., d, es decir = +, siedo L el subespacio vectorial geerado por { } x + Arg f x x M = mi ( ), siedo j M = x: x= x + v dode v= µ jd µ j! j j=

5 Método del gradiete cojugado de Fletcher y Reeves. Se obtiee aplicado el procedimieto de Gram-Schmidt a los vectores gradiete cambiados de sigo. El método geera el iterado + como: x + = x + α d, α = arg mi f( x + αd ), si deotamos por g = f( x ), las direccioes viee dadas por d = g, d g β d = + =,..., co Fórmula de Pola-Ribiere g ( g g ) β = g g Métodos casi-newto g g β =. g g x + = x + α d y ( d = D f x ), D defiida positiva se va ajustado iteració tras iteració itetado que d se parezca a la direcció de Newto. Fórmula de actualizació + p x x D ua matriz defiida positiva pp DqqD D + = D + + ξτνν pq qdq p D q ν = y qdq pq τ Llamamos dode + = y q = f( x ) f( x ) τ = y ξ Si ξ =, teemos el método de Davido- Fletcher- Powell Si ξ =, teemos el método de Broyde- Fletcher- Goldfarb- Shao Proposició Si D es ua matriz defiida positiva y elegimos la amplitud de salto α de maera que x + + satisface que f( x ) d < f( x ) d, etoces D + es defiida positiva. Proposició Sea { x},{ d} y { D } las sucesioes geeradas por u algoritmo cuasi-newto aplicado a la miimizació de la fució f( x) = x Qx b x dode Q es simétrica defiida positiva, e el que α = arg mi α f( x + αd ). Supogamos que iguo de los vectores x, x,..., x es solució óptima, etoces: d, d,..., d so Q -cojugados. a) Los vectores { } b) D - = Q

6 APÉNDICE A: Método de Newto para ecotrar los ceros de ua fució uidimesioal (g(λ)=) Iicializació: Elegir!> y λ " R. Hacer = e ir al paso. g( λ ) Paso. Evaluar g(λ ) y g (λ ). Hacer λ + = λ - ir a. g '( λ ) Paso. Si λ + - λ <! SOP (os quedamos co λ + ). E otro caso, hacer =+ y volver a. APÉNDICE A: Método de bisecció para ecotrar los ceros de ua fució uidimesioal (g(λ)=) Iicializació: Elegir!>, a, b " R a < b tales que g(a ). g(b )<. Hacer = e ir a. a + b Paso. Evaluar λ =. Si b - a <!. SOP (os quedamos co λ ) E otro caso evaluar g(λ ), si g(a ). g(λ ) > ir a, si o ir a 3. Paso. Hacer a + = λ y b + = b Hacer = + y volver a. Paso 3. Hacer a + = a y b + = λ Hacer = + y volver a.