MÉTODOS MATEMÁTICOS (Curso ) Cuarto Curso de Ingeniero Industrial Departamento de Matemática Aplicada II. Universidad de Sevilla

Transcripción

1 MÉTODOS MATEMÁTICOS (Curso ) Cuarto Curso de Ingeniero Industrial Departamento de Matemática Aplicada II. Universidad de Sevilla Lección 3: Problemas de Mínimos Cuadrados. Optimización No Lineal PROBLEMAS SOBREDETERMINADOS: SOLUCIÓN DE MÍNIMOS CUADRADOS. Introducción. Hay muchas situaciones donde se plantea la obtención de un cierto modelo matemático lineal que ajuste a un conjunto de datos dados. Esto conduce usualmente a la resolución de un sistema de ecuaciones lineales con más ecuaciones que incógnitas, o problema sobredeterminado, que casi siempre resulta ser incompatible. Para dichos sistemas se introduce un concepto nuevo de solución (que coincide con el usual cuando el sistema es compatible), denominado solución en el sentido de los mínimos cuadrados, determinando vectores que minimicen la norma euclídea del correspondiente vector residual. Problemas sobredeterminados. Cuando un sistema lineal tiene más ecuaciones que incógnitas es fácil que sea incompatible, esto es, que no posea solución. Dada una matriz A real de orden m n y un vector b R m, si m > n se dice que el sistema Ax = b es sobredeterminado. En la práctica es improbable que este sistema sea compatible. Por ello, introducimos un nuevo concepto de solución: se dice que x R n es una solución en el sentido de los mínimos cuadrados del sistema Ax = b si se verifica que b A x b Ax, para todo x R n, o, equivalentemente, si x es un mínimo de la función real de n variables, x R n f(x) = n (b j (Ax) j ) 2. (1) Desde un punto de vista geométrico, estamos buscando la mejor aproximación en norma euclídea del vector b al subespacio vectorial col(a) generado por las columnas de A. El teorema de la mejor aproximación establece que la solución de mínimos cuadrados siempre existe y es justamente la proyección ortogonal de b sobre col(a). En particular, Si x es solución de mínimos cuadrados, entonces tenemos que j=1 b A x col(a) A T (b A x) = 0 A T A x = A T b. Por último, comentemos que si A no tiene rango máximo siempre existen vectores x R n no nulos tales que Ax = 0 (observe que este sistema es compatible indeterminado). En este caso, 1

2 si x es solución de mínimos cuadrados también lo son x + x, pues A( x + x) = A x. En cambio, si A es una matriz m n, con m > n y rg(a) = n, la solución de mínimos cuadrados sí es única. Resumimos todo lo anterior en el siguiente resultado: Teorema 1. (Ecuaciones normales de Gauss). Sea A una matriz real m n y b R m. Las siguientes afirmaciones son equivalentes: x es una solución en el sentido de los mínimos cuadrados del sistema Ax = b. x es solución del sistema A T Ax = A T b (ecuaciones normales de Gauss). b A x es ortogonal a col(a). Además, si el rango de A es máximo, rg(a) = n, entonces la solución de mínimos cuadrados es única. Nota 1. A las ecuaciones normales de Gauss también se llega sin necesidad de argumentos geométricos. De hecho, la solución de mínimos cuadrados x es un mínimo de la función f definida en (1) y por tanto, el gradiente de esta función debe anularse en x: f(x) = b Ax 2 = (b Ax) T (b Ax) = x T A T Ax 2x T A T b+b T b f(x) = 2(A T Ax A T b). Las ecuaciones normales de Gauss están peor condicionadas que otros sistemas que también permiten encontrar la solución de mínimos cuadrados, por lo que no conviene usarlas en los problemas de mínimos cuadrados. En realidad, las técnicas eficientes para la resolución de los problemas de mínimos cuadrados suelen basarse en transformar las ecuaciones normales mediante ciertas factorizaciones matriciales que recordamos a continuación. Descomposición QR de una matriz. Del mismo modo que el método de eliminación de Gauss se traduce en la factorización LU de una matriz A, en la asignatura de Álgebra de primer curso se mostró que cuando el método de ortogonalización de Gram-Schmidt se aplica a las columnas de una matriz A, se obtiene otro tipo de factorización para dicha matriz: Teorema 2. (Descomposición QR) Sea A una matriz real m n, de rango n m. Entonces, podemos factorizar la matriz en la forma: A = QR, donde Q es una matriz m m ortogonal (esto es, Q 1 = Q T o equivalentemente, las columnas de Q son ortonormales), y R es una matriz m n, de rango n, cuyas m n últimas filas son nulas, y sus n primeras filas forman una matriz cuadrada triangular superior. Si se conoce una descomposición QR de la matriz A, entonces las soluciones en el sentido de los mínimos cuadrados de Ax = b se pueden calcular resolviendo (también en el sentido de los mínimos cuadrados) el sistema Rx = Q T b. Ello es debido a que A T A x = A T b R T Q T QR x = R T Q T b R T R x = R T Q T b. El uso de la descomposición QR para resolver por mínimos cuadrados el sistema Ax = b presenta ventajas desde el punto de vista numérico: observe que el procedimiento llevado a cabo 2

3 involucra el producto por matrices ortogonales y este proceso conserva la norma matricial y el número de condición. No obstante, la obtención de la factorización QR tal como se mencionó en la asignatura de Álgebra (a través del método de ortogonalización de Gram-Schmidt aplicado a las columnas de la matriz A) es un método inestable numéricamente. A continuación, presentamos un método para obtener dicha descomposición que no presenta esta dificultad. Método de Householder para la descomposición QR. Un hiperplano V es un subespacio de R m de dimensión m 1. Si una ecuación implícita de dicho hiperplano es v T x = 0 (para cierto vector no nulo v de R m ), entonces V = lin(v) o bien V = lin(v). Una simetría especular es una transformación de R m en sí mismo que a cada punto le hace corresponder su simétrico respecto de un hiperplano V. Si V = lin(v), la simetría especular en torno a V es ) x (I 2 vvt x. v T v La matriz H v = I 2 vvt de la simetría especular se denomina matriz reflectora de Householder. v T v Esta matriz es simétrica y ortogonal. Además, dado un vector cualquiera x R m, siempre es posible encontrar una matriz de Householder que lo transforma en uno proporcional al primer vector coordenado e 1 = [1, 0,..., 0] T : { } Teorema 3. Sea x = [x 1,..., x m ] T R m sign(x1 ), si x (m > 1), x 0. Sea δ = 1 0, 1, si x 1 = 0 y definamos v = x + δ x e 1. Entonces, la matriz de Householder H v asociada a este vector, verifica: δ x H v x = 0. 0 Pasemos a describir cómo se puede obtener la factorización QR de una matriz A m n (m n > 1) con rango rg(a) = n. Consideramos la primera columna de la matriz A: b 1 = Aplicando el teorema anterior, podemos determinar una matriz de Householder H 1 (de orden m) tal que la primera columna de H 1 A tenga las componentes nulas por debajo de la diagonal: H 1 A = A (2) = a 11. a m1, a (2) 11 a (2) a (2) 1n 0 a (2) a (2) 2n... 0 a (2) m2... a (2) mn 3

4 Denotemos Q (1) = H 1. Ahora nos fijamos en la segunda columna de la matriz A (2) a partir de la diagonal, en concreto en el vector b 2 = a (2) 22. a (2) m2 Volvemos a aplicar el teorema anterior y obtenemos una matriz de Householder H 2 (de orden m 1) de modo que H 2 b 2 tenga las componentes nulas por debajo de la primera. Por tanto si definimos y denotamos [ 1 0 T H 2 = 0 H 2 ], tenemos que H 2 A (2) = A (3) = Q (2) = H 2. a (2) 11 a (2) 12 a (2) a (2) 1n, a (3) m3... a (3) mn 0 a (3) 22 a (3) a (3) 2n 0 0 a (3) a (3) 3n Si continuamos el proceso sucesivamente, obtenemos el siguiente resultado: Teorema 4. Si A es una matriz { m n con 1 < rg(a) = n m, el método anterior genera H1... H una matriz m m ortogonal Q = m 1, si m = n, y una matriz m n, R = A(m) H 1... H n, si m > n cuyas m n últimas filas son nulas y cuyas n primeras forman una matriz triangular superior de rango n, y tales que A = QR. El coste computacional del método de Householder descrito anteriormente requiere 2m 2 n n 3 flops, es decir, para matrices cuadradas es aproximadamente el doble que el de efectuar la 3 factorización LU de A con el método de eliminación gaussiana. MATRICES DE RANGO DEFICIENTE. Introducción. Anteriormente hemos tratado el caso de sistemas lineales Ax = b donde A tiene más filas que columnas, pero de rango máximo. Tratamos ahora el caso en que el rango no es máximo. En este caso, la matriz A de coeficientes del sistema se dice que es de rango deficiente. En el caso matrices de rango deficiente es posible también obtener la descomposición QR. El siguiente resultado es análogo al que hemos visto anteriormente: Teorema 5. Sea A una matriz real m n, de rango r. Entonces, podemos factorizar la matriz en la forma: A = QR, 4

5 donde Q es una matriz m m cuyas columnas son ortogonales, y R es una matriz m n trapezoidal superior de rango r. Además, eliminando en Q las columnas nulas, puede obtenerse una factorización A = Q 1 R 1 tal que Q 1 es una matriz m r con columnas ortonormales y R 1 es una matriz trapezoidal superior r n (este último tipo de factorizaciones QR se denominan factorizaciones QR normalizadas o reducidas). Comentemos, por último, que la descomposición QR puede obtenerse mediante el método de Householder. Para matrices de rango deficiente es estándar aceptar como solución la que se conoce como solución óptima, que se define como la solución x en el sentido de mínimos cuadrados de norma mínima, es decir, x x para toda solución de mínimos cuadrados x de Ax = b. El cálculo efectivo de la solución óptima pasa por la descomposición en valores singulares de la matriz A. Antes de ver cómo se calcula la solución óptima x, terminamos esta introducción con un resultado de caracterización de la misma: Teorema 6. Sea A matriz m n con rg(a) = r < n m y b R n. Si x es una solución de mínimos cuadrados del problema Ax = b, entonces el conjunto de soluciones de mínimos cuadrados es {y = x + z z Nul(A)}, donde Nul(A) = {z R n Az = 0}. La solución óptima x es la única que satisface que z T x = 0, para todo z Nul(A). Descomposición en valores singulares (SVD). Si A es una matriz m n (m n) de rango r, la matriz A T A (que es simétrica y semidefinida positiva) tiene sus autovalores reales y no negativos: λ 1... λ r > 0 = λ r+1 =... = λ n. Consideremos la correspondiente base de autovectores asociados de la matriz A T A: {v 1,..., v n }, (es decir: A T Av j = λ j v j, j = 1,..., n). Esta base puede elegirse ortonormal (esto es: v T j v k = 0 si j k, y v j = 1, j = 1,..., n). Los valores singulares de la matriz A se definen como: σ j = λ j, j = 1,..., r. Los vectores singulares derechos (o por la derecha) son v 1,..., v n. Los vectores singulares izquierdos o por la izquierda son u 1 = 1 σ 1 Av 1,..., u r = 1 σ r Av r. (note que sólo incluimos los correspondientes a los autovalores no nulos). Puede comprobarse que {u 1,..., u r } es un sistema ortonormal en R m. Dicho sistema puede ampliarse hasta una base ortonormal de R m : {u 1,..., u r, u r+1,..., u m }. 5

6 Definimos ahora las matrices: y la matriz: U = [u 1,..., u m ] m m, V = [v 1,..., v n ] n n, σ σ [ ] Σ = σ r Σ1 O = O O m n Entonces, se tiene que AV = UΣ, y por tanto, obtenemos la siguiente factorización de la matriz A (conocida como descomposición en valores singulares, abreviada SVD del inglés singular value decomposition): A = UΣV T. El siguiente teorema recoge la existencia y unicidad de la factorización SVD: Teorema 7. Sea A una matriz m n con m n, y de rango r n. Entonces, existen dos matrices ortogonales U m m y V n n, y otra matriz Σ m n tales que σ [ ] A = UΣV T Σ1 O = U V T 0 σ, donde Σ O O 1 = , σ r con σ 1... σ r > 0. La matriz Σ está determinada de forma única. Los números σ i son necesariamente los valores singulares de A (las raíces cuadradas de los autovalores no nulos de la matriz A T A). Si tenemos la SVD para una matriz A m n de rango r: [ ] Σ1 O A = U V T, Σ O O 1 = diag(σ 1,..., σ r ), se denomina matriz inversa generalizada de Moore-Penrose o pseudoinversa de A, a la matriz A + n m dada por [ ] Σ A + = V + O U T, donde Σ + = Σ 1 1 = diag(1/σ O O 1,..., 1/σ r ). Si la matriz A es cuadrada y no singular, se verifica que A + = A 1, lo cual justifica el nombre de pseudoinversa. Por otro lado si A es m n con rg(a) = n m, entonces A + = (A T A) 1 A T. Es decir, la pseudoinversa permite resolver las ecuaciones normales de Gauss, A T A x = A T b, cuando éstas tienen solución única. En el caso de que la solución no sea única se tiene el siguiente resultado: 6

7 Teorema 8. Sean A matriz m n con (m n), y b R m. Entonces el vector x R n es la solución óptima del problema de mínimos cuadrados asociado al sistema Ax = b si y sólo si x = A + b. El método con el que hemos obtenido aquí la SVD no se debe emplear para su cálculo efectivo en el ordenador. Hay otros procedimientos más eficaces que no serán tratados en este curso. Nos bastará con saber que el costo de computacional es de 4m 2 n + 8mn 2 + 9n 3 flops. y que, en Matlab, se puede calcular con el comando svd. Son muchas las aplicaciones de la SVD. Además de las aplicaciones obvias (por ejemplo, el cálculo de A = σ 1, o el cálculo de bases ortonormales de Col(A) y Nul(A)), incluimos a continuación algunas de las más importantes. Rango aproximado de una matriz. El problema de calcular el rango de una matriz es un problema delicado desde el punto de vista numérico, ya que el condicionamiento de dicho problema es muy malo. Este mal condicionamiento conduce a replantear la cuestión del rango en términos de los valores singulares de la matriz dada. Este cambio de enfoque se basa en que, si tenemos la SVD para una matriz A m n de rango r, podemos escribir: A = UΣV T = σ 1 u 1 v T σ r u r v T r, es decir, la matriz de rango r puede expresarse como suma de r matrices de rango 1. El siguiente teorema muestra la distancia que hay entre la matriz A y las matrices de rango p r: Teorema 9. Si p r, definimos A p := σ 1 u 1 v T σ p u p v T p. Entonces, A p es la matriz de rango p más cercana a A (es decir, A A p A B, para cualquier matriz B de rango p) Además, A A p = σ p+1. Este resultado permite definir lo que se conoce como rango aproximado de una matriz A: el número de valores singulares mayores que una cierta magnitud prefijada. Compresión de datos. Una aplicación importante de la SVD es la de condensar información para su almacenamiento, transmisión o procesamiento. Esto es especialmente relevante en situaciones donde los tiempos de transmisión son largos como es el caso de las comunicaciones vía satélite. Supongamos que una matriz A de dimensiones m n representa una imagen digitalizada compuesta por los correspondientes pixels o cuadrados en que se divide la imagen (aparte de una fotografía discretizada, la matriz A podría representar, por ejemplo, un cuadro de temperaturas de una cierta superficie, etc). El hecho crucial es que los valores singulares σ j suelen decaer rápidamente con j, de manera que si obtenemos la SVD de A = UΣV T = σ 1 u 1 v T σ r u r v T r, la estimación A A p es 7

8 bastante precisa desde un punto de vista gráfico. La matriz A p puede ser guardada, transmitida o procesada como A p [σ 1 ; σ 2 ;... ; σ p ; u 1 ; u 2 ;... ; u p ; v 1 ; v 2 ;... ; v p ], en forma de p(m+n+1) datos, en lugar de los mn iniciales (en la práctica, este tipo de matrices sólo tiene unos pocos valores singulares significativos: por ejemplo, para m = n = 1000, una aproximación de este tipo con p = 10 necesita datos (o sea, el 2 % de los datos iniciales con un ahorro del 98 %). OPTIMIZACIÓN NO LINEAL. En las secciones anteriores se han resuelto dos problemas: determinar la solución en el sentido de los mínimos cuadrados y obtener la solución óptima, que consisten en minimizar una determinada función de varias variables. En el primer caso se trataba de la norma del vector residuo y en el segundo caso se buscaba entre el conjunto de soluciones en el sentido de los mínimos cuadrados el vector de norma mínima. En esta sección abordamos el problema más general de minimizar una función de varias variables. Un problema de optimización suele constar de dos componentes: una función objetivo que se desea maximizar o minimizar, y un conjunto de restricciones. La función objetivo y las restricciones dependen de un conjunto de incógnitas o variables para las que se desea encontrar aquellos valores que optimicen la función objetivo y cumplan las restricciones. No obstante, hay algunas excepciones en cuanto a la función objetivo. En primer lugar, en algunos casos no se pretende optimizar nada sino sólo encontrar un conjunto de valores que satisfagan las restricciones del modelo; estos problemas se llaman de factibilidad. En segundo lugar, es frecuente encontrarse con problemas en los que hay varias funciones a optimizar simultáneamente y los valores que optimizan un objetivo no coinciden con los que optimizan otros. Este tipo de problema se encuadra en lo que se conoce como optimización multi-objetivo, que se encuentra fuera del alcance de esta asignatura. En general, un problema de optimización no lineal tiene la forma mín x f(x), x R n, c j (x) 0, j D, c j (x) = 0, j I. Sin embargo, los métodos que se desarrollan posteriormente se refieren únicamente a optimización sin restricciones, es decir, al caso en el que los conjuntos D e I son vacíos. La optimización con restricciones no se tratará en este curso, si bien el conocimiento de los conceptos y métodos que a continuación se desarrollan es útil cuando se tratan de resolver problemas con restricciones. En primer lugar, introduciremos conceptos y resultados elementales relativos a optimización. Para ello consideremos el problema de optimización: 8

9 mín f(x). x S R n Un punto x S se dice que es un mínimo global si f(x) f(x ), x S, en tanto que se dice que es un mínimo local si ɛ > 0, tal que f(x) f(x ), x S que verifique x x < ɛ. De forma análoga se definen máximos locales y globales. La búsqueda de extremos globales constituye la rama llamada optimización global. Una de las propiedades que garantizan que todo mínimo local sea global es la convexidad. En general se asume que el conjunto S donde se desea minimizar es convexo. Una función f : S R, donde S R n es no vacío y convexo, se dice que es convexa sobre S si: f(λx + (1 λ)y) λf(x) + (1 λ)f(y), para cada x, y S y λ (0, 1). Se dice que f es estrictamente convexa si la desigualdad es estricta x y, λ (0, 1), en cuyo caso un mínimo local es mínimo global único. Una función es cóncava si f es convexa. Obsérvese que, desde el punto de vista geométrico, la condición de convexidad para una función significa que el segmento de recta que une dos puntos de la gráfica está por encima de la propia gráfica. Las funciones convexas son tales que sus conjuntos de nivel, es decir, los conjuntos {x S : f(x) a}, son convexos. Las funciones convexas sobre conjuntos convexos tienen la propiedad de que los mínimos locales son también mínimos globales. Si además la función es estrictamente convexa, entonces tiene a lo sumo un mínimo global. En el siguiente teorema se resumen los resultados más relevantes. Teorema. 1. Sea f : S R n R, donde S es un conjunto convexo no vacío. Si f es diferenciable en S, entonces f es convexa si y sólo si f(y) f(x) + f(x) T (y x), x, y S. Si f C 2 (S), entonces f es convexa si y sólo si la matriz hessiana de f, H f (x) = ( 2 f x i x j ) es semidefinida positiva x S. 2. Condiciones necesarias: Sea f : S R n R, donde S es abierto. Si f es diferenciable y x es un mínimo local, entonces f(x ) = 0. Si f C 2 (S) y x es un mínimo local, entonces H f (x ) es semidefinida positiva. 3. Condición suficiente: Si f C 2 (S) donde S es un conjunto abierto, y x S cumple que f(x ) = 0 y H f (x ) es definida positiva, entonces x es un mínimo local. El teorema anterior puede aplicarse al caso de máximos sin más que cambiar f por f. 9

10 MÉTODOS DE DESCENSO DE MAYOR PENDIENTE Y DE NEWTON En esta sección consideramos el problema no restringido: mín x R n f(x), y suponemos que tenemos garantizada la existencia de mínimo global. Por ejemplo, si f es continua y f(x) + para x + podemos garantizar dicha existencia: bastaría con restringirnos a un conjunto cerrado y acotado (por ejemplo, {x R n : f(x) f( x)}), y utilizar que toda función continua tiene un mínimo sobre un conjunto compacto. Los algoritmos numéricos usualmente consisten en generar, a partir de un punto inicial x (0), una sucesión de puntos x (1), x (2),..., x (k), x (k+1),..., tal que f(x (k+1) ) < f(x (k) ). En cada x (k), se elige una dirección d = d k, y se determina un paso t k de forma que x (k+1) = x (k) + t k d k. El método del descenso más rápido. En este método, la dirección d k que se elige es la de máximo decrecimiento de la función (que se produce, como ya se estudió en la asignatura de Cálculo, en la dirección opuesta al gradiente de la función). Los métodos de descenso son, por tanto, de la forma: Paso 0 (Inicialización). Se escogen el punto inicial x (0), la tolerancia ɛ > 0, y (posiblemente) el número máximo de iteraciones. Se inicializa el contador de la sucesión: k = 0. Paso 1 (Test de parada). Calculamos f(x (k) ); si f(x (k) ) ɛ, PARAR. Paso 2 (Determinación de la dirección). Elegimos la dirección de descenso más rápido: d k = f(x (k) ). Paso 3 (Cálculo del paso: búsqueda lineal). Encontramos un valor de paso t k > 0 apropiado, que satisfaga f(x (k) + t k d k ) < f(x (k) ). Paso 4 (Iteración). Hacemos x (k+1) = x (k) + t k d k, incrementamos k y volvemos al Paso 1. Observemos que en el paso 1 se pueden utilizar otros criterios de parada como el número máximo de iteraciones o f(x (k+1) f(x (k) < ɛ. Si en el Paso 3 se determina t k de forma que minimice la función q(t) = f(x (k) + td k ), se habla del método del descenso más rápido con búsqueda lineal exacta. Sin embargo, este método, a pesar de gozar de propiedades teóricas de convergencia en determinadas condiciones, suele ser muy lento en la práctica, de hecho sólo de convergencia lineal. Realmente, descender por la dirección opuesta al gradiente impone pasos muy pequeños, con lo que la sucesión suele ser zigzagueante. El método se debería olvidar a no ser porque es la base de todos los métodos que se utilizan actualmente. Búsqueda lineal. Supongamos que se ha determinado una buena dirección de búsqueda d y que queremos determinar el paso de avance. Consideremos, como hicimos anteriormente, la función q : R R, q(t) := f(x + td) y supongamos que q (0) < 0. El problema que ahora tenemos es encontrar el valor de t en el que la función q alcanza el mínimo. Este proceso da lugar a lo que se conoce como búsqueda lineal exacta. No obstante, nuestro objetivo principal es minimizar f, y la minimización de q es un problema subsidiario: 10

11 aplicar un algoritmo de minimización para q en cada paso puede ser muy costoso en relación al objetivo planteado. Para evitar este problema se pueden utilizar algoritmos de búsqueda lineal imprecisa, en los que se establece un test con tres opciones: dado un valor de t > 0, el test decide si: (a) t es satisfactorio, (b) t es muy grande o, (c) t es muy pequeño. Si el valor de t no es satisfactorio, se utiliza un método para calcular un nuevo valor de t (por ejemplo, mediante bisección, utilizando un ajuste cúbico de la función q, etc.). Para el test se han desarrollado distintas reglas de búsqueda, siendo la más usada la denominada regla de Wolfe: en primer lugar se escogen dos coeficientes 0 < m 1 < 1 2 < m 2 < 1 (valores comunes para m 1 y m 2 son y 0.9, respectivamente) y: (a) t es satisfactorio si q(t) q(0) + m 1 tq (0) y q (t) m 2 q (0). (b) t es muy grande si q(t) > q(0) + m 1 tq (0). (c) t es muy pequeño si q(t) q(0) + m 1 tq (0) y q (t) < m 2 q (0). Las condiciones anteriores implican que la función f no decrezca demasiado (con lo que x (k+1) no estará muy lejos de x (k) ) y que la derivada se incremente bastante (con lo que x (k+1) no estará muy cerca de x (k) ). El método de Newton. Si suponemos que la función a minimizar f C 2 (R n ), podemos sustituirla por su aproximación de segundo orden mediante el desarrollo de Taylor: f(x (k) + d) f(x (k) ) + d T f(x (k) ) dt H f (x (k) ) d. En el método de Newton, se toma x (k+1) = x (k) + d k, donde d k se obtiene imponiendo que el gradiente de la aproximación de Taylor se anule, es decir: f(x (k) ) + H f (x (k) ) d = 0. (2) Es inmediato comprobar que, si la matriz hessiana H f es invertible en x (k), entonces la dirección de búsqueda que utiliza el método de Newton es d k = (H f (x (k) )) 1 f(x (k) ). La ventaja del método de Newton es su convergencia cuadrática: Teorema. Sea f C 3 (R n ) y supongamos que H f es invertible cerca de la solución x. Entonces, el método de Newton converge cuadráticamente ( x (k+1) x β x (k) x 2, para algún β > 0) si se parte de un punto x (0) suficientemente cercano a x. Obsérvese que la convergencia del método de Newton no es global, en general diverge. También requiere calcular el hessiano en cada iteración, lo cual es costoso. Una vez calculado el hessiano hay que resolver un sistema de ecuaciones para obtener (H f (x (k) )) 1 f(x (k) ). El cálculo del hessiano requiere la evaluación de O(n 2 ) derivadas parciales en el punto en cuestión, el gradiente la evaluación de n derivadas y la resolución de un sistema de n ecuaciones O(n 3 ) operaciones. Finalmente, la sucesión generada por este método probablemente tenderá al punto estacionario más cercano; si éste es un máximo local, la propiedad de descenso f(x (k+1) ) < f(x (k) ) no está garantizada. 11

12 Mínimos cuadrados no lineales: Gauss-Newton. Muchos problemas de optimización consisten en ajustar una determinada función a un conjunto de datos: se pretende encontrar aquella función que minimice la suma de los cuadrados de los residuos (diferencia entre el valor teórico y el observado o experimental). En este apartado trataremos este tipo de problemas, el de minimizar funciones f : R n R de la forma: f(x) = 1 2 ( F 2 1 (x) + + F 2 m(x) ). Así: Si definimos F : R n R m : F (x) = (F 1 (x),..., F m (x)) T, entonces f(x) m = F i (x) F i(x). x j x j f(x) = Derivando de nuevo, obtenemos o matricialmente: donde J F (x) = ( Fi (x) 2 f(x) x k x j = x j )ij m i=1 i=1 m F i (x)f i (x) = J F (x) T F (x). i=1 F i (x) x k F i (x) x j + H f (x) = J F (x) T J F (x) + m i=1 F i (x) 2 F i (x) x k x j, m F i (x) H Fi (x), i=1 denota a la matriz jacobiana de la función F. Si las funciones F i (x) son casi lineales, o bien la solución en mínimos cuadrados proporciona un buen ajuste y, por tanto, las F i (x) son pequeñas, entonces el segundo sumando se puede despreciar, con lo que nos resulta un método donde H f (x) G(x) = J F (x) T J F (x). De esta forma, la ecuación (2), en este caso particular, resulta: J F (x (k) ) T J F (x (k) ) d k = G(x (k) ) d k = J F (x (k) ) T F (x (k) ) cuya dirección d k es la dirección del método de Gauss-Newton en el paso k-ésimo. Observe que el método de Gauss-Newton está bien definido siempre que G(x (k) ) sea definida positiva. El método de Gauss-Newton es aplicable a la resolución de sistemas de ecuaciones no lineales: cualquier solución del sistema es un mínimo global de la función F 1 (x 1, x 2,..., x n ) = 0 F 2 (x 1, x 2,..., x n ) = 0... F m (x 1, x 2,..., x n ) = 0 F (x) 2 = m i=1 F 2 i (x). 12

13 MÉTODOS CUASI-NEWTON Ya comentamos anteriormente que uno de los inconvenientes del método de Newton es el alto coste del cálculo del hessiano en cada iteración y la resolución del correspondiente sistema lineal (2), que proporciona la dirección del método de Newton. Para solventar este inconveniente, una posibilidad es sustituir la inversa del hessiano por una matriz a calcular en cada iteración: W k (H f (x)) 1. Esto da lugar a una familia de métodos, denominados cuasi-newton. En concreto, en estos métodos se escoge una matriz inicial definida positiva W 1. En la etapa k-ésima, se calcula d k = W k f(x (k) ), para posteriormente calcular la nueva matriz W k+1 recursivamente de la forma: W k+1 = W k + B k. Las correcciones B k se escogen de forma que W k sea simétrica definida positiva para todo k. En lo que sigue denotaremos por s k := x (k+1) x (k) e y k := f(x (k+1) ) f(x (k) ). La llamada ecuación cuasi-newton: W k+1 y k = s k, se impone por analogía con la que verifica el valor medio de H f (x) entre x (k) y x (k+1), es decir, H f (x) s k = H f (x) (x (k+1) x (k) ) = f(x (k+1) ) f(x (k) ) = y k, forzando así a que W k+1 actúe como (H f (x)) 1 en el subespacio de dimensión 1 determinado por y k. El primer método cuasi-newton fue el llamado de Davidon-Fletcher-Powell (DFP) que tiene la forma: W k+1 = W k + s k s T k y T k s k W k y k y T k W k y T k W ky k. Hoy en día sin embargo, es más usado el método encontrado independientemente por Broyden, Fletcher, Goldfarb y Shanno (BFGS): W k+1 = W k s k yk T W [ k + W k y k s T k yk T s yt k W ] ky k sk s T k k yk T s k yk T s. k CUESTIONES Ejercicio 1. Determinar la solución de mínimos cuadrados, vía las ecuaciones normales, de los sistemas sobredeterminados x 1 + x 2 = 0 x 1 + x 2 = 1 x 1 + x 3 = 1 x 1 + x 2 = 1, 3x 1 x 2 = 0 4x 1 + 2x 2 = 2 x 2 = 1 Ejercicio 2. Probar que los autovalores de toda matriz ortogonal son de módulo unidad. Demostrar que λ = 1 es siempre un autovalor de cualquier matriz de Householder. Interpretar geométricamente este hecho, para las matrices de orden dos. 13.

14 Ejercicio 3. Utilizando transformaciones de Householder, obtener una factorización QR de las matrices [ ] A =, B = 1 1 1, C = Ejercicio 4. Obtener la descomposición en valores singulares de las matrices: A =, B =, C = Ejercicio 5. Aplicar el resultado del ejercicio anterior para encontrar la solución óptima del problema de mínimos cuadrados Ax = b con b = [1, 2, 3, 4] T. Ejercicio 6. Repetir los dos ejercicios anteriores con A = , b = Ejercicio 7. Considere la matriz A = Calcule su descomposición en valores singulares. Calcule la solución óptima del sistema Ax = b con b = [ ] T. Sin realizar ningún cálculo adicional, cuál es el rango y la norma de la matriz A? Ejercicio 8. Probar que efectivamente A + b es la solución óptima del problema de mínimos cuadrados Ax = b. Ejercicio 9. Mostrar que la pseudoinversa de una matriz A n n verifica que (AA + ) T = AA +, (AA + ) 2 = AA +. Interpretar el significado de las igualdades anteriores desde el punto de vista de la teoría de aplicaciones lineales. Ejercicio 10. Analizar la convexidad de la función sobre los siguientes conjuntos f(x, y) = 2(y x 2 )

15 1. S 1 = [ 1, 1] [ 1, 1], 2. un subconjunto convexo de S 2 = {(x, y) R 2 : x 2 y}. Ejercicio 11. Calcule analíticamente los puntos críticos (donde el gradiente se anula) de las funciones: f(x, y) = x 4 2x 2 + y 2, g(x, y, z) = 2x 2 + xy + y 2 + yz + z 2 6x 7y 8z + 9 y clasifique el comportamiento de f y g en ellos mediante el hessiano. Ejercicio 12. Estimar el mínimo en R 2 de la función cuadrática f(x, y) = x 2 xy + y 2 3y mediante un paso del método de descenso de mayor pendiente con búsqueda lineal exacta y partiendo del origen. Determinar el error cometido en norma euclídea. Ejercicio 13. Obtener el punto resultante de aplicar búsqueda lineal, partiendo del punto (0, 0) y con dirección (1, 1), a la función Es dicho punto mínimo local de f en R 2? f(x, y) = 5x 2 + 5y 2 xy 11x + 11y Ejercicio 14. Considere la función de dos variables f(x, y) = (x 2) 4 + (x 2y) 2. Estimar el mínimo de f mediante un paso del método de Newton partiendo del punto (0, 3). Calcular el error cometido en norma euclídea. Ejercicio 15. Realizar búsqueda lineal exacta para la función f(x, y) = xy 2x, partiendo de (0, 0) y siguiendo la bisectriz de los cuatro cuadrantes. Ejercicio 16. Estimar el mínimo de la función f(x, y) = x 2 + y 2, mediante un paso del método de Newton, partiendo de (1, 3). Ejercicio 17. Estimar una solución del sistema { x 2 + y 2 = 4 xy = 2 mediante un paso del método de Gauss-Newton sin búsqueda lineal y partiendo de (1, 0). 15

16 PROBLEMAS Problema 1. Se desea ajustar a un conjunto de datos bidimensionales, Z = {(x i, y i ), i = 1, 2,..., n}, curvas polinómicas y trigonométricas mediante el método de los mínimos cuadrados. 1. Diseñe una función en Matlab que ajuste la función y = a 1 sen(x) + a 2 cos(x) + a 3 sen(2x) + a 4 cos(2x), en el sentido de los mínimos cuadrados, al conjunto de puntos Z, es decir, que encuentre los valores de los parámetros a 1, a 2, a 3, a 4 que resuelven el sistema sobredeterminado: a 1 sen(x 1 ) + a 2 cos(x 1 ) + a 3 sen(2x 1 ) + a 4 cos(2x 1 ) = y 1 a 1 sen(x 2 ) + a 2 cos(x 2 ) + a 3 sen(2x 2 ) + a 4 cos(2x 2 ) = y 2 a 1 sen(x n ) + a 2 cos(x n ) + a 3 sen(2x n ) + a 4 cos(2x n ) = y n Los argumentos de entrada deben ser los vectores de abscisas, X = (x 1, x 2,..., x n ) T, y de ordenadas, Y = (y 1, y 2,..., y n ) T, y los argumentos de salida deben ser el vector solución a y la matriz A del sistema sobredeterminado. 2. Considere ahora el problema de ajustar un polinomio de grado N al mismo conjunto de datos Z, es decir, se trata de encontrar un polinomio p N (x) = c 0 + c 1 x + c 2 x c N x N, cuyo vector de coeficientes c N = (c 0, c 1, c 2,..., c N ) t sea solución en el sentido de los mínimos cuadrados del sistema A N c N = Y : c 0 + c 1 x c N x N 1 = y 1 c 0 + c 1 x c N x N 2 = y 2 c 0 + c 1 x n + + c N x N n = y n Los argumentos de entrada deben ser los vectores de abscisas, X = (x 1, x 2,..., x n ) T, y de ordenadas, Y = (y 1, y 2,..., y n ) T, y el grado N del polinomio, y los argumentos de salida deben ser la solución c N y la matriz A N de coeficientes del sistema sobredeterminado. 3. Aplique las funciones de los apartados (1) y (2) (para N = 1, 2, 3, 4, 5) al siguiente conjunto de datos: {(0, 6), ( π, 2), ( π, 5), ( 3π, 1), (π, 2), ( 5π, 1), ( 3π, 3), ( 7π, 5), (2π, 6)} Compare los residuos, A a Y en el caso del ajuste trigonométrico y A N c N Y, N = 1, 2, 3, 4, 5 en el polinómico, que resultan cuando se utilizan las funciones de los apartados (1) y (2), respectivamente (a y c N son las correspondientes soluciones en el sentido de los mínimos cuadrados). Problema 2. Considere la matriz A =

17 1. Cuál es el rango de A? Considere el vector b = [1, 1, 1, 1, 0] T. Estudie la compatibilidad del sistema Ax = b. Resuelva el sistema con la orden \ de Matlab. Resuelva las ecuaciones normales de Gauss. Qué obtiene? 2. Construya una función de Matlab que devuelva la solución óptima en el sentido de los mínimos cuadrados. Los argumentos de entrada deben ser la matriz A y el vector b y la salida debe ser la solución. Puede emplear la orden svd de Matlab para calcular la descomposición en valores singulares. Calcule la norma de la solución y compárela con las del apartado anterior. Explique el resultado. 3. Genere matrices aleatorias A n de orden n y vectores aleatorios b n R n con n = 40, 80, 160, 320, 640 y calcule los tiempos de ejecución para resolver los problemas A n x = b n, con la orden \ de Matlab, y con la descomposición en valores singulares. Escriba una tabla con los valores de n y los tiempos correspondientes, dibuje (de manera aproximada) una gráfica en escala logarítmica y estime (también de manera aproximada) el orden de los dos métodos. Le parece razonable que el comando \ de Matlab no calcule la solución óptima por defecto? Justifique su respuesta. Problema 3. En este problema se aborda la relación entre la descomposición en valores singulares y la compresión de imágenes digitales. Se recomienda consultar previamente la ayuda de Matlab sobre las órdenes image y colormap. 1. Localice y cargue el fichero binario clown.mat. Este fichero permite visualizar la fotografía de un payaso. Sería capaz de mostrar la foto solamente con tonalidades rosas? y lograr que mire hacia la izquierda? Utilizando la paleta de colores gray, proponga razonadamente alguna operación matricial que oscurezca la foto. 2. Diseñe una función en Matlab que muestre gráficamente la aproximación a los k valores singulares mayores de una cierta imagen digital. Los argumentos de entrada deben ser la matriz dada, el número k y la matriz de la paleta de colores. 3. Ejecute la función anterior con la foto del payaso para diversos valores de k, usando como paleta de colores gray. Proponga un valor de k lo más pequeño posible de modo que la imagen aproximada del payaso reproduzca razonablemente la foto original. Cómo elegiría dicho valor k con medios puramente analíticos? 4. Supongamos que queremos transmitir la foto anterior a un satélite y que la transmisión se hace pixel a pixel (esto supone usualmente 4 pixels por segundo). Determine el tiempo que tardaría en enviarse la foto completa y la aproximación a k 0 valores singulares, con el valor k 0 obtenido en el apartado anterior. Cuantifique el tanto por ciento de ahorro en tiempo de transmisión. 17

18 5. Suponga que se conoce la factorización SVD de una matriz que representa una foto digital. Cómo podría utilizar la factorización para distorsionar razonablemente la imagen? Verifique su hipótesis con la fotografía del payaso. Problema 4. Considere la función cuadrática f(x) = 1 2 xt Qx b T x, siendo Q = , b = 1. Demuestre analíticamente que el problema de minimizar la función f en todo R 4 tiene solución única y obtenga dicho mínimo mediante la resolución del correspondiente sistema de ecuaciones lineales Compruebe analíticamente que para funciones cuadráticas definidas positivas x R n 1 2 xt Qx b T x R, la fórmula para determinar la búsqueda lineal exacta, partiendo de un vector w y usando como dirección (se supone que no nula) d = b Qw, es t = dt d d T Qd. 3. Diseñe una función en Matlab que implemente el método de descenso con búsqueda lineal exacta y tal que las iteraciones se paren cuando la tolerancia tomada como la norma euclídea de la diferencia de dos puntos consecutivos sea menor que un cierto valor. Los argumentos de entrada deben ser la matriz Q, el vector b, el vector inicial x (0) y la tolerancia. 4. Utilizando la función anterior, partiendo del origen y con tolerancia 10 3, 10 4 estime el mínimo global de f. Cuántas iteraciones fueron necesarias en ambos casos? era previsible dicho número? 5. En la expresión de f, cambie la matriz Q por la matriz Q 0.5I, y repita el apartado anterior para la nueva función con las mismas especificaciones que antes. Por qué el resultado ahora no es razonable? Problema 5. Considere la función de Rosenbrock f(x, y) = 100(x 2 y) 2 + (1 x) Determine analíticamente los mínimos de la función anterior. Es f convexa en todo el plano? 18

19 2. Utilizando las ordenes meshgrid y contour, obtenga un esquema de las curvas de nivel de la función anterior en el rectángulo [ 2, 2] [ 1, 3]. Por qué cree que se considera a esta función un buen test para medir la eficiencia de algoritmos de optimización sin restricciones? 3. Partiendo del punto ( 1.9, 2), aplique la orden fminsearch para estimar el mínimo de f, primero sin imponer vector de opciones y después exigiendo que la terminación por tolerancia en el vector sea Repita el proceso pero partiendo ahora del punto (1.9, 2). 4. Diseñar sendas funciones de Matlab para evaluar el gradiente y la matriz hessiana en cada punto, aplicando fórmulas de derivación aproximada: f (x) f(x + h) f(x h), f (x) 2h f(x + h) 2f(x) + f(x h) h Diseñe una función que implemente el método de Newton en la que los argumentos de entrada sean la función, el punto inicial y la tolerancia y los de salida, la aproximación al mínimo y el número de iteraciones. Aplique dicha función al cálculo del mínimo de la función de Rosenbrock. EJERCICIOS DE EXÁMENES DE CURSOS ANTERIORES Segundo Parcial. Curso Ejercicio 4. Considere la función f(x, y, z) = (x y z) x y z ( ) x y z + 2. Determine y clasifique los extremos locales y globales. Dónde es convexa esta función? Efectúe un paso del método del descenso más rápido con búsqueda lineal exacta partiendo del origen y obtenga el error cometido. Examen Final. Curso Ejercicio 2. Considere la matriz: A = Calcule su descomposición en valores singulares. Calcule la matriz pseudoinversa A +. Calcule la solución óptima del sistema Ax = b con b = [1, 0, 0, 0] T. 19

20 Ejercicio 4. Utilizando matrices de Householder, obtenga una factorización QR de A = Ejercicio 7. Dada la función f(x, y) = x 2 + 2y 2 2xy 2x, demuestre que tiene un único mínimo global y halle el punto en el que se alcanza. Aproxime este punto mediante un paso del método del descenso más rápido con búsqueda lineal exacta, partiendo del punto ( 1, 1). Examen de Septiembre. Curso Ejercicio 2. Utilizando matrices de Householder, obtenga una factorización QR de A = Utilícela para resolver el sistema Ax = b, siendo b = [0, 1, 1] T. Ejercicio 4. Se sabe que la función f(x, y) = x 3 + kxy + y 2 x tiene un mínimo local en el punto (x, y) = (1, 1). 1. Determine el valor de k. Justifique que es un mínimo calculando la matriz hessiana. 2. Realice un paso del método de descenso de mayor pendiente con búsqueda lineal exacta, partiendo del punto (x 0, y 0 ) = (0, 1). Compare los valores de f(x, y) en los tres puntos: (x, y), (x 0, y 0 ) y el hallado (x 1, y 1 ). 3. Determine la dirección de búsqueda para la cual, realizando un único paso con búsqueda lineal exacta, partiendo del punto (x 0, y 0 ) = (0, 1), obtenemos el valor mínimo exacto. Cuál es el valor del paso? Primer Parcial. Curso Ejercicio 2. (a) Calcule la factorización QR de la matriz A = empleando transformaciones de Householder

21 (b) Calcule una matriz de Householder que transforme el vector x = en el vector y = Ejercicio 3. Calcule todas las soluciones en el sentido de los mínimos cuadrados del sistema x 1 x 2 = 4 A = 2x 1 2x 2 = 3 x 1 + x 2 = 2 Determine la solución óptima y compruebe el resultado hallando la matriz pseudoinversa. Ejercicio 4. Sea la función (1) Calcule y clasifique sus puntos críticos. f(x, y) = x 3 + y 2 6xy + 9x + 2y. (2) Determine un semiplano en el que la función anterior sea convexa. (3) Efectúe un paso del método del descenso más rápido con búsqueda lineal exacta partiendo del punto (0, 3 2 ). Examen Final. Curso Ejercicio 2. Sean la matriz y el vector A = 0 3 3, b = (1) Encuentre las ecuaciones normales de Gauss del sistema de ecuaciones Ax = b y resuélvalas. (2) Calcule las soluciones en el sentido de los mínimos cuadrados del sistema Ax = b utilizando el método de Householder. Ejercicio 3. Sean la matriz y el vector A = (1) Calcule A +, la matriz pseudoinversa de A., b = (2) Obtenga la solución óptima del sistema Ax = b

22 Ejercicio 4. Considere la función f(x, y, x) = x 3 + y 3 + z 3 3x 3y 3z. (1) Demuestre que esta función es convexa en el conjunto { (x, y, z) R 3 : x 0, y 0, z 0 }. (2) Obtener todos sus puntos críticos, y demostrar que sólo uno de ellos es un mínimo local. (3) Dar un paso del método de descenso partiendo del origen, con búsqueda lineal exacta. Examen de Septiembre. Curso Ejercicio 2. Considere la función (1) Estudiar si la función es convexa. (2) Obtener los mínimos locales. f(x, y) = x 2 + y 2 log(x + y), con x + y > 0. (3) Efectuar un paso del método de descenso más rápido con búsqueda lineal exacta, partiendo de (x 0, y 0 ) = (0, 1). Determinar el error absoluto de la aproximación obtenida. Primer Parcial. Curso Ejercicio 3. Considere la matriz y el vector siguientes A = , b = Empleando transformaciones de Householder, obtenga la factorización QR de A. Resuelva el sistema Ax = b en el sentido de los mínimos cuadrados usando la factorización anterior Ejercicio 4. Considere el sistema { x 2 + y 2 = 1, x y = 0. Calcule sus soluciones. Efectúe un paso del método de Gauss-Newton, partiendo del punto (x 0, y 0 ) = (1, 1). Determine el error absoluto que se comete en (x 1, y 1 ). 22

23 Examen Final. Curso Ejercicio 3. Considere la matriz y el vector siguientes: A = 2 0 1, b = Utilizando matrices de Householder, encuentre la factorización A = QR. A la vista de dicha factorización, deduzca que el sistema es compatible determinado. Resuélvalo mediante la factorización QR. Ejercicio Analice la convexidad de la función: f(x, y) = 2(y x 2 ) 2 + 4x 2, en el cuadrado ( 2, 2) ( 2, 2) y en cualquier conjunto convexo contenido en {(x, y) R 2 : x 2 y}. 2. Efectúe un paso del método de Newton partiendo de x (0) = [1, 1] T. 3. Calcule el error absoluto que se comete en dicho punto. Examen de Septiembre. Curso Ejercicio 1. Considere la matriz de Householder que transforma x = [1, 2, 2] T en y = [ 3, 0, 0] T. Calcule su factorización QR. Ejercicio 2. Considere la función f(x, y) = 2x 2 + 2y 2 xy. Demuestre que la función f tiene un mínimo global único y calcule el punto en el que se alcanza. Aproxime este punto realizando un paso del método de descenso más rápido con búsqueda lineal exacta partiendo del punto (1, 1). Qué obtiene? Por qué? 23