El Problema de Mínimos Cuadrados

Transcripción

1 Capítulo 8 El Problema de Mínimos Cuadrados 8.1. El problema de mínimos cuadrados El problema del ajuste de datos; es decir, descubrir una función matemática que pueda explicar de la mejor forma posible el comportamiento de algún mecanismo o grupo de seres u objetos que puede ser medido, y del cual conocemos algunos datos (con sus posibles errores de medición), es un problema clásico y ha supuesto un reto para la comunidad matemática desde su planteamiento por Gauss y Legendre hacia En lenguaje de álgebra lineal consiste en encontrar la solución de un sistema lineal Ax b siendo A P C m n con m n. En A y b se recogen todos los datos del experimento que se quieren ajustar. Enseguida veremos algunos ejemplos. Sabemos que el sistema tiene solución si y sólo si b P Im A, condición que difícilmente se cumple si m es mucho mayor que n. Si m n diremos que el sistema Ax b está sobredeterminado; y si no existe ningún x P C n 1 tal que Ax b lo que se 159

2 160 El Problema de Mínimos Cuadrados puede intentar es buscar un x de forma que el vector r Ax b P C m, que se llama residuo o vector residual, sea lo más pequeño posible. Lo grande o pequeño que sea r lo mediremos mediante una norma. El problema de mínimos cuadrados consiste en encontrar x P C n 1 para que el vector residuo tenga la menor norma euclídea posible. Su formulación precisa sería la siguiente: Problema de mínimos cuadrados: Sea F R o C. Dada una matriz A P F m n y un vector b P F m,(m n) encontrar x P C n 1 para que }Ax b} 2 sea mínimo. La elección de la norma euclídea se puede justificar desde varios puntos de vista: histórico, geométrico, estadístico,... ; pero sobre todo porque es la norma habitual, conduce a los algoritmos más sencillos y así como todas las normas son funciones continuas de los vectores, la norma euclídea es, además, diferenciable. Como, por añadidura, la función }Ax b} 2 alcanza su máximo absoluto en un máximo local, este máximo puede calcularse igualando a cero las derivadas parciales de dicha función. Este proceso conduce a lo que se llaman las ecuaciones normales del problema de mínimos cuadrados. Estas ecuaciones nos las encontraremos más adelante procedentes de un contexto completamente diferente. Ejemplo 8.1 El ejemplo más típico de ajuste de datos por mínimos cuadrados es el cálculo del polinomio de interpolación: dados m puntos del plano px i, y i q, i 1,..., m, de forma que x i x j para i j, se trata de encontrar un polinomio de grado a lo más m 1, ppxq a 0 a 1 x a m 1 x m 1, que pase por los n puntos. Se trata, entonces, de encontrar los coeficientes a 0, a 1,..., a m 1, para que Esto equivale a resolver el sistema lineal ppx i q y i, i 1,..., m. a 0 a 1 x i a m 1 x m 1 i y i, i 1,..., m (8.1)

3 8.1 El problema de mínimos cuadrados 161 cuya matriz de coeficientes es A x j 1 i 1 x 1 x 2 1 x m x 2 x 2 2 x m x m x 2 m xm 1 m Esta es una matriz de Vandermonde cuyo determinante es det A ¹ i jpx i x j q. Por consiguiente A es invertible y el sistema (8.1) tiene una única solución. En la Figura 8.1 se muestra la gráfica del polinomio de interpolación que pasa por los 11 puntos pi, 0q con i 5, 4,..., 1, 0, 1,..., 4, 5. Se trata de un polinomio de grado 10. A su derecha se ha escrito el código de MATLAB que obtiene los coeficientes del polinomio de interpolación: c Azb y que da la gráfica: plot(t, polyval(p,t),a,b, r*, markersize,10);. El comando polyval(p,t) devuelve un vector: el valor del polinomio p en las componentes del vector t. Nótese el uso de las sentencias fliplr y flipud para obtener la matriz de los coeficientes del sistema y los coeficientes del polinomio de interpolación en la forma apropiada. La sentencia zeroaxes hace que los ejes cartesianos se dibujen en la forma que se acostumbra a utilizar en la pizarra: dos líneas perpendiculares que se cortan en p0, 0q. 5 Figura 8.1: a=-5:5; 4 A=fliplr(vander(a)); 3 b=[ ] ; 2 c=azb; 1 p=flipud(c); t=linspace(-5.05,5.05); plot(t, polyval(p,t),a,b, r*,...; markersize,10); zeroaxes Indudablemente el polinomio de interpolación se ajusta perfectamente a los datos, pero a menudo éstos proceden de experimentos y lo que se pretende es buscar una

4 162 El Problema de Mínimos Cuadrados curva que interprete los datos obtenidos. Como las mediciones se realizan en momentos puntuales, tal gráfica debería reflejar, salvo que se tengan motivos para pensar lo contrario, una comportamiento suave entre dos datos consecutivos, y no la fluctuación que muestra el polinomio de interpolación de nuestro ejemplo. Quizá un polinomio de menor grado pueda mostrar un mejor comportamiento. Tal polinomio no pasará por algunos de los puntos. Pero la medición de todo proceso real conlleva errores que podrían explicar tal fenómeno. Ejemplo 8.2 (Ajuste por mínimos cuadrados) Con los mismos datos del ejemplo anterior calcular el polinomio de grado 7 que mejor se ajusta a los datos en el sentido de los mínimos cuadrados. Siguiendo los mismos pasos que en el ejemplo anterior lo que buscamos es un polinomio de grado a lo más n 1 m 1 ppxq a 0 a 1 x a n 1 x n 1 tal que }ppxq y} 2 sea mínimo. Aquí, ppxq es el vector cuya i-ésima componente es ppx i q y el vector y es el que tiene por i-ésima componente y i. Ahora bien, si A 1 x 1 x 2 1 x1 n 1 1 x 2 x 2 2 x2 n x m x 2 m xn 1 m es la matriz de Vandermonde truncada y c pa 0, a 1,..., a n 1 q es el vector de los coeficientes de p tenemos que ppxq Ac. Así que se trata de hallar un vector c en el que se alcance mín xpc n }Ax y} 2. En la Figura 8.2 se presenta la gráfica producida por MATLAB del polinomio de grado 7 que mejor se ajusta a los datos pa i, b i q en el sentido de los mínimos cuadrados. El problema de mínimos cuadrados correspondiente se calcula en el interior de la sentencia ployfit. El resto del código de MATLAB que se muestra es el mismo que en el apartado anterior. Una observación final antes de abordar la solución del problema de mínimos cuadrados y los algoritmos correspondientes. Una variante del problema de encontrar

5 8.2 La solución del problema de mínimos cuadrados Figura 8.2: 4 a=-5:5 A=fliplr(vander(a)) 3 b=[ ] ; 2 p=polyfit(a,b,7); 1 t=linspace(-5.3,5.3); plot(t, polyval(p,t),a,b, r*,... markersize,10); axis([ ]); zeroaxes el polinomio de grado a lo más n 1 que mejor se ajusta a una nube de m puntos, px i, y i q, distribuídos en el plano es el de encontrar la función φpxq c 1 φ 1 pxq c 2 φ 2 pxq c n φ n pxq, que mejor se ajusta a una de tales nubes de puntos. Aquí φ 1, φ 2,..., φ n son funciones dadas, o de las que uno sospecha que una combinación lineal de ellas puede ajustarse bien a los datos. En este caso el problema se reduce a calcular el vector c donde se alcanza el mínimo: mín xpc }Ax y} 2, siendo A P F m n la matriz cuyo elemento en la posición pi, jq es φ j px i q y siendo y el vector cuyas componetes son y 1,..., y m La solución del problema de mínimos cuadrados En esta sección demostramos el resultado que nos da la solución del problema de mínimos cuadrados. Geométricamente la situación es muy simple (véase la Figura 8.3): el vector de Im A cuya distancia a b es mínima es la proyección ortogonal de b sobre Im A. Y la distancia mínima es la norma del residuo. Esto es lo que nos dice el siguiente Teorema.

6 164 El Problema de Mínimos Cuadrados b r=ax 0 b Im A Ax 0 Figura 8.3: La solución del problema de mínimos cuadrados Teorema 8.3 Sean A P F m n, F R o C, y b P F m 1, m n. Sea P A la proyección ortogonal sobre Im A. Entonces, Ax 0 cumple }Ax 0 b} 2 mín xpf n }Ax b} 2 si y sólo si se cumple cualquiera de las siguientes condiciones que son equivalentes: (i) Ax 0 P A b. (ii) b Ax 0 P pim Aq K. (iii) A Ax 0 A b. Además, la solución x 0 es única si y sólo si rang A n. En la demostración se usa el teorema de Pitágoras: Si x, y P C n son ortogonales entonces }x y} 2 2 }x}2 2 }y}2 2. En efecto, }x y} 2 2 px yq px yq x x y x y y x x x y y }x} 2 2 }y}2 2, donde hemos usado que x y y x 0 porque x e y son ortogonales. Demostración.- Todo se basa en la demostración de la idea geométrica expuesta más arriba: mín xpc n }Ax b} 2 }P A b b} 2. Vemaos que esto es así. En efecto }Ax b} 2 2 }Ax P Ab P A b b} 2 2 }Ax P Ab} 2 2 }P Ab b} 2 2

7 8.3 Algoritmos para calcular la solución del problema de mínimos cuadrados 165 porque Ax P A b P Im A y P A b b pi P A qb P pimaq K y aplicando el Teorema de Pitágoras. Por lo tanto, para todo x P C n }Ax b} 2 }P A b b} 2. Pero como P A b P Im A, existe x 1 P C n tal que Ax 1 P A b; i.e., }Ax 1 b} 2 }P A b b} 2. Por lo tanto mín xpc n }Ax b} 2 }P A b b} 2, tal y como deseábamos mostrar. Ahora, si Ax 0 es el vector que hace mínima la distancia de Ax a b entonces }P A b b} 2 2 mín xpc n }Ax b}2 2 }Ax 0 b} 2 2 }Ax 0 P A b} 2 2 }P Ab b} 2 2. De aquí deducimos que }Ax 0 P A b} 2 0; es decir, Ax 0 P A b. Sólo queda demostrar la equivalencia entre las tres condiciones. Por una parte P A b Ax 0 ñ b Ax 0 b P A b pi P A qb P pim Aq K. Y si b Ax 0 P pim Aq K entonces P A pb Ax 0 q 0 de modo que P A b P A Ax 0. Pero como Ax 0 P Im A tenemos que P A Ax 0 Ax 0. Esto demuestra la equivalencia entre las condiciones (i) y (ii). Finalmente, como pim Aq K Ker A tenemos que b Ax 0 P pim Aq K si y sólo si A pb Ax 0 q 0; i. e., A Ax 0 A b. Falta demostrar que la solución del problema de mínimos cuadrados es única si y sólo si rang A n. Ahora bien, rang A n si y sólo si A A es invertible. Una forma de ver esto es, por ejemplo, la siguiente: rang A n si y sólo si σ n paq 0. Como los valores singulares de A son las raíces cuadradas positivas de los valores propios de A A, σ n 0 si y sólo si todos los valores propios de A A son distintos de cero; i.e. detpa Aq 0. Pero A A es invertible si y sólo si el sistema A Ax A b tiene solución única Algoritmos para calcular la solución del problema de mínimos cuadrados El Teorema 8.3 nos da las claves para calcular un vector x 0 que solucione el problema de mínimos cuadrados. En primer lugar, el sistema A Ax A b recibe el nombre de

8 166 El Problema de Mínimos Cuadrados ecuaciones normales del problema de mínimos cuadrados. Es el sistema que aparece al calcular el mínimo local de la función fpxq }Ax b} 2. Es decir, el sistema Bf pxq 0, i 1,..., n Bx i da lugar al sistema A Ax A b. Como la función f es convexa, alcanza su mínimo absoluto en un mínimo local. Para resolver el sistema A Ax A b numéricamente, tendremos en cuenta la estructura especial de la matriz A A: es hermítica (simétrica en el caso real). Además es definida positiva porque x A Ax }Ax} 2 0 para x 0. Ahora bien toda matriz hermítica definida positiva admite una factorización de Cholesky (variante de la factorización LU cuando la matriz es simétrica o hermítica). En MATLAB el comando chol(a) devuelve la factorización de Cholesky de A si ésta es hermítica definida positiva. Recordemos que una factorización de Cholesky de una matriz hermítica definida positiva, A, es una factorización de la forma A LL siendo L una matriz triangular superior. Esta factorización es especialmente apropiada para resolver sistemas lineales mediante sustitución hacia adelante y hacia atrás. Teniendo en cuenta todo esto podemos dar un primer algoritmo para la resolución del problema de mínimos cuadrados. Algoritmo mínimos cuadrados via ecuaciones normales Dada A P F m n y dado b P F m 1. Fórmense las matrices A A y A b. 2. Calcúlese la factorización de Cholesky de A A LL, (chol(a)) 3. Resuélvase Ly A b (z o sustitución hacia adelante) 4. Resuélvase L x y.(z o sustitución hacia atrás)

9 8.3 Algoritmos para calcular la solución del problema de mínimos cuadrados 167 Cuando A es hermítica definida positiva pero mal condicionada, el algoritmo de Cholesky puede dar resultados muy inexactos. Por lo tanto, el algoritmo anterior no es adecuado para resolver el problema de mínimos cuadrados. Una posibilidad sería usar la factorización QR de A A para conseguir la factorización de Cholesky de A A en vez del algoritmo de Cholesky. En efecto, si A QR es la factorización QR reducida de A, entonces A A R Q QR R R LL, donde hemos utilizado que Q Q I n, por tener Q columnas ortonormales, y hemos puesto L R. Esto nos muestra que si A es de rango completo, la factorización de Cholesky de A A es única. Esta alternativa, sin embargo, carece de sentido porque la ventaja del algoritmo de Choleski es que su coste es n 2 (mientras que el de la factorización QR sería de orden cúbico) y hay otros algoritmos que, cuando el de Choleski no es aconsejable, usan la factorización QR y sólo precisan resolver un sistema triangular. Presentamos a continuación uno de tales algoritmos. En el segundo algoritmo se trata de conseguir la solución, x 0, como solución del sistema Ax 0 P A b. Para ello, debemos conseguir P A, que es la proyección ortogonal sobre Im A. Recordemos que P A QQ, donde Q es una matriz cuyas columnas son una base ortonormal de Im A. Recordemos que si A QR es una factorización QR de A entonces las columnas de Q son una base ortonormal de Im A y, por consiguiente, QQ es la proyección ortogonal sobre Im A. Algoritmo mínimos cuadrados via factorización QR Dada A P F m n y dado b P F m 1. Hállese la factorización QR, reducida, de A 2. Calcúlese Q b. 3. Resuélvase Rx Q b (z o sustitución hacia atrás) Estos dos algoritmos pueden presentar problemas si la matriz A es singular o muy próxima a serlo; i.e., κpaq es muy grande. Si la situación es ésta, tenemos una alternativa: los valores singulares.

10 168 El Problema de Mínimos Cuadrados El problema de mínimos cuadrados y la inversa Moore- Penrose La inversa generalizada de Moore-Penrose se puede definir como la matriz que soluciona el problema de mínimos cuadrados. Es decir, de la misma que la solución del sistema Ax b es x A 1 b siempre que A sea invertible, la solución del problema de mínimos cuadrados es x 0 A : b. Veremos que esto es, en efecto así, y que este hecho nos proporciona un algoritmo alternativo para resolver el problema de mínimos cuadrados. Recordemos que x 0 es solución del problema se mínimos cuadrados si y sólo si es solución del sistema Ax P A b, siendo P A la proyección ortogonal sobre Im A. Recordemos también que si r rang A y A UΣV es una descomposición completa de A en valores singulares, entonces las r primeras columnas de U son una base ortonormal de Im A. (Proposición 3.10). Sea U r la submatriz de U formada por sus r primeras columnas. Como son una base ortonormal de Im A, la matriz U r U r es la proyección ortogonal sobre Im A. Es decir, P A U r U r. Así pues, si ponemos Σr 0 Σ 0 0 entonces el sistema Ax P A b es equivalente a U r Σr 0 V x U r U r b. Y este sistema es equivalente a Σ r c U r b y y V x. Entonces, 0 V x U r b dado que U r U r I r. Pongamos Ax P A b ô Σ r 0 y c. Si Σ r Diagpσ 1,..., σ r q, la solución general de este sistema es y c 1 {σ 1 c 2 {σ 2 c r {σ r y r 1 y n T con y r 1,..., y n, números arbitrarios. Si el rango de A es completo, n, la solución del sistema queda completamente determinada; cosa que ya habíamos demostrado. Pero si rang A n entonces hay infinitas soluciones del problema de mínimos cuadrados. Entre ellas, se suele escoger la solución de norma mínima. Y ésta es la que se consigue haciendo y r 1 y n 0. Finalmente, como y V x, tenemos que x V y.

11 8.3 Algoritmos para calcular la solución del problema de mínimos cuadrados 169 Además, }x} 2 }V y} 2 }y} 2. En definitiva, el vector x 0 de norma mínima que soluciona el problema de mínimos cuadrados es: x 0 V y 0 V c 1 {σ 1 c 2 {σ 2. c r {σ r 0. 0 V r c 1 {σ 1 c 2 {σ 2., c r {σ r donde V r es la submatriz de V formada por sus r primeras columnas. Ahora vamos a volver hacia atrás a fin de recuperar la solución del problema en términos de los datos originales: A y b. Recordemos, antes de nada, que con las notaciones introducidas A U r Σ r V r es una descomposición reducida de A en valores singulares. En consecuencia A : V r Σ 1 r U r es la inversa generalizada o Moore-Penrose de A. Ahora bien, x 0 V r c 1 {σ 1 c 2 {σ 2. V rσ 1 r c V r Σ 1 r U r b, c r {σ r porque c U r b. Así pues, el vector de norma mínima que soluciona el problema de mínimos cuadrados es tal y como habíamos anunciado. x 0 V r Σ 1 r U r b A : b Este proceso, además, nos proporciona un algoritmo para calcular la solución del problema de mínimos cuadrados en el caso más general.

12 170 El Problema de Mínimos Cuadrados Algoritmo mínimos cuadrados via valores singulares Dada A P F m n y dado b P F m 1. Calcular la descomposición reducida de A en valores singulares: A UΣV, U P F m r, V P F n r y Σ Diagpσ 1,..., σ r q. 2. Calcular c U b. 3. Calcular x V Σ 1 c. Este es el vector de menor norma que soluciona el problema de mínimos cuadrados El condicionamiento del problema de mínimos cuadrados El condicionamiento del problema de mínimos cuadrados es un tema importante porque tiene implicaciones no triviales en el estudio de la estabilidad de los algoritmos para este problema. Como es habitual analizaremos en detalle el condicionamiento del problema y estudiaremos la estabilidad de los algoritmos mediante ejemplos significativos. Recordemos que el problema de mínimos cuadrados consiste en lo siguiente (supondremos en lo sucesivo que la matriz del sistema tiene rango completo): Dada A P F m n de rango completo y m n, y dado b P F m, calcular x P F n para que }Ax b} 2 sea mínima. (8.2) Ya sabemos que, en este caso, la solución del problema es única y viene dada por x A : b donde A : P F n n es la pseudoinversa o inversa generalizada de Moore-Penrose de A (ver 3.6). Además, si y Ax es el vector en Im A más próximo a b entonces y P b,

13 8.4 El condicionamiento del problema de mínimos cuadrados 171 siendo P la proyección ortogonal sobre Im A. Nuestro objetivo es estudiar el condicionamiento del Problema (8.2) respecto a perturbacione en A y en b. Es decir, los datos del problema son la matriz A y el vector b. La solución es el vector de coeficientes x o el correspondiente vector y Ax. Así pues Datos: A, b. Soluciones: x, y. Tenemos así, en realidad, cuatro posibles cuestiones de condicionamiento: Error relativo en x o y respecto a pequeñas perturbaciones en los datos b o A. El objetivo en esta sección es dar un resultado fundamental sobre el condicionamiento del problema de mínimos cuadrados. Para entender el enunciado y como apoyo a la demostración necesitamos introducir algunos conceptos y un par de resultados auxiliares. En primer lugar debemos recordar que para una matriz A P F m n de rango completo n el número de condición es κ 2 paq }A} 2 }A : } 2 σ 1 σ n. b r=ax b θ y=ax=pb Im A Figura 8.4: El problema de mínimos cuadrados. En segundo lugar, necesitamos el conceto de ángulo entre dos vectores de F m. Lo definimos, como es habitual, a partir de la desigualdad de Cauchy-Schwartz: si x, y P F m entonces x y }x} 2 }y} 2,

14 172 El Problema de Mínimos Cuadrados de modo que 1 x y }x} 2 }y} 2 1. Se define, entonces el ángulo, θ, de x, y como Equivalentemente θ arc cos cos θ x y }x} 2 }y} 2. x y }x} 2 }y} 2. En nuestro caso, para calcular el ángulo de b e y debemos hacer el producto escalar b y b P b. Teniendo en cuenta que P es una proyección (P 2 P ) ortogonal pp P ) resulta que Así pues b y b P b b P P b b P P b }P b} 2 2 }y}2 2. cos θ }y} 2 }b} 2. Para el seno usamos la identidad sen 2 θ 1 cos 2 θ: sen 2 θ 1 }y}2 2 }b} 2 2 }b}2 2 }y}2 2. }b} 2 2 Ahora bien, b y b y siendo y y b y ortogonales (y P Im A y b y b P b pi m P qb P pim Aq K ). Por consiguiente, usando el Teorema de Pitágoras, }b} 2 2 }y}2 2 }b y}2 2 y sen θ }b y} 2 }b} 2 Todas estos resultados generalizan los habituales en R 2 (Figura 8.4) En tercer lugar, para cualquier norma inducida }Ax} }A} }x}. Necesitaremos una medidad de lo lejos o cerca que está }y} }Ax} de su máximo valor posible: η }A} 2 }x} 2 }y} 2 }A} 2 }x} 2 }Ax} 2. Estos parámetros tienen el siguiente rango de variación: 1 κpaq 8 0 θ π{2 1 η κpaq

15 8.4 El condicionamiento del problema de mínimos cuadrados 173 Todas estas acotaciones son claras excepto, quizá, la última que viene de la siguiente observación: }x} 2 }A 1 Ax} 2 }A 1 } 2 }Ax} 2, de modo que η }A} 2}A 1 } 2 }Ax} 2 }Ax} 2 κ 2 paq. El resultado previo que necesitamos es el siguiente Lema 8.4 Para A P F m n de rango completo n se tiene: }pa Aq 1 A } 2 1 σ n. (8.3) }pa Aq 1 } 2 1 σ 2 n (8.4) siendo σ 1 σ n los valores singulares de A. Demostración.- La propiedad (8.4) es una consecuencia inmediata de que los valores singulares de A son las raíces cuadradas positivas de los valores propios de A A, y de que 1{σ 2 n es el mayor valor singular de pa Aq 1 (ver Porposiciones 3.12 y 3.16). Para probar la propiedad (8.3) se usa el Teorema SVD para ver que los valores singulares de pa Aq 1 A y los de A : coinciden. Podemos ahora plantear y demostrar el resultado principal Teorema 8.5 Sean b P F m y A P F m n con b 0 y rang A n m. Para el problema de mínimos cuadrados (8.2) se cumplen las siguientes propiedades, todo respecto de la norma l 2 : (i) El número de condición del problema de calcular y Ax P F n respecto de b es 1 cos θ. (8.5)

16 174 El Problema de Mínimos Cuadrados (ii) El número de condición del problema de calcular x P F n respecto de b es κ 2 paq η cos θ. (8.6) (iii) Sea x la solución del problema de mínimos cuadrados relativo a minimizar }pa δaq x b} 2. Si ỹ pa δaq x y ɛ }δa} 2 σ n entonces }A} 2 σ 1 }ỹ y} 2 }y} 2 ɛ κ 2pAq cos θ Opɛ 2 q. (8.7) (iv) En las mismas condiciones del apartado anterior ɛ κ 2 paq } x x} 2 }x} 2 κ 2 paq 2 tan θ η Opɛ 2 q. (8.8) (v) Sea x es la solución del problema de mínimos cuadrados relativo a minimizar }pa δaq x pb δbq} 2. Si sen θ 1 y ɛ máx " * }δa}2, }δb} 2 }A} 2 }b} 2 siendo σ 1 σ n los valores singulares de A, entonces " * } x x} 2 1 κ2 paq 2 tan θ ɛ κ 2 paq 1 }x} 2 η cos θ η σ n σ 1 Opɛ 2 q. (8.9) En el caso especial en que m n, el problema de mínimos cuadrados se reduce al de la resolución de un sistema de ecuaciones lineales. En tal caso θ 0 y las cotas de (8.6) y (8.8) se reducen a κ 2 paq{η y κ 2 paq recuperando los resultados vistos en la Lección 4. Demostración.- Demostraremos las propiedades (i) y (v). La propiedad (ii) se demuestra de manera muy similar a la propirdad (i), la propiedad (iv) es una caso particular de la (v) y la propiedad (iii) requiere una demostración independiente pero parecida a la (iv). (i) La relación entre b e y es y P b

17 8.4 El condicionamiento del problema de mínimos cuadrados 175 siendo P la proyeccción ortogonal sobre Im A. Vimos en la Sección 4.3 del Capítulo 4 que el número de condición del problema de multiplicar Ax para A dada y x variable: f : F n Ñ F m x b Ax es κ }f 1 pxq} }fpxq}{}x} }A} }x} }Ax}, (8.10) En nuestro caso se trata del número de condición del problema y P b respecto de b para P dado. Entonces κpbq }P } 2}b} 2 }y} 2 Como P es una proyección ortogonal P QQ para alguna matriz Q P F n m con columnas ortonormales. Sea U una matriz unitaria. Entonces Q U P U rq Q r Q QQ Q r Q In Por lo tanto, los valores singulares de P son todos iguales a 1 y en particular }P } 2 σ 1 pp q 1 Finalmente, recordemos que cos θ }y} 2 }b} 2. En conclusión: tal y como se deseaba demostrar. κpbq }P } 2}b} 2 }y} 2 1 cos θ, (v) En primer lugar definimos E 1 ɛ δa y f 1 ɛ δb. Por hipótesis, }δa} 2 σ n }A} 2 σ 1 y como }A} 2 σ 1, tenemos que }δa} 2 σ n. Por el Teorema 3.18 resulta que rangpa δaq n y consecuentemente rangpa teq n para todo t P r0, ɛs. Se sigue entonces que el sistema pa teq pa teqxptq pa teq pb tfq (8.11)

18 176 El Problema de Mínimos Cuadrados tiene una única solución para cada t P r0, ɛs. Invertir una matriz es una función diferenciable en los elementos de la matriz. Por lo tanto x es una función diferenciable de t en r0, ɛs. Por la definición de diferencial xpɛq xp0q ɛx 1 p0q Opɛ 2 q. Como xpɛq x, xp0q x, b 0 y sen θ 1, tenemos que x 0 y } x x} 2 }x} 2 ɛ }x1 p0q} 2 }x} 2 Opɛ 2 q. (8.12) Necesitamos una estimación de }x 1 p0q} 2. Para ello calculamos x 1 p0q en (8.11). Primero derivamos E pa teqxptq pa teq Exptq pa teq pa teqx 1 ptq E ppb tfq pa teq f, y sustituímos t 0 recordando que xp0q x: E Ax A Ex A Ax 1 p0q A f E b. Así x 1 p0q pa Aq 1 A pf Exq pa Aq 1 E pb Axq. Tomando normas: }x 1 p0q} 2 }pa Aq 1 A } 2 p}f} 2 }E} 2 }x} 2 q }pa Aq 1 } 2 }E } 2 }b Ax} 2. Por una parte, }E} 2 1 ɛ }δa} 2 }A} 2. Y de la misma forma }f} 2 }b} 2. También }A } 2 }A} 2, así que }x 1 p0q} 2 }pa Aq 1 A } 2 p}a} 2 }x} 2 }b} 2 q }pa Aq 1 } 2 }A} 2 }b Ax} 2 }pa Aq 1 A }b}2 } 2 }A} 2 }x} 2 }pa Aq 1 } 2 }A} 2 }b Ax} 2 2. }A} 2 }A} 2 Por otra parte, por el Lema 8.4, }pa Aq 1 A } 2 }A} 2 κ 2 paq y }pa Aq 1 } 2 }A} 2 2 κ 2 paq 2. Entonces }x 1 p0q} 2 }x} 2 κ 2 paq }b}2 {}Ax} 2 1 }A} 2 }x} 2 {}Ax} 2 κ 2 paq 2 }b Ax} 2{}Ax} 2 }A} 2 }x} 2 {}Ax} 2.

19 8.5 Estabilidad de los algoritmos para el problema de mínimos cuadrados 177 Ahora bien, η }A} 2}x} 2, cos θ }Ax} 2 y tan θ }b Ax} 2 }Ax} 2 }b} 2 }x 1 p0q} 2 }x} 2 1 κ 2 paq η cos θ 1 }Ax} 2 κ 2 paq 2 tan θ η. En consecuencia sustituyendo en (8.12) } x x} 2 }x} 2 ɛ " 1 κ 2 paq η cos θ 1 * κ2 paq 2 tan θ η Opɛ 2 q, tal y como se quería demostrar Estabilidad de los algoritmos para el problema de mínimos cuadrados Un estudio experimental de la estabilidad de los algoritmos para la resolución del problema de mínimos cuadrados lineal es el objetivo de una de las prácticas obligatorias con MATLAB que habrá de realizarse en este curso. En ella se plantea un problema de mínimos cuadrados cuya solución debe ser calculada con los tres algoritmos vistos en la Sección 8.3. A su vez, para los algoritmos basados en la factorización QR, se utilizarán los tres algoritmos vistos en las Lecciones 6 y 7; es decir, los algoritmos clásico y modificado de Gram-Schmidt y el algoritmo de Householder. A través de dicho experimento se comprobará que los algoritmos basados en la resolución de las ecuaciones normales y el factorización de Cholesky así como los basados en la factorización QR obtenida con los algoritmos de Gram-Schmidt pueden dar resultados con mucho error si la matriz del sistema está mal condicionada. Por lo tanto, estos algoritmos son inestables. No obstante, hay resultados (ver [11, Sec 20.4]) que muestran que para matrices bien condicionadas el algoritmo basado en la resolución de las ecuaciones normales es estable hacia atrás y para valores de m mucho mayores que n, el coste operacional sensiblemente menor que el método basado en la factorización QR mediante reflexiones de Householder. En tale situaciones, el método basado en la resolución de las ecuaciones normales sería el preferido. Por otra parte, a pesar de que el método basado en la factorización QR mediante el algoritmo modificado de Gram-Schmidt es inestable cuando se implementa de la manera indicada en la Sección 8.3, hay una forma de hacerlo que lo hace estable

20 178 El Problema de Mínimos Cuadrados hacia atrás (ver [11, Sec 20.3]). Finalmente, los algoritmos basados en la factorización QR mediante reflexiones de Householder y valores singulares son estables hacia atrás para sistemas en los que A es una matriz de rango completo. A continuación se enuncian los teoremas que lo hace explíto. Teorema 8.6 Supongamos que el problema de mínimos cuadrados con una matriz A de rango completo se resuelve mediante el algoritmo QR por reflexiones de Householder o mediante la descomposición en valores singulares en un ordenador que cumple los axiomas (5.2) y (5.4) de la Lección 5. Este algoritmo es estable hacia atrás: para cada A P F m n (m n y rang A n) existe una perturbación δa tal que }δa} }A} Opɛ Mq y la solución px producida por el algoritmo satisface }pa δaqpx b} 2 mín xpf n }pa δaqx b} 2. Para terminar, conviene mencionar que si la matriz A no es de rango completo, sabemos que la solución no está determinada de forma única y el único algoritmo completamente estable es el basado en la descomposición de A en valores singulares.