APUNTES DE ÁLGEBRA II INGENIERÍA INDUSTRIAL

Transcripción

1 APUNTES DE ÁLGEBRA II INGENIERÍA INDUSTRIAL a t e a t i c a s UNIVERSIDAD CARLOS III DE MADRID DEPARTAMENTO DE MATEMÁTICAS Fernando de Terán Vergara

2

3 Índice general. PRODUCTOS ESCALARES 3.. Definiciones y propiedades básicas Bases ortogonales y ortonormales. Método de Gram-Schmidt Proyecciones ortogonales Factorización QR Problemas de mínimos cuadrados ESTUDIO ESPECTRAL DE ENDOMORFISMOS 9.. Matrices unitarias y ortogonales Matrices de Householder El lema de Schur y sus aplicaciones Interpretación geométrica de las matrices ortogonales en R y R VALORES SINGULARES DE MATRICES La descomposición en valores singulares Aplicación al problema de mínimos cuadrados. La pseudoinversa Aproximaciones de rango bajo. Compresión de imágenes FORMAS CUADRÁTICAS Formas bilineales Formas cuadráticas. Reducción a la forma canónica Formas cuadráticas definidas La ley de inercia de Sylvester Factorización de Choleski CÓNICAS Y CUÁDRICAS Cónicas en R. Reducción a la forma canónica Determinación de los ejes, centro y vértice de una cónica Centro y ejes de una elipse o una hipérbola Eje y vértice de una parábola Cuádricas en R 3. Reducción a la forma canónica Determinación de los ejes, centro y vértice de una cuádrica Centro de un elipsoide o un hiperboloide Vértice de un paraboloide III

4 IV ÍNDICE GENERAL 5.5. Representación gráfica de las cuádricas en forma reducida NORMAS DE VECTORES Y MATRICES. SENSIBILIDAD DE MATRICES Normas vectoriales Normas matriciales El radio espectral Errores en inversas y en soluciones de sistemas lineales. Número de condición INTRODUCCIÓN A LOS MÉTODOS ITERATIVOS Métodos iterativos Aplicación a los sistemas lineales. Métodos de Jacobi y Gauss-Seidel

5

6 NOTACIÓN En estos apuntes y, salvo que se indique explícitamente lo contrario, utilizaremos la siguiente notación: Símbolo Significado C Cuerpo de los números complejos C m n Espacio vectorial de las matrices m n con coeficientes complejos R Cuerpo de los números reales R m n Espacio vectorial de las matrices m n con coeficientes reales K Cuerpo de los números reales o complejos (indistintamente) dim(v) Dimensión del espacio vectorial V I n Matriz identidad de tamaño n n p q Matriz de tamaño p q con todas sus entradas nulas det(a) Determinante de la matriz A rango(a) Rango de la matriz A A T Traspuesta de la matriz A A Traspuesta conjugada de la matriz A diag(a,..., A n ) Matriz diagonal por bloques, que son A,..., A n A(i, j) Entrada (i, j) de la matriz A ker (A) Núcleo de la matriz A col (A) Espacio generado por las columnas de la matriz A A = [ ] a... a k Matriz cuyas columnas son a,..., a k Gen (S) Espacio vectorial (sobre K) generado por el conjunto S C R n Base canónica de R n M(B, B ) Matriz de cambio de base de B a B c Conjugado del número complejo c c Módulo del número complejo c Re (v) Parte real del vector (complejo) v Im (v) Parte imaginaria del vector (complejo) v [v] B Vector v expresado en coordenadas en la base B Para todo Además, seguiremos el convenio de considerar vectores columna, es decir, las coordenadas del vector v se suponen ordenadas en una columna. Para expresar vectores fila, por tanto, utilizaremos la traspuesta, v T. Igualmente, denotaremos por e i al i-ésimo vector canónico de R n, es decir e i = [ ] T. i)

7 PRODUCTOS ESCALARES. Definiciones y propiedades básicas A lo largo de estos apuntes, V denotará un espacio vectorial sobre el cuerpo, C, de los números complejos o sobre el cuerpo, R, de los números reales. En algunos casos el cuerpo base será únicamente C o únicamente R, pero en otros será C ó R, indistintamente. En este último caso denotaremos al cuerpo genéricamente por K. La definición fundamental de este capítulo es la siguiente. Definición.. (Producto escalar hermítico) Sea V un espacio vectorial sobre C. Una aplicación Φ : V V C es un producto escalar hermítico en V si cumple los siguientes axiomas: i) Φ(u, u) es un número real no negativo, para todo u V, y Φ(u, u) = si y sólo si u = (Positiva) ii) Φ(u, v) = Φ(v, u), para cualesquiera u, v V (Hermítica) iii) Φ(αu + βv, w) = αφ(u, w) + βφ(v, w), para cualesquiera números complejos α, β y vectores u, v, w V (Bilineal) En el caso de espacios vectoriales reales la definición de producto escalar se obtiene particularizando la definición anterior a un espacio sobre R. Definición.. (Producto escalar) Sea V un espacio vectorial sobre R. Un aplicación Φ : V V R es un producto escalar en V si cumple los siguientes axiomas: i) Φ(u, u) es un número real no negativo, para todo u V, y Φ(u, u) = si y sólo si u = (Positiva) 3

8 4. PRODUCTOS ESCALARES ii) Φ(u, v) = Φ(v, u), para cualesquiera u, v V (Simétrica) iii) Φ(αu + βv, w) = αφ(u, w) + βφ(v, w), para cualesquiera números reales α, β y vectores u, v, w V (Bilineal) Diremos, por tanto, que un producto escalar hermítico es una forma bilineal hermítica definida positiva, mientras que un producto escalar (real) es una forma bilineal simétrica definida positiva. A partir de este momento, y salvo que sea necesario, nos referiremos simplemente a productos escalares, incluyendo con esta denominación tanto a los hermíticos como a los reales. Notación..3 Si Φ es un producto escalar, entonces el producto escalar de u con v es el número Φ(u, v). Habitualmente lo escribiremos < u, v >. Otra notación que puede encontrarse en la literatura es, simplemente, u v. Obsérvese que la propiedad iii) del producto escalar sólo establece la linealidad en la primera componente. En el siguiente ejercicio se pide demostrar que también es lineal en la segunda y que, por tanto, el calificativo de bilineal está completamente justificado. Ejercicio..4 Sea Φ : V V K un producto escalar sobre V. Demostrar, usando únicamente la definición, que Φ es lineal en la segunda componente, es decir: Φ(u, αv + βw) = αφ(u, v) + βφ(u, w), para cualesquiera α, β números en K y vectores u, v, w V. Hay que hacer notar que, en el caso hermítico, la linealidad en la primera componente se da con el conjugado de los coeficientes, mientras que en la segunda componente se da con los mismos coeficientes (sin conjugar). Ejercicio..5 Demostrar, usando los axiomas i), ii) y iii) de la definición, que cualquier producto escalar Φ (real o hermítico) sobre V satsiface para todo u V. Φ(, u) = Φ(u, ) =, Observación..6 Es habitual encontrar en la literatura la denominación producto interior para referirse al producto escalar. A continuación, vamos a ver unos cuantos ejemplos especialmente relevantes de productos escalares. Ejemplo..7. En el espacio vectorial V = K n definimos el producto escalar < u, v >= u v.

9 . Definiciones y propiedades básicas 5 Es fácil obtener la expresión de dicho producto escalar en la base canónica de K n. Si expresamos los vectores u y v en dicha base entonces u = u u. u n, v = v v. v n, < u, v >= u v = ū v + ū v + + ū n v n. Si K = R entonces el producto anterior es < u, v >= u T v = u v + u v + + u n v n. Este producto escalar se conoce como el producto escalar usual.. Sea V el espacio vectorial de las sucesiones {x n } n N, con x n K. Definimos el producto escalar < {x n }, {y n } >= x n y n. 3. En el espacio de funciones reales continuas en un intervalo [a, b] definimos el producto escalar < f, g >= b a n= f(x)g(x)dx. 4. En el espacio K n n de matrices cuadradas n n con entradas en K definimos < A, B >= traza(a B). Ejercicio..8 Demostrar que las aplicaciones del ejemplo anterior son, efectivamente, productos escalares. (Indicación: Hay que comprobar que cumplen los axiomas i), ii) y iii) de la definición de producto escalar). Un espacio vectorial real V dotado de un producto escalar se suele llamar espacio vectorial euclídeo, mientras que un espacio vectorial complejo con un producto vectorial hermítico se denomina espacio vectorial unitario. En los espacios vectoriales euclídeos/unitarios se pueden definir los conceptos de longitud, distancia y ángulo. Es importante destacar que para definir estos conceptos utilizaremos únicamente el producto escalar. En lo sucesivo, denotaremos por (V, <, >) a un espacio vectorial euclídeo/unitario, donde V es el espacio vectorial y <, > es el producto escalar. Definición..9 Sea (V, <, >) un espacio vetorial euclídeo/unitario. La norma de un vector u V es el número real u =< u, u > /. Diremos que u V es un vector unitario si u =.

10 6. PRODUCTOS ESCALARES Nótese que la norma de un vector depende del producto escalar asociado. Por tanto, un vector puede ser unitario con una norma y no serlo con otra. Propiedades de la norma: En las siguientes propiedades (V, <, >) es un espacio vectorial euclídeo/unitario sobre el cuerpo K.. u >, u V { V }, y V =. αu = α u, α K, u V 3. u + v u + v, u, v V (Desigualdad triangular) Ejercicio.. Demostrar las propiedades anteriores. Ejemplo.. En V = K n la norma asociada al producto escalar usual está dada por u = ( u + u + + u n ) / donde u = [u... u n ] T. Esta norma se denomina la norma- (o norma usual). Definición.. Sea (V, <, >) un espacio vectorial euclídeo/unitario y sean u, v V dos vectores de V. El ángulo entre u y v es el único número real ϕ [, π) tal que cosϕ = < u, v > u v. La definición anterior coincide con el concepto habitual de ángulo en R y R 3 cuando consideramos el producto escalar usual, como se muestra en el siguiente ejemplo. Ejemplo..3 Consideremos el plano R con el producto escalar usual y sean u, v dos vectores del plano. Sean ϕ u y ϕ v los ángulos (en el sentido habitual) que forman, respectivamente, u y v con el eje horizontal, y supongamos, sin pérdida de generalidad, que ϕ u ϕ v. y v ϕ u ϕ v ϕ u x Llamemos ϕ al ángulo (también en el sentido habitual) que forman los vectores u, v. Entonces ϕ = ϕ v ϕ u y, usando la identidad trigonométrica bien conocida del coseno de una diferencia, tenemos cos ϕ = cos(ϕ v ϕ u ) = cos ϕ v cos ϕ u + sen ϕ v sen ϕ u = v v u + v v u u u

11 . Definiciones y propiedades básicas 7 = u v + u v u v = < u, v > u v, por tanto ϕ es el ángulo entre u y v, tal y como se ha introducido en la Definición... Otro concepto importante es el de perpendicularidad, que definimos a continuación. Definición..4 Sea (V, <, >) un espacio vectorial euclídeo/unitario. ) Dos vectores u, v V son ortogonales (o perpendiculares) si < u, v >=. Lo denotaremos por u v. ) Un conjunto de vectores no nulos {u,..., u k } se dice ortogonal si u i u j para cualesquiera i, j con i j. 3) El subconjunto ortogonal de un subconjunto S de V es el conjunto S = {v V : < u, v >= u S}. Conviene señalar que, en virtud de la simetría/hermiticidad del producto escalar/hermítico, < u, v >= si y sólo si < v, u >= y, por tanto, podemos decir que u, v son perpendiculares sin tener en cuenta el orden en que se indican ambos vectores. Ejercicio..5 Demostrar que si S es un subconjunto cualquiera de un espacio vectorial euclídeo/unitario entonces S S = {}. Proposición..6 Sea (V, <, >) un espacio vectorial euclídeo/unitario sobre K y S un subconjunto cualquiera de V. Entonces el subconjunto ortogonal de S, S, es un subespacio vectorial de V. Demostración. Dados dos vectores v, v S, cualquier combinación lineal de ellos, αv + βv, con α, β K, satisface < u, αv + βv >= α < u, v > +β < u, v >= α + β =, para todo u S. Por tanto αv +βv S, lo que significa que S es un subespacio vectorial. Nótese que S siempre es un subespacio vectorial, aunque S no lo sea. En el caso de que el conjunto S sea un subespacio vectorial, la dimensión del subespacio ortogonal es complementaria a la de S. Lema..7 Sea (V, <, >) un espacio vectorial euclídeo/unitario de dimensión n y W un subespacio vectorial de V. Entonces dim W + dim W = n. En el siguiente ejercicio se pide demostrar que, en general, para comprobar si un vector está en un subespacio ortogonal no es necesario comprobar la ortogonalidad con todos los vectores del conjunto (que pueden ser infinitos). Concretamente, si partimos de un subespacio vectorial W, para saber si un vector cualquiera está en el subespacio ortogonal W es suficiente con que dicho vector sea ortogonal a un conjunto de generadores de W.

12 8. PRODUCTOS ESCALARES Ejercicio..8 Demostrar que si W es un subespacio vectorial entonces v W si y sólo si u es ortogonal a un conjunto de generadores de W. Por otra parte, los subconjuntos ortogonales tienen la siguiente propiedad Lema..9 Sea (V, <, >) un espacio vectorial euclídeo/unitario sobre K y {u,..., u k } un subconjunto ortogonal. Entonces {u,..., u k } es linealmente independiente. Demostración. Procederemos por reducción al absurdo. Supongamos, por tanto, que hay una relación de dependencia entre los vectores del conjunto ortogonal: α u + α u + + α k u k =, con α i, para algún i k. Multiplicando por u i la anterior expresión obtenemos < α u + α u α k u k, u i >= y, usando la linealidad en la primera componente, α < u, u i > +α < u, u i > α i < u i, u i > α k < u k, u i >=. Como {u,..., u k } es ortogonal, tenemos que < u j, u i >= para j i, luego la anterior identidad es equivalente a α i < u i, u i >=. Finalmente, como u i (los vectores de un conjunto ortogonal son, por definición, no nulos), se tiene que < u i, u i > (por el axioma i) del producto escalar), luego tiene que ser α i =, en contradicción con la hipótesis. La última definición de esta sección es el concepto de distancia entre dos vectores. Definición.. Sea (V, <, >) un espacio vectorial euclídeo/unitario y sean u, v dos vectores de V. La distancia entre u y v es el número real no negativo d(u, v) = u v. Nótese que d(u, v) = d(v, u) y que d(u, v) = u = v. Expresión matricial en una base Sea (V, <, >) un espacio vectorial euclídeo/unitario de dimensión n y B = {u,..., u n } una base de V. Vamos a encontrar una expresión matricial para el producto escalar de dos vectores cualesquiera expresados en esa base. Sean, por tanto, v, w dos vectores de V cuyas coordenadas en la base B son v = v. v n, w = w. w n, es decir v = v u v n u n, w = w u w n u n.

13 . Bases ortogonales y ortonormales. Método de Gram-Schmidt 9 (Nótese que v i, w i, para i =,..., n son números, mientras que u i, para i =,..., n, son vectores). Usando la bilinealidad n n n n n n < v, w >=< v i u i, w j u j >= v i < u i, w j u j >= v i w j < u i, u j > i= j= = i= j= n v i w j < u i, u j >, i,j= que, matricialmente, se puede expresar así < u, u > < u, u >... < u, u n > < v, w >= [ ] < u, u > < u, u >... < u, u n > v... v n... < u n, u > < u n, u >... < u n, u n > donde G B = = v G B w, i= < u, u > < u, u >... < u, u n > < u, u > < u, u >... < u, u n >... < u n, u > < u n, u >... < u n, u n > se conoce como la matriz de Gram del producto escalar <, > en la base B.. Bases ortogonales y ortonormales. Método de Gram-Schmidt A largo de este apartado (V, <, >) es un espacio vectorial euclídeo/unitario. Una base ortogonal de V es una base de V formada por vectores ortogonales. Si, además, los vectores son unitarios, diremos que forman una base ortonormal. Lo que vamos a ver a continuación es que todo espacio vectorial euclídeo/unitario (o cualquier subespacio vectorial de ese espacio) tiene, al menos, una base ortonormal. Más aún, veremos un procedimiento para obtener una base ortogonal/ortonormal a partir de una base cualquiera del espacio (o subespacio). El procedimiento que estudiaremos es el que se conoce con el nombre de ortogonalización de Gram-Schmidt. Algoritmo : Ortogonalización de Gram-Schmidt Entrada: {v, v,..., v n } conjunto de n vectores. Salida: {u, u,..., u n } conjunto de n vectores ortogonales dos a dos. u = v u = v <u,v > <u,u > u. u k = v k ( ) <u,v k > <u,u > u <u k,v k > <u k,u k > u k j= w w. w n

14 . PRODUCTOS ESCALARES Las propiedades fundamentales del conjunto de vectores que produce el método anterior son las descritas en el siguiente teorema. Teorema.. El Algoritmo produce un conjunto de vectores ortogonales dos a dos y que satisfacen Gen(v,..., v k ) = Gen(u,..., u k ), k =,,..., n. (.) Más aún, el número de vectores linealmente independientes en el conjunto de partida {v, v,..., v n } coincide con el número de vectores no nulos del conjunto de salida {u, u,..., u n } (que, además, son linealmente independientes). En particular, si el conjunto de partida es linealmente independiente, entonces el Algoritmo produce un conjunto ortogonal de n vectores (no nulos). Demostración. Vamos a demostrar que los vectores que produce el Algoritmo son ortogonales dos a dos y que satisfacen la propiedad (.). Pospondremos para la Sección.3 la demostración acerca de la relación entre la independencia lineal del conjunto de partida y el número de vectores no nulos del conjunto de salida. Para demostrar (.) nótese, en primer lugar, que Gen(v,..., v k ) Gen(u,..., u k ), para k =,..., n, pues v k Gen(u,..., u k ) (basta despejar v k en la expresión correspondiente a u k en el Algoritmo ). La inclusión opuesta, Gen(v,..., v k ) Gen(u,..., u k ), se puede obtener fácilmente por inducción: para k = es obvia, pues u = v. Si la suponemos cierta para k, tenemos que u k Gen{v k, u,..., u k } Gen{v k, v,..., v k } (donde la hipótesis de inducción se ha usado en esta última inclusión). Veamos ahora que los vectores del conjunto de salida son ortogonales dos a dos. Lo que vamos a ver, por inducción sobre k, es que el vector u k producido en el paso k-ésimo es ortogonal a todos los vectores anteriores, u,..., u k. El caso inicial es para k =. En este caso tenemos que < u, u >=< v < u, v > < u, u > u, u >=< v, u > < v, u > < u, u > < u, u >=. (Para obtener la última igualdad hemos usado los axiomas del producto escalar). Supongamos ahora que u i u j, para i, j =,..., k con i j (hipótesis de inducción). Entonces, para j k tenemos que k < u k, u j >=< v k i= < u i, v k > < u i, u i > u k i, u j >=< v k, u j > =< v k, u j > < v k, u j >=, i= < v k, u i > < u i, u i > < u i, u j > donde, en la última igualdad hemos usado la hipótesis de inducción < u i, u j >= para i =,..., k, i j. Esto demuestra que el conjunto {u,..., u n } es ortogonal. Observación.. Si eliminamos los vectores nulos producidos en el proceso de Gram-Schmidt, obtendremos una base ortogonal del espacio generado por los vectores de partida {v, v,..., v n }.

15 . Bases ortogonales y ortonormales. Método de Gram-Schmidt Para obtener una base ortonormal tenemos el siguiente algoritmo, donde en cada paso se normalizan los vectores u i que se obtienen en el Algoritmo con el fin de obtener unos nuevos vectores unitarios, que llamaremos q i. Algoritmo : Ortonormalización de Gram-Schmidt Entrada: {v, v,..., v n } conjunto de n vectores. Salida: {q, q,..., q n } conjunto de n vectores unitarios (o nulos) ortogonales dos a dos. u = v, q = u u u = v < q, v > q, q = u u. u k = v k (< q, v k > q < q k, v k > q k ), q k = u k u k Por supuesto, tenemos el resultado análogo al Teorema.., cuya demostración es exactamente la misma, pues el hecho de que los vectores q i son unitarios es evidente. Teorema..3 El Algoritmo produce un conjunto de vectores unitarios que son ortogonales dos a dos y que satisfacen Gen(v,..., v k ) = Gen(q,..., q k ), k =,,..., n. (.) Más aún, el número de vectores linealmente independientes en el conjunto de partida {v, v,..., v n } coincide con el número de vectores no nulos del conjunto de salida {q, q,..., q n } (que, además, son linealmente independientes). En particular, si el conjunto de partida es linealmente independiente, entonces el Algoritmo produce un conjunto ortonormal de n vectores (no nulos). Es importante observar que a la hora de normalizar suelen aparecer raíces cuadradas que no estaban presentes en los vectores de partida. Por tanto, si se quiere calcular una base ortonormal y se van a hacer los cálculos a mano, lo más práctico para evitar cálculos engorrosos con raíces cuadradas es obtener una base ortogonal con el Algoritmo y después normalizarla (es decir, normalizar cada vector). La única diferencia entre el Algoritmo y este procedimiento es que en el primer caso los vectores se normalizan en cada paso, mientras que en el segundo se normalizan todos al final. Esto significa, en particular, que los vectores u i que se obtienen en ambos casos son exactamente los mismos. Ejercicio..4 Demostrar que los vectores u j que se obtienen al aplicar el Algoritmo y los que se obtienen al aplicar el Algoritmo son exactamente los mismos si en ambos casos se parte del mismo conjunto de vectores {v,..., v n }. Problema Resuelto..5 Calcular una base ortonormal, con el producto escalar usual, del subespacio de R 4 generado por los vectores v =, v = 3, v 3 = 4 6.

16 . PRODUCTOS ESCALARES Solución. Obtendremos la base ortonormal de las dos maneras descritas anteriormente: la primera aplicando el Algoritmo y normalizando los vectores al final y la segunda aplicando el Algoritmo. Primera forma: Primero aplicamos el Algoritmo al conjunto {v, v, v 3 }. u = v = u = v <u,v > <u,u > u = u 3 = v 3 <u,v 3 > <u,u > u <u,v 3 > <u,u > u = 4 6 = Ahora normalizamos los vectores u, u y u 3 para obtener la base ortonormal B = 6, 6, 3 5. Segunda forma: Aplicamos el Algoritmo al conjunto {v, v, v 3 }. u = v =, q = u u = 6 u = v < q, v >= u 3 = v 3 < q, v 3 > q < q, v 3 > q = = = 6, q 3 = u 3 u 3 = 3 6 = 5, q = u u = 6 La base que obtenemos, B = {q, q, q 3 }, es la misma que en procedimiento anterior. Más aún, como ya hemos comentado, los vectores u i que se obtienen en cada paso son los mismos en ambos procedimientos. 5..

17 .3 Proyecciones ortogonales 3.3 Proyecciones ortogonales El concepto de proyección ortogonal ya es conocido. Por ejemplo, en el Bachillerato se estudian las proyecciones de un punto o un vector sobre una recta o un plano. La generalización al concepto de proyección ortogonal de un vector sobre un subespacio vectorial cualquiera es el objeto del siguiente Teorema. Teorema.3. (de la proyección ortogonal) Sean (V, <, >) un espacio vectorial euclídeo/ unitario, W un subespacio vectorial de V y v un vector de V. Entonces existe un único vector, llamado proyección de v sobre W, que denotaremos por proy W (v), tal que i) proy W (v) W. ii) v proy W (v) W. El Teorema.3. permite descomponer el vector v, de manera única, en la forma v = proy W (v) + v, (.3) donde proy W (v) es un vector de W y v es un vector perpendicular a W. v v W proy W (v) La igualdad (.3) se conoce como la descomposición ortogonal de v en W. Nótese que, en el caso particular en que v W, se tiene que proy W (v) = v y v =, mientras que si v W entonces proy W (v) = y v = v. Observación.3. No hay que confundir v con {v} ó Gen(v). En el primer caso se trata del vector v proy W (v), que depende del subespacio W, mientras que en el segundo caso se trata del subespacio ortogonal al (subespacio generado por el) vector v. Demostración. (del Teorema.3.) La siguiente demostración es constructiva, es decir, daremos una fórmula para construir el vector proy W (v). El procedimiento es el siguiente. Sea B = {u,..., u k } una base ortogonal de W. Entonces, el vector proy W (v) = < u, v > < u, u > u + < u, v > < u, u > u < u k, v > < u k, u k > u k (.4) satisface las propiedades i) y ii) del enunciado. Veámoslo. La condición i) es inmediata, porque el vector definido en (.4) es una combinación lineal de vectores de W.

18 4. PRODUCTOS ESCALARES Para demostrar la propiedad ii) será suficiente, en virtud del Ejercicio..8, demostrar que el vector v proy W (v) es ortogonal a los vectores de la base B. Fijémonos en un índice cualquiera j {,..., k}. Para este índice se tiene < v proy W (v), u j >=< v k i= < u i, v > < u i, u i > u i, u j >=< v, u j > Como B es un conjunto ortogonal, lo anterior es igual a < v, u j > < v, u j > < u j, u j > < u j, u j >=< v, u j > < v, u j >=, k i= < v, u i > < u i, u i > < u i, u j >. lo que significa que v proy W (v) es ortogonal a cualquier vector de B. Finalmente, vamos a demostrar que la descomposición (.3) es única. Por supuesto, la fórmula (.4) está únivocamente definida, pero podría existir otra proyección dada por otra fórmula o, incluso, bases distintas podrían dar lugar a proyecciones distintas. Supongamos que hay dos descomposiciones distintas v = v + v, v = v + v, donde v, v son vectores de W y v, v son vectores de W. Entonces, de la igualdad v + v = v + v se obtiene que v v = v v. El vector v v es un vector de W, mientras que v v lo es de W. Como ambos son el mismo, se trata de un vector en W W. En virtud del Ejercicio..5, dicho vector ha de ser el vector nulo. Por tanto v = v y v = v, lo que significa que la descomposición es única. En el siguiente cuadro conclusivo se resume el procedimiento que acabamos de ver para calcular la proyección ortogonal. Cálculo de proy W (v). Calcular una base ortogonal de W : B = {u,..., u k }. Aplicar la fórmula: proy W (v) = < u, v > < u, u > u < u k, v > < u k, u k > u k Es importante destacar que la base B ha de ser ortogonal, pues la fórmula anterior no es válida si B no es ortogonal (véase la demostración del Teorema.3., en qué momento se usa que la base es ortogonal?). Ejercicio.3.3 Comprobar, con un ejemplo, que la fórmula (.4) no es válida si la base no es ortogonal (Indicación: Por ejemplo, en R 3 considérese el plano horizontal z = y una base de dicho plano que no sea ortogonal. Aplíquese la fórmula (.4) para esa base y un vector v cualquiera de R 3 y compruébese que el vector que resulta no es la proyección ortogonal de v sobre el plano).

19 .3 Proyecciones ortogonales 5 Las proyecciones ortogonales permiten obtener una interpretación geométrica del proceso de ortogonalización de Gram-Schmidt, lo que ayudará a recordarlo más fácilmente. Para obtener esta interpretación, denotaremos por V j = Gen(v,..., v j ) al subespacio vectorial generado por los primeros j vectores del conjunto de partida (véase el Algoritmo ). Los vectores u j del nuevo conjunto que nos porporciona el Algoritmo están dados por u j = v j proy Vj (v j ). Es decir, el vector u j que proporciona el método de Gram-Schmidt en el paso j-ésimo es el vector que anteriormente hemos denotado por vj, y que, como hemos visto, cumple es decir, u j es ortogonal a u,..., u j. v j V j = Gen(u,..., u j ), Problema Resuelto.3.4 Calcular la proyección ortogonal del vector v = [ 3 ] T sobre el subespacio vectorial de R 4 del Problema Resuelto..5. Solución. Llamemos W al subespacio vectorial del Problema Resuelto..5. Como ya hemos calculado en dicho problema una base ortogonal de W, podemos aplicar directamente la fórmula (.4) proy W (v) = < u, v > < u, u > u + < u, v > < u, u > u + < u 3, v > < u 3, u 3 > u 3 = = /5 /5 + 6 Para terminar este apartado, vamos a demostrar la parte que ha quedado pendiente del enunciado de los Teoremas.. y..3, es decir, que el número de vectores linealmente independientes del conjunto {v,..., v n } coincide con el número de vectores no nulos del conjunto {u,..., u n } que produce el Algoritmo y del conjunto {q,..., q n } que produce el Algoritmo. Supongamos que, para algún k {,..., n}, tenemos que. v k Gen(v,..., v k ) = Gen(u,..., u k ) = Gen(q,..., q k ) Entonces (siguiendo la notación anterior) u k = v k proy Vk (v k ) = v k, y, como v k Gen(v,..., v k ), se tiene que u k = y, por tanto, q k =. A la inversa, si q k =, para algún subíndice k {,..., n}, entonces también u k = y eso significa que vk =, es decir, v k Gen(v,..., v k ). Así pues u k = q k = v k Gen(v,..., v k )

20 6. PRODUCTOS ESCALARES Expresión matricial de la proyección ortogonal En el espacio vectorial K n con el producto escalar usual, si Q = [ q... q k ] es una matriz cuyas columnas son una base ortonormal de W, entonces la fórmula (.4) es equivalente a la expresión matricial proy W (v) = QQ v Por este motivo, la matriz QQ se conoce como matriz de proyección (sobre el espacio generado por las columnas de Q)..4 Factorización QR En este apartado vamos a aplicar el método de ortonormalización de Gram-Schmidt al espacio de columnas de una matriz dada, A. En primer lugar, trataremos el caso en que todas las columnas de A son linealmente independientes, lo que nos permite tomar dichas columnas como base del espacio col(a). Después estudiaremos el caso en que las columnas no son linealmente independientes. Antes de comenzar, fijaremos la siguiente definición. Definición.4. Diremos que una matriz U C n m (respectivamente, P R n m ) tiene columnas ortonormales si U U = I m (resp. P T P = I m ). Nótese que la definición anterior equivale a decir que las columnas de U (resp. P ) forman un conjunto ortonormal con respecto al producto escalar usual. Es importante destacar que una matriz de tamaño n m con m > n no puede tener columnas ortonormales, pues eso supondría que existe un conjunto ortogonal (y, por lo tanto, linealmente independiente) de m vectores en C n (resp. R n ), lo cual es imposible si m > n. Por tanto, para que la Definición.4. tenga sentido es necesario que n m. Por otra parte, también es importante tener en cuenta que la igualdad U U = I m no implica necesariamente la igualdad UU = I n. De hecho, como hemos visto en el párrafo anterior, esto último no puede ocurrir si n > m. Únicamente en el caso cuadrado, n = m, la igualdad U U = I n sí que implica UU = I n y, además, en este caso, U = U. Este caso será tratado en el Tema. Recordamos la siguiente definición, que será utilizada en lo sucesivo. Definición.4. Una matriz T C n m se dice triangular superior si T (i, j) = para todo i > j, y se dice triangular inferior si T (i, j) = para todo i < j. Una matriz D C n m es diagonal si D(i, j) = para todo i j. Obsérvese que una matriz diagonal no es necesariamente cuadrada y que, por otro lado, una matriz es diagonal si y sólo si es triangular inferior y superior al mismo tiempo. Ahora ya podemos enunciar el resultado fundamental de este apartado. Teorema.4.3 (Factorización QR) Dada una matriz A C n m, con n m, existen dos matrices Q y R (que dependen de A) de manera que y A = QR

21 .4 Factorización QR 7 i) Q C n m tiene columnas ortonormales (Q Q = I m ). ii) R C m m es triangular superior con entradas diagonales no negativas. Si, además, las columnas de A son linealmente independientes entonces R puede tomarse con todos sus elementos diagonales reales positivos (es decir, R(i, i) >, para todo i =,..., m). Si A R n m entonces tanto Q como R pueden tomarse con entradas reales y Q T Q = I m. Demostración. Expresemos A = [ a... ] a m, con ai C n. Si aplicamos el Algoritmo a las columnas de A, obtenemos u = a, q = u u u k = a k (< q, a k > q < q k, a k > q k ), q k = u k u k, k =,..., m. De aquí despejamos el vector a k para obtener a k =< q, a k > q < q k, a k > q k + u j q k. Así pues, si definimos la matriz R cuya entrada (i, j) es { < qi, a R(i, j) = j >, i j u i, i = j, tenemos que A = QR, donde, si A tiene columnas linealmente independientes, entonces la matriz Q = [ ] q... q m tiene columnas ortonormales, la matriz R es triangular superior (y cuadrada de tamaño m m) y R(i, i) = u i >. Analicemos ahora el caso en que las columnas de A no son linealmente independientes. Como ya hemos visto al final de la Sección.3, a k Gen(a,..., a k ) si y sólo si q k =. Supongamos que el rango de A es r, lo que significa que A tiene un total de m r columnas linealmente dependientes. Por tanto, hay un total de m r vectores q i que son nulos. El procedimiento para hallar la factorización QR de A en este caso es el siguiente. Una vez concluído el Algoritmo, los vectores ortonormales no nulos que hemos obtenido, q i,..., q ir, se completan hasta obtener un conjunto ortonormal de C n de m vectores, q i,..., q ir, q j,..., q jm r. Ahora, los vectores nulos se van sustituyendo por los vectores nuevos (los denotados por q j ). Por ejemplo, si el primer vector nulo es q s = entonces tendremos la sucesión q, q,..., q s, q j,.... Procedemos de esta manera hasta completar el total de m vectores. Si Q = [ ] q... q m es la matriz obtenida por el Algoritmo (incluyendo las columnas nulas) y Q es la matriz que se obtiene al sustituir las columnas nulas por los vectores q j, entonces QR = QR. La justificación de esta identidad es la siguiente. Si q s = es uno de los vectores nulos, entonces < q s, a i >=, para todo i =,..., m, lo que significa que la s-ésima fila de R en nula y, por lo tanto, al cambiar q s por otro vector (en particular, un vector q j ) el producto por la matriz R no varía (nótese que, en el producto QR las entradas de la s-ésima fila de R multiplican a las de la columna s-ésima de Q).

22 8. PRODUCTOS ESCALARES Finalmente, si la matriz A tiene entradas reales, entonces tanto las coordenadas de los vectores q i, como los coficientes que produce el Algoritmo son números reales. La demostración del Teorema.4.3 nos muestra que la factorización QR de A se puede obtener mediante el Algoritmo aplicado a los vectores columna de A. Este procedimiento nos da, en realidad, UNA factorización QR, porque la factorización QR de una matriz dada NO ES ÚNICA en general. No obstante, hay un caso particular en el que sí podemos afirmar que es única. Este caso es el objeto del siguiente ejercicio. Ejercicio.4.4 Demostrar que si n = m y A es invertible, entonces la factorización QR de A es única. (Indicación: suponer, por reducción al absurdo, que hay dos factorizaciones distintas de A = QR = Q R y deducir, usando que A es invertible, que Q = Q y R = R ). A continuación, vamos a ver dos ejercicios resueltos en los que se pide calcular la factorización QR de una matriz A. En el primero de ellos la matriz A tiene columnas linealmente independientes, mientras que en el segundo no. Problema Resuelto.4.5 Hallar la factorización QR de A = Solución. Aplicamos el Algoritmo a las columnas de la matriz A (que denotaremos por a, a, a 3 ). u = a, q = a a = 6 u = a < a, q > q = 3 = 3 4, q = u u = 4 u 3 = a 3 < a 3, q > q < a 3, q > q = q 3 = u 3 u 3 = Ahora despejamos los vectores a i en las expresiones anteriores: a = a q a =< a, q > q + u q a 3 =< a 3, q > q + < a 3, q > q + u 3 q 3, 4 = , lo que, expresado matricialmente, nos da la factorización QR de A A =

23 .4 Factorización QR 9 Problema Resuelto.4.6 Hallar la factorización QR de la matriz A = 3. Solución. Aplicamos el Algoritmo al conjunto de las columnas de A (que denotamos a, a, a 3, a 4 ). u = a, q = a a = 3 u = a < a, q > q = 9 = , q = u u = u 3 = a 3 < a 3, q > q < a 3, q > q = =, q 3 = u 3 u 3 = u 4 = a 4 < a 4, q > q < a 4, q > q < a 4, q 3 > q 3 = = = 5 5, q 4 = u 4 u 4 = Como q 3 = debemos substituir el vector q 3 por otro vector, q 3, de manera que el conjunto {q, q, q 3, q 4 } sea ortonormal. Para hallar un vector unitario que sea ortogonal a

24 . PRODUCTOS ESCALARES [ Gen(q, q, q 4 ) ] = Gen{u, u, u 4 } resolvemos el sistema homogéneo U T x =, donde U = u u u 4. Para ello pasamos la matriz del sistema, U T, a su forma escalonada reducida U T = A partir de aquí se obtiene de forma inmediata una solución 4 3 ũ 3 =, q 3 = ũ3 ũ 3 = 35 3 /3 4/3 /3 / Ahora despejamos los vectores a i en las expresiones de la página anterior: a = a q a =< a, q > q + u q a 3 =< a 3, q > q + < a 3, q > q + u 3 q 3 =< a 3, q > q + < a 3, q > q + q 3 a 4 =< a 4, q > q + < a 4, q > q + < a 4, q 3 > q 3 + u 4 q 4 =< a 4, q > q + < a 4, q > q + q 3 + u 4 q 4. Sustituyendo los coeficientes y expresando matricialmente las igualdades anteriores llegamos a la siguiente factorización QR de A A = Factorización QR completa y factorización QR reducida La factorización QR completa de A K n m (con n m) consiste en añadir a la matriz Q de la factorización QR (que, a partir de ahora, llamaremos factorización QR reducida) un total de n m columnas de modo que la matriz resultante, Q c, tenga un total de n columnas ortonormales. La matriz Q c es, por tanto, cuadrada n n, invertible y con todas sus columnas ortonormales. Estas matrices se llaman unitarias. Tienen una gran importancia y serán objeto de estudio en el Capítulo. Pero la factorización QR completa no consiste sólo en alterar la matriz Q pues, en tal caso, no se podría hacer el producto de la nueva matriz Q c con la antigua matriz R. Para que las dimensiones permitan hacer el producto, la matriz R también se modifica añadiéndole un total de n m filas nulas en las mismas posiciones en que se han añadido las columnas a la matriz Q (lo natural es hacerlo al final en ambas matrices). De esta manera, se obtiene una nueva matriz R c de modo que el producto de las dos nuevas matrices es el mismo que el de las dos matrices antiguas, es decir A = QR = Q c R c.

25 .4 Factorización QR La relación entre la QR completa y la QR reducida de A está descrita gráficamente en la siguiente figura. = Q R A Q c R c Aplicación de la factorización QR a la resolución de sistemas lineales La factorización QR puede aplicarse a la resolución del sistema lineal Ax = b, (.5) donde A K n m y b K n, de la siguiente manera. Dada la factorización QR de A, A = QR, el sistema (.5) es equivalente al sistema (QR)x = b Rx = Q b. El último sistema Rx = Q b es un sistema escalonado (la matriz R es triangular superior) y, por lo tanto, fácil y rápido de resolver. Así pues, tenemos el siguiente método para resolver el sistema (.5). Resolución de Ax = b usando QR. Calcular una factorización QR de A: A = QR.. Calcular y = Q b. 3. Resolver Rx = y (en x). Cálculo de la factorización QR con Matlab El comando Matlab que calcula la factorización QR completa de una matriz A es qr(a) mientras que el comando que da la factorización QR reducida es qr(a,). Para obtener las dos matrices Q y R escribiremos [q r]=qr(a) ó [q r]=qr(a,) (por supuesto, habiendo introducido previamente la matriz A) y el programa nos devolverá dos matrices: una matriz q, que es la matriz Q, y una segunda matriz, r, que es la matriz R. Para más información se puede introducir la orden help qr. Ejemplo.4.7 La factorización QR de la matriz A del Problema Resuelto.4.5 se obtiene en Matlab introduciendo la siguiente secuencia: primero introducimos la matriz A y después el comando qr(a). >>A=[ ; - ; ]; >>[q r]=qr(a)

26 . PRODUCTOS ESCALARES q= r= En este caso, al ser A una matriz cuadrada, la factorización QR reducida coincide con la factorización QR completa. Para la matriz del Problema Resuelto.4.6 tenemos >>A=[ ; - ;- 3 ; ; ]; >>[q r]=qr(a) q= r= La factorización QR reducida es >>[q r]=qr(a,) q= r= Es importante observar que las matrices que nos da el programa Matlab son las mismas que hemos obtenido anteriormente en el Problema Resuelto.4.5 excepto por algunos cambios de signo. Esto se debe a que el programa Matlab no calcula necesariamente la matriz R que

27 .4 Factorización QR 3 tiene todas sus entradas diagonales no negativas (obsérvese que hay, efectivamente, entradas diagonales negativas en la matriz R). Para obtener la factorización QR que hemos estudiado (es decir, con las entradas diagonales de R no negativas) a partir de la que nos da el programa Matlab procederemos de la siguiente manera. Denotaremos por QR a la factorización que da el programa Matlab y por Q R a la factorización que queremos encontrar (en la que las entradas diagonales de R son nonegativas). Como es habitual, q i denota a la columna i-ésima de Q, y R(i, j) a la entrada (i, j) de R. Supongamos que R(i, i) <. Entonces, tendremos que cambiar de signo esta entrada, es decir: R(i, i) = R(i, i). Este cambio implica un cambio de signo en la columna q i, es decir: q i = q i. Pero, ahora, este nuevo cambio tiene consecuencia en los siguientes pasos (recuérdese el método de Gram-Schmidt) en los que aparece la columna q i. Concretamente, ésta aparece multiplicada por las entradas de la i-ésima fila de R. Por tanto, hay que cambiar de signo esta fila, es decir: R(i, j) = R(i, j), j = i +,..., m. En resumen: Por cada entrada R(i, i) < de R hay que cambiar de signo: La i-ésima fila de R. La i-ésima columna de Q. Interpretación matricial: Lo que estamos haciendo en el procedimiento anterior es multiplicar la Q y la R por la matriz diagonal ± S =..., ± m m donde el signo de la i-ésima entrada diagonal es (+) si R(i, i) y ( ) si R(i, i) <. Claramente S = I m, por lo que A = QR = (QS)(SR) de manera que, con la notación anterior, Q = QS y R = SR. Recuérdese que multiplicar a la derecha es hacer operaciones con las columnas de una matriz, mientras que multiplicar a la izquierda es hacerlo con las filas. Eso significa que QS cambia de signo las columnas de Q y SR cambia de signo las filas de R. Esta interpretación matricial nos permite generalizar el procedimiento anterior al caso complejo, en el que algunas de las entradas diagonales de R son números complejos no reales. En este caso, haríamos lo siguiente: A = QR = (QT )(T R),

28 4. PRODUCTOS ESCALARES donde T = R(,) R(,)... R(m,m) R(m,m) m m, T = R(,) R(,)... R(m,m) R(m,m) m m, de modo que T T = I m, y tomaríamos Q = QT, R = T R. Por supuesto, este último procedimiento incluye el anterior de las entradas negativas ya que, en ese caso R(i, i)/ R(i, i) = ± = R(i, i) /R(i, i). Finalmente, observemos que la factorización QR que da Matlab en el caso del Problema Resuelto.4.6 es distinta de la que nosotros estudiamos (aparte de los signos). Este ejemplo demuestra que, en el caso de que las columnas de A no sean linealmente independientes, la factorización QR de A no es única..5 Problemas de mínimos cuadrados Sean A C n m, b C n y x C m un vector de incógnitas. Supongamos que el sistema lineal Ax = b, (.6) no tiene solución. En esta situación es natural buscar un vector, x, que sea lo más parecido a una solución. Naturalmente que lo primero que hay que concretar es qué entendemos por lo más parecido. Para ello usamos el concepto de distancia que hemos introducido en la Definición... Concretamente: dos vectores serán parecidos si su distancia es pequeña (diremos, en este caso, que ambos vectores son próximos). Así pues, para el sistema lineal (.6) razonamos de la siguiente manera: si x es un vector próximo a una solución de (.6) entonces A x es próximo al vector b o, lo que es igual, A x b es próximo al vector C n. Eso significa, en virtud de la Definición.., que la norma de A x b es pequeña. Así pues, nuestro problema es el siguiente: Gráficamente, la situación es: Minimizar : A x b, para x C m. b col(a) El vector b no está en el espacio col(a), y por eso el sistema (.6) no tiene solución. Si llamamos b = A x, entonces b col(a), y el problema se puede plantear así:

29 .5 Problemas de mínimos cuadrados 5 Encontrar el vector de col(a), b, más próximo a b. En general, si en lugar del espacio col(a) consideramos un subespacio vectorial cualquiera, llegamos a la siguiente definición. Definición.5. Sea K n con el producto escalar usual y la norma asociada. Dado un subespacio vectorial W y un vector cualquiera v K n, la mejor aproximación de W a v en sentido de mínimos cuadrados es el vector v tal que v v = ínf w W v w. La distancia de v a W, que denotaremos por d(v, W ), es el número real d(v, W ) = d(v, v). El siguiente Teorema nos dice que la mejor aproximación de W a v está dada por la proyección ortogonal de v sobre W. Teorema.5. (Solución al problema de mínimos cuadrados) La mejor aproximación de W a v en el sentido de mínimos cuadrados es el vector v = proy W (v). El resultado del Teorema.5. no debe resultar sorprendente. En realidad, ya conocemos un caso particular de dicho teorema: la distancia de un punto a una recta. Como ya sabemos, la distancia de un punto P a una recta r se define como la menor distancia de P a cualquier punto de r, y está dada por la distancia de P a P, donde P es la proyección ortogonal de P sobre r. En virtud del Teorema.5., el procedimiento estándar para hallar la solución al problema de mínimos cuadrados consiste en calcular la proyección de v sobre W. Recordemos que para ello necesitamos calcular una base ortogonal de W, lo que en general es un procedimiento muy costoso si se calcula a mano. A continuación, vamos a estudiar un procedimiento menos costoso, que no requiere el cálculo de una base ortogonal para obtener la proyección. Las ecuaciones normales En este apartado W es un subespacio vectorial de V, del que conocemos una base B = {v,..., v k } (no necesariamente ortogonal) y v es un vector cualquiera de V. Recordemos que el vector v = v proy W (v) es ortogonal a W. Si expresamos la proyección ortogonal en la base B proy W (v) = x v x k v k entonces, para cada j =,..., k, tenemos que < v j, v k x i v i >=, i= lo que equivale a < v j, v >= k x i < v j, v i >. i=

30 6. PRODUCTOS ESCALARES La igualdad anterior se expresa matricialmente de la siguiente manera G { }} { < v, v >... < v, v k > < v, v >... < v, v k >.. < v k, v >... < v k, v k > x x. x k = < v, v > < v, v >. < v k, v > Si V = K n y el producto escalar <, > es el producto escalar usual, la igualdad matricial anterior se puede expresar en la forma o bien. A Ax = A v (.7) Gx = A v, donde A = [ v... v k ] es la matriz cuyas columnas son los vectores de la base B y G es la matriz de Gram del producto escalar <, > en la base B, que hemos definido al final de la Sección.. Las ecuaciones (.7) se conocen con el nombre de ecuaciones normales para las coordenadas de la proyección y sólo involucran a los vectores de la base B (ordenados por columnas en la matriz A) y al vector v. Si G = A A es invertible, podemos despejar x en (.7) para obtener la siguiente fórmula de la proyección ortogonal en función de una base cualquiera (no necesariamente ortogonal) de W proy W (v) = A(A A) A v (.8) La pregunta que queda por resolver es: cuándo la matriz A A es invertible? El siguiente resultado nos proporciona una condición suficiente. Lema.5.3 Si las columnas de A son linealmente independientes entonces la matriz A A es invertible. Por lo tanto, si partimos de una base B = {v,..., v k } cualquiera de W, la matriz A A es invertible, porque las columnas de A son linealmente independientes. En este caso, la fórmula (.8) nos permite calcular la proyección de v sobre W sin necesidad de ortogonalizar B. Resumimos este procedimiento alternativo para el cálculo de la proyección ortogonal (con el producto escalar usual) en el siguiente cuadro Cálculo de proy W (v) (con el producto escalar usual). Calcular una base de W : B = {v,..., v k }. Construir la matriz A = [ v... v k ] 3. Aplicar la fórmula: proy W (v) = A(A A) A v

31 .5 Problemas de mínimos cuadrados 7 Mínimos cuadrados usando la factorización QR En el caso en que las columnas de la matriz A = [ v... v k ] sean linealmente independientes (en otras palabras, cuando los vectores v,..., v k formen una base de W ), podemos usar la factorización QR de A para hallar una fórmula más elemental de la proyección ortogonal sobre W. Por la propiedad iv) del Lema.., que veremos más adelante, tenemos que A = R Q, luego A(A A) A = QR(R Q QR) R Q = QR(R R) R Q, y, dado que R es también invertible (pues lo es A), la anterior expresión se simplifica a QQ. Por lo tanto, nos queda la fórmula elemental proy W (v) = QQ v Esta fórmula es la misma que hemos obtenido al final de la Sección.3, pues las columnas de Q son una base ortonormal del espacio de columnas de A. Hay que destacar que la simplicidad de la fórmula anterior se basa en las propiedades de la matriz Q, cuyo cálculo equivale al cálculo de una base ortogonal de W. Dicho cálculo es costoso si se hace a mano pero, por el contrario, la matriz Q (y la factorización QR) se pueden obtener de una manera rápida y precisa con el programa Matlab. La solución que ofrece el programa mediante este procedimiento es mucho más precisa que si se resuelve el problema (con el mismo programa) usando las ecuaciones normales. Solución de Ax = b por mínimos cuadrados El Teorema.5. nos dice que b = proycol(a) (b) es la mejor aproximación de col(a) al vector b. Por tanto, para resolver (.6) por mínimos cuadrados debemos resolver A x = b. (.9) Este sistema tiene solución porque b col(a), pero la solución puede no ser única. En este apartado nos interesa el caso en el que hay solución única. En la Sección 3. estudiaremos un método para el cálculo de la solución óptima cuando hay más de una solución. Recordamos el siguiente resultado de Álgebra elemental que es clave para nuestro problema. Teorema.5.4 La solución del sistema lineal (.9) es única si y sólo si la matriz de coeficientes A tiene columnas linealmente independientes. En el caso de que las columnas de A sean linealmente independientes, en virtud del Lema.5.3, la matriz A A es invertible y, por tanto, la solución por mínimos cuadrados del sistema (.6) es la solución del sistema A x = A(A A) A b.

32 8. PRODUCTOS ESCALARES Si multiplicamos en ambos términos a la izquierda por A obtenemos Así pues, hemos llegado al siguiente resultado. A A x = A b. Teorema.5.5 Si la matriz A tiene columnas linealmente independientes entonces el sistema lineal (.6) tiene solución única por mínimos cuadrados y dicha solución, x, es la solución del sistema lineal (A A) x = A b. Problema Resuelto.5.6 Calcular la proyección ortogonal del vector v = [ ] T sobre el plano Π x y + z = y usar dicha proyección para resolver, por mínimos cuadrados, el sistema lineal x + 3y = x + y =. y = Solución. Para calcular la proyección ortogonal usaremos la fórmula (.8), para lo que necesitamos una base del plano Π. El vector normal al plano es n = [ ] T, por lo que una base del plano estará formada por dos vectores perpediculares a n. Podemos tomar, por ejemplo, los vectores que determinan los coeficientes del sistema del enunciado, lo que nos da la matriz 3 A =. Ahora, aplicando la fórmula (.8) proy Π (v) = A(A A) A v = v = /3 /3 /3 El vector v no pertenece al plano Π, por lo que el sistema lineal no tiene solución. Como las columnas de A son linealmente independientes, la solución por mínimos cuadrados es única y coincide con la solución, x, del sistema A x = proy Π (v) = /3 /3 /3 Dicha solución se obtiene fácilmente escalonando la matriz A y es [ ] /3 x =. /3..