Sistemas sobredeterminados. Aproximación de cuadrados mínimos. Sistemas subdeterminados. Solución de mínima norma. Aplicaciones.

Transcripción

1 Méodos Numéricos 0 Prácica 3 Sisemas sobredeerminados. Aproximación de cuadrados mínimos. Sisemas subdeerminados. Solución de mínima norma. Aplicaciones. Resolución de sisemas sobredeerminados por cuadrados mínimos Consideremos el sisema Ax b con A R esricamene de rango colua compleo es decir m > n y las n coluas son linealmene independienes o sea el rango colua de A rank(a)n El sisema se dice sobredeerminado : hay más ecuaciones que incógnias. Si b Im( A) m n y R x R Ax y enonces la ecuación no iene solución. { } Un enfoque consise en resolver aproximadamene el siguiene problema: Se define el error o residuo r Ax b y se planea el problema: Hallar x x que minimiza r Ax b Tal solución x se llama solución aproximada de mínimos cuadrados. Inerpreación geomérica Ax Im( A) es el puno de la imagen más cercano a b. En oros érminos Ax es la proyección orogonal de b sobre el subespacio Im( A ). Solución aproximada de Cuadrados Mínimos Para hallar x resolvemos el problema de mínimo de la función r xaax bax + bb Se hace el gradiene respeco a x igual a cero x r AAx Ab 0 Obeniéndose las ecuaciones normales AAx Ab Las hipóesis sobre la mariz permien enconrar una única solución x ( AA) Ab

2 Observaciones La solución depende linealmene de b Si A es mariz cuadrada inversible x A b + Si b Ax es decir b Im( A) enonces ( x Ab AA) AAx x es solución exaca. + La mariz ( A AA) A que resuelve el problema aproximado se llama pseudoinversa de A + ( A A AA) AA I es decir que A + es una inversa a izquierda de A siempre que se cumplan las hipóesis sobre la mariz A. Por definición y Ax es el puno de Im( A ) más cercano a b o sea es la proyección orogonal de b sobre el subespacio Im( A ) y Ax b Im( A) Pr ( ) AAb + La proyección sobre la imagen de A es una función lineal de b que esá dada por la mariz AA + Principio de orogonalidad del residuo ópimo El residuo correspondiene a la solución es orogonal al subespacio Im( A ) Si ( Ax) r r Ax b Ax n x R es cualquiera enonces + xar xa( AAb b) xaa( AA) Ab xab 0 Cálculo de la solución de Mínimos Cuadrados. Hay varias formas de calcular ( x AA) Ab en Malab. Una de ellas es a parir de la fórmula xa *inv(a*a )*b; En ese caso si la mariz no iene rango compleo o bien m<n el sisema lanza un mensaje de error.ora forma de calcular sería con el operador de inversión a izquierda. xa\b; En el caso mn y rango compleo se obiene la inversa A b. Los resulados pueden diferir ligeramene con los calculados con la fórmula debido a redondeo, pero no serán noorios, a menos que las dimensiones m,n sean de varios cienos. Ora forma es con la pseudo-inversa xpinv(a)*b; + ( A AA) A que en Malab se expresa

3 Si la mariz no es flaca o cuadrada o no de rango compleo ese méodo devuelve sin aviso algo que no es la solución aproximada de mínimos cuadrados. La pseudo-inversa se define cuando la mariz no es de rango compleo pero no con la fórmula anerior. Finalmene, oro méodo que mencionaremos es con la facorización QR. 0 ( m n ) xn La facorización complea QR es A QR [ Q Q ] superior e inversible. [ ] Por lo ano QQ I n mxm Q Q Q R es orogonal. Q R Noemos que A QR + Q 0( m n ) xn QR La pseudo-inversa es enonces + R nxn donde R R es riangular Q R ( m n) xn A ( AA) A ( R Q QR) R Q R R R Q R Q, y la solución de cuadrados mínimos x R Q b La proyección orogonal sobre el subespacio Im( A ) esá dada por la mariz AA QRR Q QQ + Veamos que efecivamene x R Q b minimiza Ax b Como la muliplicación por una mariz orogonal no alera la norma enemos: R R [ ] x [ Q Q ] b 0 0 Ax b QAx Qb QQ x Q Q b Qb Rx Qb Rx Q b + 0 érmino Rx Qb 0 Q b El vecor residual correspondiene al ópimo es r QRR Qb b QQ I b ( m) QQ b que se hace mínima cuando se anula el primer

4 Q Im QQ Q Q + Noemos que [ ] QQ QQ Q QQ es el proyecor orogonal sobre el subespacio imagen Im( A ) QQ es el proyecor orogonal sobre el subespacio complemeno orogonal de la imagen Im( A) Ejercicios En Malab( Ocave,Scilab) la descomposición complea QR se obiene haciendo [Q,R]qr(A); Efecuar la descomposición en bloques con las submarices Q, Q, R verificando odas las propiedades e igualdades aneriormene demosradas. Calcular x, r y las marices de proyección. Comprobar que el vecor residual es orogonal a las coluas de A Para obener la facorización reducida se hace en Malab [Q,R]qr(A,0);

5 Solución de Mínima Norma de Sisemas Subdeerminados Consideremos el sisema Ax b donde A es una mariz gorda es decir A R con m < n por lo que hay más variables que ecuaciones x esa subdeerminado. Más de un vecor x iene la misma imagen Ax Supongamos que A iene rango compleo m En al caso eligiendo m coluas LI se puede hallar un vecor solución componenes de x que no corresponden a esas coluas. El conjuno de odas las posibles soluciones iene la forma: x p, anulando las S { x Ax b } { xp + z Az 0 } En Malab null(a) nos proporciona una base de vecores de Nu( A ) La solución paricular x p se llama solución básica ya que iene ceros en las coluas no linealmene independienes, o sea que no esán en la base. De alguna manera el vecor z del núcleo Nu( A ) caraceriza las posibles elecciones en la solución, ya se podría elegir un z con n m grados de liberad, en oros érminos la dimensión del espacio de soluciones es igual a la dimensión del Nu( A ). Dada esa liberad se podría imponer algún oro crierio para elegir la solución. La mariz AA es cuadrada mxm e inversible ya que su rango es rank(a)m Consideremos una solución paricular consruída asi: x A( AA) b enonces Ax AA( AA) b b Tal solución es la de mínima norma, es decir soluciona el problema de minimización min n Dem: x x R sujeo a la condición Ax b Si x es solución de Ax b enonces x x Nu( A) El produco escalar ( ) ( ) ( ) ( ( ))( x x x x x A AA b Ax x AA) b 0 Luego por raarse de vecores orogonales es: + + x x x x x x x x

6 Es decir que: x es la solución de mínima norma. x es orogonal al subespacio Nu( A ) 3 se podría inerprear a x como la proyección perpendicular del puno origen0 sobre el conjuno de soluciones S que no es más que la raslación del subespacio Nu( A ) por el vecor x S x + Nu( A) Definimos la mariz que nos da la solución de mínima norma A A( AA) se llama pseudo-inversa de la mariza en el caso que nos ocupa + A R con m < n y el rango colua de A exacamene igual a m ( mariz gorda de rango compleo ) Propiedades: AA + I es decir A + es una inversa a derecha de A I A + A proyeca sobre el Nu( A ) : + + A(( I A A) x) Ax AA Ax Ax Ax 0 Comparemos con la pseudo-inversa de una mariz flaca de rango compleo Es decir consideremos Ax b con A R m > n de rango colua compleo n Por lo ano AA esnxn y además inversible. La pseudo-inversa se define como la que proporciona la solución de cuadrados mínimos ( ) + A AA A Propiedades: + A A I luego A + es una inversa a izquierda de A AA + es la mariz que proyeca sobre el rango de A Cálculo de la solución de mínima norma En Malab podemos calcular la solución de mínima norma de varias maneras Si usamos la definición x A *inv(a*a )*b; ( ) x A AA b Se obiene un aviso de error si la mariz no verifica las condiciones de la definición. Ese méodo no es numéricamene el más aconsejable ya que si A esá mal condicionada enonces AA esá mucho peor condicionada.

7 Ejercicio Usando SVD mosrar porqué. A USV Se puede usar el operador pinv(a) que en ese caso nos devuelve la pseudo-inversa + A A AA siempre que sea gorda de rango m. ( ) La pseudo-inversa se define en el caso general de rango deficiene pero no por la anerior fórmula. xpinv(a)*b será lo que buscamos si se verifican las condiciones mencionadas. En caso conrario no hay aviso. 3 Tal vez el méodo más ransparene es el de la facorización QR de La facorización complea La mariz A QR con nxn Q R orogonal nxm R R A riangular superior. r r rm 0 r r m 0 0 r km R 0 0 rmm R mxm R donde R Rmxm es riangular superior inversible 0 ( n m ) xm nxm nx( n m) Q Q Q donde Q R Q R con QQ I m por ser orogonal se puede expresar en bloques y la mariz sus coluas son oronormales. Esa se llama facorización QR reducida. En Malab se invoca así [Q,R]qr(A,0); La facorización complea de A es [Q,R]qr(A ); R A QR Q Q QR + Q0 QR mxm Enonces mxm ( n m) xm 0( n m) xm

8 A QR( RQQR) QRR R QR donde + R R R ( ) ( ) Y la solución de mínima norma se obiene de la ecuación x Ab QR b + En Malab el operador \ de inversión a izquierda calcula el vecorr b asi: Si queremos calcular la solución del sisema inversible Ru b enemos u R b En Malab eso se puede hacer rápidamene dividiendo a izquierda con el operador \ y enemos ur \b y luego se muliplica por Q x Q*(R \b); Noemos que x R b Finalmene un méodo que NO FUNCIONA para calcular x es aplicar el operador \ al sisema Ax b en las condiciones mencionadas. Hacer xp A\b ; nos da una solución paricular que no necesariamene es la de mínima norma. Ejercicios Malab Verificar odos los desarrollos aneriores para un ejemplo : m;n4; A[ ]; b[0;] Problemas de aplicación x0 A R 0 b A i i i i i i Resolver el problema de mínima norma : 0 Hallar x R de mínima norma con la condición Ax b

9