Mínimos Cuadrados Departamento de Matemáticas, CCIR/ITESM 30 de junio de 011 Índice 4.1.Introducción............................................... 1 4..Error Cuadrático............................................ 1 4.3.Mínimos Cuadrados y Proyección Ortogonal............................. 4.4.Ejemplo de Solución.......................................... 3 4.5.Aplicaciones de Mínimos Cuadrados................................. 5 4.6.Ejemplos modelado........................................... 5 4.1. Introducción En esta sección veremos cómo se trabaja un sistema inconsistente. Esta situación es muy frecuente en el ajuste de datos a un modelo matemático: cuando se tiene un conjunto de datos y un modelo con parámetros a ajustar se conduce a un sistema de ecuaciones que rara vez tiene solución. Entonces, lo que procede es encontrar los valores de los parámetros que mejor ajustan el modelo a los datos. Primero veremos el concepto de error al asumir una sustitución como si fuera solución a un sistema de ecuaciones. Posteriormente veremos el procedimiento para encontrar la solución que minimiza el error cuadrático. Por último, veremos algunas aplicaciones del método de mínimos cuadrados a ajuste de modelos. 4.. Error Cuadrático Definición 4.1 Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o Un vector x se dice solución de mínimos cuadrados de Ax = b si x es tal que minimiza el error cuadrático entre todos los vectores en R n. Note que el error no se mide contra la solución que de momento no se tiene y que posiblemente no exista. Se mide en el efecto de si al sustituirla en la ecuación da b y qué tal lejos quedó de b. Ejemplo 4.1 Determine el error de cuadrático cometido por los vectores x = x o = (1,), x 1 = ( 1,), x = (1, 3) y x 3 = ( 1,1). como solución del sistema: 1 1 3 3 x = 1 3
Figura 1: Ejemplo 1: Captura de datos. Figura : Ejemplo 1: cálculo del error cuadrático. Solución Directo de la definción: xo = 1 3 1 1 3 3 ( 1 ) = = ( 4) +() +( 1) = 41 Las figuras 1 y muestran loc cálculos realizados en la TI. 4.3. Mínimos Cuadrados y Proyección Ortogonal 1 3 El siguiente resultado indica que efectivamente existe solución al problema de mínimos cuadrados y lo que la solución representa. Teorema Para cualquier matriz A m n y cualquier vector m b existe una solución x de mínimos cuadrados para Ax = b. Además, si b pr es la proyección ortogonal de b sobre el espacio generado por las columnas de A, entonces A x = b pr La figura 3 pretende ilustrar el teorema anterior. Bajo el supuesto de Ax = b inconsistente, el vector b está fuera de C(A). La proyección de b sobre C(A) simbolizada por b pr es el elemento de C(A) lo más cercano posible a b. El vector b b pr resulta perpendicular a todo C(A). Mínimos cuadrados no resuelve Ax = b, sino Ax = b pr. Claro, el problema ahora es calcular b pr. El siguiente resultado indica lo que debe satisfacer la solución al problema de mínimos cuadrados y da el método para obtenerla. Teorema 5 0 9
Figura 3: La proyección de b sobre C(A). x es una solución por mínimos cuadrados de Ax = b si y sólo si x es una solución de las ecuaciones normales: A T A x = A T b El sistema anterior, podría tener infinitas soluciones en algunos casos. El siguiente teorema indica las circunstancias en las cuales es única la solución al problema y cómo determinar la solución de mínimos cuadrados. Teorema A tendrá columnas linealmente independientes si y sólo si A T A es invertible. En este caso, la solución por mínimos cuadrados es única y puede calcularse con x = (A T A) 1 A T b En el teorema anterior, la matriz A A podría ser mal condicionada y ocasionar problemas numéricos. El siguiente resultado da el método que usan los profesionales para resolver el problema de mínimos cuadrados a partir una factorización QR de la matriz de coeficientes. Teorema Si A es una matriz de m n con columnas linealmente independientes, y si A = QR es una factorización QR, la única solución x de Ax = b por mínimos cuadrados se expresa teóricamente con x = R 1 Q T b y puede calcularse resolviendo el sistema 4.4. Ejemplo de Solución R x = Q T b Ejemplo 4. Resuelva el siguiente problema de mínimos cuadrados y calcule el error de mínimos cuadrados para el sistema: 1 1 1 1 3 [ x1 x 3 = 4 3
Figura 4: Ejemplo : Captura de datos. Figura 5: Ejemplo : solución por mínimos cuadrados usando QR.. Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: [ 1 1 [ 1 1 1 1 1 1 1 x = 4 1 3 1 3 1 3 3 quedando las ecuaciones normales [ 3 6 6 14 formando la matriz aumentada y reduciendo: [ 3 6 9 6 14 19 [ 9 x = 19 [ 1 0 0 1 1/ La solución del sistema normal es la solución por mínimos cuadrados: [ x = 1 cuyo error de mínimos cuadrados es: = b A x = 4 3 1 = 1 = 6 1 1 1 1 1 3 [ 1 El problema puede hacerse también utilizando la factorización QR de A, estos cálculos se muestran en las figuras 4 y 5. 4
4.5. Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. En la práctica, el conjunto de datos es grande y variado y no existe un modelo matemático que se ajuste perfectamente a los datos encontrados y lo que se hace es determinar las constantes del modelo que minimizan el error cuadrático datos-modelo. 4.6. Ejemplos modelado Veamos ahora algunos problemas de modelado mediante la técnica de mínimos cuadrados. Ejemplo 4.3 Determina la recta de mínimos cuadrados para el porcentaje de calificaciones por encima del 80 que ha reunido el profesor de álgebra lineal. Además, calcule el porcentaje esperado después del décimo semestre. Semestre 1 3 4 5 6 Porcentaje 0.0 0.5 0.0 0.35 0.45 0.40 e 1 e e 3 e 4 e 5 e 6 1 3 4 5 6 Meta: Encontrar un modelo que minimice el error total E total = 6 i=1 e i En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. Es importante observar que nuestras incógitas son las constantes del modelo no las variables: las variables tomarán sus valores de los datos muestreados Así, el primer dato (semestre=1, porcentaje de calificación=0.0) se convierte en la ecuación: m (semestre 1)+b = porcentaje 0.0 es decir b+m = 0.0 El segundo dato (semestre=, porcentaje de calificación=0.5) se convierte en la ecuación: m()+b = 0.5, es decir: b+m = 0.5 El tercer dato (semestre=3, porcentaje de calificación=0.0) se convierte en la ecuación: m(3)+b = 0.0, es decir: b+3m = 0.0 El cuarto dato (semestre=4, porcentaje de calificación=0.35) se convierte en la ecuación: m(4)+b = 0.35, es decir: b+4m = 0.35 5
Continuando con este proceso nos lleva el sistema de ecuaciones: Este sistema se escribe en la notación matricial Siendo Por tanto, y A T A = A T b = Así, las ecuaciones normales son A = b+1m = 0.0 b+m = 0.5 b+3m = 0.0 b+4m = 0.35 b+5m = 0.45 b+6m = 0.40 A [ b m 1 1 1 1 3 1 4 1 5 1 6 [ 1 1 1 1 1 1 1 3 4 5 6 [ 1 1 1 1 1 1 1 3 4 5 6 [ 6 1 1 91 Resolviendo este sistema [ 6 1 1.85 1 91 7.35 [ b m = b,b = = 1 1 1 1 3 1 4 1 5 1 6 0.0 0.5 0.0 0.35 0.45 0.40 0.0 0.5 0.0 0.35 0.45 0.40 [ 1.85 7.35 = = [ 1 0 0.13333 0 1 0.05 Por consiguiente, m = 0.05 y b = 0.13333. De manera que la recta es y = 0.13333+0.05x [ 6 1 1 91 [ 1.85 7.35 Para x = 10 se obtiene y = 0.13333 + 0.05 10 = 0.63333. Esto significa que más o menos esperaríamos 63.3% de calificaciones estarían por encima del 80 en el décimo semestre, si continúa esta tendencia de calificaciones. El problema puede hacerse también utilizando la factorización QR de A, estos cálculos se muestran en las figuras 6 y 7. 6
Figura 6: Ejemplo 3: Captura de datos. Figura 7: Ejemplo 3: solución por mínimos cuadrados usando QR. Ejemplo 4.4 Encuentre la ecuación de la recta y = mx+b que se ajusta mejor, en el sentido de mínimos cuadrados, a los datos de la siguiente tabla: x y 40 481 45 466 50 453 55 435 60 40 Hint: Forme el sistema para m y b sustituyendo los puntos en el modelo, por ejemplo al sustituir el primer punto queda la ecuación : 40m+b = 481 Solución Convirtiendo cada dato en ecuación, obtenemos el sistema: 40m+b = 481 45m+b = 466 50m+b = 453 55m+b = 435 60m+b = 40 Así, el sistema queda Ax = b con A = 40 1 45 1 50 1 55 1 60 1 y b = 481 466 453 435 40 7
Así A T A = Por tanto, las ecuaciones normales quedan: [ 1750 50 50 5 A T A x = A T b [ 1750 50 50 5 y A T b = ( 111985 55 ( 111985 x = 55 ) ) Al formar la aumentada y reducir obtenemos: [ 1750 50 111985 50 5 55 [ 1 0 3.06 0 1 604.0 De donde m = 3.06 y b = 604.0. Por tanto, el modelo del mínimo error cuadrático es: y = 3.06x+604.0 Ejemplo 4.5 Una población de conejos en una gran isla se estimó desde 1981 hasta 1984 y se obtuvieron los datos: año N 1981 960 198 4540 1983 8080 1984 17060 Se espera que los datos se ajusten a una función exponencial N(t) = N o e k(t 1981) Use el método de mínimos cuadrados para hacer este ajuste. Usando esto determine la población en 1985. Hint: Tome logaritmos para convertir el ajuste a un modelo lineal. Solución Tomando logaritmo natural al modelo propuesto N(t) = N o e k(t 1981) tenemos: Si y = ln(n) y b = ln(n o ) el modelo buscado es: ln(n) = k(t 1981)+ln(N o ) y = k(t 1981)+b siendo los parámetros incógnitas k y b. Al añadir a la tabla de datos la columna ln(n) queda: año N ln(n) 1981 960 7.99944547 198 4540 8.406891 1983 8080 8.99714715 1984 17060 9.74449181 Al sustituir los datos en el modelo, obtenemos las ecuaciones: 0k +b = 7.99944547 1k +b = 8.406891 k +b = 8.99714715 3k +b = 9.74449181 8
Figura 8: Ejemplo 5: Captura de datos. Figura 9: Ejemplo 6: logaritmo de un vector y factorización QR. Así, el sistema tiene la forma Ax = b con De donde: A = A T A = 0 1 1 1 1 3 1 [ 14 6 6 4 y b = y A T b = 7.99944547 8.406891 8.99714715 9.74449181 ( 55.6484505 35.1556581 Por tanto, la matriz aumentada de las ecuaciones normales y su reducción quedan [ [ 14 6 55.6484505 1 0 0.583110664 6 4 35.1556581 0 1 7.914150457 Concluimos que k = 0.583110664 y N o = e b = e 7.914150457 = 735.7143. Por tanto, el modelo que minimiza el error cuadrático bajo el logaritmo natural es: N(t) 735.7143e.583110664(t 1981) Por tanto el estimado de la población para t = 1985 sería: N(1985) 735.7143e.583110664(1985 1981) = 8186.35046 El problema puede hacerse también utilizando la factorización QR de A, estos cálculos se muestran en las figuras 8, 9 y 10. En la figura 9 se ilustra cómo tomar el logaritmo natural a un vector columna. En la figura 10 se muestra la solución por mínimos cuadrados utilizando la factorización QR. ) 9
Figura 10: Ejemplo 6: solución de mínimos cuadrados por QR. 10