Álgebra Lineal Ma1010

Álgebra Lineal Ma1010 Mínimos Cuadrados Departamento de Matemáticas ITESM Mínimos Cuadrados Álgebra Lineal - p. 1/34

En esta sección veremos cómo se trabaja un sistema inconsistente. Esta situación es muy frecuente en el ajuste de datos a un modelo matemático: cuando se tiene un conjunto de datos y un modelo con parámetros a ajustar se conduce a un sistema de ecuaciones que rara vez tiene solución. Entonces, lo que procede es encontrar los valores de los parámetros que mejor ajustan el modelo a los datos. Primero veremos el concepto de error al asumir una sustitución como si fuera solución a un sistema de ecuaciones. Posteriormente veremos el procedimiento para encontrar la solución que minimiza el error cuadrático. Por último, veremos algunas aplicaciones del método de mínimos cuadrados a ajuste de modelos. s Mínimos Cuadrados Álgebra Lineal - p. 2/34

Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). s Mínimos Cuadrados Álgebra Lineal - p. 3/34

Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o s Mínimos Cuadrados Álgebra Lineal - p. 3/34

Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o Un vector x se dice solución de mínimos cuadrados de Ax = b s Mínimos Cuadrados Álgebra Lineal - p. 3/34

Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o Un vector x se dice solución de mínimos cuadrados de Ax = b si x es tal que minimiza el error cuadrático entre todos los vectores en R n. s Note que el error no se mide contra la solución que de momento no se tiene y que posiblemente no exista. Se mide en el efecto de si al sustituirla en la ecuación da b y qué tal lejos quedó de b. Mínimos Cuadrados Álgebra Lineal - p. 3/34

Determine el error de cuadrático cometido por x = x o = (1,2) como solución del sistema: 1 2 2 1 3 3 x = 1 2 3 s Mínimos Cuadrados Álgebra Lineal - p. 4/34

Determine el error de cuadrático cometido por x = x o = (1,2) como solución del sistema: 1 2 2 1 3 3 x = 1 2 3 s Solución Directo de la definción: xo = 1 2 3 1 2 2 1 3 3 1 2 = 1 2 3 5 0 9 = ( 4) 2 +(2) 2 +( 12) 2 = 2 41 Mínimos Cuadrados Álgebra Lineal - p. 4/34

Las figuras 1 y 2 muestran loc cálculos realizados en la TI. s Figura 1: 1: Captura de datos. Mínimos Cuadrados Álgebra Lineal - p. 5/34

Mínimos Cuadrados y Proyección Ortogonal El siguiente resultado indica que efectivamente existe solución al problema de mínimos cuadrados y lo que la solución representa. Teorema Para cualquier matriz A m n y cualquier vector m b existe una solución x de mínimos cuadrados para s Ax = b. Además, si b pr es la proyección ortogonal de b sobre el espacio generado por las columnas de A, entonces A x = b pr Mínimos Cuadrados Álgebra Lineal - p. 6/34

La figura 3 pretende ilustrar el teorema anterior. Bajo el supuesto de Ax = b inconsistente, el vector b está fuera de C(A). La proyección de b sobre C(A) simbolizada por b pr es el elemento de C(A) lo más cercano posible a b. El vector b b pr resulta perpendicular a todo C(A). Mínimos cuadrados no resuelve Ax = b, sino Ax = b pr. Claro, el problema ahora es calcular b pr. s Figura 3: La proyección de b sobre C(A). Mínimos Cuadrados Álgebra Lineal - p. 7/34

El siguiente resultado indica lo que debe satisfacer la solución al problema de mínimos cuadrados y da el método para obtenerla. Teorema x es una solución por mínimos cuadrados de s Ax = b si y sólo si x es una solución de las ecuaciones normales: A T A x = A T b Mínimos Cuadrados Álgebra Lineal - p. 8/34

El sistema anterior, podría tener infinitas soluciones en algunos casos. El siguiente teorema indica las circunstancias en las cuales es única la solución al problema y cómo determinar la solución de mínimos cuadrados. Teorema s A tendrá columnas linealmente independientes si y sólo si A T A es invertible. En este caso, la solución por mínimos cuadrados es única y puede calcularse con x = (A T A) 1 A T b Mínimos Cuadrados Álgebra Lineal - p. 9/34

El siguiente resultado da el método que usan los profesionales para resolver el problema de mínimos cuadrados a partir una factorización QR de la matriz de coeficientes. Teorema Si A es una matriz de m n con columnas linealmente independientes, y si A = QR es una factorización QR, la única solución x de Ax = b por mínimos cuadrados se expresa teóricamente con s x = R 1 Q T b y puede calcularse resolviendo el sistema R x = Q T b Mínimos Cuadrados Álgebra Lineal - p. 10/34

de Solución Resuelva el siguiente problema de mínimos cuadrados y calcule el error de mínimos cuadrados para el sistema: 1 1 1 2 1 3 [ x 1 x 2 ] = 2 4 3 s Mínimos Cuadrados Álgebra Lineal - p. 11/34

Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: 1 1 1 1 2 3 1 1 1 2 1 3 x = 1 1 1 1 2 3 2 4 3 s Mínimos Cuadrados Álgebra Lineal - p. 12/34

Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: 1 1 1 1 2 3 1 1 1 2 1 3 x = 1 1 1 1 2 3 2 4 3 s quedando las ecuaciones normales 3 6 x = 6 14 9 19 Mínimos Cuadrados Álgebra Lineal - p. 12/34

Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: 1 1 1 1 2 3 1 1 1 2 1 3 x = 1 1 1 1 2 3 2 4 3 s quedando las ecuaciones normales 3 6 x = 6 14 9 19 formando la matriz aumentada y reduciendo: 3 6 9 1 0 2 6 14 19 0 1 1/2 Mínimos Cuadrados Álgebra Lineal - p. 12/34

La solución del sistema normal es la solución por mínimos cuadrados: x = 2 1 2 s Mínimos Cuadrados Álgebra Lineal - p. 13/34

La solución del sistema normal es la solución por mínimos cuadrados: x = 2 1 2 cuyo error de mínimos cuadrados es: = b A x = = 1 2 1 1 2 = 6 2 2 4 3 1 1 1 2 1 3 2 1 2 s Mínimos Cuadrados Álgebra Lineal - p. 13/34

s Figura 4: 2: Captura de datos. Figura 5: 2: solución por mínimos cuadrados usando Mínimos Cuadrados Álgebra Lineal - p. 14/34

Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. En la práctica, el conjunto de datos es grande y variado y no existe un modelo matemático que se ajuste perfectamente a los datos encontrados s Mínimos Cuadrados Álgebra Lineal - p. 15/34

Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. En la práctica, el conjunto de datos es grande y variado y no existe un modelo matemático que se ajuste perfectamente a los datos encontrados y lo que se hace es determinar las constantes del modelo que minimizan el error cuadrático datos-modelo. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

s modelado Determina la recta de mínimos cuadrados para el porcentaje de calificaciones por encima del 80 que ha reunido el profesor de álgebra lineal. Además, calcule el porcentaje esperado después del décimo semestre. Semestre 1 2 3 4 5 6 Porcentaje 0.20 0.25 0.20 0.35 0.45 0.40 s e 1 e 2 e 3 e 4 e 5 e 6 -(0,0)(-0.1,-0.1)(7,0.5) Meta: Encontrar un modelo que minimice el error total E total = 6 i=1 e i 2 Mínimos Cuadrados Álgebra Lineal - p. 16/34

En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b s Mínimos Cuadrados Álgebra Lineal - p. 17/34

En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. s Mínimos Cuadrados Álgebra Lineal - p. 17/34

En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. s Mínimos Cuadrados Álgebra Lineal - p. 17/34

En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. Es importante observar que nuestras incógitas son las constantes del modelo no las variables: las variables tomarán sus valores de los datos muestreados s Mínimos Cuadrados Álgebra Lineal - p. 17/34

En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. Es importante observar que nuestras incógitas son las constantes del modelo no las variables: las variables tomarán sus valores de los datos muestreados Así, el primer dato (semestre=1, porcentaje de calificación=0.20) se convierte en la ecuación: s m (semestre 1)+b = porcentaje 0.20 es decir b+m = 0.20 Mínimos Cuadrados Álgebra Lineal - p. 17/34

El segundo dato (semestre=2, porcentaje de calificación=0.25) se convierte en la ecuación: m(2)+b = 0.25, es decir: b+2m = 0.25 s Mínimos Cuadrados Álgebra Lineal - p. 18/34

El segundo dato (semestre=2, porcentaje de calificación=0.25) se convierte en la ecuación: m(2)+b = 0.25, es decir: b+2m = 0.25 El tercer dato (semestre=3, porcentaje de calificación=0.20) se convierte en la ecuación: s m(3)+b = 0.20, es decir: b+3m = 0.20 Mínimos Cuadrados Álgebra Lineal - p. 18/34

El segundo dato (semestre=2, porcentaje de calificación=0.25) se convierte en la ecuación: m(2)+b = 0.25, es decir: b+2m = 0.25 El tercer dato (semestre=3, porcentaje de calificación=0.20) se convierte en la ecuación: s m(3)+b = 0.20, es decir: b+3m = 0.20 El cuarto dato (semestre=4, porcentaje de calificación=0.35) se convierte en la ecuación: m(4)+b = 0.35, es decir: b+4m = 0.35 Mínimos Cuadrados Álgebra Lineal - p. 18/34

Continuando con este proceso nos lleva el sistema de ecuaciones: b+1m = 0.20 b+2m = 0.25 b+3m = 0.20 b+4m = 0.35 b+5m = 0.45 b+6m = 0.40 s Mínimos Cuadrados Álgebra Lineal - p. 19/34

Continuando con este proceso nos lleva el sistema de ecuaciones: b+1m = 0.20 b+2m = 0.25 b+3m = 0.20 b+4m = 0.35 b+5m = 0.45 b+6m = 0.40 s Este sistema se escribe en la notación matricial [ ] b A = b m Mínimos Cuadrados Álgebra Lineal - p. 19/34

Siendo A = 1 1 1 2 1 3 1 4 1 5 1 6,b = 0.20 0.25 0.20 0.35 0.45 0.40 s Mínimos Cuadrados Álgebra Lineal - p. 20/34

Por tanto, A T A = [ 1 1 1 1 1 1 1 2 3 4 5 6 ] 1 1 1 2 1 3 1 4 1 5 1 6 = [ 6 21 21 91 s ] Mínimos Cuadrados Álgebra Lineal - p. 21/34

y A T b = [ 1 1 1 1 1 1 1 2 3 4 5 6 ] 0.20 0.25 0.20 0.35 0.45 0.40 = [ 1.85 7.35 ] s Mínimos Cuadrados Álgebra Lineal - p. 22/34

y A T b = [ 1 1 1 1 1 1 1 2 3 4 5 6 ] 0.20 0.25 0.20 0.35 0.45 0.40 = [ 1.85 7.35 ] s Así, las ecuaciones normales son [ ][ ] [ 6 21 b 1.85 = 21 91 m 7.35 ] Mínimos Cuadrados Álgebra Lineal - p. 22/34

Resolviendo este sistema [ ] 6 21 1.85 21 91 7.35 [ 1 0 0.13333 0 1 0.05 ] s Mínimos Cuadrados Álgebra Lineal - p. 23/34

Resolviendo este sistema [ ] 6 21 1.85 21 91 7.35 [ 1 0 0.13333 0 1 0.05 ] s Por consiguiente, m = 0.05 y b = 0.13333. Mínimos Cuadrados Álgebra Lineal - p. 23/34

Resolviendo este sistema [ ] 6 21 1.85 21 91 7.35 [ 1 0 0.13333 0 1 0.05 ] s Por consiguiente, m = 0.05 y b = 0.13333. De manera que la recta es y = 0.13333+0.05x Mínimos Cuadrados Álgebra Lineal - p. 23/34

Resolviendo este sistema [ ] 6 21 1.85 21 91 7.35 [ 1 0 0.13333 0 1 0.05 ] s Por consiguiente, m = 0.05 y b = 0.13333. De manera que la recta es y = 0.13333+0.05x Para x = 10 se obtiene y = 0.13333+0.05 10 = 0.63333. Mínimos Cuadrados Álgebra Lineal - p. 23/34

Resolviendo este sistema [ ] 6 21 1.85 21 91 7.35 [ 1 0 0.13333 0 1 0.05 ] s Por consiguiente, m = 0.05 y b = 0.13333. De manera que la recta es y = 0.13333+0.05x Para x = 10 se obtiene y = 0.13333+0.05 10 = 0.63333. Esto significa que más o menos esperaríamos 63.3 % de calificaciones estarían por encima del 80 en el décimo semestre, si continúa esta tendencia de calificaciones. Mínimos Cuadrados Álgebra Lineal - p. 23/34

s Figura 6: 3: Captura de datos. Mínimos Cuadrados Álgebra Lineal - p. 24/34

Encuentre la ecuación de la recta y = mx+b que se ajusta mejor, en el sentido de mínimos cuadrados, a los datos de la siguiente tabla: x 40 481 45 466 50 453 55 435 60 420 Hint: Forme el sistema para m y b sustituyendo los puntos en el modelo, por ejemplo al sustituir el primer punto queda la ecuación : y s 40m+b = 481 Mínimos Cuadrados Álgebra Lineal - p. 25/34

Solución Convirtiendo cada dato en ecuación, obtenemos el sistema: 40m+b = 481 45m+b = 466 s 50m+b = 453 55m+b = 435 60m+b = 420 Mínimos Cuadrados Álgebra Lineal - p. 26/34

Solución Convirtiendo cada dato en ecuación, obtenemos el sistema: 40m+b = 481 45m+b = 466 50m+b = 453 55m+b = 435 60m+b = 420 s Así, el sistema queda Ax = b con A = 40 1 45 1 50 1 55 1 60 1 y b = 481 466 453 435 420 Mínimos Cuadrados Álgebra Lineal - p. 26/34

Así A T A = 12750 250 250 5 y A T b = 111985 2255 Por tanto, las ecuaciones normales quedan: A T A x = A T 12750 250 b x = 111985 250 5 2255 s Al formar la aumentada y reducir obtenemos: 12750 250 111985 1 0 3.06 250 5 2255 0 1 604.0 De donde m = 3.06 y b = 604.0. Por tanto, el modelo del mínimo error cuadrático es: y = 3.06x+604.0 Mínimos Cuadrados Álgebra Lineal - p. 27/34

Una población de conejos en una gran isla se estimó desde 1981 hasta 1984 y se obtuvieron los datos: año N s 1981 2960 1982 4540 1983 8080 1984 17060 Se espera que los datos se ajusten a una función exponencial N(t) = N o e k(t 1981) Use el método de mínimos cuadrados para hacer este ajuste. Usando esto determine la población en 1985. Hint: Tome logaritmos para convertir el ajuste a un modelo lineal. Mínimos Cuadrados Álgebra Lineal - p. 28/34

Solución Tomando logaritmo natural al modelo propuesto N(t) = N o e k(t 1981) tenemos: ln(n) = k(t 1981)+ln(N o ) s Si y = ln(n) y b = ln(n o ) el modelo buscado es: y = k(t 1981)+b siendo los parámetros incógnitas k y b. Al añadir a la tabla de datos la columna ln(n) queda: año N ln(n) 1981 2960 7.992944547 1982 4540 8.420682291 1983 8080 8.997147152 1984 17060 9.744491821 Mínimos Cuadrados Álgebra Lineal - p. 29/34

Al sustituir los datos en el modelo, obtenemos las ecuaciones: 0k +b = 7.992944547 1k +b = 8.420682291 2k +b = 8.997147152 3k +b = 9.744491821 s Así, el sistema tiene la forma Ax = b con 0 1 7.992944547 1 1 8.420682291 A = y b = 2 1 8.997147152 3 1 9.744491821 Mínimos Cuadrados Álgebra Lineal - p. 30/34

De donde: A T A = 14 6 6 4 y A T b = 55.64845205 35.15526581 Por tanto, la matriz aumentada de las ecuaciones normales y su reducción quedan 14 6 55.64845205 6 4 35.15526581 1 0 0.583110664 0 1 7.914150457 s Concluimos que k = 0.583110664 y N o = e b = e 7.914150457 = 2735.72143. Por tanto, el modelo que minimiza el error cuadrático bajo el logaritmo natural es: N(t) 2735.72143e.583110664(t 1981) Por tanto el estimado de la población para t = 1985 sería: N(1985) 2735.72143e.583110664(1985 1981) = 28186.35046 Mínimos Cuadrados Álgebra Lineal - p. 31/34

El problema puede hacerse también utilizando la factorización QR de A, estos cálculos se muestran en las figuras 8, 9 y 10. s Figura 8: 5: Captura de datos. Mínimos Cuadrados Álgebra Lineal - p. 32/34

En la figura 9 se ilustra cómo tomar el logaritmo natural a un vector columna. s Figura 9: 6: logaritmo de un vector y factorización QR. Mínimos Cuadrados Álgebra Lineal - p. 33/34

En la figura 10 se muestra la solución por mínimos cuadrados utilizando la factorización QR. s Figura 10: 6: solución de mínimos cuadrados por QR. Mínimos Cuadrados Álgebra Lineal - p. 34/34