Álgebra Lineal Ma1010

Transcripción

1 Álgebra Lineal Ma1010 Mínimos Cuadrados Departamento de Matemáticas ITESM Mínimos Cuadrados Álgebra Lineal - p. 1/34

2 En esta sección veremos cómo se trabaja un sistema inconsistente. Esta situación es muy frecuente en el ajuste de datos a un modelo matemático: cuando se tiene un conjunto de datos y un modelo con parámetros a ajustar se conduce a un sistema de ecuaciones que rara vez tiene solución. Entonces, lo que procede es encontrar los valores de los parámetros que mejor ajustan el modelo a los datos. Primero veremos el concepto de error al asumir una sustitución como si fuera solución a un sistema de ecuaciones. Posteriormente veremos el procedimiento para encontrar la solución que minimiza el error cuadrático. Por último, veremos algunas aplicaciones del método de mínimos cuadrados a ajuste de modelos. s Mínimos Cuadrados Álgebra Lineal - p. 2/34

3 Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). s Mínimos Cuadrados Álgebra Lineal - p. 3/34

4 Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o s Mínimos Cuadrados Álgebra Lineal - p. 3/34

5 Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o Un vector x se dice solución de mínimos cuadrados de Ax = b s Mínimos Cuadrados Álgebra Lineal - p. 3/34

6 Cuadrático Sea Ax = b un sistema de ecuaciones (A m n). El error cuadrático cometido al asumir la sustitución x = x o, simbolizado por xo se define por xo = b Ax o Un vector x se dice solución de mínimos cuadrados de Ax = b si x es tal que minimiza el error cuadrático entre todos los vectores en R n. s Note que el error no se mide contra la solución que de momento no se tiene y que posiblemente no exista. Se mide en el efecto de si al sustituirla en la ecuación da b y qué tal lejos quedó de b. Mínimos Cuadrados Álgebra Lineal - p. 3/34

7 Determine el error de cuadrático cometido por x = x o = (1,2) como solución del sistema: x = s Mínimos Cuadrados Álgebra Lineal - p. 4/34

8 Determine el error de cuadrático cometido por x = x o = (1,2) como solución del sistema: x = s Solución Directo de la definción: xo = = = ( 4) 2 +(2) 2 +( 12) 2 = 2 41 Mínimos Cuadrados Álgebra Lineal - p. 4/34

9 Las figuras 1 y 2 muestran loc cálculos realizados en la TI. s Figura 1: 1: Captura de datos. Mínimos Cuadrados Álgebra Lineal - p. 5/34

10 Mínimos Cuadrados y Proyección Ortogonal El siguiente resultado indica que efectivamente existe solución al problema de mínimos cuadrados y lo que la solución representa. Teorema Para cualquier matriz A m n y cualquier vector m b existe una solución x de mínimos cuadrados para s Ax = b. Además, si b pr es la proyección ortogonal de b sobre el espacio generado por las columnas de A, entonces A x = b pr Mínimos Cuadrados Álgebra Lineal - p. 6/34

11 La figura 3 pretende ilustrar el teorema anterior. Bajo el supuesto de Ax = b inconsistente, el vector b está fuera de C(A). La proyección de b sobre C(A) simbolizada por b pr es el elemento de C(A) lo más cercano posible a b. El vector b b pr resulta perpendicular a todo C(A). Mínimos cuadrados no resuelve Ax = b, sino Ax = b pr. Claro, el problema ahora es calcular b pr. s Figura 3: La proyección de b sobre C(A). Mínimos Cuadrados Álgebra Lineal - p. 7/34

12 El siguiente resultado indica lo que debe satisfacer la solución al problema de mínimos cuadrados y da el método para obtenerla. Teorema x es una solución por mínimos cuadrados de s Ax = b si y sólo si x es una solución de las ecuaciones normales: A T A x = A T b Mínimos Cuadrados Álgebra Lineal - p. 8/34

13 El sistema anterior, podría tener infinitas soluciones en algunos casos. El siguiente teorema indica las circunstancias en las cuales es única la solución al problema y cómo determinar la solución de mínimos cuadrados. Teorema s A tendrá columnas linealmente independientes si y sólo si A T A es invertible. En este caso, la solución por mínimos cuadrados es única y puede calcularse con x = (A T A) 1 A T b Mínimos Cuadrados Álgebra Lineal - p. 9/34

14 El siguiente resultado da el método que usan los profesionales para resolver el problema de mínimos cuadrados a partir una factorización QR de la matriz de coeficientes. Teorema Si A es una matriz de m n con columnas linealmente independientes, y si A = QR es una factorización QR, la única solución x de Ax = b por mínimos cuadrados se expresa teóricamente con s x = R 1 Q T b y puede calcularse resolviendo el sistema R x = Q T b Mínimos Cuadrados Álgebra Lineal - p. 10/34

15 de Solución Resuelva el siguiente problema de mínimos cuadrados y calcule el error de mínimos cuadrados para el sistema: [ x 1 x 2 ] = s Mínimos Cuadrados Álgebra Lineal - p. 11/34

16 Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: x = s Mínimos Cuadrados Álgebra Lineal - p. 12/34

17 Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: x = s quedando las ecuaciones normales 3 6 x = Mínimos Cuadrados Álgebra Lineal - p. 12/34

18 Solución Basta resolver las ecuaciones normales A T A x = A T b mutiplicando por A T por la izquierda ambos lados del sistema: x = s quedando las ecuaciones normales 3 6 x = formando la matriz aumentada y reduciendo: /2 Mínimos Cuadrados Álgebra Lineal - p. 12/34

19 La solución del sistema normal es la solución por mínimos cuadrados: x = s Mínimos Cuadrados Álgebra Lineal - p. 13/34

20 La solución del sistema normal es la solución por mínimos cuadrados: x = cuyo error de mínimos cuadrados es: = b A x = = = s Mínimos Cuadrados Álgebra Lineal - p. 13/34

21 s Figura 4: 2: Captura de datos. Figura 5: 2: solución por mínimos cuadrados usando Mínimos Cuadrados Álgebra Lineal - p. 14/34

22 Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

23 Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

24 Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

25 Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. En la práctica, el conjunto de datos es grande y variado y no existe un modelo matemático que se ajuste perfectamente a los datos encontrados s Mínimos Cuadrados Álgebra Lineal - p. 15/34

26 Aplicaciones de Mínimos Cuadrados Uno de los usos frecuentes de los mínimos cuadrados ocurre en el área de la modelación. El problema en general consiste en ajustar un conjunto de datos a un cierto modelo matemático. El modelo contiene ciertos parámetros constantes que deben determinarse para que éste se ajuste lo más posible al conjunto de datos muestreados. En la práctica, el conjunto de datos es grande y variado y no existe un modelo matemático que se ajuste perfectamente a los datos encontrados y lo que se hace es determinar las constantes del modelo que minimizan el error cuadrático datos-modelo. s Mínimos Cuadrados Álgebra Lineal - p. 15/34

27 s modelado Determina la recta de mínimos cuadrados para el porcentaje de calificaciones por encima del 80 que ha reunido el profesor de álgebra lineal. Además, calcule el porcentaje esperado después del décimo semestre. Semestre Porcentaje s e 1 e 2 e 3 e 4 e 5 e 6 -(0,0)(-0.1,-0.1)(7,0.5) Meta: Encontrar un modelo que minimice el error total E total = 6 i=1 e i 2 Mínimos Cuadrados Álgebra Lineal - p. 16/34

28 En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b s Mínimos Cuadrados Álgebra Lineal - p. 17/34

29 En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. s Mínimos Cuadrados Álgebra Lineal - p. 17/34

30 En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. s Mínimos Cuadrados Álgebra Lineal - p. 17/34

31 En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. Es importante observar que nuestras incógitas son las constantes del modelo no las variables: las variables tomarán sus valores de los datos muestreados s Mínimos Cuadrados Álgebra Lineal - p. 17/34

32 En este caso se desea ajustar los puntos proporcionados a un modelo lineal que en general tiene la forma: y = mx+b Los parámetros constantes a determinar en este modelo son m y b. Las variables en este modelo representan: x el semestre y y el porcentaje de calificaciones por encima del 80. Es importante observar que nuestras incógitas son las constantes del modelo no las variables: las variables tomarán sus valores de los datos muestreados Así, el primer dato (semestre=1, porcentaje de calificación=0.20) se convierte en la ecuación: s m (semestre 1)+b = porcentaje 0.20 es decir b+m = 0.20 Mínimos Cuadrados Álgebra Lineal - p. 17/34

33 El segundo dato (semestre=2, porcentaje de calificación=0.25) se convierte en la ecuación: m(2)+b = 0.25, es decir: b+2m = 0.25 s Mínimos Cuadrados Álgebra Lineal - p. 18/34

34 El segundo dato (semestre=2, porcentaje de calificación=0.25) se convierte en la ecuación: m(2)+b = 0.25, es decir: b+2m = 0.25 El tercer dato (semestre=3, porcentaje de calificación=0.20) se convierte en la ecuación: s m(3)+b = 0.20, es decir: b+3m = 0.20 Mínimos Cuadrados Álgebra Lineal - p. 18/34

35 El segundo dato (semestre=2, porcentaje de calificación=0.25) se convierte en la ecuación: m(2)+b = 0.25, es decir: b+2m = 0.25 El tercer dato (semestre=3, porcentaje de calificación=0.20) se convierte en la ecuación: s m(3)+b = 0.20, es decir: b+3m = 0.20 El cuarto dato (semestre=4, porcentaje de calificación=0.35) se convierte en la ecuación: m(4)+b = 0.35, es decir: b+4m = 0.35 Mínimos Cuadrados Álgebra Lineal - p. 18/34

36 Continuando con este proceso nos lleva el sistema de ecuaciones: b+1m = 0.20 b+2m = 0.25 b+3m = 0.20 b+4m = 0.35 b+5m = 0.45 b+6m = 0.40 s Mínimos Cuadrados Álgebra Lineal - p. 19/34

37 Continuando con este proceso nos lleva el sistema de ecuaciones: b+1m = 0.20 b+2m = 0.25 b+3m = 0.20 b+4m = 0.35 b+5m = 0.45 b+6m = 0.40 s Este sistema se escribe en la notación matricial [ ] b A = b m Mínimos Cuadrados Álgebra Lineal - p. 19/34

38 Siendo A = ,b = s Mínimos Cuadrados Álgebra Lineal - p. 20/34

39 Por tanto, A T A = [ ] = [ s ] Mínimos Cuadrados Álgebra Lineal - p. 21/34

40 y A T b = [ ] = [ ] s Mínimos Cuadrados Álgebra Lineal - p. 22/34

41 y A T b = [ ] = [ ] s Así, las ecuaciones normales son [ ][ ] [ 6 21 b 1.85 = m 7.35 ] Mínimos Cuadrados Álgebra Lineal - p. 22/34

42 Resolviendo este sistema [ ] [ ] s Mínimos Cuadrados Álgebra Lineal - p. 23/34

43 Resolviendo este sistema [ ] [ ] s Por consiguiente, m = 0.05 y b = Mínimos Cuadrados Álgebra Lineal - p. 23/34

44 Resolviendo este sistema [ ] [ ] s Por consiguiente, m = 0.05 y b = De manera que la recta es y = x Mínimos Cuadrados Álgebra Lineal - p. 23/34

45 Resolviendo este sistema [ ] [ ] s Por consiguiente, m = 0.05 y b = De manera que la recta es y = x Para x = 10 se obtiene y = = Mínimos Cuadrados Álgebra Lineal - p. 23/34

46 Resolviendo este sistema [ ] [ ] s Por consiguiente, m = 0.05 y b = De manera que la recta es y = x Para x = 10 se obtiene y = = Esto significa que más o menos esperaríamos 63.3 % de calificaciones estarían por encima del 80 en el décimo semestre, si continúa esta tendencia de calificaciones. Mínimos Cuadrados Álgebra Lineal - p. 23/34

47 s Figura 6: 3: Captura de datos. Mínimos Cuadrados Álgebra Lineal - p. 24/34

48 Encuentre la ecuación de la recta y = mx+b que se ajusta mejor, en el sentido de mínimos cuadrados, a los datos de la siguiente tabla: x Hint: Forme el sistema para m y b sustituyendo los puntos en el modelo, por ejemplo al sustituir el primer punto queda la ecuación : y s 40m+b = 481 Mínimos Cuadrados Álgebra Lineal - p. 25/34

49 Solución Convirtiendo cada dato en ecuación, obtenemos el sistema: 40m+b = m+b = 466 s 50m+b = m+b = m+b = 420 Mínimos Cuadrados Álgebra Lineal - p. 26/34

50 Solución Convirtiendo cada dato en ecuación, obtenemos el sistema: 40m+b = m+b = m+b = m+b = m+b = 420 s Así, el sistema queda Ax = b con A = y b = Mínimos Cuadrados Álgebra Lineal - p. 26/34

51 Así A T A = y A T b = Por tanto, las ecuaciones normales quedan: A T A x = A T b x = s Al formar la aumentada y reducir obtenemos: De donde m = 3.06 y b = Por tanto, el modelo del mínimo error cuadrático es: y = 3.06x Mínimos Cuadrados Álgebra Lineal - p. 27/34

52 Una población de conejos en una gran isla se estimó desde 1981 hasta 1984 y se obtuvieron los datos: año N s Se espera que los datos se ajusten a una función exponencial N(t) = N o e k(t 1981) Use el método de mínimos cuadrados para hacer este ajuste. Usando esto determine la población en Hint: Tome logaritmos para convertir el ajuste a un modelo lineal. Mínimos Cuadrados Álgebra Lineal - p. 28/34

53 Solución Tomando logaritmo natural al modelo propuesto N(t) = N o e k(t 1981) tenemos: ln(n) = k(t 1981)+ln(N o ) s Si y = ln(n) y b = ln(n o ) el modelo buscado es: y = k(t 1981)+b siendo los parámetros incógnitas k y b. Al añadir a la tabla de datos la columna ln(n) queda: año N ln(n) Mínimos Cuadrados Álgebra Lineal - p. 29/34

54 Al sustituir los datos en el modelo, obtenemos las ecuaciones: 0k +b = k +b = k +b = k +b = s Así, el sistema tiene la forma Ax = b con A = y b = Mínimos Cuadrados Álgebra Lineal - p. 30/34

55 De donde: A T A = y A T b = Por tanto, la matriz aumentada de las ecuaciones normales y su reducción quedan s Concluimos que k = y N o = e b = e = Por tanto, el modelo que minimiza el error cuadrático bajo el logaritmo natural es: N(t) e (t 1981) Por tanto el estimado de la población para t = 1985 sería: N(1985) e ( ) = Mínimos Cuadrados Álgebra Lineal - p. 31/34

56 El problema puede hacerse también utilizando la factorización QR de A, estos cálculos se muestran en las figuras 8, 9 y 10. s Figura 8: 5: Captura de datos. Mínimos Cuadrados Álgebra Lineal - p. 32/34

57 En la figura 9 se ilustra cómo tomar el logaritmo natural a un vector columna. s Figura 9: 6: logaritmo de un vector y factorización QR. Mínimos Cuadrados Álgebra Lineal - p. 33/34

58 En la figura 10 se muestra la solución por mínimos cuadrados utilizando la factorización QR. s Figura 10: 6: solución de mínimos cuadrados por QR. Mínimos Cuadrados Álgebra Lineal - p. 34/34