Método de mínimo cuadrados (continuación)

Transcripción

1 Clase No. 10: Método de mínimo cuadrados (continuación) MAT 251 Dr. Alonso Ramírez Manzanares Depto. de Matemáticas Univ. de Guanajuato cimat.mx web: alram/met_num/ Dr. Joaquín Peña Acevedo CIMAT A.C. cimat.mx Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

2 Gradientes de formas lineales y cuadráticas Sean c, x R n, y A R n n. Queremos calcular (c x) y (x Ax). Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

3 Gradientes de formas lineales y cuadráticas Sean c, x R n, y A R n n. Queremos calcular (c x) y (x Ax). (c x) = c (x Ax) = (A + A )x De lo anterior se sigue que el gradiente del error es E(x) = Ax b 2 2 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

4 Gradientes de formas lineales y cuadráticas Sean c, x R n, y A R n n. Queremos calcular (c x) y (x Ax). (c x) = c (x Ax) = (A + A )x De lo anterior se sigue que el gradiente del error es E(x) = Ax b 2 2 E(x) = 2A Ax 2A b Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

5 Planteamiento general del caso lineal (I) Tenemos n parámetros q 1, q 2,..., q n. Para i = 1, 2,..., m, se quiere relacionar una combinación de valores (q i1, q i2,..., q in ) con una observación y i mediante un modelo lineal: y i = c 1 q i1 + + c n q in + ε i donde ε i es un error que tiene el modelo. Entonces n ε i = y i c j q ij j=1 Queremos calcular los coeficientes c j minimizando los errores ε i. Una manera es resolver el problema Si definimos 2 m m min cj E(c 1,..., c n ) = ε 2 n = i y i c j q ij i=1 i=1 j=1 1 j n Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

6 Planteamiento general del caso lineal (II) q 11 q 12 q 1n c 1 y 1 q 21 q 22 q 2n c 2 y 2 A = , c =., y =.. q m1 q m2 q mn c n y m Entonces ε 1 ε 2 ε =. ε m 1 j n y = Ac + ε m min cj E(c) = ε 2 = ε ε = (y Ac) (y Ac) i i=1 Calculamos el gradiente de E(c) y encontramos el vector c para el cual E(c) = 0. Se puede ver que la solución se obtiene resolviendo el sistema lineal A Ac = A y. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

7 Caso particular: Ajuste de una recta (I) Tenemos m puntos {(x i, y i )} y queremos hallar una recta que mejor los aproxime: Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

8 Caso particular: Ajuste de una recta (II) Esto es, queremos determinar la pendiente a y la ordenada al origen b tales que Si definimos y i = ax i + b + ε i, x 1 1 x 2 1 A = a., x =, y =. b x m 1 i = 1, 2,..., m Entonces ε = y Ax y podemos reescribir E(a, b) como y 1 ε 1 y 2 ε 2, ε =.. y m ε m m E(a, b) = ε 2 i i=1 = ε 2 = Ax y 2 E(a, b) = (Ax y) (Ax y) = (x A y )(Ax y) = x A Ax 2y Ax + y y Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

9 Caso particular: Ajuste de una recta (III) Entonces E = 0 = A Ax = A y Para nuestro ejemplo, tenemos que m = 50, por lo que A R Además, det A A = , por lo que el sistema tiene solución única: x = En realidad, los datos fueron generados tomando puntos sobre la recta con a = 3.0 y b = 1.5 y agregándoles ruido. En la siguiente gráfica se muestra en azul la recta obtenida por mínimos cuadrados Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

10 Caso particular: Ajuste de una recta (IV) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

11 Observación (I) Una sola observación atípica puede cambiar la solución del problema: Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

12 Observación (II) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

13 Observación (III) Para evitar esto, se puede agregar un peso w i > 0 a cada termino de la suma de cuadrados: E(a, b) = m w i (ax i + b y i ) 2 i=1 de modo que a los términos que introducen errores grandes se les da un menor peso. Esto nos lleva a un problema de mínimos cuadrados pesados. En el ejemplo, cuando todos los pesos son w i = 1, se tiene Si hacemos w 4 8 = 0.001, se obtiene a = , b = a = , b = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

14 Observación (IV) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

15 Lo que NO estamos haciendo No es que es estemos planteando resolver el sistema sobredeterminado Ac = y y para resolverlo multiplicamos por A ambos miembros de la ecuación. Lo que pasa es que el sistema puede ser inconsistente, por lo que puede que no exista c que cumpla la igualdad. Para el ejemplo inicial, tenemos que con se tiene un error a = , b = E(a, b) = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

16 Lo que SÍ estamos haciendo Notemos que el vector A y tiene las proyecciones de y sobre las columnas de la matriz A = [a 1 a 2 a n ]: a a 1 1 y A a y = 2 a y = 2 y.. a a n n y Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

17 Ajuste de datos 1D (I) Tenemos un conjunto de datos {(x k, y k )} m k=1. Queremos encontrar una función f (x) cuya gráfica pase cerca de los puntos dados x y x y Tenemos un conjunto de datos {(x k, y k )} m k=1. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

18 Ajuste de datos 1D (II) Queremos encontrar una función f (x) cuya gráfica pase cerca de los puntos dados x y x y Primero hay que decir a que nos referimos con "cerca". Lo podemos definir en el sentido de mínimos cuadrados: Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

19 Ajuste de datos 1D (III) Observaciones: 1 min f 2 m [ f (x k ) y k ] 2 (1) k=1 Si x k = x j para k = j, hay una infinidad de funciones cuya gráfica pasa por los por los puntos. Si existen k = j, tales que x k = x j y y k = y j, entonces no existe una función cuya gráfica pase por los puntos dados. Para simplificar el problema, podemos restringir el espacio de solución a cierto tipo de funciones: Sustituyendo en (1), tenemos f (x) = n α j ϕ j (x). (2) j=1 E = 1 m [f (x k ) y k ] 2 = 1 2 m n α j ϕ j (x k ) y k. 2 2 k=1 k=1 j=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

20 Ajuste de datos 1D (IV) Derivando respecto a α i, se tiene E α i = m n α j ϕ j (x k ) y k ϕ i (x k ). k=1 j=1 Para cada i, queremos los valores a j que hacen E = 0. Esto es α i n m m ϕ j (x k )ϕ i (x k ) α j = ϕ i (x k )y k. j=1 k=1 Para obtener directamente la expresión de la solución hay que notar que para cada i, se tiene que el error está dado por k=1 Si n ε i = f (x i ) y i = α j ϕ j (x i ) y i j=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

21 Ajuste de datos 1D (V) ϕ 1 (x 1 ) ϕ 2 (x 1 ) ϕ n (x 1 ) y 1 α 1 ϕ 1 (x 2 ) ϕ 2 (x 2 ) ϕ n (x 2 ) y 2 α 2 Φ = , y =, α =.,. ϕ 1 (x m ) ϕ 2 (x m ) ϕ n (x m ) y n α n el vector de errores se expresa como Queremos minimizar ε 1 ε =. = Φα y ε m E = ε 2 = ε ε = (Φα y) (Φα y) Calculamos el gradiente de E y lo igualamos a cero. Con esto obtenemos que el sistema lineal que hay que resolver para obtener la solución de mínimos cuadrados: Φ Φα = Φ y. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

22 Ajuste de datos 1D (VI) Sólo falta es seleccionar las funciones ϕ j (x). Por ejemplo, seleccionamos las funciones: ϕ j (x) = exp( γ(x c j ) 2 ) c(0, 1.1) γ = 5 γ = 1 c(0, 1) φ 1 φ 2 φ 3 φ 4 φ Ejemplos: c(a0, a1) c(a0 0.1, a ) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

23 Ajuste de datos 1D (VII) Para m = 80 puntos en los que x i [ 3, 2.5] y usando n = 6 funciones Gaussianas ϕ j (x) distribuidas con uniformemente es ese intervalo, se obtiene el siguiente resultado cuando no hay ruido en los datos: Si agregamos ruido a los datos, resolvemos el problema de mínimos cuadrados para encontrar α, y evaluamos la función f (x) resultante en el intervalo [ 3, 2.5] y obtenemos la curva roja. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22

24 Ajuste de datos 1D (VIII) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 22