Método de mínimos cuadrados (Continuación)

Transcripción

1 Clase No. 11: MAT 251 Método de mínimos cuadrados (Continuación) Dr. Alonso Ramírez Manzanares CIMAT A.C. cimat.mx web: alram/met_num/ Dr. Joaquín Peña Acevedo CIMAT A.C. cimat.mx Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

2 Gradientes de formas lineales y cuadráticas Sean c, x R n, y A R n n. Queremos calcular (c x) y (x Ax). Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

3 Gradientes de formas lineales y cuadráticas Sean c, x R n, y A R n n. Queremos calcular (c x) y (x Ax). (c x) = c (x Ax) = (A + A )x De lo anterior se sigue que el gradiente del error es E(x) = Ax b 2 2 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

4 Gradientes de formas lineales y cuadráticas Sean c, x R n, y A R n n. Queremos calcular (c x) y (x Ax). (c x) = c (x Ax) = (A + A )x De lo anterior se sigue que el gradiente del error es E(x) = Ax b 2 2 E(x) = 2A Ax 2A b Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

5 Caso particular: Ajuste de una recta (I) Tenemos m puntos {(x i, y i )} y queremos hallar una recta que mejor los aproxime: Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

6 Caso particular: Ajuste de una recta (II) Esto es, queremos determinar la pendiente a y la ordenada al origen b tales que Si definimos x 1 1 x 2 1 A =.., x m 1 y i = ax i + b + ε i, i = 1, 2,..., m y 1 ε 1 a x = y 2, y = b., ε = ε 2. y m ε m Entonces ε = y Ax y podemos reescribir E(a, b) como m E(a, b) = ε 2 i i=1 = ε 2 2 = Ax y 2 2 E(a, b) = (Ax y) (Ax y) = (x A y )(Ax y) = x A Ax 2y Ax + y y Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

7 Caso particular: Ajuste de una recta (III) Entonces E = 0 = A Ax = A y Para nuestro ejemplo, tenemos que m = 50, por lo que A R Además, det(a A) = , por lo que el sistema tiene solución única: x = En realidad, los datos fueron generados tomando puntos sobre la recta con a = 3.0 y b = 1.5 y agregándoles ruido. En la siguiente gráfica se muestra en azul la recta obtenida por mínimos cuadrados Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

8 Caso particular: Ajuste de una recta (IV) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

9 Planteamiento general del caso lineal (I) Tenemos n parámetros q 1, q 2,..., q n. Para i = 1, 2,..., m, se quiere relacionar una combinación de valores (q i1, q i2,..., q in ) con una observación y i mediante un modelo lineal: y i = c 1 q i1 + + c n q in + ε i donde ε i es un error que tiene el modelo. Entonces ε i = y i n c j q ij Queremos calcular los coeficientes c j minimizando los errores ε i. Una manera es resolver el problema Si definimos 1 j n j=1 2 m m n min cj E(c 1,..., c n ) = ε 2 = y i i c j q ij i=1 i=1 j=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

10 Planteamiento general del caso lineal (II) Entonces q 11 q 12 q 1n c 1 y 1 ε 1 q 21 q 22 q 2n A = , c = c 2.., y = y 2. ε = ε 2. q m1 q m2 q mn c n y m ε m 1 j n y = Ac + ε m min cj E(c) = ε 2 = ε ε = (y Ac) (y Ac) i i=1 Calculamos el gradiente de E(c) y encontramos el vector c para el cual E(c) = 0. Se puede ver que la solución se obtiene resolviendo el sistema lineal A Ac = A y. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

11 Observación (I) Una sola observación atípica puede cambiar la solución del problema: Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

12 Observación (II) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

13 Observación (III) Para evitar esto, se puede agregar un peso w i > 0 a cada termino de la suma de cuadrados: E(a, b) = m w i (ax i + b y i ) 2 i=1 de modo que a los términos que introducen errores grandes se les da un menor peso. Esto nos lleva a un problema de mínimos cuadrados pesados. En el ejemplo, cuando todos los pesos son w i = 1, se tiene Si hacemos w 48 = 0.001, se obtiene a = , b = a = , b = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

14 Observación (IV) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

15 Ejemplo de mínimos cuadrados pesados (I) Para los datos que se muestran en la gráfica se ajusta una recta usando el método ordinario. Después definimos los pesos w i de acuerdo a las distancia de los datos a la recta (en falso color se indica el valor del peso) Y Iteracion 1 Pesos Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

16 Ejemplo de mínimos cuadrados pesados (II) Dado los pesos, resolvemos el problema usando el método de mínimos cuadrados pesados. Despues volvemos a recalcular los pesos. Y Iteracion 5 Pesos Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

17 Ejemplo de mínimos cuadrados pesados (III) Continuamos de este modo hasta que la solución ya no cambia. Y Iteracion 15 Pesos Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

18 Lo que NO estamos haciendo No es que es estemos planteando resolver el sistema sobredeterminado Ac = y y para resolverlo multiplicamos por A ambos miembros de la ecuación. Lo que pasa es que el sistema puede ser inconsistente, por lo que puede que no exista c que cumpla la igualdad. Para el ejemplo inicial, tenemos que con se tiene un error a = , b = E(a, b) = Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

19 Lo que SÍ estamos haciendo Notemos que el vector A y tiene las proyecciones de y sobre las columnas de la matriz A = [a 1 a 2 a n ]: a a 1 1 y A a 2 a 2 y y = y =.. a a n n y Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

20 Ajuste de datos 1D (I) Tenemos un conjunto de datos {(x k, y k )} m k=1. Queremos encontrar una función f (x) cuya gráfica pase cerca de los puntos dados x y x y Tenemos un conjunto de datos {(x k, y k )} m k=1. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

21 Ajuste de datos 1D (II) Queremos encontrar una función f (x) cuya gráfica pase cerca de los puntos dados x y x y Primero hay que decir a que nos referimos con "cerca". Lo podemos definir en el sentido de mínimos cuadrados: Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

22 Ajuste de datos 1D (III) Observaciones: 1 min f 2 m [ f (x k ) y k ] 2 (1) k=1 Si x k = x j para k = j, hay una infinidad de funciones cuya gráfica pasa por los por los puntos. Si existen k = j, tales que x k = x j y y k = y j, entonces no existe una función cuya gráfica pase por los puntos dados. Para simplificar el problema, podemos restringir el espacio de solución a cierto tipo de funciones: Sustituyendo en (1), tenemos f (x) = n α j ϕ j (x). (2) j=1 2 E = 1 m [f (x k ) y k ] 2 = 1 m n α j ϕ j (x k ) y k. 2 2 k=1 k=1 j=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

23 Ajuste de datos 1D (IV) Derivando respecto a α i, se tiene E α i = m n α j ϕ j (x k ) y k ϕ i (x k ). k=1 Para cada i, queremos los valores a j que hacen E = 0. Esto es α i n m m ϕ j (x k )ϕ i (x k ) α j = ϕ i (x k )y k. j=1 k=1 j=1 Para obtener directamente la expresión de la solución hay que notar que para cada i, se tiene que el error está dado por k=1 Si n ε i = f (x i ) y i = α j ϕ j (x i ) y i j=1 Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

24 Ajuste de datos 1D (V) ϕ 1 (x 1 ) ϕ 2 (x 1 ) ϕ n (x 1 ) y 1 α 1 ϕ 1 (x 2 ) ϕ 2 (x 2 ) ϕ n (x 2 ) Φ = , y = y 2., α = α 2., ϕ 1 (x m ) ϕ 2 (x m ) ϕ n (x m ) y n α n el vector de errores se expresa como ε 1 ε =. = Φα y ε m Queremos minimizar E = ε 2 2 = ε ε = (Φα y) (Φα y) Calculamos el gradiente de E y lo igualamos a cero. Con esto obtenemos que el sistema lineal que hay que resolver para obtener la solución de mínimos cuadrados: Φ Φα = Φ y. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

25 Ajuste de datos 1D (VI) Sólo falta es seleccionar las funciones ϕ j (x). Por ejemplo, seleccionamos las funciones: ϕ j (x) = exp( γ(x c j ) 2 ) c(0, 1.1) γ = 5 γ = 1 c(0, 1) φ 1 φ 2 φ 3 φ 4 φ Ejemplos: c(a0, a1) c(a0 0.1, a ) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

26 Ajuste de datos 1D (VII) Para m = 80 puntos en los que x i [ 3, 2.5] y usando n = 6 funciones Gaussianas ϕ j (x) distribuidas con uniformemente es ese intervalo, se obtiene el siguiente resultado cuando no hay ruido en los datos: Si agregamos ruido a los datos, resolvemos el problema de mínimos cuadrados para encontrar α, y evaluamos la función f (x) resultante en el intervalo [ 3, 2.5] y obtenemos la curva roja. Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25

27 Ajuste de datos 1D (VIII) Joaquín Peña (CIMAT) Métodos Numéricos (MAT 251) / 25