Aproximación funcional por mínimos cuadrados Laboratori de Càlcul Numèric (LaCàN) Departament de Matemàtica Aplicada III Universitat Politècnica de Catalunya (Barcelona) http://www-lacan.upc.es
Introducción Interpolación polinómica pura puede no ser la mejor opción: si el número de datos (n+1) es elevado, el polinomio interpolador puede presentar oscilaciones importantes (ejemplo paradoja de Runge), poca flexibilidad para elegir el tipo de interpolante (polinomio de grado n) si los datos son experimentales o susceptibles de tener un cierto error no tiene sentido imponer que el interpolante pase exactamente por los datos, es suficiente exigir que se acerque lo máximo posible cambio de criterio de aproximación 2
Ejemplo: REGRESIÓN LINEAL 3
Criterio de MÍNIMOS CUADRADOS Mínimos cuadrados: se minimiza el cuadrado de la distancia entre f(x) y p(x) versión continua versión discreta APROXIMACIÓN FUNCIONAL. INTRODUCCIÓN 4
Producto escalar continuo Producto escalar discreto 5
Producto escalar y norma Producto escalar <, >: es una forma 1. bilineal 2. simétrica 3. y definida positiva 6
Todo producto escalar tiene una norma asociada Norma : 1. y 2. 3. 7
Criterio de MÍNIMOS CUADRADOS Mínimos cuadrados es un criterio de aproximación que se puede utilizar para ajustar cualquier tipo de función: Aproximación polinómica Aproximación trigonométrica otros, por ejemplo, En cualquier caso, el aproximante se expresa en función de un número finito de coeficientes (con dependencia lineal o no lineal) 8
Criterio de MÍNIMOS CUADRADOS Criterio de mínimos cuadrados: minimizar el error donde el aproximante p(x) depende de los coeficientes c 0,,c m El mínimo se obtiene derivando respecto a los coeficientes (sistema de ecuaciones m x m) 9
Teorema de existencia de proyección Sea V un espacio métrico, y W un subespacio de dimensión finita. Entonces, dado v V existe w* W tal que v-w* v-w para todo w W 10
Mínimos cuadrados sobre un espacio vectorial: ECUACIONES NORMALES Caso particular: el espacio de aproximación es un espacio vectorial (el aproximante depende linealmente de los coeficientes) base aproximante buscamos los coeficientes c 0, c 1,...,c m que minimicen 11
Para encontrar el mínimo derivamos respecto a los coeficientes 12
Proyección p(x) es la proyección de f(x) sobre Ψ 13
Sustituyendo se obtienen las ecuaciones normales (notación) 14
Teorema fundamental de Mínimos Cuadrados Si son linealmente independientes, el problema de mínimos cuadrados, planteado como solución de las ecuaciones normales, 1. Tiene solución única 2. La solución se caracteriza por la propiedad de ortogonalidad 3. Si son una base ortogonal (coeficientes de Fourier) 15
Ejemplo: regresión lineal 16
Ejemplo: paradoja de Runge Tipo aproximación: polinómica Criterios: 1 Interpolación pura Mínimos cuadrados 0.5 0 0.8 0.6 0.4 0.2-0.5 f(x) n=4 n=8 n=16-1 -1-0.5 0 0.5 1 0-0.2 f(x) n=4 n=8 n=16-1 -0.5 0 0.5 1 17
Teorema Si las funciones son linealmente independientes, el problema de mínimos cuadrados tiene una única solución. demostración: basta comprobar que la matriz de las ecuaciones normales A es regular la matriz es regular si la única solución del sistema homogéneo es el vector 0 (hay que comprobarlo) 18
Consideremos un vector solución del sistema homogéneo, es decir, Por lo tanto, la norma de la función es 19
norma ψ i linealmente independientes 20
Aproximación polinómica por mínimos cuadrados con datos discretos n+1 datos: f(x i ) con i=0,...,n Aproximación con un polinomio de grado m donde es una base de P m (espacio de polinomios de grado menor o igual que m) Condición 21
Si m>n el producto escalar discreto es degenerado en P m (no induce una norma) cumple aunque Si m=n el polinomio p n (x) es el polinomio de interpolación 22
Malcondicionamiento de las ecuaciones normales Las ecuaciones normales pueden estar muy mal condicionadas (depende de la elección de la base) Por ejemplo, la matriz de las ecuaciones normales con base natural de polinomios y producto escalar continuo se llama matriz de Hilbert 23
Matriz de Hilbert de dimensión m+1 m Número de condición 2 1.9 10 1 3 5.2 10 2 5 4.8 10 5 10 1.6 10 13 15 6.1 10 20 24
Bases ortogonales Ecuaciones normales con matriz diagonal 25
Polinomios de Legendre: Familias de polinomios ortogonales Polinomios de Gram: con puntos equiespaciados en [-1,1] Para intervalo [a,b] se hace un cambio de variable 26
Paradoja de Runge Interpolación polinómica 5 9 17 27