Agenda del 17/5/2017

Transcripción

1 Agenda del 17/5/2017 Regresón lneal Idea y orgen La geometría de los mínmos cuadrados Los problemas numércos que conducen a malos resultados. Ejemplo real. Mínmos cuadrados no lneales Demostracón de software

2 Mínmos Cuadrados Lagrange (1795?) Gauss 1809)

3 Regresón undmensonal b a

4 Regresón undmensonal b Problema: encontrar una recta que mejor represente la relacón b ax a Mínmos cuadrados

5 Regresón undmensonal b Problema: los datos no están sobre una recta e b a x b a x a

6 Regresón undmensonal b Problema: los datos no están sobre una recta e b a x b a x Encontrar la recta que mnmza ( b a x) 2 a

7 Supongamos que tenemos los datos sguentes: a b S la recta es b32 a resulta Mínmos cuadrados

8 S la recta es b32 a resulta y en general para la recta b c ax 1 x1 b1 1 1 x2 b2 2 c a xm bm m

9 Para plantear lo anteror como un sstema de ecuacones lneales defnmos la matrz 1 x1 b1 1 x b c... a 1 xm bm o sea 2 2 A y el vector A y 1 x1 b1 * 1 x2 c b 2 * c sea x la solucón *.. a. a 1 xm bm

10

11 Por lo tanto, el vector de errores b A x * es ortogonal a cada vector columna de A. t O sea que A b A x * 0 t t A b A A x * llamadas las ecuacones normales de Gauss

12 A tene columnas lnealmente ndependentes s y sólo s A T A es nvertble En este caso la solucón de aproxmacón de A x = b es únca y está dada por

13 x* = ( A T A ) -1 A T b algo verdadero en teoría, pésmo en la práctca

14 En el caso de ajustar una recta b c ax t c t t A A A y ( A es cuadrada y smétrca) a A t x1 x2... x m resultando

15 m x x m c y y m 2 2 x x 1... a x1y1... x m x x m mym estas son las ecuacones normales de Gauss y que usan los econometrstas, los estadístcos, y programas como Excel Dan muy malos resultados!!!!!

16 El modo usual de medr la caldad del ajuste es medante el coefcente de correlacón de Pearson R = coseno del ángulo entre la varable que se quere aproxmar y la ycalc = w centradas por sus valores medos R m 1 ( w w)( y y) m m 2 2 ( w w) ( y y) R es el porcentaje de la varanza explcada

17 El modo normal de verfcar la caldad de una solucón es reemplazarla en el sstema de ecuacones, mdendo el error resultante c Sea a La "solucón" da el error (R 1) 1 pero la verdadera solucón es 1 Qué sucede?

18 Veamos lo ultrabásco de los problemas numércos porque el tema es largo y complcado. En toda calculadora o computadora exste un número TOL que es el más chco tal que 9 1TOL 1 (por ejemplo 10 ) t 1 TOL 1 Sea A A A 2 TOL TOL t 1 1 A A pero 1 TOL 1

19 Los programas usuales se concentran en los errores de medcón, gnorando los seros problemas numércos. Supongamos que queremos resolver por mínmos cuadrados el sstema Az y que tene por solucón exacta z y s n *.La solucón calculada z cumple Az y Az y 1 * z z Nota: los se llaman valores sngulares de A es muy chco entonces los coefcentes n de regresón pueden ser un desastre. ESO SUCEDE CON ALGUNOS DATOS AGRONÓMICOS

20 En el ejemplo resulta que y error error 1 error * 5 c * 7 a

21 Supongamos que tenemos el sstema Az y S el valor sngular es chco tenemos problemas. Pero s consderamos las ecuacones normales t A Az t A y n ahora los valores sngulares son el cuadrado de los orgnales O SEA QUE UN PROBLEMA "MALO" 2 SE CONVIERTE EN "MALO "

22 Entonces, s lo que queremos aproxmar no es un fenómeno lneal, qué hacemos? Un resultado teórco (teorema de aproxmacón de Weerstrass) dce que toda funcón contnua se puede aproxmar por polnomos P( x) a a x a x a x pero tenen un comportamento osclatoro

23 Una generalzacón esencal es usar y a a x a x las ncógntas son a, a, a,...,,, problema muy nestable. En m tess ntroduje el método de las proyeccones varables que resuelve el problema usando solamente,,

24 Veamos una demo del programa testprovar5 (versón 2014) Funcon logartmca (100 puntos con perturbacones aleatoras) Optmal soluton: coef(1) = D D+05*x( 2)** D D-05*x( 3)** D+01 //R// =

25 Un caso mucho más complcado: Funcón seno (100 puntos perturbados al azar) Optmal soluton: coef(1) = D D+00*x( 2)** D D-01*x( 3)** D D-01*x( 4)** D D+00*x( 5)** D+01 //R// =

26 Ejemplos de problemas no lneales

27 Non-lnear least squares It s very common n applcatons for a cost functon f(x) to be the sum of a large number of squared resduals If each resdual depends non-lnearly on the parameters x then the mnmzaton of f(x) s a non-lnear least squares problem.

28 Non-lnear least squares The M N Jacoban of the vector of resduals r s defned as Consder Hence

29 Non-lnear least squares For the Hessan holds Gauss-Newton approxmaton Note that the second-order term n the Hessan s multpled by the resduals r. In most problems, the resduals wll typcally be small. Also, at the mnmum, the resduals wll typcally be dstrbuted wth mean = 0. For these reasons, the second-order term s often gnored. Hence, explct computaton of the full Hessan can agan be avoded.