Método de Mínimos Cuadrados

Transcripción

1 Método de Míimos Cuadrados Uiversidad de Sa Carlos de Guatemala Facultad de Ciecias Químicas y Farmacia Matemática V Roy José Letoa QQ José Roy Morales QQ

2 ÍNDICE ÍNDICE Ídice 1 Distacias 1 11 R (Recta Real) 1 12 R 2 (Plao Cartesiao) 2 13 R 3 (Espacio Tridimesioal) 3 14 Trasformació 4 2 Vectores (Repaso) 5 21 Multiplicació por ua Costate 5 22 Suma 5 23 Vector Uitario 6 24 Producto Puto 6 3 Proyeccioes 7 31 Proyecció sobre ua Recta 7 32 Proyecció sobre u Plao 9 33 Matriz de Proyecció 10 4 Método de Míimos Cuadrados Caso de ua Recta Geeralizació Resolució Diferecial Resolució Algebráica Solució 20 5 Casos Especiales Expoecial Logarítmica 23 6 Bibliografía Literatura Iteret Herramietas 24 0

3 1 DISTANCIAS 1 Distacias Para comezar la deducció del método de míimos cuadrados, es coveiete que se haga u breve repaso sobre la forma e la que se mide distacias Eso por esto que esta secció está dedicada a ello 11 R (Recta Real) Figura 1: Recta real Para facilitar la compresió, se comieza co la Recta Real (ver Figura 1) E ella la medició de distacias es relativamete secilla y casi ituitiva: se calcula la diferecia de distacias hacia el orige Nótese que e el caso de los úmeros egativos, la distacia hay que tomarla e valor absoluto Es por esto que la fórmula geeral más comú para la medició de distacias e R es la siguiete: Sea A y B R La distacia d etre A y B es etoces d(a, B) = B A (1) Esta forma de medir distacias e muy práctica, pero o es la úica Existe varias formas de medir distacias, pero la que cociere al estudio del método de míimos cuadrados es la que se ve a cotiuació Figura 2: Distacia etre putos Cosiderado que el álgebra al calcular co valores absolutos es relativamete complicada, la forma utilizada para medir distacias e el método de míimos cuadrados es distita Esta e lugar de utilizar valores absolutos, eleva la expresió detro del valor absoluto e la ecuació (1) al cuadrado De alli su ombre: Método de Míimos Cuadrados Etoces, la fórmula geeral es la siguiete: Sea A y B R La distacia d etre A y B es etoces d(a, B) = (B A) 2 (2) 1

4 12 R 2 (Plao Cartesiao) 1 DISTANCIAS 12 R 2 (Plao Cartesiao) Figura 3: Plao cartesiao E el caso del plao cartesiao, ya o se tiee ua sio dos rectas reales uidas mediate u Producto Cartesiao 1 La ubicació de cada puto está dada por pares ordeados E este caso la forma que se utiliza para medir distacias es la que ya se cooce ( ) ( ) Sea A y B putos e R 2 xa xb tal que A = y B = La distacia d etre los dos está dada por d(a, B) = y a y b ( x) 2 + ( y) 2 = (x b x a ) 2 + (y b y a ) 2 (3) Como se puede otar, esto tiee mucha similitud co el teorema de Pitágoras Esto es porque la distacia etre u puto y el otro e R 2 es, de hecho, la hipoteusa de u triágulo rectágulo (ver Figura 4) E este caso los dos catetos so la distacia etre la las coordeadas e x y la distacia etre la las coordeadas e y Figura 4: Distacia etre putos (Pitgoras) E el caso del método de míimos cuadrados, esto o se utilizará de forma obvia, pero se recomieda teer e mete la forma de la medició 1 Tambié llamado Producto Cruz Este surgió e las formulacioes de Descartes sobre geometría aalítica El plao cartesiao es u ejemplo: (R R) 2

5 13 R 3 (Espacio Tridimesioal) 1 DISTANCIAS 13 R 3 (Espacio Tridimesioal) Figura 5: Espacio tridimesioal Para complemetar el repaso sobre las medicioes de distacia, se aalizará u último caso R 3 se costruye mediate el triple producto cartesiao de R, es decir (R R R) So 3 rectas reales que os lleva a que la ubicació de cada puto e el espacio esté dada por ua triada ordeada La forma para medir distacias e este caso es la siguiete: x a Sea A y B putos e R 3 tal que A = y a y B = y b La distacia d etre los dos z a z b está dada por d(a, B) = ( x) 2 + ( y) 2 + ( z) 2 = (x b x a ) 2 + (y b y a ) 2 + (z b z a ) 2 (4) x b A esta distacia se le llama distacia Euclidiaa Nótese que esta es semejate al teorema de Pitágoras, si embargo, o es lo mismo Algo que si se debe de tomar e cueta es que la distacia e R 2 coserva la misma forma que e R 3 Figura 6: Distacia etre putos (Distacia Euclidiaa) Esto se puede geeralizar para todos los R si se coserva la forma observada e R 2 y e R 3 3

6 14 Trasformació 1 DISTANCIAS 14 Trasformació Figura 7: Gráficas de f(x) = x 2 y g(x) = x e R 2 Si se piesa por u mometo que de la forma de medir distacias vista al pricipio (Ecuació 1) y la siguiete (Ecuació 2) o se obtiee el mismo resultado, se está e lo cierto Se puede argumetar que a la primera forma se le fue aplicada ua trasformació (elevació al cuadrado) que e cualquier mometo puede ser revertida (raíz cuadrada) La forma de la distacia trasformada o varía mucho de la forma de la distacia vista al pricipio (ver Figura 7) Es por esto que esta trasformació es válida Tambié se hace mucho éfasis e que la trasformació se hace co el fi de facilitar los cálculos que se llevará a cabo posteriormete 4

7 2 VECTORES (REPASO) 2 Vectores (Repaso) E esta secció se itetará defiir las operacioes que se puede realizar etre vectores e R 2 Por supuesto, todas estas se puede exteder a los vectores e R Solo se hará u repaso de la multiplicació por u escalar, suma, vector uitario y producto puto, ya que estas so las pertietes para la compresió de este documeto 21 Multiplicació por ua Costate La multiplicació de u vector por ua costate se realiza multiplicado esta por cada compoete del vector Sea a u vector e el plao y c ua costate real [ ] [ ] ax c ax c a = c = (5) a y c a y Geométricamete, la costate solo cambia la orma del vector Auque si esta es egativa, la direcció del vector se vuelve totalmete la opuesta a su direcció origial 22 Suma La suma de vectores se lleva a cabo sumado compoete por compoete de cada vector Nótese que la suma de vectores da como resultado otro vector Sea a y b vectores e R 2, etoces a + b se calcula de la forma siguiete [ ] [ ] [ ] [ ] ax bx ax + b a + b = + = x cx = = c (6) a y + b y c y a y b y La iterpretació geométrica de esto es el método llamado de puta co cola Este cosiste e colocar u la cola de u vector e la puta del otro logrado así que etre los dos apute a u puto que será el resultado E la Figura 8 se ve que al sumar el vector A co el vector AB el resultado es el vector B Figura 8: Suma de los vectores A y AB dado como resultado el vector B 5

8 23 Vector Uitario 2 VECTORES (REPASO) 23 Vector Uitario El vector uitario o es más que u vector cuya orma es igual a 1 Para ello se toma u vector y se lo divide por su orma Tómese el ejemplo siguiete Sea a u vector e R 2 El vector uitario de a, el cual se represeta por â, se calcula de la forma siguiete â = a a (7) La represetació geométrica de esto es u vector co la misma direcció que a, pero de logitud igual a 1 24 Producto Puto El producto puto o producto escalar es ua operació etre dos vectores que da como resultado u escalar Este se lleva a cabo multiplicado compoete por compoete de los vectores y posteriormete sumado todos los resultados Sea pues a y b vectores e R 2 [ ] [ ] ax bx a b = = a x b x + a y b y (8) a y b y Esta operació tiee relació co la ortogoalidad de los vectores Si dos vectores v 1 y v 2 so ortogoales, etoces el producto escalar etre los dos es igual a 0 Esta operació se puede escribir como la multiplicació de u vector por la traspuesta del otro si estos se toma como matrices de m 1 Ua matriz a i,j tiee como traspuesta a la matriz a j,i Para el caso de dos vectores a y b e R 2, el producto 2 se vería de la siguiete forma a b = a T b = [ ] [ ] b a x a x y = a b x b x + a y b y (9) y Como se puede observar, el resultado es el mismo, por lo que ambas formas de escribir esta operació so equivaletes 2 La multiplicació de matrices se realiza de la forma: Sumatoria de todos los productos de los elemetos de cada fila por los elemetos de cada columa 6

9 3 PROYECCIONES 3 Proyeccioes E Álgebra Lieal, ua proyecció o es más que la represetació de u elemeto de u espacio vectorial a u subespacio del mismo Co esto se quiere decir que u vector a de u cojuto W es represetado por otro vector α de u cojuto V más pequeño, cuado el cojuto V está coteido e el cojuto W Figura 9: Proyecció de u vector de u espacio a u subespacio Los casos más comues que se utiliza para ejemplificar esto, es el de u vector sobre ua recta y el de u vector sobre u plao La geeralizació de ambos casos termia siedo ua matriz que realiza la proyecció de u especio a otro La matriz es particular para cada proyecció, si embargo, el cocepto es el mismo e todos los casos A esta matriz se le llama matriz de proyecció 31 Proyecció sobre ua Recta Para ilustrar este tema, se utiliza siempre la proyecció de u vector e R 2 sobre ua recta tambié e R 2 E este caso se realizará la deducció completa, si embargo o se tratará a igú ejemplo e particular Figura 10: Proyecció de u vector b sobre ua recta g Sea etoces b u vector e R 2 y g: X = 0 + t a, dode a es el vector sobre el que se proyectará b Nótese que etre a y b se comprede u águlo θ La proyecció de b sobre a se deota como el vector p La otació para ua proyecció de este tipo es la siguiete: proy a b y se lee como la proyecció de b sobre a Cosidérese etoces que la orma del vector p es igual a la orma de b por el coseo de θ p = b cos (θ) (10) 7

10 31 Proyecció sobre ua Recta 3 PROYECCIONES Y además, que el coseo de θ se defie de la siguiete forma cos (θ) = a b a b (11) Ahora, si se sustituye la ecuació (10) co la ecuació (11), se obtiee la orma del vector p expresada e térmios solo de a y b p = b a b a b = a b a (12) Ahora, para obteer el vector p, se debe de dar direcció a su orma Nótese que a y p so colieales, por lo que el vector uitario para ambos casos es el mismo Etoces, tomado las ecuacioes (7) y (12), se calcula la proyecció de b sobre a: el vector p proy a b = p = p â = a b a a a = a b a a a (13) Ya se tiee etoces la proyecció p de b sobre a Si a b se le resta p, se obtedrá u vector ortogoal a cualquier vector elemeto de la recta g Etoces puede decir que (b proy a b) v = 0 para todo v g 8

11 32 Proyecció sobre u Plao 3 PROYECCIONES 32 Proyecció sobre u Plao E la secció aterior se hizo la deducció de la proyecció de u vector e R 2 a ua recta, la cual se puede cosiderar como u espacio uidimesioal R E el caso de ua proyecció sobre u plao, se tomará u vector de R 3 y se proyectará sobre u plao, el cual se puede cosiderar como u espacio bidimesioal R 2 Figura 11: Proyecció de u vector v sobre u plao S Para este caso, o se cooce u vector sobre el que se pueda proyectar el vector v Es por esto que e este caso la proyecció se realizará utilizado varias poryeccioes y luego suma de vectores Primero, se debe partir de la base ortogoal del plao E este caso basta decir que se ecesita dos vectores v 1,v 2 S tal que v 1 v 2 = 0 El vector v se proyecta etoces sobre cada uo de ellos y luego el resultado de esto se suma para obteer la proyecció de v sobre S proy S v proy S v = proy v1 v + proy v2 v = v 1 v v 1 v 1 v 1 + v 2 v v 2 v 2 v 2 (14) Figura 12: Proyecció de u vector v sobre vectores ortogoales para llegar a la proyecció sobre el plao Al igual que e el caso de ua recta, el vector proyecció pudo ser calculado E el caso de u plao, tambié se cumple que si a v se le resta proy S v, el vector resultate será ortogoal a cualquier vector que sea elemeto del plao S, (v proy S v) v i = 0 v i S 9

12 33 Matriz de Proyecció 3 PROYECCIONES 33 Matriz de Proyecció Como se puede observar e las dos seccioes ateriores, las proyeccioes o so más que trasformacioes Por lo tato, estas puede ser represetadas tambié por ua matriz: la matriz de proyecció E este caso se tiee ua matriz A a la que se le puede multiplicar cualquier vector v para obteer su proyecció sobre u espacio W proy W v = Av (15) E u caso geeral, se dice que el espacio W al que se está proyectado es el espacio geerado por las columas de la matriz, puesto que el vector proyecció solo puede perteecer a ese espacio Para ejemplificar esto, cosidérese ua matriz de m y u vector v R La proyecció estaría dada etoces por: proy W v = a 1,1 a 1,2 a 1,3 a 1,m a 2,1 a 2,2 a 2,3 a 2,m a 3,1 a 3,2 a 3,3 a 3,m a,1 a,2 a,3 a,m v 1 v 2 v 3 v (16) Al expadir esto se obtiee: a 1,1 a 2,1 proy W v = v 1 a 3,1 + v 1 a 1,2 a 2,2 a 3,2 + v 3 a 1,3 a 2,3 a 3,3 + + v a 1, a 2, a 3, (17) a m,1 a m,2 a m,3 a m, Aqui se puede ver que si v es cualquier vector e R, etoces al espacio que se está proyectado es el geerado por la combiació lieal de las columas de A A este subespacio se le llama espacio columa de A La matriz de proyecció es específica para cada proyecció y para el caso del Método de Míimos Cuadrados se hará la deducció posteriormete Si embargo, e u caso geeral, la matriz de proyecció puede ser costruida de la siguiete forma: proy W v = UU T v (18) Dode U es la matriz cuyas columas so las bases ortoormales 3 del espacio W 3 Bases Ortoormales: Vectores ortogoales de orma igual a 1 que geera a u espacio vectorial 10

13 4 MÉTODO DE MÍNIMOS CUADRADOS 4 Método de Míimos Cuadrados Figura 13: Regresió lieal y cuadrática El método de míimos cuadrados es u método de extrapolació para ecotrar la curva que mejor se ajuste a ua colecció de putos Se le cooce tambié bajo el ombre de Regresió Co el tiempo se le ha dado otros ombres como Lieal o Cuadrática depediedo de la curva que se desea aproximar Para este caso e particular, se comezará co la regresió lieal Luego se geeralizará para cualquier curva que se desee 41 Caso de ua Recta Se comezará asumiedo que se tiee ua catidad de putos e el plao Cada puto tedrá ua coordeada x i y ua coordeada y i Se quiere aproximar la tedecia de estos mediate ua recta de la forma: g(x) = a + bx (19) Se itetará hacer que todos los putos pase por la recta, por lo que se tedrá ecuacioes de ua recta expersadas de la siguiete forma: a + bx 1 = ŷ 1 a + bx 2 = ŷ 2 a + bx 3 = ŷ 3 a + bx = ŷ (20) Dode ŷ i es ua aproximació de la coordeada e y de cada puto Esto se puede reescribir de forma matricial de la siguiete maera: a bx 1 a bx 2 a bx 3 = a bx ŷ 1 ŷ 2 ŷ 3 ŷ (21) 11

14 41 Caso de ua Recta 4 MÉTODO DE MÍNIMOS CUADRADOS Que, reescribiedolo, es lo mismo que: 1 x 1 1 x 2 1 x 3 1 x [ a b ] = ŷ 1 ŷ 2 ŷ 3 ŷ Ax = v (22) La matriz que cotiee a los x i se la ha idetificado como A, al vector de icógitas (a y b) como x y al vector que cotiee a las ŷ i como v Pero para todo x i habrá u ŷ i diferete de y i ya que la recta o pasará realmete por todos los putos Etoces se cueta co cierto error para cada puto (ver Figura 14) Figura 14: Distacias de las que se compoe el error El error se medirá e forma de distacias etre y i y ŷ i Nótese que e este caso se utilizará la forma vista co aterioridad El error para cada x i estará dado por: e 2 i = (y i ŷ i ) 2 = (y i (a + bx i )) 2 (23) Y etoces, el error total ε 2 e todo el método se puede expresar de la siguiete forma: ε 2 = [ ] e 2 i = [y i ŷ i ] 2 = [y i (a + bx i )] 2 (24) La razó por la cual el error total ε y el error e i se escribe elevados al cuadrado se verá a cotiuació Ahora, si se reescribe el error de forma vectorial, se obtiee u vector e de la forma siguiete: e = v Ax = e 1 e 2 e 3 e = y 1 (a + bx 1 ) y 2 (a + bx 2 ) y 3 (a + bx 3 ) y (a + bx ) (25) 12

15 41 Caso de ua Recta 4 MÉTODO DE MÍNIMOS CUADRADOS Si se calcula la orma del vector de error e la ecuació (25), se obtiee lo siguiete: e 1 e 2 e = e 3 = e e e e 2 = [e 2 i ] = ε (26) e Nótese que la orma e es igual a ε Es por esto que ambos se escribe elevados al cuadrado Ahora, las ecuacioes (24) y (26) so prácticamete lo mismo Solo la ecuació (22) será la excepció, ya que de esta (igual que de las ateriores 2), se puede ecotrar la solució al problema Por esto, la resolució de estas se llevará a cabo de dos formas: Diferecial y Algebráica Ambas será presetadas e las seccioes 43 y 44 co el fi de llegar a la solució (secció 45) 13

16 42 Geeralizació 4 MÉTODO DE MÍNIMOS CUADRADOS 42 Geeralizació E esta secció se itetará geeralizar el cocepto que se vio e la secció aterior Para ello se cosiderará que la curva que describe la tedecia de la colecció de putos es u poliomio P de grado m Etoces la ecuació será la siguiete: P(x) = β 1 + β 2 x + β 3 x β m+1 x m = ŷ (27) Etoces las ecuacioes para los putos dados se verá de la siguiete forma: β 1 + β 2 x 1 + β 3 x β m+1 x m 1 = ŷ 1 β 1 + β 2 x 2 + β 3 x β m+1x m 2 = ŷ 2 β 1 + β 2 x + β 3 x β m+1 x m = ŷ (28) Lo cual, de forma matricial, se puede represetar así: 1 x 1 x 2 1 x m β x 2 x 2 2 x m β 2 2 β 3 = 1 x x 2 x m β m+1 ŷ 1 ŷ 2 ŷ Ax = v (29) Nótese que la ecuació (22) y ecuació (29) termia de la misma forma Por lo que el procedimieto a partir de estas será el mismo Ahora, se procederá a ver el error geeralizado a poliomios Para ello la ecuació pricipal será de la forma: e 2 = (y i ŷ i ) 2 = ( y i ( β 1 + β 2 x i + β 3 x 2 i + + β m+1x m i )) 2 (30) Etoces el error, al igual que e la secció aterior, se puede expresar e forma vectorial así: e 1 ŷ 1 (β 1 + β 2 x 1 + β 3 x β m+1 x m 1 ) e 2 ŷ 2 (β 1 + β 2 x 2 + β 3 x β m+1x m 2 ) e = e = ŷ (β 1 + β 2 x + β 3 x β m+1x m ) Cosiderado la ecuació (26), etoces el error total ε 2 se puede expresar de la siguiete forma: (31) ε 2 = e 2 = [e i ] 2 = [y i ŷ i ] 2 = [ yi ( β 1 + β 2 x i + β 3 x 2 i + + β m+1x m i )] 2 (32) Las ecuacioes (29) y (32) so equivaletes a las ecuacioes (22) y (24) de la secció aterior, por lo que la resolució de el sistema ya geeralizado para cualquier poliomio, se puede llevar a 14

17 42 Geeralizació 4 MÉTODO DE MÍNIMOS CUADRADOS cabo de la misma maera que co ua recta Es por ello que la resolució que se verá a cotiuació será para ua recta Cualquier aspecto que cambie etre este caso y el geeralizado se idicará e las siguietes seccioes tambié 15

18 43 Resolució Diferecial 4 MÉTODO DE MÍNIMOS CUADRADOS 43 Resolució Diferecial El problema de míimos cuadrados iteta ecotrar ua curva que sea la que mejor se ajuste a ua colecció de putos Siedo este el caso, se iteta miimizar 4 el error etre la curva y todos los putos E esta secció se itetará buscar este míimo por medio del cálculo diferecial Para ello se optimizará la fució de error ε 2, lo cual implica derivarla co respecto a cada ua de las variables a y b o e el caso de u poliomio mayor, co respecto a todos los β j dode j 1 = m, el grado del poliimo Se procede etoces a derivar la fució de error ε 2 (Ecuació (24)): ( ) (ε 2 ) a = [ ] [y i (a + bx i )] 2 = a a (y i (a + bx i )) 2 (ε 2 ) b ( ) = [y i (a + bx i )] 2 = b [ ] b (y i (a + bx i )) 2 (33) (34) Nótese que de la sumatoria se obtedría solo coeficietes de a o b si potecia o elevados al cuadrado 5 El cambio etre la sumatoria y la derivada parcial (Ecuacioes (33) y (34)) es posible de realizar gracias a las propiedades de la derivada 6 Se cotiúa etoces co las derivadas y se iguala estas a 0 co el fi de ecotrar el máximo o míimo (ε 2 ) a (ε 2 ) b = 2 [y i (a + bx i )] = 0 (35) = 2 [y i (a + bx i )] x i = 0 (36) Se distribuye la sumatoria y se reordea los térmios de tal forma e que la ecuació parezca la de ua recta a a + b [x i ] + b [x i ] = [y i ] (37) [ ] x 2 i = [x i y i ] (38) 4 De aqui viee la otra parte del ombre del método: Míimos Cuadrados 5 Se puede pesar e parábolas de las que se busca el máximo o míimo 6 E este caso recurdese la propiedad que dicta que la derivada de ua suma es la suma de las derivadas 16

19 43 Resolució Diferecial 4 MÉTODO DE MÍNIMOS CUADRADOS Esto se puede reescribir de forma matricial uevamete: [ a b [x ] [ i] a [x i] b [x2 i ] = [y ] i] [x iy i ] (39) Que fialmete se covierte e: [ [x i] [x i] [x2 i] ][ a b ] = [ [y i] [x iy i ] ] Bx = z (40) E este puto, ya se ha llegado a ua forma e la que el error ha sido miimizado y ambas ecuacioes solo ecesita ser resueltas Si embargo el último paso, la solució a partir de la ecuació (40), se dejará para la secció 45 17

20 44 Resolució Algebráica 4 MÉTODO DE MÍNIMOS CUADRADOS 44 Resolució Algebráica Para la solució de forma algebráica se parte de la ecuació (25) Esta expresa el error de cada puto co respecto al poliomio solució Supógase etoces que w es el vector solució de la distacia míima que se busca y w es cualquier vector e R 2 si se cosidera el caso de ua recta El error de la recta solució es meor al de cualquier otra recta v A w v Aw (41) Se cosiderará etoces a A w como ua proyecció de v sobre el espacio columa de A, segú lo visto e la secció 33 Nótese que tato v como A w perteece al mismo espacio vectorial El error de la recta solució se puede reescribir etoces como: proy col(a) v = A w (42) ε = v proy col(a) v (43) Segú lo que se mostró e las seccioes 31 y 32, se sabe que el error ε es u vector ortogoal a cualquier vector elemeto del espacio columa de A Siedo esto así, se puede aprovechar la ortogoalidad para ecotrar al vector solució w Sea r = Aw dode w es cualquier vector e R 2 r (v proy col(a) v ) = 0 Aw (v A w) = 0 El producto aterior se puede reescribir segú se vio e la secció 24 como: (44) (Aw) T (v A w) = 0 (45) w T A T (v A w) = 0 (46) w A T (v A w) = 0 (47) Para pasar de (45) a (46) se utilizó propiedades de la traspuesta Nótese que e la ecuació (47), A T (v A w) es otrtogoal a todo vector w El úico vector ortogoal a todo vector e R 2 es el vector 0 Se procede etoces a resolver el sistema A T (v A w) = 0 A T (v A w) = 0 (48) A T v A T A w = 0 (49) A T Ax = A T v (50) Esto es lo mismo que: 1 x 1 1 x 2 1 x 3 1 x 1 x 1 1 x 2 [ 1 x 3 a b 1 x T 1 x 1 1 x 2 1 x 3 ] = 1 x T y 1 y 2 y 3 y (51) 18

21 44 Resolució Algebráica 4 MÉTODO DE MÍNIMOS CUADRADOS Al calcular la traspuesta, se obtiee lo siguiete: 1 x 1 [ ] 1 x 2 [ ] [ x 3 a = x 1 x 2 x 3 x b x 1 x 2 x 3 x 1 x ] y 1 y 2 y 3 y (52) El resultado de la multiplicació de matrices del lado izquierdo da como resultado ua matriz de 2 2, mietras que la del lado derecho da como resultado ua matriz de 2 1 Se procede etoces a hacer la multiplicació de las matrices y el resultado es el siguiete: [ [x ][ ] [ i] [x a i] [x2 i ] = [y ] i] b [x Bx = z (53) iy i ] Nótese que la ecuació (53) es exactamete igual a la ecuació (40) El procedimieto algebráico es más cómodo, si embargo, cuado se trabaja co poliomios de grado > 1 19

22 45 Solució 4 MÉTODO DE MÍNIMOS CUADRADOS 45 Solució Ahora, para cocluir co la deducció, se tomará las ecuacioes (40) y (53) y se resolverá estas Para ello se utiliza a la matriz iversa De esta forma [ ] se removerá la matriz de sumatorias del lado a izquierdo, dejado así al vector de coeficietes despejado b Primero se calculará la matriz iversa de (40) Existe 2 métodos para hacer esto: Por determiates y por el método de Gauss-Jorda La operatoria utilizada e el segudo método es más larga e comparació al método por determiates, por lo que se procederá a calcular la iversa por deterimates El determiate de la matriz, se calcula etoces: det B = det [x i] [x i] [x2 i] ( = [ ] 2 x 2 i [x i ]) (54) Ya co el determiate, la matriz iversa se puede expresar de la siguiete forma: [ B 1 = [x i] [x ] 1 i] [x2 i ] = 1 det B [ [x2 i] [x i] [x i] ] (55) Ahora, aplicado la iversa a ambos lados de la ecuació se obtiee: [ ] a = b P B 1 Bx = B 1 z x = B 1 z P [x 2 P i] [x 2 i] ( P [x i]) 2 [x i] P [x 2 i] ( P [x i]) 2 P [x i] P [x 2 i] ( P [x i]) 2 P [x 2 i] ( P [x i]) 2 [ [y i] [x iy i ] ] (56) (57) Y de esto, al termiar de multiplicar se obtiee dos ecuacioes idepedietes: a = [x i] 2 [y i] [x i] [x iy i ] [x2 i ] ( [x i]) 2 (58) b = [x iy i ] [x i] [y i] [x2 i ] ( [x i]) 2 (59) 20

23 45 Solució 4 MÉTODO DE MÍNIMOS CUADRADOS Ahora, si se cosidera que la media de ua serie de datos w 1, w 2,,w i se calcula de la siguiete forma: w = [w i] (60) Etoces las ecuacioes (58) y (59), después de u poco de maipulació algebráica, se puede reescribir de la siguiete forma: a = ȳ [x i] 2 x [x iy i ] [x2 i ] (61) x2 b = [x iy i ] xȳ [x2 i ] x2 (62) Y co estas dos últimas ecuacioes se cocluye la deducció del método de míimos cuadrados Los escalares a y b se itroduce e la ecuació (19) y co ello se logra la recta que mejor aproxima la tedecia de la colecció de putos que se teía al pricipio Para el caso geeralizado la solució se deduce de la misma forma, solo que la ecuació co que se comieza (es decir, la ecuació matricial obteida de las seccioes 43 y 44) sería más grade De hecho, si la curva que se desea aproximar es u poliomio de grado m, etoces la matriz sería de (m + 1) (m + 1) 21

24 5 CASOS ESPECIALES 5 Casos Especiales Tomado e cueta que o todas las curvas que se desee aproximar so poliomios, se dedica ua secció al caso de las curvas expoecial y logarítmica Después de esto se espera haber dejado claro que a cualquier colecció de putos se le puede aproximadar cualquier curva si se aplica la trasformació correcta 51 Expoecial Figura 15: Regresió expoecial Para el caso de ua colecció de putos que se comporta de forma expoecial, la mejor aproximació sería ua curva de la forma: f(x) = y = ce dx (63) E este caso, la deducció hecha previamete aplicaría si esta ecuació se pudiera trasformar e algú tipo de poliomio Si a esta ecuació se le aplica logarítmo atural, ótese que se puede llevar a u poliomio de grado 1 l(y) = l ( ce dx) (64) = l(c) + l ( e dx) (65) = l(c) + dx (66) Ahora, si todos los putos l(y) se utiliza como u Y, y l(c) se toma como ua costate C, etoces la ecuació (66) se trasforma a u poliomio grado 1 de la forma: Y = C + dx (67) Esta ya se puede resolver co la misma deducció plateada previamete Ua vez calculados c = e C y d ya se puede itroducir estos a la ecuació (63) y co esto obteer la curva deseada 22

25 52 Logarítmica 5 CASOS ESPECIALES 52 Logarítmica Figura 16: Regresió logarítmica Para el caso de u comportamieto logarítmico, la ecuació geeral que se ajustaría sería de la forma: f(x) = y = b log k (cx) (68) Este caso es u poco diferete al aterior E este caso o se aplicará igua trasformació, sio que se reordeará alguos térmios de la forma siguiete: y = b log k (c) + b log k (x) (69) Nótese pues, que la ecuació allí ya tiee la forma de u poliomio de grado 1 Para que esto se vuelva más claro, cosidérese (b log k (c)) como ua sola costate C y a log k (x) como X Etoces la ecuació se vería así: y = C + bx (70) Se resuelve etoces el problema como si este fuera ua recta y por último se sustituye las costates c y b e la ecuació (68) Nótese que para obteer c se debe de realizar la siguiete operació: c = k C b (71) 23

26 6 BIBLIOGRAFÍA 6 Bibliografía 61 Literatura Aderso et al 1999 Estadística para Admiistració y Ecoomía 7 ed Thomso Grossma S 1984 Elemetary Liear Algebra 2 ed Wadsworth Poole D 2004 Álgebra Lieal: Ua Itroducció Modera Thomso 62 Iteret Weisstei E 2009 Least Squares Fittig Wolfram MathWorld Weisstei E 2009 Least Squares Fittig - Expoetial Wolfram MathWorld Weisstei E 2009 Least Squares Fittig - Logarithmic Wolfram MathWorld Wiley Publishig Ic 2009 Liear Algebra: Projectio oto a Subspace CliffsNotes 63 Herramietas GIMP: GNU Image Maipulatio Program Versio OpeOfficeorg: The Free ad Ope Productivity Suite Versio SAGE: Ope Source Mathematics Software Versio TexMaker: Free L A TEX Editor Versio