Algoritmos matemáticos para:

Transcripción

1 Algortmos matemátcos para: sstemas de ecuacones lneales, nversón de matrces y mínmos cuadrados Jose Agular

2 Inversón de matrces Defncón(Inversadeunamatrz):SeaAunamatrz nxn.unamatrzcde nxn esunanversadeascaaci. Para la matrz no es dfícl verfcar que la matrz satsface que 9 4 A 4 9 C Se dce entonces que la matrzces una nversa de la matrza.esto se defne enseguda: Teorema: Sea A una matrz nxn con nversa C tal que CAACI. S D es otra matrz nxn tal que ADI, entonces CD. Demostracón: Como la multplcacón de matrces es asocatva, se tene que C(AD)(CA)D,dedonde,comoADIyCAI,seteneque C(AD)CIC y(ca)didd, por tanto, CD.

3 Inversón de matrces Se denotará la nversa de una matrz A, cuando exsta, como A -. Entonces A A - A - AI. ótesequenosedebeexpresara - como/a. Defncón: Una matrz cuadrada que tene nversa se llama nvertble. Una matrz cuadrada que no tene nversa se llama sngular. Teorema: La matrz a b A c d es nvertble sad-bc 0, en cuyo caso la nversa está dada por la fórmula A d ad bc c Teorema: Sean A y B matrces nvertbles nxn. Entonces: a) AB es nvertble b) (AB) - B - A - d b ad bc a c ad bc b ad bc a ad bc

4 nversón de matrces Propedades de la nversón de matrces La matrz nversa, s exste, es únca A - A A A - I (A B) - B- A- (A - ) - A (ka) - (/k) A - (A t ) (A - ) t

5 nversón de matrces Observacón: Podemos encontrar matrces que cumplen A B I, pero que B A I, en tal caso, podemos decr que A es la nversa de B "por la zquerda" o que B es la nversa de A "por la derecha". Hay varos métodos para calcular la matrz nversa de una matrz dada: Por el método de Gauss-Jordan Usando determnantes Drectamente

6 nversón de matrces Cálculo Drecto de la Matrz Inversa Dada la matrz buscamos una matrz que cumpla A A - I, es decr Para ello planteamos el sstema de ecuacones: La matrz que se ha calculado realmente sería la nversa por la "derecha", pero es fácl comprobar que tambén cumple A - A I, con lo cual es realmente la nversa de A.

7 Cálculo de las nversas: Sea A{a j }una matrz nxn. Para hallar A - s es que exste, se debe encontrar unamatrzx{x j } nxntalqueaxi,estoes,talque nn n n n n nn n n n n x x x x x x x x x a a a a a a a a a Inversón de matrces Esto es unsstema de ecuacones connvectores de ncógntas, yentonces es posble aplcar el Método de Gauss-Jordan para encontrar la nversa de A. La dea es transformar, por medo de operacones elementales por flas, la matrzaumentadadelsstema(a,i)aunsstema(i,a - ) A - (A,I) (A - A,A - I) (I,A - )

8 Sstema de ecuacones lneales a x +a x +...+a n x n b... a n x +a n x +...+a nn x n b n

9 SISTEMA DE ECUACIOES SISTEMA DE ECUACIOES LIEALES LIEALES sstemadeecuaconeslneales,porejemplo x - 3x 7 3x - x, tene asocado una matrz A correspondente a las ncógntas, y un vector b correspondente a los térmnos ndependentes, es decr, b A S ahora se escrben las ncógntas como un vector se puede denotar el sstema de ecuacones lneales como Axb, es decr Esta últma ecuacón sugere la nocón de multplcacón de una matrz A por un vector columna x. 3 x x x x x

10 Métodos drectos e teratvos Ax b x A - b DIRECTOS Tamaño pequeño ITERATIVOS x Cx + d x (k+) Cx (k) + d Tamaño grande xa - b Lm x-> Cx+d

11 Sstema de ecuacones lneales x +3x x +x 3 x /3-(/3)x x 3-x 3-x /3-(/3)x 3-/3 x -(/3)x x x 7

12 Método de Jacob A L + D + U (k + ) (k) x D (b (L + U)x ) La ecuacón A x b se transforma en (D - L - U) x b x (L + U) x + b - Utrang. sup; Ltrang. Inf. - Ddag(A);

13 Algortmo Método de Jacob funcón Jacob (A,) // x 0 es una aproxmacón ncal a la solucón// K0 Mentras no convergenca para hastan KK+ y0 paraj hastan x k+ (b -y)/a s j entonces yy+a j x j k

14 Método de Gauss-Sedel (k+) x (b (k) (k) (k) a x a x a x )/a 3 3 n n (k+) (k+) (k) (k) x (b a x a x a x )/a (k+) (k+) (k+) (k) x (b a x a x a x )/a 3 3 (k+) (k+) (k+) (k+) x (b a x a x a x )/a n n 3 n n n n 3n n n,n n 33 nn

15 Modelo matrcal A L + D + U + (L + D)x b Ux (k ) (k) (k+ ) (k) x (L + D) (b Ux ) - D dag(a) - Utrang. Sup; Ltrang nf

16 Algortmo Método de Gauss-Sedel funcóngauss (A, x, b) // x 0 es una aproxmacón ncal a la solucón// parak hastaconvergenca para hastan y0 paraj hastan s j entonces x (b -y)/a yy+a j x j

17 APROXIMACIÓ DE MÍIMOS CUADRADOS

18 Modelado de datos El modelado de datos se puede expresar de la sguente forma: Dadas: Una coleccón fnta de datos Una forma funconal (x, y ) y f (x) Hallar los parámetros de la funcón que mejor representen la relacón entre los datos

19 Ejemplo Para comprender datos expermentales, deseamos determnar una recta o una curva que encaje o se ajuste más (o descrba mejor) estos datos Imagnemos la sguente tabla con los pasados de un curso en semestres pasados. Curso Porcentaje de pasados S quséramos trazar una recta que acerque a los puntos en la tabla hay muchas opcones. Sn embargo, hay una que se ajusta mejor a estos datos, bajo certo crtero. Caso anteror es y x

20 GRÁFICOS DE DISPERSIÓ / RECTA DE REGRESIÓ La relacón entre dos varables métrcas puede ser representada medante la línea de mejor ajuste a los datos. Esta recta se le denomna recta de regresón, ypuede ser negatva o postva, la prmera con tendenca decrecente y la segunda crecente.

21 GRÁFICOS DE DISPERSIÓ / RECTA DE REGRESIÓ Para elcálculo de la recta de regresón se aplca elmétodo de mínmos cuadrados entre dos varables. Esta línea es la que hace mínma la suma de los cuadrados de los resduos. y a + bx

22 Modelado de datos Se busca mnmzar unos resduos ε k y k f x ( ) ( ) ( ) Un ejemplo f (x) ax+b (x 3,y 3 ) (x 5,y 5 ) (x 6,y 6 ) (x,y ) (x 7,y 7 ) (x,y ) (x 4,y 4 )

23 Crtero de los mnmos cuadrados Formulacon del ajuste por Mnmos cuadrados: k (, ) ε ( k ) J a b ( ) ε k y k f x k ( ) ( ) ( ) donde es el numero de datos entrada-salda dado

24 Llamemos a u perturbacón o error, sendo la dferenca que hay entre el valor observado de la varable exógena (y) y el valor estmado que obtendremos a través de la recta de regresón yˆ. y a + bx La metodología para la obtencón de la recta será hacer MÍIMA la suma de los CUADRADOS de las perturbacones. Por qué se elevan al cuadrado? u ( y yˆ ) n n u ( ˆ y y ) n n n mn u ( ˆ y y ) y a + b q, p ( q px )

25 Un problema de optmzacon Aproxmacones computaconales: Algortmos numércos generales para la mnmzacón de una funcón Basados en el gradente; algortmos numércos generales para hallar raíces; algortmos que aprovechan la forma de la funcón Algortmos con una aproxmacón basada en la ntelgenca artfcal: algortmos genétcos Solucón analítca: mínmos cuadrados lneal

26 La aproxmacon de funcones Al realzar la aproxmacon de una funcon, sólo están dsponbles un número fnto de muestras {( ( ), ˆ ( )),,( ( ), ˆ ( )), ( ( ), ˆ ( ))} Z u y u k y k u y

27 Ejemplo: una entrada, una salda Y X Como podemos modelar el proceso que genera estos datos?

28 Ejemplo: dos entradas, una salda Z T 0 3,,5,6 4 6

29 Modelos lneales vs. o lneales Es común asumr que f(u) pertenece a una famla de funcones que comparten la msma estructuray dferen por los valores tomados por certos parámetros θ. y (, ) f u θ

30 El modelo lneal Un modelo lneal asume que la funcón es lneal respecto a los parámetros θ f u f u f u f u, θ θ + θ + + θq q ( ) ( ) ( ) ( ) Aquí, la lnealdad se refera a con respecto a los parametros

31 Modelos no-lneales En los modelos no-lneales la funcón es nolneal respecto a los paramétros θ f u, θ exp uθ ( ) ( )

32 Estmacón de Mínmos Cuadrados Lneal Dada una coleccón fnta de observacones Z {u(0), y(0), u(), y(),..., u(), y()} U t U Proceso Y Y t ŷ g u ( ) Modelo Regresor lneal

33 Mínmos Cuadrados El método de regresón de mínmos cuadrados consste en encontrar la curva o funcón que mejor se ajuste a una sere de puntos (X,Y), obtendos generalmente a partr de un expermento. La estratega consste en mnmzar las dferencas entre la funcón y los datos observados. El caso o ejemplo más sencllo es el ajuste de una funcón lneal a la sere de puntos.

34 Regresón lneal Se asume que la relacón entrada-salda puede ser descrta por una estructura de regresor lneal f u θ θ f u + θ f u + + θ f u + ε, q q ( ) ( ) ( ) ( ) f(u,θ) es denomnada la funcon de ajuste. Las f (u) son denomnadas las funcones base

35 Algunas funcones base Funcones polnomales f ( u) u j j Funcones base Gausanas f j ( u) exp ( u µ ) j σ Funcones base Sgmodales Fourer wavelets f j ( u) + exp( a )

36 Regresón Lneal Y A + BX + e La gráfca muestra el ajuste de la nube de puntos a una línea recta e representa las dferencas entre el modelo lneal y las observacones Como los datos X, Y son conocdos, el objetvo es entonces encontrar los mejores valores para los coefcentes A, B, tal que e 0.

37 Los errores cometdos Dados unos datos y el modelo lneal, deseamos calcular los mejores parámetros. Queremos mnmzar los errores. error

38 Error en la aproxmacón El objetvo es mnmzar el error cometdo con la aproxmacón Y (e Y A - B*X) Éste se representa como la dstanca entre el valor real y el aproxmado X X

39 Los resduos El ajuste de mnmos cuadrados halla el vector de parametros θtal que se mnmza resduos J k errores ε ( k ) ε ( θ ) k yˆ k f u k, ( ) ( ) ( )

40 Crtero para el mejor ajuste Como se tene una sere de n puntos (X, Y) (,,n), la acumulacón de los errores será: n n e ( Y A BX ) Para que los valores de error postvos y negatvos no se cancelen entre sí, éstos se deben elevar al cuadrado

41 Cancelacón de errores Para este ejemplo de dos puntos, los errores ey ese cancelan. La suma de los errores 0 Y n e n ( Y A BX ) X X

42 Regresón Lneal Sea: S n e n ( Y A BX ) Como el objetvo es encontrar Ay B,tal que S sea mínmo, para esto se derva S parcalmente con respecto a Ay B respectvamente y se gualan a cero

43 Sstema de ecuacones para encontrar A y B Las dervadas parcales de Scon respecto a A y a Bse hacen cero, así: S A S B ( Y A BX )( ) 0 ( Y A BX )( X ) 0 () ()

44 En resumen las fórmulas para calcular los coefcentes A y B de una funcón lneal de regresón con sólo dos tpos de varables X y Y son: Regresón Lneal Regresón Lneal - Fórmulas Fórmulas Y Y X X ) )( ( B X Y A Y Y X X X X Y Y X X B ; ; ) ( ) )( (

45 Regresón Lneal - Algortmo Entrada: úmero de datos n, datos (x,y) sumx, sumy, sumxy, sumx 0 0 Mentras <n- sumxsumx+x() sumysumy+y() sumxsumx+(x()*x()) sumxysumxy+(x()*y()) + Denomnadorsumx*sumy-n*sumx a(sumx*sumy-n*sumxy)/denomnador b(sumx*sumxy-sumx*sumy)/denomnador Imprmr a y b

46 Regresón o Lneal Hay ocasones en las cuales la relacón exstente entre X y Y no es lneal, sn embargo ésta puede ser descrta por algún otro tpo de funcón. EJ: Potenca : Y AX B Exponencal : Y Ae BX Logarítmca : Y A + BLog( X ); Y BLog( X ) + Log( A) Log e ( Y ) BX + Log e ( A) Polnómca : Y A 0 + A X + A X A X Parabólca : Y A + BX + CX

47 3. Regresón o Lneal Relacón nolneal entre las varables X y Y. Posblemente parabólca??? Y X

48 Regresón Regresón no no-lneal: lneal: Potenca Potenca: B Y AX ( ) X Log X Log Log Y X Log Log Y X Log B ) ( ) ( ) ( ) ( ) ( )* ( ; X Log B Log Y A ) ( ) ( exp

49 Regresón Regresón no no-lneal: lneal: Exponencal Exponencal: BX Y Ae ( ) ) ( ) ( X X Y Log X Y Log X B ; X B Y Log A ) ( exp