Multivariante Curso Cálculo matricial

Transcripción

1 Multivariante Curso Cálculo matricial Introducción La información de partida en el análisis multivariante es una tabla de datos correspondiente a la medición de distintas variables sobre varios individuos. Por tanto su manejo se facilita con el uso de vectores y matrices y sus propiedades. También será importante visualizar los datos como puntos del espacio para comprender la estructura de los mismos y así poder buscar su rasgos comunes más importantes, así como sus peculiaridades. La observación de una variable sobre n individuos dará lugar a x un punto de R n o a su vector asociado. La observación simultanea de p variables sobre n individuos dará lugar a una matriz de datos Xdonde las filas recogen el valor de las p variables en cada individuo y cada columnas recoge los valores de una variable. Vectores En este apartado se recuerdan las operaciones con vectores y se relacionan con la descripción estadística de una variable. El conjunto de datos asociado al estudio de una variable sobre n individuos generalmente se presentará en forma de vector columna de R n. Con los vectores así obtenidos se podrán realizar las siguientes operaciones: Suma (x: n o hombres en ciertas empresas, y: n o de mujeres en las mismas empresas, x+y: n o total de trabajadores ) Producto por escalar ( cambio de unidades: x/100 cientos de trabajadores) Transposición la transposición de un vector columna da lugar a un vector fila (que generalmente asociaremos a varias variables sobre un mismo individuo) Producto escalar x y = y x = x i y i Norma o módulo del vector x x = x x

2 Multivariante Curso El producto escalar entre dos vectores x e y también se define como x y = x y cos θ es decir la norma de un vector por la proyección del otro sobre él, así si x es unitario x y = módulo de la proyección de y sobre x. También se deduce de esta definición que x y x y (conocida como la desigualdad de Cauchy-Schwartz) Relacionado con el producto escalar está el concepto de vectores ortogonales: x,y vectores de R n son ortogonales si x y = 0 cos θ = 0 θ = 90 0 Veamos ahora la relación entre la media y la varianza con estas operaciones: La media de un conjunto de n datos es proporcional a la proyección del vector asociado sobre el vector constante (todas sus componentes iguales) Vector unitario constante en R n es : 1 n la proyección de x sobre este vector tiene por módulo: 1 n x = nx valor de la proyección 1 n nx = 1x es decir la media es el escalar que define la proyección del vector x sobre el vector 1 La variabilidad de los datos que mide la desviación típica es la distancia estandarizada entre el vector de datos y el vector constante S x = 1 n x x1 = (xi x) 2 n La covarianza entre x e y es el producto escalar de los vectores asociados a la variabilidad de cada uno de ellos: cov(x, y) = 1 n (x x1) 1 n (y y1) Para variables estandarizadas la covarianza coincide con el coeficiente de correlación por ello ortogonalidad de vectores está relacionada con la incorrelación. Los vectores sirven para definir las traslaciones que son aplicaciones de R n en R n Un conjunto de vectores x 1,..., x p se dice que es linealmente dependiente si existen escalares c 1... c p no todos nulos tales que c 1 x 1 + +c p x p = 0 o, lo que es equivalente, uno de los vectores se puede poner como combinación lineal de los otros. Base de un subespacio Espacio generado por los vectores x 1,..., x p Dimensión de un subespacio Subespacio ortogonal a uno dado (espacio nulo asociado a un vector es el subespacio ortogonal al mismo

3 Multivariante Curso Matrices Las matrices juegan un papel importante en el estudio de variables p-dimensionales, tanto para presentar los datos recogidos, como asociadas a las matrices de varianzas covarianzas, que serán matrices cuadradas simétricas y semidefinidas positivas. Entre matrices se tienen las siguientes operaciones: 1 Dadas matrices A n,p = (a ij ) ij, B n,p = (b ij ) ij A+B = (a ij + b ij ) ij αa = (αa ij ) ij Si B p,m, (A*B) n,m = ( p j=1 a ij b jk ) ik 2 Transpuesta de A=A t = (a ji ) (A t ) t = A (A+B) t = A t + B t (A*B) t = B t A t 3 Traza de A=T r(a) = n i=1 a ii es un operador lineal: T r(a+b) = T r(a)+t r(b), Si A n,p, B p,n entonces T r(a*b) = T r(b*a). En consecuencia T r(a*a t ) = i j a2 ij Dados A p,p, x i R p, i = 1,..., n, T = n i=1 x i x t i entonces T r(a*t) = n i=1 x t i A x i. T r(αb) = αt r(b) La traza se puede considerar como una medida del tamaño de la matriz, así en una matriz de varianzas covarianzas la traza es la suma de todas las varianzas de las variables, sin tener en cuenta sus posibles relaciones. 4 Producto de Kronecker: dadas las matrices A n,p, B k,p, A B == c A = A c = ca. (A B) t = A t B t. a 11 B... a 1p B.. a n1 B... a np B (A B)(C D) = AC BD supuesto que los productos de matrices pueden realizarse. En estadística este producto se utiliza para construir matrices cuyos elementos son matrices repetidas, por ejemplo en bloques de variables que tengan la misma matriz de varianzas covarianzas.

4 Multivariante Curso Rango (A)es el número máximo de vectores fila o columna de la matriz linealmente independientes Rango(A) = Rango(A t ) 0 Rango(A) min(n, p). Si M(A) = {y R n /y = Ax} se verifica que dim(m(a))=rango(a). Si N(A) = {x R p /0 = Ax} = Ker(A) se verifica que dim(n(a))+dim(m(a))=p. Rango(A+B) Rango(A) + Rango(B). Rango(A*B) Min(Rango(A), Rango(B)). Rango(A*A t ) = Rango(A t A) = Rango(A). Si B n,n y C p,p son no singulares Rango(B*A*C) = Rango(A). Si A n,m con rango(a)=m y B m,p con Rango(B)=p entonces Rango(A*B) = p. Determinantes Dada una matriz cuadrada A p,p se define su determinante A = τ Π ( 1) τ a 1τ(1) a pτ(p) donde τ es una permutación de las p columnas y τ = +1 según el número de transposiciones sea par o impar. Dada un elemento a ij de una matriz cuadrada A se define su menor asociado, M ij, como el determinante de la matriz resultante de eliminar la fila i y la columna j de A. Se define el cofactor asociado a a ij como C ij = ( 1) i+j M ij. En consecuencia: 1 A = p j=1 a ijc ij = p i=1 a ijc ij. 2 p j=1 a ijc kj = 0 p i=1 a ijc il = 0. 3 Si A es una matriz triangular A = p i=1 a ii. 4 αa = α p A 5 A t = A 6 Si en una matriz se permutan dos filas o columnas el determinante cambia de signo 7 una fila (columna) es combinación lineal de otras el determinante vale cero Ap,p B 8 Si M es una matriz cuadrada que se puede partir M = entonces M = 0 C q,q A C.

5 Multivariante Curso A Bp,p 9 Si M es una matriz cuadrada que se puede partir M = entonces M = C q,q 0 ( 1) pq B C. A Bp,p En consecuencia si M = entonces M = B. I p 0 Ip 0 10 Las matrices del tipo M = verifican que MC = C. A 11 AB = A B (con las dimensiones adecuadas) I q En el caso de vectores de R 2 el determinante de la matriz formada por dos vectores puede interpretarse como el area del paralelogramo definido por los mismos. Sea A = (v 1, v 2 ) entonces: A t A = v t 1v 1 v t 2v 2 v t 1v 2 v t 2v 1 = v 1 2 v 2 2 (1 cos 2 θ); de donde A = v 1 v 2 sinθ, que es el area del paralelogramo definido por (v 1, v 2 ). Este resultado se generaliza para vectores de R n. Si las variables estuviesen centradas A t A es la matriz de varianzas covarianzas por lo que el determinante está relacionado con la independencia de las variables, a mayor determinante mayor independencia, si una variable fuese combinación lineal de las otras A sería cero y el de su matriz de covarianzas también es decir determinante cero indica dependencia lineal entre las variables. Matriz Inversa Dada una matriz cuadrada A p,p se define su inversa A 1 como aquella que verifica A A 1 = A 1 A = I 1 La inversa si existe es única. 2 A 1 existe si y sólo si A = 0. 3 (A 1 ) 1 = A, (A t ) 1 = (A 1 ) t. 4 (αa) 1 = α 1 A 1, (AB) 1 = B 1 A 1 5 Dadas A p,p, B p,n, C n,n, D n,p, y si existen las inversa necesarias (A+BCD) 1 = A 1 A 1 B(C 1 + DA 1 B) 1 DA 1 en particular (A+bd t ) 1 = A 1 A 1 b(1 + d t A 1 b) 1 d t A 1 (A+C) 1 = A 1 A 1 (C 1 + A 1 ) 1 A 1 Estas expresiones serán útiles para calcular el cambio de la matriz de covarianzas cuando se elimina alguna observación.

6 Multivariante Curso A11 A 6 Dada una matriz A = 12 A los elementos de su inversa A 1 11 A 12 = A 21 A 22 A 21 A 22 vienen dados, si existen las inversas necesarias, por A 11 = (A 11 A 12 A 1 22 A 21 ) 1. A 22 = (A 22 A 21 A 1 11 A 12 ) 1. A 12 = A 1 11 A 12 A 22 = A 11 A 12 A A 21 = A 1 22 A 21 A 11 = A 22 A 21 A El manejo de las inversas por cajas es importante en el caso de la matriz de covarianzas porque la matriz Σ 1 va a recoger información sobre la varianza de las distribuciones condicionadas A11 A 7 Dada una matriz A = 12 se verifica que A 21 A 22 A = A 11 A 22 A 21 A 1 11 A 12 = A 22 A 11 A 12 A 1 22 A 21 8 Dadas A p,p, inversible, B p,n, C n,p entonces A+BC = A I p +A 1 BC = A I n +CA 1 B En particular si n=1 entonces A+bd t = A (1 + d t A 1 b) Matriz Ortogonal Dada una matriz cuadrada A p,p se dice que es ortogonal si: AA t = I 1 A = +1 A t = A 1 2 a t ia j = { 1 i = j 0 i j 3 Si A y B son ortogonales C=AB es ortogonal. 4 Las transformaciones por matrices ortogonales conservan las distancias. 5 Caso particular las matrices de permutaciones Las matrices ortogonales representan un giro o una simetría respecto a un plano Matriz Idempotentes Dada una matriz cuadrada A p,p se dice que es idempotente si: AA = A A = 1 ó A = 0

7 Multivariante Curso Las matrices idempotentes representan proyecciones en un subespacio de dimensión igual al rango de la matriz. Matriz de centrado La matriz de centrado H n es aquella que al aplicarla sobre un vector de datos lo transforma en sus desviaciones respecto a la media de sus componentes. H n = I n 1 n J n = I n 1 n 11t 1 H n x = (x i x) i 2 H n 1 = 0 H n J n = J n H n = 0 n. 3 H n es una matriz simétrica e idempotente. 4 rango(h n )=n-1 5 x t H n x = x t H n H n x = n i=1 (x i x) 2 6 Si X n,p es una matriz de datos X t H n X = ns Autovalores y Autovectores de una Matriz Dada una matriz A p,p se define su polinomio característico como q(λ) = A λi p. Se denomina autovalor de A p,p a las soluciones de su polinomio característico. Se denomina autovector de A p,p asociado al autovalor λ i a un vector x i que verifica A x i = λ i x i ( son vectores que al transformarlos por la matriz no cambian de dirección, aunque si pueden cambiar de tamaño, también se pueden llamar las direcciones características de la matriz). La interpretación geométrica de los valores y vectores propios de una matriz simétrica A = (a 1,..., a p ) se considera el elipsoide que pasa por los puntos determinados por estos vectores y con centro el origen de coordenadas, los vectores propios son los ejes principales del elipsoide y los valores propios asociados a la dimensión del eje principal correspondiente. Los vectores y valores propios asociados a la matriz de varianzas covarianzas van a ser importantes en el manejo de la distribución normal multivariante, así como en la búsqueda de direcciones importantes en las nubes de puntos. Se denomina autoespacio asociado a un autovalor al espacio generado por sus autovectores. 1 q(λ) = A λi p = p i=1 (λ i λ).

8 Multivariante Curso q(0) = A = p i=1 λ i. 3 T r(a) = p i=1 a ii = p i=1 λ i. 4 Si C es no singular A y CAC 1 tienen los mismos autovalores. Además si x i es autovector de A asociado a λ i entonces Cx i lo es de CAC 1 asociado al mismo autovalor. 5 Si λ i es autovalor de A entonces λ i + α lo es de (A + αi), y además A y (A + αi) tienen los mismos vectores propios. 6 La dimensión de un autoespacio asociado a un autovalor es a lo sumo la multiplicidad de este. 7 Teorema: Dadas las matrices A p,n, B n,p Los autovalores no nulos de AB son los mismos que los de BA y tienen la misma multiplicidad. Si x i es autovector de AB asociado a un autovalor no nulo entonces Bx i lo es de BA asociado al mismo autovalor. 8 Corolario: Dadas A n,p, B q,n a, b, entonces Aab t B tiene rango a lo sumo 1, el autovalor no nulo, si existe, vale b t BAa y su autovector asociado es Aa 9 Los autovalores de una matriz simétrica son números reales, y su rango coincide con el número de autovalores no nulos. 10 (Descomposición de Jordan) Toda matriz simétrica A se puede descomponer de la forma A =ΓΛΓ t donde Γ es una matriz ortogonal cuyas columnas son los autovectores normalizados de A, Λ es una matriz diagonal con los autovalores de A. Como consecuencia de esta factorización A = ΓΛΓ t = Σλ i u i u t i, es decir A se puede descomponer como suma de matrices de rango 1 con los pesos λ i por tanto si un autovalor es muy pequeño A se puede reconstruir aproximadamente con los restantes autovalores y autovectores. 11 Si A es simétrica A n = ΓΛ n Γ t. 12 Si A es simétrica y definida positiva (A > 0) se puede descomponer como producto de una matriz por su transpuesta (esta descomposición no es única ΓΛ 1/2 o ΓΛ 1/2 Γ t ). 13 Si A es simétrica y semidefinida positiva A se puede descomponer, de forma única, como producto de una matriz triangular inferior T por su transpuesta (descomposición de Cholesky), A = T T t. 14 Dadas A y B matrices simétricas, A definida positiva, existe una matriz H que diagonaliza a las dos anteriores HAH t = I HBH t = D. (H= A 1/2 C, con C la matriz de vectores propios de A 1/2 BA 1/2. 15 Dadas A 0 y B > 0 los autovalores de B 1 A son positivos o nulos y coinciden con los de AB 1 y con los de B 1/2 A B 1/2.

9 Multivariante Curso Formas cuadráticas Una forma cuadrática en R p es una aplicación que se puede definir a través de una matriz simétrica A p,p de la forma Q(x)= x t A x. Si Q(x) > 0 x R p, x > 0 se dice que Q es definida positiva y A también. Si Q(x) 0 x R p se dice que Q es semidefinida positiva y A también. Toda forma cuadrática x t Ax puede expresarse de la forma p i=1 y2 i λ i con y = Γ t x (es decir mediante un cambio de base ortogonal). Si A es definida positiva todos sus autovalores son positivos y también su determinante (análogo para A semidefinida positiva). Si A es semidefinida positiva entonces también lo es C t AC para cualquier C pn. Si A es definida positiva y C es no singular entonces C t AC es definida positiva. Si A es semidefinida positiva, B es definida positiva entonces los autovalores de B 1 A son positivos o nulos. Teorema: Descomposición en valores singulares Toda matriz A n,p de rango r puede descomponerse como producto de tres matrices A=UDV t, dos de ellas ortogonales U n,r, V t r,p, y otra diagonal D con valores positivos, que son las raíces de los autovalores positivos de AA t. Los elementos de D se llaman valores singulares de la matriz A U esta formado por los autovectores unitarios asociados a los autovalores no nulos de AA t V esta formado por los autovectores unitarios asociados a los autovalores no nulos de A t A con esta descomposición A se puede escribir como A = r i=1 d i u i v t i Inversa generalizada Se denomina inversa generalizada, o g-inversa, de una matriz A n,p a otra matriz A n,p que verifica A A A= A. ( Lo que implica que A A debe ser idempotente y también A A ) En general no es única salvo que se le imponen las condiciones de que A A, A A, A A A sean matrices simétricas, obteniéndose la inversa generalizada de Monroe-Penrose. Si A es no singular A = A 1. Si A n,p,con rango(a)=p A = (A t A) 1 A t. Si A n,p,con rango(a)=n A = A t.(aa t ) 1.

10 Multivariante Curso En general utilizando la descomposición del valor singular A = VD 1 U t. Si A= X t X y G=A se cumple G t es también inversa generalizada de A. GX t es g-inversa de X. XGX t es invariante frente a G (es decir no depende de la g-inversa considerada). XGX t es simétrica. XG t X t X = X y X t XGX t = X t XG t X t =X t. XGX t es idempotente. Si y R n, X n,p, con rango(x)=p y se considera el subespacio M(X). La proyección de y sobre M(X) es X(X t X) 1 X t y Si y R n, X n,p y se considera el subespacio M(X). La proyección de y sobre M(X) es X(X t X) X t y (que es única) Derivadas Matriciales Dada f una función de n variables que se pueden identificar con un vector x de R n se define la derivada de f respecto a x, f f, como un vector cuyas componentes son ( x x i ) i. Si f(x)=a t x entonces f x =a Si f(x)=x t x entonces f x =2x Si f(x)=x t Ax con A una matriz simétrica entonces f x =2Ax Dada f una función de np variables que se pueden identificar con una matriz X n,p de se define la derivada de f respecto a X, f f, como una matriz cuyas componentes son ( X x ij ) ij. Si f(x)=a t Xb entonces f X =bat Si f(x)=a t X t Xb entonces f X =(bat +ab t )X t Máximos y Mínimos Dados y R n y una matriz A n,p la función φ(x) = (y Ax) t (y Ax) alcanza un mínimo en x=(a t A) A t y

11 Multivariante Curso Sean A y B dos matrices simétricas, con B>0 entonces el máximo (mínimo) de x t Ax bajo la condición x t Bx=1 se alcanza en un autovector de B 1 A correspondiente al máximo (mínimo) autovalor λ (p), (λ (1) ), y el valor del máximo (mínimo) es λ (p), (λ (1) ) El máximo de f(x)=x t a bajo la condición x t Bx=1, B>0, es (a t B 1 a) 1 2. Además max x t Bx=1 (at x) 2 = a t B 1 a y se alcanza en x= B 1 a (a t B 1 a) 2 1 Producto de Kronecker de matrices Dadas dos matrices A = (a ij ) y B se define el producto directo o producto de Kronecker de A y B, A B, como una nueva matriz formada por las cajas ( a11 B... a 1n B ) a m1 B... a mn B Este producto tiene las siguientes propiedades: 1. α(a B) = αa B = A αb 2. A (B C) = (A B) C = A B C 3. (A B) = A B 4. (A B)(F G) = AF BG, siempre que las dimensiones sean adecuadas 5. (A B) 1 = A 1 B 1 6. A (B + C) = (A B) + (A C) 7. (A + B) C) = (A C) + B C 8. (AXB) v = (B t A)X v Teorema.- Dadas las matrices T m,m y B n,n, con T matriz triangular superior, entonces T B = T n B m. Corolario.- Dadas A m,m y B n,n entonces A B = A n B m. Teorema.- Dadas A m,m y B n,n matrices reales, con autovalores α i y β j respectivamente entonces los autovalores de A B son λ ij = α i β j.