Algebra Lineal Aplicada para Modelos Lineales

Transcripción

1 Algebra Lineal Aplicada para Modelos Lineales Yuri Miranda Gonzáles Universidad Mayor de San Andrés Carrera de Estadística Abril 203 En el área de modelos lineales y econometría, la necesidad de contar con elementos teóricos sobre algebra lineal es imprescindible para una correcta comprensión y aplicación de estas herramientas, el presente documento muestra un compendio de conceptos, teoremas y demostraciones necesarios para contar con las herramientas teóricas. Es así que el principal objetivo del documento es la comprensión de los siguientes resultados: Al multilpicar un vector por una matriz simétrica idempotente se obtiene la proyección ortogonal de este vector sobre el espacio vectorial generado por las columnas de la matriz. Si Y es un vector de variables N(0; ) de n componentes, que se proyecta ortogonalmente sobre un espacio de dimensión r entonces el cuadrado del módulo del vector proyectado 2 (r). La descomposición de un vector de n componentes como una suma de h vectores ortogonales entre sí, y se expresa el vector como una suma de estos h vectores, entonces el cuadrado del módulo de cada vector de los componentes sigue una distribución 2 (a los del espacio donde se generó). Este compendio es el resultado de las clases impartidas en la Carrera de Estadística de la Universidad Mayor de San Andrés (UMSA), en base principalmente a las siguientes fuentes: Apéndice II de Regresión y Diseño de Experimentos, Daniel Peña 200; Apéndice de derivadas de matrices de Análisis Multivariante, Mardia 99; Capítulo I Vectors of random variables de GAF Seber 987, también el clásico libro de Algebra Lineal de Anton. Vectores. Producto escalar (o interno) de dos vectores yymiranda@gmail.com X 0 Y = Y 0 X = X x i y i

2 2. Norma o longitud de un vector X jxj = p X 0 X = q X x 2 i 3. Un conjunto de k vectores (X ; X 2 ; : : : X k ) son linealmente independientes (LI) si en la siguiente combinación lineal (cl) c X + + c k X k = 0 la única solucion es c = c 2 = = Sea un conjunto de k vectores LI de n componentes, se llama espacio vectorial (E) generado por este, al que contiene todos los vectores Z que pueden expresarse como combinación lineal de estos. si z 2 E ) z = c X + + c k X k 5. La dimensión del espacio E k = número de vectores LI que lo generan.. Ortogonalidad en vectores. Dos vectores son ortogonales, jxj jy j = 0 que es consecuecia de cuando = 90 o ) cos = 0 X 0 Y = jxj jy j cos Por lo tanto: dos vectores son ortoganeles, X 0 Y = 0 ó Y 0 X = 0 2. X es ortogonal a E p si X es ortogonal a todo vector de E p : por tanto si Y 2 E p ) Y 0 X = 0 2 Matrices y formas cuadráticas Algunas propiedades de transpuesta de matrices (A 0 ) 0 = A ; (A + B) 0 = A 0 + B 0 ; (AB) 0 = B 0 A 0 si A = A 0 ) A es simétrica 2. Rango de una matriz A cada A nn se puede asociar un E p generado por sus vectores columna ) el rango de la matriz es la dimensión de este espacio. rango(a) = rango(a 0 ) el rango también es el máximo número de vectores columna o la LI rango(a) n 2

3 2.2 Propiedades de inversa. (AB) = B A para matrices cuadradas no singulares 2. (ABC) = C B A 3. (A 0 ) = (A ) 0 4. A = jaj 5. Si A es simétrica ) A también 2.3 Matriz ortogonal C es una matriz ortogonal si es cuadrada y tal que: y como consecuencia se tiene: C 0 n CC 0 = C 0 C = I C 0 = C por lo tanto las las o columnas de una matriz ortogonal son vectores ortogonales entre si y de longitud. Claro...: C 0 0 CC 0 0 B A ( C 0 Cn 0 B ) C B A C A 0 0 CnC 0 n además: jcj = jc 0 j = 2.4 Matriz de nida positiva Una matriz A es de nida positiva si: Z 0 AZ > 0 donde Z es un vector. Todos los valores propios de A, i > 0 Propiedades:. Toda matriz A de nida positiva es invertible y A es de nida positiva 2. Toda matriz A de nida positiva tiene al menos una matriz N cuadrada tal que: A = NN = N 2 3

4 3 Forma cuadrática Una forma cuadrática (F C) es un escalar con la siguiente expresión: donde:y = 0 y. y n Y 0 AY = nx i= j= nx a ij y i y j C A ; A =matriz de n n: Entonces F C = Y 0 n A nn Y n Una F C es semide nida positiva entonces:. Y 0 AY 0 2. A es de nida o semide nida positiva. Recortar tambien que una matriz de nida positiva cumple: 3. Se llama rango de una FC al rango de la matriz A 3. Diagonalización de matrices simétricas. Valores y vectores propios Ax = x ) det(i A) = 0 los vectores propios de una matriz cuadrada son los x tal que: (I A)x = 0 Nota: Una matriz simétrica tiene i 2 R y autovectores ortogonales. 2. Diagonalización de matrices simétricas Toda matriz A simétrica puede diagonalizarse, mediante la transformación donde: C 0 AC = D C es ortogonal y esta construida con los vectores la con los autovectores de A Los elementos de D serán sus atovalores. Como jcj = jc 0 j = )el determinante de A será el producto de sus raices caracteristicas. El rango de una matriz = al número de i 6= 0 Por lo tanto "si se diagonaliza una matriz simétrica su rango será el número de elementos no nulos de la diagonal principal de la matriz D" 4

5 3.2 Una matriz importante: Matriz Idempotente Es una matriz cuadrada simétrica que cumple: 3.2. Nota AA = A = A 0 A Una matriz idempotente o bien es singular o bien es matriz unidad (matriz singular,jaj = 0; rango r < n orden de la matriz) Claro.... Si jaj 6= 0 ) 9 A y como A es idempotente AA = A A AA = A A IA = I ) A = I ) por tanto una matriz idempotente que no es la I sera singular. Los i de una idempotente son cero o unos... (I A)x = 0 ) Ax = x AAx = Ax Ax = Ax x = 2 x x( 2 ) = 0 = ; = 0 por lo tanto si se diagonaliza una idempotente se obtiene en la diagonal principal el número de unos= rango de la matriz, y el resto de elementos son cero Conclusiónes importantes:. (a) Una matriz idempotente A es siempre semide nida postiva. Dem. X 0 AX ) X 0 A 0 AX ) (AX) 0 (AX) 0 (b) Si A es idempotente ) también será I A Dem. (I A) (I A) = I A IA + AA = I A Traza de una matriz. Si C nn con elementos c ij ) tr(c) = las siguientes propiedades: (a) tr(a + B) = tr(a) + tr(b) (b) tr(a) = tr(a) nx c ij y es un operador lineal, con i= 5

6 (c) tr(abc) = tr(cab) = tr(bca) (d) Si A es idempotente su rango = tr(a): 3.3 Proyección Ortogonal El vector Y de n componentes y dimension p, p < n. La proyección ortogonal de Y sobre E p, es el vector V, que cumple: Y W E p V es decir:. Y = V + W con V 2 E p 2. U 0 W = 0 8 U 2 E p 3.4 Un ejemplo importante... Sea Y un vetor y sea E p un espacio vectorial de dimension engendrado por el vector X,) la proyección de Y sobre X será: Y V=cX X donde c es un escalar. Para hallar V, se tiene V = cx () V + e = Y ) e = Y V el vector e = Y V debe ser ortogonal a V, por tanto a X, es decir X 0 (Y V ) = 0 X 0 Y X 0 cx = 0 X 0 Y = X 0 Xc por tanto c = (X 0 X) X 0 Y 6

7 De () se tiene: V = cx = Xc, entonces... V = X(X 0 X) X 0 Y = AY por tanto la proyección de un vector Y sobre X se obtiene multiplicando el vector por una matriz A = X(X 0 X) X 0 La matriz A es cuadrada de n n, idempotente y de rango igual al del espacio sobre el que se proyecta que en este caso es uno. En efecto:. es cuadrada es idempotente es de rango uno... X n (X 0 X) X0 n = A nn (X(X 0 X) X 0 )(X(X 0 X) X 0 ) = X(X 0 X) X 0 rg(a) = tr(a) = tr(x(x 0 X) X 0 ) = tr(xx (X 0 ) X 0 ) = tr(i) = Estas propiedades encontradas para proyecciones sobre una recta son validas en general, como se desarrolla e los siguietes teoremas: Teorema Sea el vector Y 2 R n y X una matriz de n p donde las las de X son una base de un subespacio vectorial E p. Se tiene la matriz A como: A = X(X 0 X) X 0 La proyección del vector Y sobre el espacio E p es AY donde la matriz A es cuadrada, simetrica, idempotete y de rango p. Demostración. Para la idempotencia, se tiene que como V = AY es la proyección de Y sobre el espacio vectorial R(A) generado por las columnas de A entonces A es idempotente por que la proyección de V sobre R(A) será AV (y tendrá que ser invariante ya que V esta dentro de R(A)). pero V = AY, entonces V = AV AY = AAY lo que quiere decir que tiene que cumplirse A = A 2 por tanto la matriz proyección tiene que ser idempotente. Teorema 2 El cuadrado del modulo de la proyecció de Y sobre E p será: Y 0 AY donde A es idempotente Demostración. El cuadrado del módulo de la proyección es: (AY ) 0 (AY ) = Y 0 A 0 AY = Y 0 AY 7

8 4 Vectores y matrices aleatorias De nición.- Se tiene Z una matriz de variables aleatorias, y X y Y vectores aleatorios entonces: E[Z] = [E] Teorema.- si A = [(a ij )], B = [(b ij )]; C = [(c ij )] matrices constantes, entonces: E[AZB + C] = AE[Z]B + C E[AX] = AE[X] E[AX + BY ] = AE[X] + BE[Y ] De nición.- La covaranza entre dos vectores aleatorios se de ne como: Teorema.- Cov[X; Y ] = [(Cov[X i ; Y j ])] Cov[X; Y ] = E[(X E[X])(Y E[Y ]) 0 ] V [Y ] = [Cov[Y i ; Y j ]] V [X] = E[XX 0 ] (E[X])(E[X]) 0 Cov[AX; BY ] = ACov[X; Y ]B 0 Cov[AX; Y ] = ACov[X; Y ] Cov[X; BY ] = Cov[X; Y ]B 0 V [AX] = Cov[AX; AX] = ACov[X; X]A 0 = AV [X]A 0 Para profundizar los conceptos, demostraciones y ejemplos de estos resultados, puede ver capítuo Vectors of Random Variables de Lineal Regression Analysis G.A.F. SEBER (997) 5 Distribución normal Se tiene y ; y 2 ; :::; y n variables aleatorias indepedientes distribuidas N(; 2 ): Entoces: z = a 0 Y = a y + + a n y n E(z) = X a i V (z) = X 2 a 2 i donde Y es N(; 2 I) y a es un vector de constantes. 8

9 Teorema 3 Si z = a 0 Y z 2 = a 0 2Y donde Y N(; 2 I). Las variables z y z 2 serán independientes si a 0 a 2 = 0 Demostración. Como z y z 2 son normales entonces, incorrelación implica independencia por lo tanto se tiene que Cov(z ; z ) = Cov(a 0 Y; a 0 2Y) = a Cov(Y; Y)a 0 2 = a 2 a 0 2 = a a y sera cero solo cuando los vectores a ; a 2 sean ortogonales. 6 Distribución de formas cuadráticas de variables normales En la forma cuadratica Y 0 AY el vector Y será N(0; I), es decir los compoenentes de Y serán independientes y con = Teorema 4 Para que Y 0 AY se distribuya 2 (r), entonces la condición necesaria y su ciente es que A sea idempotente de orden r Demostración. Si se realiza la trasformación X = CY donde C es ortogonal y diagonaliza a A y X se distribuye normal. Y = C X Y = C 0 X Y 0 AY = X 0 CAC 0 X rx = X 0 DX = x 2 i 2 (r) i= ) Y 0 AY 2 (r) Teorema 5 Si Y N(0; I) se proyecta sobre un espacio vectorial de dimensión r, el cuadrado del modulo de su proyección se distribuye chi cuadrado con r gl. Demostración. El modulo de un vector es p X 0 X: Como la proyección de un vector Y sobre un espacio vectorial es AY, Entoces el cuadrado de su modulo es: (AY ) 0 AY = Y A 0 AY = Y 0 AY 2 (r) Teorema 6 Dos formas cuadráticas Y 0 AY y Y 0 BY serán independientes si AB 0 = 0 9

10 7 Derivadas matriciales Si X es un vector de variables x i,entonces la derivada de una función que depende del vector X es un vector donde sus componentes son las derivadas de f respecto a cada componente. por ejemplo 0 Si f = 8x + 4x 2 + 6x =. Si f = a = a 2. Si f = X 0 AX, donde A es una matriz cuadrada y 0 = 2AX 3. Si f = AX, donde A es una matriz cualquiera 4. Otras = = = = jxj (X0 0 = 2BA 8 Inversa de una matriz particionada Si A = A A 2 A 2 A 22 Donde A y A 22 son matrices cuadradas no singulares y se de ne B como: B = (A A 2 A 22 A 2) se tiene: A = B BA 2 A22 A22 2B A BA 2 A22 9 Determinante Si A = A A 2 A 2 A 22 0

11 se tiene: jaj = ja 22 j A A 2 A 22 A 2 = ja j A 22 A 2 A A 2 Propiedades de inversas de sumas de matrices Se tiene las matrices A y C no singulares, y la siguiente multiplicación: (A + BCD) = A A B(DA B + C ) DA como un caso particular con b y d como vectores se tiene: (A + bd 0 ) = A ( + d 0 A b) (A b)(d 0 A ) 0 Bibliogra a [] Anton, "Algebra Lineal", [2] Daniel Peña, "Regresión y Diseño de Experimentos", 200 [3] G.A.F. Seber, "Linear Regression Analysis", 997 [3] Mardia, "Análisis Multivariante", 989