Métodos Estadísticos Multivariados

Métodos Estadísticos Multivariados Victor Muñiz ITESM Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 1 / 34

Álgebra matricial y vectores aleatorios Una matriz es un arreglo de números en n renglones y d columnas: x 11 x 12 x 1d x 21 x 22 x 2d X = (x ij ) =...... x n1 x n2 x nd (n d) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 2 / 34

Álgebra matricial y vectores aleatorios Una matriz es un arreglo de números en n renglones y d columnas: x 11 x 12 x 1d x 21 x 22 x 2d X = (x ij ) =...... x n1 x n2 x nd Un vector es una matriz con 1 columna: x 1 x 2 x =. x n (n d) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 2 / 34

Álgebra matricial Operaciones y propiedades básicas Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 3 / 34

Operaciones y propiedades básicas Operaciones básicas: Transpuesta A T = (a ji ) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 4 / 34

Operaciones y propiedades básicas Operaciones básicas: Transpuesta A T = (a ji ) Suma A (n d) + B (n d) = (a ij ) + (b ij ) = C (n d) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 4 / 34

Operaciones y propiedades básicas Operaciones básicas: Transpuesta A T = (a ji ) Suma A (n d) + B (n d) = (a ij ) + (b ij ) = C (n d) Multiplicación por un escalar ca = (c a ij ) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 4 / 34

Operaciones y propiedades básicas Operaciones básicas: Multiplicación ( d ) A (n d) B (d m) = C (n m) = a ik b kj, k=1 es decir, multiplicar cada renglón de A por cada columna de B. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 5 / 34

Operaciones y propiedades básicas Operaciones básicas: Multiplicación ( d ) A (n d) B (d m) = C (n m) = a ik b kj, es decir, multiplicar cada renglón de A por cada columna de B. Observa que, si las columnas de A no son iguales a los renglones de B, la operación no estará definida. Observa también que, en general, la multiplicación es no conmutativa: AB BA k=1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 5 / 34

Operaciones y propiedades básicas Algunas propiedades (suponiendo que están definidas las operaciones): Conmutatividad de la suma A + B = B + A Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 6 / 34

Operaciones y propiedades básicas Algunas propiedades (suponiendo que están definidas las operaciones): Conmutatividad de la suma A + B = B + A Distributividad respecto a la suma A(B + C) = AB + AC, sin embargo, en general A(B + C) BA + CA Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 6 / 34

Operaciones y propiedades básicas Algunas propiedades (suponiendo que están definidas las operaciones): Conmutatividad de la suma A + B = B + A Distributividad respecto a la suma A(B + C) = AB + AC, sin embargo, en general A(B + C) BA + CA Asociatividad A(BC) = (AB)C Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 6 / 34

Operaciones y propiedades básicas Algunas propiedades (suponiendo que están definidas las operaciones): Conmutatividad de la suma A + B = B + A Distributividad respecto a la suma A(B + C) = AB + AC, sin embargo, en general A(B + C) BA + CA Asociatividad A(BC) = (AB)C Transpuestas (A T ) T = A, (AB) T = B T A T, (A + B) T = A T + B T Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 6 / 34

Álgebra matricial Algunos tipos básicos de matrices Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 7 / 34

Tipos básicos de matrices Matriz cuadrada: A (d d) Nota que, el producto A 2 = AA (en general A k ) está definido solo para este tipo de matrices. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 8 / 34

Tipos básicos de matrices Matriz cuadrada: A (d d) Nota que, el producto A 2 = AA (en general A k ) está definido solo para este tipo de matrices. Matriz simétrica: A = A T Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 8 / 34

Tipos básicos de matrices Matriz cuadrada: A (d d) Nota que, el producto A 2 = AA (en general A k ) está definido solo para este tipo de matrices. Matriz simétrica: A = A T Matriz diagonal: diag(d 1,..., d n ) = d 1 0 0 0 d 2 0...... 0 0 d n (n n) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 8 / 34

Tipos básicos de matrices Algunos tipos especiales de matrices: Vector y matriz de unos: 1 1 1 n =., 1 m1 T n = 1 1 1 1 1 1 1...... 1 1 1 (m n) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 9 / 34

Tipos básicos de matrices Algunos tipos especiales de matrices: Vector y matriz de unos: 1 1 1 n =., 1 m1 T n = 1 1 1 1 1 1 1...... 1 1 1 (m n) Matriz identidad: I = diag(1 n ) = 1 0 0 0 1 0...... 0 0 1 (n n) Observa que para cualquier matriz A de tamaño adecuado, IA = AI = A. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 9 / 34

Álgebra matricial Características básicas Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 10 / 34

Características básicas Independencia lineal: Un conjunto de k renglones (o columnas) de A son linealmente independientes si k j=1 c ja j = 0 implica que existen constantes c j = 0 j, c j R, es decir, ningun renglón (o columna) de este conjunto puede expresarse como una combinación lineal de los (k 1) renglones restantes. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 11 / 34

Características básicas Independencia lineal: Un conjunto de k renglones (o columnas) de A son linealmente independientes si k j=1 c ja j = 0 implica que existen constantes c j = 0 j, c j R, es decir, ningun renglón (o columna) de este conjunto puede expresarse como una combinación lineal de los (k 1) renglones restantes. Ejemplo Considera la matriz X = 3 0 2 6 6 5 1 12 9 5 1 18 Los vectores columna x 1 y x 4 son linealmente dependientes, así como x 1, x 2 y x 3, pero x 1 y x 2 son linealmente independientes.. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 11 / 34

Características básicas Rango: el rango de una matriz A n d es el máximo número de columnas (renglones) linealmente independientes. Si rango(a n d ) = mín(n, d), se dice que A es de rango completo. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 12 / 34

Características básicas Rango: el rango de una matriz A n d es el máximo número de columnas (renglones) linealmente independientes. Si rango(a n d ) = mín(n, d), se dice que A es de rango completo. Determinante: Consideremos una matriz cuadrada A n n. Su determinante está dado por { A = a 11 si k = 1 d j=1 a ij A ij ( 1) i+j si k > 1, donde A ij es la matriz A (d 1) (d 1) obtenida al eliminar el renglón i y la columna j. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 12 / 34

Características básicas Rango: el rango de una matriz A n d es el máximo número de columnas (renglones) linealmente independientes. Si rango(a n d ) = mín(n, d), se dice que A es de rango completo. Determinante: Consideremos una matriz cuadrada A n n. Su determinante está dado por { A = a 11 si k = 1 d j=1 a ij A ij ( 1) i+j si k > 1, donde A ij es la matriz A (d 1) (d 1) obtenida al eliminar el renglón i y la columna j. Ejemplo (Determinante) Considera las matrices A (2 2) y B (3 3) para obtener A y B. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 12 / 34

Características básicas Matriz singular y no singular: Considera una matriz cuadrada A de tamaño n. A es no singular si Rango(A) = n, lo que implica que Ax = 0 solo si x = 0, es decir, sus columnas (renglones) son linealmente independientes. En caso contrario, se dice que A es singular. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 13 / 34

Características básicas Matriz singular y no singular: Considera una matriz cuadrada A de tamaño n. A es no singular si Rango(A) = n, lo que implica que Ax = 0 solo si x = 0, es decir, sus columnas (renglones) son linealmente independientes. En caso contrario, se dice que A es singular. Inversa: Si A es cuadrada y no singular, su inversa A 1 es una matriz tal que AA 1 = A 1 A = I Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 13 / 34

Características básicas También, la inversa está relacionada con el determinante mediante donde C es la adjunta de A. A 1 = C A, Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 14 / 34

Características básicas También, la inversa está relacionada con el determinante mediante donde C es la adjunta de A. A 1 = C A, Si A es una matriz cuadrada, de tamaño n, lo siguiente es equivalente: 1 A es singular, es decir Ax = 0 implica que x = 0 2 A 0 3 Existe su inversa, tal que AA 1 = A 1 A = I Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 14 / 34

Características básicas Algunos resultados útiles. Sean A y B matrices cuadradas de tamaño n y no singulares. 1 (A 1 ) T = (A T ) 1 2 (AB) 1 = B 1 A 1 3 Si una columna o renglón de A es cero, A = 0. 4 Si A tiene renglones o columnas ideénticos, A = 0. 5 Si A = diag(a 1,..., a n ), con los elementos de la diagonal diferentes de cero, entonces A 1 = diag(a1 1,..., a 1 n ). Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 15 / 34

Características básicas Algunos resultados útiles. Sean A y B matrices cuadradas de tamaño n y no singulares. 1 (A 1 ) T = (A T ) 1 2 (AB) 1 = B 1 A 1 3 Si una columna o renglón de A es cero, A = 0. 4 Si A tiene renglones o columnas ideénticos, A = 0. 5 Si A = diag(a 1,..., a n ), con los elementos de la diagonal diferentes de cero, entonces A 1 = diag(a1 1,..., a 1 n ). Traza: Para una matriz A cuadrada de tamaño n, su traza es la suma de la diagonal n tr(a) = i=1 a ii Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 15 / 34

Características básicas Un método para invertir una matriz: Eliminación de Gauss-Jordan. Consideremos las matrices elementales cuadradas E 1, E 2,... E k, obtenidas al aplicar solo una operación elemental de renglón a I, por ejemplo: E 1 = E 2 = ( 0 1 1 0 ( c 0 0 1 ), intercambia renglón 1 y 2 ), multiplica renglón 1 por c Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 16 / 34

Características básicas Eliminación de Gauss-Jordan. Teorema Sea A una matriz cuadrada e invertible. Supongamos que una secuencia de operaciones elementales de renglón reduce A a la matriz identidad. Entonces, A 1 se obtiene aplicando la misma secuencia de operaciones a la matriz identidad. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 17 / 34

Características básicas Eliminación de Gauss-Jordan. Teorema Sea A una matriz cuadrada e invertible. Supongamos que una secuencia de operaciones elementales de renglón reduce A a la matriz identidad. Entonces, A 1 se obtiene aplicando la misma secuencia de operaciones a la matriz identidad. Ejemplo Obtener la inversa de A = ( 3 2 1 1 ) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 17 / 34

Características básicas Valores y vectores propios Definición (Eigenvalores) Sea A una matriz cuadrada de tamaño n. Los escalares λ 1, λ 2,..., λ n que satisfacen A λi = 0 (1) son llamados eigenvalores o valores propios de A Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 18 / 34

Características básicas Valores y vectores propios Definición (Eigenvalores) Sea A una matriz cuadrada de tamaño n. Los escalares λ 1, λ 2,..., λ n que satisfacen A λi = 0 (1) son llamados eigenvalores o valores propios de A La ecuación (1) es llamada ecuación característica. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 18 / 34

Características básicas Valores y vectores propios Definición (Eigenvalores) Sea A una matriz cuadrada de tamaño n. Los escalares λ 1, λ 2,..., λ n que satisfacen A λi = 0 (1) son llamados eigenvalores o valores propios de A La ecuación (1) es llamada ecuación característica. El lado izquierdo de (1) es un polinomio de grado n en λ, y puede mostrarse que tiene exáctamente n raíces, no necesariamente diferentes y pueden ser reales o complejas. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 18 / 34

Características básicas Valores y vectores propios Definición (Eigenvectores) Sea A una matriz cuadrada de tamaño n con eigenvalores λ 1, λ 2,..., λ n. Si x i 0 tal que Ax i = λ i x i = 0, (2) entonces x i es un eigenvector (o vector propio) de A asociado al eigenvalor λ i. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 19 / 34

Características básicas Valores y vectores propios Definición (Eigenvectores) Sea A una matriz cuadrada de tamaño n con eigenvalores λ 1, λ 2,..., λ n. Si x i 0 tal que Ax i = λ i x i = 0, (2) entonces x i es un eigenvector (o vector propio) de A asociado al eigenvalor λ i. Si x i es un eigenvector de A, también lo es kx i, es decir, los eigenvectores son invariantes bajo la multiplicación por un escalar. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 19 / 34

Características básicas Valores y vectores propios Definición (Eigenvectores) Sea A una matriz cuadrada de tamaño n con eigenvalores λ 1, λ 2,..., λ n. Si x i 0 tal que Ax i = λ i x i = 0, (2) entonces x i es un eigenvector (o vector propio) de A asociado al eigenvalor λ i. Si x i es un eigenvector de A, también lo es kx i, es decir, los eigenvectores son invariantes bajo la multiplicación por un escalar. Ejemplo (En clase...) Obtener los valores y vectores propios de ( 1 0 A = 1 3 ). Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 19 / 34

Características básicas Ortogonalidad de vectores y matrices Dos vectores a y b de tamaño n son ortogonales si a T b = a, b = a 1 b 1 + a 2 b 2 + + a n b n = 0. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 20 / 34

Características básicas Ortogonalidad de vectores y matrices Dos vectores a y b de tamaño n son ortogonales si a T b = a, b = a 1 b 1 + a 2 b 2 + + a n b n = 0. Un vector a está normalizado si a T a = 1, lo cual se logra haciendo a (a T a) 1/2 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 20 / 34

Características básicas Ortogonalidad de vectores y matrices Dos vectores a y b de tamaño n son ortogonales si a T b = a, b = a 1 b 1 + a 2 b 2 + + a n b n = 0. Un vector a está normalizado si a T a = 1, lo cual se logra haciendo a (a T a) 1/2 Dos vectores a y b de tamaño n son ortonormales si son ortogonales y están normalizados, es decir a T a = b T b = 1 y a T b = 0 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 20 / 34

Características básicas Definición (Matriz ortogonal) Una matriz cuadrada A de tamaño n es ortogonal si sus columnas son normalizadas y mutuamente ortogonales, de forma tal que AA T = A T A = I Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 21 / 34

Características básicas Definición (Matriz ortogonal) Una matriz cuadrada A de tamaño n es ortogonal si sus columnas son normalizadas y mutuamente ortogonales, de forma tal que AA T = A T A = I Observa que, lo anterior es cierto para matrices cuadradas, es decir, si sus columnas son ortogonales, también sus renglones, pero en general B T B = I c pero BB T I r Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 21 / 34

Características básicas Algunos aspectos geométricos. Norma o longitud: a = ( ) 1/2 a T a Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 22 / 34

Características básicas Algunos aspectos geométricos. Norma o longitud: a = ( ) 1/2 a T a Distancia entre 2 vectores: a b = ( ) 1/2 (a b) T (a b) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 22 / 34

Características básicas Algunos aspectos geométricos. Norma o longitud: a = ( ) 1/2 a T a Distancia entre 2 vectores: a b = ( ) 1/2 (a b) T (a b) Ángulo entre 2 vectores: cos θ = at b a b Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 22 / 34

Características básicas Ejemplo en R 2 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 23 / 34

Características básicas Ejemplo en R 2. 2 vectores ortogonales Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 24 / 34

Características básicas Ejemplo en R 2. 2 vectores ortogonales Una matriz real, cuadrada, de tamaño n define una base para el espacio vectorial R n. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 24 / 34

Álgebra matricial Descomposición espectral y formas cuadráticas Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 25 / 34

Descomposiciones espectrales y formas cuadráticas Teorema (Descomposición de Jordan) Cualquier matriz simétrica A de tamaño n puede escribirse como A = VΛV T = n λ i v i vi T, i=1 donde Λ es una matriz diagonal que contiene los eigenvalores de A y V es una matriz ortogonal cuyas columnas son los eigenvectores correspondientes. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 26 / 34

Descomposiciones espectrales y formas cuadráticas Definición (Forma cuadrática) Una forma cuadrática en el vector x de tamaño d es una función de la forma x T Ax = a ij x i x j = a ii xi 2 + a ij x i x j, i j i=1 i j para i, j = 1,..., d, y donde A es una matriz simétrica. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 27 / 34

Descomposiciones espectrales y formas cuadráticas Un resultado importante Resultado Para cualquier matriz simétrica A, existe una transformación ortogonal y = V T x tal que x T Ax = i λ i y 2 i Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 28 / 34

Descomposiciones espectrales y formas cuadráticas Definición (Positividad) Una matriz simétrica A de tamaño n es positiva definida si y es positiva semidefinida si x T Ax > 0 para x 0 x T Ax 0 para x 0 Usualmente también se escribe A > 0 y A 0 para una matriz positiva definida y positiva semidefinida, respectívamente. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 29 / 34

Descomposiciones espectrales y formas cuadráticas Resultado Si A es positiva definida, λ i > 0 para i = 1,..., n. Si A es positiva semidefinida, λ i 0 para i = 1,..., n. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 30 / 34

Descomposiciones espectrales y formas cuadráticas Resultado Si A es positiva definida, λ i > 0 para i = 1,..., n. Si A es positiva semidefinida, λ i 0 para i = 1,..., n. Lo anterior nos da una forma de caracterizar las matrices simétricas mediante su descomposición espectral. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 30 / 34

Álgebra matricial Vectores y matrices aleatorias Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 31 / 34

Vectores y matrices aleatorias Una matriz aleatoria X (vector aleatorio) es una matriz cuyas entradas son variables aleatorias. El valor esperado es la matriz formada por los valores esperados de cada entrada: E(X) = E(x 11 ) E(x 12 ) E(x 1d ) E(x 21 ) E(x 22 ) E(x 2d )...... E(x n1 ) E(x n2 ) E(x nd ) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 32 / 34

Vectores y matrices aleatorias Vector de promedios y matrices de covarianzas. E(x 1 ) E(x 2 ) E(x) = µ =. E(x d ) Σ = E(x µ)(x µ) T = E(x 1 µ 1 ) 2 E(x 1 µ 1 )(x 2 µ 2 ) E(x 1 µ 1 )(x d µ d ) E(x 2 µ 2 )(x 1 µ 1 ) E(x 2 µ 2 ) 2 E(x 2 µ 2 )(x d µ d )...... E(x d µ d )(x 1 µ 1 ) E(x d µ d )(x 2 µ 2 ) E(x d µ d ) 2 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 33 / 34

Vectores y matrices aleatorias Σ = σ 11 σ 12 σ 1d σ 21 σ 22 σ 2d...... σ d1 σ d2 σ dd Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre 2011 34 / 34