Tema 1. Preliminares. 1.1 Resultados algebraicos

Transcripción

1 Tema 1 Preliminares 11 Resultados algebraicos Consideraremos habitualmente matrices con coeficientes en R y, ocasionalmente, en C Denotaremos por a i j a los elementos de una matriz A, donde el subíndice i indica la fila y el j la columna donde se sitúa dicho elemento Diremos que A es de orden m n si tiene m filas y n columnas A se dice cuadrada de orden n si es de orden n n Los elementos de R n serán considerados como matrices columna, es decir, de orden n 1: x R n si y sólo si x = A lo largo del texto tanto los vectores como las matrices aparecerán escritos en letra negrita Si A = (a i j ) denotaremos A t a la matriz traspuesta de A (A t = (a ji )) Una matriz cuadrada A es simétrica si A = A t La suma de las matrices A = (a i j ) y B = (b i j ) es la matriz A + B = (a i j + b i j ) El producto de la matriz A = (a i j ) por el escalar k es la matriz ka = (ka i j ) Una matriz cuadrada D = (d i j ) se dice diagonal si d i j = 0 para todo i j A la matriz diagonal, que verifica d ii = 1 para todo i se le denomina matriz identidad (la denotaremos por I ó I n si queremos especificar su orden) La matriz nula 0 es aquella cuyos elementos son todos iguales a 0 El producto de las matrices A = (a i j ) de orden m n y B = (b i j ) de orden n p es la matriz AB = (c i j ), de orden m p, cuyo elemento (i, j) es c i j = n k=1 a ikb k j Una matriz cuadrada A es invertible o no singular si existe otra matriz A 1 de modo que AA 1 = A 1 A = I En caso contrario se dice que A es singular Una matriz cuadrada A es ortogonal si su traspuesta y su inversa coinciden, es decir, si AA t = A t A = I Denotaremos por A ó det(a) al determinante de la matriz cuadrada A Veamos algunas propiedades de las matrices: Traza (A t ) t = A, (AB) t = B t A t A t A = 0 si y sólo si A = 0 (A 1 ) 1 = A, (AB) 1 = B 1 A 1 (A t ) 1 = (A 1 ) t ka = Ak para todo escalar k AI = IA = A Si AB = 0 (A y B cuadradas) entonces A = 0 ó B = 0 ó ambas son singulares La traza de una matriz cuadrada de orden n, A = (a i j ), es la suma de los elementos de su diagonal principal, es decir, tr(a) = n a ii Algunas propiedades de la traza: tr(a + B) = tr(a) + tr(b), tr(ka) = k tr(a) siendo k escalar tr(a) = tr(a t ) tr(i n ) = n x 1 x n 1

2 tr(ab) = tr(ba) Rango tr(abc) = tr(cab) = tr(bca) (que no tienen por qué ser iguales a tr(acb)) si P invertible tr(a) = tr(p 1 AP) El rango de una matriz A es el máximo número de filas o columnas linealmente independientes Lo denotaremos por r(a) Algunas propiedades del rango son: r(ab) min{r(a), r(b)} r(a + B) r(a) + r(b) Si A, C invertibles, entonces r(ab) = r(bc) = r(b) Si A y B son matrices cuadradas de orden n y rangos r y s, respectivamente, entonces r(ab) r + s n r(a t A) = r(aa t ) = r(a) = r(a t ) Una matriz cuadrada de orden n, A, es invertible si y sólo si r(a) = n si y sólo si A 0 Autovalores y autovectores Sea A una matriz cuadrada de orden n Diremos que un escalar λ es un valor propio ó autovalor de A si existe un vector X = (x 1,, x n ) t 0 tal que AX = λx Diremos que X es un vector propio ó autovector de la matriz A Llamaremos polinomio característico de la matriz A al determinante χ A (x) = xi n A Este polinomio tiene algunas propiedades interesantes: El grado de χ A (x) es n Además el coeficiente principal de χ A (x) es igual a 1 El coeficiente del monomio de grado n 1 de χ A (x) es igual a la traza de A El término independiente de χ A (x) es igual a A = ( 1) n A En consecuencia, A es invertible si y sólo si 0 no es autovalor de A Si P es invertible, entonces χ A (x) = χ P 1 AP(x) Si A es una matriz de orden n con n autovalores 1 (no necesariamente distintos), entonces el determinante de A es igual al producto de dichos autovalores y la traza de A es igual a la suma de los mismos Es decir, si A tiene orden n y λ 1,, λ n son los autovalores de A, entonces A = λ 1 λ n tr(a) = λ λ n Diremos que una matriz cuadrada de orden n, A, es diagonalizable si existe otra matriz P invertible tal que P 1 AP = D, siendo D una matriz diagonal Los elementos de la diagonal de D son los autovalores de A Las columnas de la matriz P son n autovectores de A linealmente independientes (La matriz P, en general, no es única) Toda matriz simétrica A es diagonalizable Además podemos encontrar una base ortonormal de autovectores de A, es decir, existe una matriz ortogonal P tal que P t AP = D, con D diagonal (Los autovectores ortonormales son los que forman las columnas de P No necesariamente son los primeros que vamos a encontrar Una forma de obtener P, podría ser hallar primero una base cualquiera de autovectores y ortonormalizarla por el método de Gramm-Schmidt) 1 Esto ocurre, por ejemplo, para cualquier matriz con coeficientes en C

3 Matrices y formas cuadráticas definidas positivas Si A es una matriz cuadrada de orden n, x R n, se denomina forma cuadrática a cualquier expresión del tipo n x t Ax = a i j x i x j i, j=1 Matrices distintas pueden tener asociada la misma forma cuadrática Así por ejemplo es sencillo comprobar que si B = (A + A t )/, entonces x t Ax = x t Bx Pero a diferencia de A, B es simétrica, y además es la única matriz simétrica cuya forma cuadrática asociada es x t Bx De este modo, cuando tengamos una forma cuadrática x t Ax, siempre supondremos que A es la matriz simétrica asociada a dicha forma Diremos que una forma cuadrática x t Ax es definida positiva si x t Ax 0 x R n ; x t Ax = 0 x = 0 Diremos x t Ax es semidefinida positiva si x t Ax 0 para todo x R n La matriz A es (semi)definida positiva si su forma cuadrática asociada lo es Un criterio sencillo para determinar si una forma cuadrática es definida positiva es el criterio de Sylvester: una matriz simétrica es definida positiva si y sólo si sus menores principales son mayores estrictamente que 0 En consecuencia todas las matrices definidas positivas son no singulares Si los menores principales son mayores o iguales que 0, entonces la matriz es semidefinida positiva Veamos algunas propiedades de estas matrices: Si P es una matriz no singular y A simétrica, entonces A es (semi)definida positiva si y sólo si P t AP es (semi)definida positiva Si A es definida positiva entonces existe una matriz no singular P tal que P t AP = I A es definida positiva si y sólo si existe Q no singular tal que A = Q t Q (Q = P 1 ) Los autovalores de una matriz definida positiva son mayores estrictamente que 0 Si la matriz es semidefinida positiva sus autovalores son no negativos, aunque pueden ser 0 A partir de matrices no cuadradas se pueden obtener matrices definidas positivas En efecto, si A es una matriz de orden m n, entonces se verifica que tanto A t A como AA t son matrices semidefinidas positivas Ahora bien, Si r(a) = m entonces AA t es definida positiva Si r(a) = n entonces A t A es definida positiva Por último, también tiene interés el siguiente resultado: Si A es una matriz simétrica de orden n y rango r con coeficientes reales entonces existe una matriz L de orden n r (con coeficientes complejos) tal que A = LL t Si además A es semidefinida positiva entonces L tiene coeficientes reales Por último, si A es definida positiva entonces L es cuadrada y no singular Además podemos tomar L simétrica y definida positiva En este último caso denotaremos a L como A 1/, es decir la matriz raíz cuadrada de la matriz A Una interesante propiedad es que (A 1/ ) 1 = (A 1 ) 1/ A esta última matriz la denotaremos A 1/ 3

4 Matrices idempotentes Una matriz cuadrada P se dice idempotente si P = P Es sencillo verificar que si P es una matriz idempotente entonces sus únicos posibles autovalores, tanto reales como complejos, son 0 y/ó 1 Veamos algunas propiedades de las matrices idempotentes: Si P idempotente entonces (si y sólo si) I P idempotente Si P es una matriz simétrica de orden n entonces P es idempotente de rango r si y sólo si P tiene el autovalor 1 con multiplicidad r y el 0 con multiplicidad n r Si P simétrica idempotente entonces r(p) = tr(p) Si P simétrica idempotente entonces es semidefinida positiva Sean A y V matrices simétricas y V definida positiva Si AV tiene como únicos autovalores 0 y 1 entonces AV es idempotente Producto de Kronecker Si A = (a i j ) y B = (b i j ) son matrices de dimensiones m n y p q, respectivamente, el producto de Kronecker de A con B es otra matriz de dimensión mp nq definida mediante la expresión: a 11 B a 1 B a 1n B A B = a m1 B a 1 B a mn B Enumeramos a continuación algunas propiedades importantes: (λa) B = A (λb) = λ(a B), λ escalar (A + B) C = A C + B C y A (B + C) = A B + A C A (B C) = (A B) C (A B)(C D) = (AC) (BD) (A B) t = A t B t Si A y B son cuadradas tr(a B) = tr(a) tr(b) Si A y B son cuadradas de órdenes m y n, respectivamente, entonces det(a B) = det(a) n det(b) m Si A y B son cuadradas y no singulares entonces (A B) t también es no singular y (A B) 1 = A 1 B 1 El producto de Kronecker tiene cierta relación con la vectorización de una matriz Dada una matriz A = (a i j ) de orden m n denotamos por vec(a) al vector de R mn definido por vec(a) = (a 11,, a 1n, a 1,, a m1,, a mn ) t Se verifica que vec(azb + H) = (A B t ) vec(z) + vec(h) 4

5 Desigualdades de matrices y maximización (desigualdad de Cauchy-Schwarz) Si a, b son dos vectores p-dimensionales entonces (a t b) (a t a)(b t b) y se da la igualdad si y sólo si a, b son linealmente dependientes (desigualdad de Cauchy-Schwarz extendida) Si a, b son dos vectores p-dimensionales y B es una matriz cuadrada de orden p definida positiva entonces (a t b) (a t Ba)(b t B 1 b) (lema de maximización) Si a es un vector p-dimensional y B es una matriz cuadrada de orden p definida positiva entonces (x t a) max x 0 x t Bx = at B 1 a y se alcanza sobre x = λb 1 a para cualquier constante λ 0 (maximización de formas cuadráticas sobre la esfera unidad) Sea B una matriz de orden p definida positiva con autovalores λ 1 λ λ p > 0 y autovectores ortonormales e 1, e,, e p asociados Entonces max x 0 min x 0 Además, para k =,, p 1 x t Bx x t x = λ 1 y se alcanza sobre x = e 1 x t Bx x t x = λ p y se alcanza sobre x = e p x t Bx max x e 1,,e k 1 x t x = λ k y se alcanza sobre x = e k 5

6 1 Distribución Normal Multivariante y distribuciones relacionadas Sea V = (σ i j ) una matriz cuadrada de orden n, con coeficientes reales, simétrica y semidefinida positiva; y sea µ = (µ 1,, µ n ) t R n DEFINICIÓN Diremos que el vector aleatorio (va) n-dimensional X = (X 1,, X n ) t sigue distribución Normal n-dimensional de parámetros µ y V si su función característica es En tal caso lo denotaremos X N n (µ, V) PROPIEDADES: ϕ X (s) = exp{is t µ 1 st Vs}, s R n Si V es definida positiva, la función de densidad de X es f (x) = 1 (π) n/ V 1/ exp{ 1 (x µ)t V 1 (x µ)}, x = (x 1,, x n ) t R n El vector de medias de X es µ y su matriz de covarianzas es V Las distribuciones marginales de una distribución Normal Multivariante son Normales Concretamente, la distribución marginal del vector X 1 = (X 1,, X k ) t k < n es una Normal k-dimensional de media µ 1 y matriz de covarianzas V 11, donde σ 11 σ 1k µ 1 = (µ 1,, µ k ) t y V 11 = σ k1 σ kk Supongamos que dividimos la matriz de covarianzas V de la forma ( ) V11 V V = 1 V t 1 V siendo V 11 como en el punto anterior La distribución del vector X 1 = (X 1,, X k ) t condicionada a X k+1 = x k+1,, X n = x n es normal k dimensional de media µ 1 + V 1 V 1 (x µ ) y matriz de covarianzas V 11 V 1 V 1 Vt 1, siendo x = (x k+1,, x n ) t y µ = (µ k+1,, µ n ) t Sea X N n (µ, V) e Y = AX + β, donde A es una matriz k n de rango k (k n) y β un vector k 1 Entonces Y = (Y 1,, Y k ) t N k (Aµ + β, AVA t ) Si X t = (X t 1, Xt ) con X 1 = (X 1,, X k ) t y X = (X k+1,, X n ) t entonces X 1 y X son independientes si y sólo si σ i j = Cov(X i, X j ) = 0 para todo i = 1,, k y j = k + 1,, n X = (X 1, X n ) t N n (µ, V) si y sólo si toda combinación lineal de X 1, X n sigue distribución Normal (ie para todo λ R n, λ t X N(λ t µ, λ t Vλ)) 6

7 Distribución Chi-cuadrado no central DEFINICIÓN Si X N n (µ, I n ), llamaremos Chi-cuadrado no central con n grados de libertad y parámetro de descentralización µ a la distribución de la variable aleatoria Y = X t X y escribiremos Y χ (n, µ ) PROPIEDADES: Y tiene función de densidad f (x) = k=0 exp{ µ } µ k k! x n+k 1 exp{ x } Γ( n+k n+k ) si x > 0; 0 si x 0, siendo µ = 1 µt µ La función generatriz de momentos de Y es χ (n, 0) χ (n) M Y (s) = (1 s) n/ exp{ µ (1 1 )}, s en un entorno de 0 1 s Si X N n (µ, σ I n ), entonces X t X/σ χ (n, µ ), siendo µ = 1 σ µ t µ Sean Y i χ (n i, µ i ), i = 1,, k, variables aleatorias independientes Entonces Distribución F-Snedecor no central k k Y i χ ( n i, k µ i ) DEFINICIÓN Si Y 1 χ (n 1, µ) e Y χ (n, 0) son va independientes, se denomina distribución F de Snedecor no central con n 1, n grados de libertad y parámetro de descentralización µ a la distribución de la va Z = Y 1/n 1 Y /n y escribiremos Z F(n 1, n, µ) Z tiene función de densidad f (x) = OBSERVACIÓN: k=0 µ µk ( n 1 n e ) n1+k Γ( n 1+n +k ) k! F(n 1, n, 0) F(n 1, n ) Γ( n 1+k )Γ( n ) Si Y t(n) entonces Y F(1, n) x n 1 +k 1 (1 + n 1 x) n 1 +n +k si x > 0; 0 si x 0 n 7

8 13 Modelo Lineal Normal univariante DEFINICIÓN Sea Y = (Y 1,, Y n ) t un vector aleatorio n-dimensional y X una matriz de orden n p (p < n) de constantes conocidas Diremos que Y satisface un Modelo Lineal si E[Y] = Xβ, donde β = (β 1,, β p ) t es un vector de parámetros desconocidos Es conveniente escribir Y = Xβ + E, (1) donde E = (E 1,, E n ) t es un vector aleatorio no observable con E[E] = 0 La relación (1) se conoce como Modelo Lineal General En este resumen supondremos que el modelo es de rango completo, es decir r(x) = p, y que es normal, es decir E N n (0, σ I n ) Estimación puntual en el Modelo Lineal Normal Univariante Función de verosimilitud del Modelo Lineal Normal: { L(β, σ 1 ) = (π) n/ σ exp 1 } n σ (Y Xβ)t (Y Xβ) Buscamos los estimadores de máxima verosimilitud, es decir, los valores de β y σ que hagan máxima L(β, σ ) a) Estimador de β: β = (X t X) 1 X t Y b) Estimador de σ : σ = 1 n (Y X β) t (Y X β) Al no ser insesgado el estimador σ, corregimos dicho estimador por sesgo, obteniéndose como estimador insesgado para σ σ = n n p σ = 1 n p (Y X β) t (Y X β) Propiedades de los estimadores: β y σ son los estimadores insesgados de mínima varianza de β y σ respectivamente β N p (β, σ (X t X) 1 ) (n p) σ /σ χ (n p) β y σ son independientes 8

9 Intervalos de confianza en el Modelo Lineal Normal a) Intervalo de confianza al nivel 1 α para σ : (n p) σ (n p) σ, χ n p,α/ χ n p,1 α/ b) Intervalo de confianza al nivel 1 α para β i : [ β i σ c ii t n p,α/, β i + σ c ii t n p,α/ ], i = 1,, p, siendo (X t X) 1 = (c i j ) c) Intervalo de confianza al nivel 1 α para λ t β: [ λ t β σ λ t (X t X) 1 λ t n p,α/, λ t β ] + σ λ t (X t X) 1 λ t n p,α/, Contraste de Hipótesis en el Modelo Lineal Normal Univariante a) Contraste de H 0 : β = β 0 (β 0 vector de constantes conocidas) Rechazamos H 0 al nivel de significación α si Q 1 /p Q 0 /(n p) F p,n p,α siendo Q 0 = Y t Y β t X t Y y Q 1 = ( β β 0 ) t (X t X) 1 ( β β 0 ) b) Contraste de H 0 : λ t β = 0 Rechazamos H 0 al nivel de significación α si λ t β σ λ t (X t X) 1 λ t n p,α/ c) Contraste de la hipótesis H 0 : β 1 = = β k = 0 (k < p) Partimos X = (X 1, X ) siendo X 1 la matriz que contiene a las k primeras columnas de X y X la que contiene las p k últimas También dividimos β t = (γ t 1, γt ), siendo γt 1 = (β 1,, β k ) y γ t = (β k+1,, β p ) De esta forma tenemos dos Modelos Lineales de Rango Completo: El Modelo original: Y = Xβ + E ; β = (X t X) 1 X t Y El Modelo reducido por H 0 : Y = X γ + E ; γ = (X t X ) 1 X t Y Rechazamos H 0 al nivel de significación α si Q 1 /k Q 0 /(n p) F k,n p,α siendo Q 0 = Y t Y β t X t Y y Q 1 = β t X t Y γ t X t Y 9

10 14 Caracterización de datos en el análisis multivariante En este curso trataremos del análisis de datos que se corresponden con más de una variable o característica, Y 1,, Y p La forma habitual de presentar cada una de las mediciones de las variables de interés es un vector Así si el número de variables de interés es p, cada medición de las variables nos dará un vector p dimensional Si tenemos n de estas mediciones Y 1,, Y n, lo usual es colocarlas en una matriz de datos Y que queda definida por Y t 1 Y 11 Y 1p Y = = Y n1 Y np Y t n En esta matriz cada fila representa una medición sobre un mismo individuo de las p variables Cada columna representa las n mediciones de una misma variable A partir de aquí podemos calcular los distintos parámetros muestrales: la media muestral de la variable j ( j = 1,, p): Y j = 1 n la covarianza muestral entre las variables j y k ( j, k = 1,, p): s jk = 1 n 1 n Y i j n (Y i j Y j )(Y ik Y k ) la varianza muestral de la variable j ( j = 1,, p): s j = s j j la correlación muestral entre las variables j y k ( j, k = 1,, p): r jk = s jk s j s k = s jk s j j s kk (r j j = 1) Estos estadísticos descriptivos pueden ser organizados en vectores y matrices y, aún más, calculados mediante fórmulas matriciales: El vector de medias Y = Y 1 Y p = 1 n Yt 1 n = 1 n n Y i La matriz de covarianzas s 11 s 1p S = s p1 s pp = 1 n 1 Yt (I n 1 n 1 n)y = 1 n 1 n (Y i Y) (Y i Y) t La matriz de correlaciones r 11 r 1p R = r p1 r pp = D 1 s SD 1 s con D s = s s p 10