Tema 3 Normalidad multivariante

Transcripción

1 Aurea Grané Máster en Estadística Universidade Pedagógica Aurea Grané Máster en Estadística Universidade Pedagógica Tema 3 Normalidad multivariante 3 Normalidad multivariante Distribuciones de probabilidad multivariantes La distribución normal multivariante 3 Distribuciones relacionadas con la distribución normal multivariante Aurea Grané Departamento de Estadística Universidad Carlos III de Madrid 4 Aplicación a la inferencia multivariante Aurea Grané Máster en Estadística Universidade Pedagógica 3 3 Distribuciones de probabilidad multivariantes Funciones de distribución y de densidad conjuntas Sea X = X, X,,X p ) un vector aleatorio p Se define la función de distribución conjunta de X o función de probabilidad acumulada) en el punto x = x, x,,x p ) R p como Fx) = x x donde t = t, t,,t p ) R p xp ft)dt dt dt p, La función ft) se denomina función de densidad conjunta de X y verifica que: ft) = ft, t,,t p ), t R p, R p ft)dt dt dt p = Aurea Grané Máster en Estadística Universidade Pedagógica 4 Distribuciones marginales Dado el vector aleatorio X = X, X,,X p ), la función de densidad marginal de la variable aleatoria X j, para j =,,p, se obtiene integrando la densidad conjunta: f Xj x j ) = ft, t,,t p )dt dt j dt j+ dt p R p La función f Xj : R [, + ) y cumple que R f X j t)dt = De forma más general, dada una partición del vector X = X,X ), donde X = X,,X p ) y X = X p+,,x p ), la función de densidad marginal de X se obtiene: f X x,,x p ) = ft, t,,t p )dt p+ dt p, donde p = p p R p La función f X : R p [, + ) y R p f X t,, t p )dt dt p = Análogamente se obtiene la función de densidad marginal de X, dando lugar a una función f X : R p [, + )

2 Aurea Grané Máster en Estadística Universidade Pedagógica 5 Distribuciones condicionadas Consideremos la misma partición del vector X = X,X ), donde X = X,,X p ), X = X p+,,x p ) y p = p p Supongamos que se conoce un valor determinado del vector X, es decir, X = x = x p +,,x p) R p Entonces, la función de densidad de X condicionada a que X = x se obtiene como f X X =x x ) = fx,x ) f X x ) = fx,,x p, x p +,,x p) f X x p,, +,x p) que da lugar a una función de R p en [, + ) Aurea Grané Máster en Estadística Universidade Pedagógica 6 Esperanza, covarianza y correlación Sea X = X, X,,X p ) un vector aleatorio con función de densidad conjunta fx) La esperanza o primer momento) de X se define como el vector de esperanzas de las variables aleatorias que lo forman, es decir, µ = EX) = EX ), EX ),,EX p )) R p, donde EX j ) = R t f X j t)dt, para j =,,p El segundo momento de X se define como la matriz que contiene los segundos momentos de las variables aleatorias que forman el vector EX ) EX X ) EX X p) EX X ) EX) EX X p) µ = EXX ) = EX px ) EX px ) EXp) p p donde EX j ) = R t f Xj t)dt y EX j X k ) = R t s f Xj,X k )t, s) dt ds Aurea Grané Máster en Estadística Universidade Pedagógica 7 La covarianza de X se define como Σ = CovX) = EX µ)x µ) ) = µ µµ, que da lugar a la siguiente matriz de covarianzas σ σ σ p σ σ σ p EXj Σ = ) EX j)), si j = k,, con σ jk = EX jx k ) EX j) EX k ), si j k σ p σ p σ pp Observación La diagonal de Σ contiene las varianzas de las X j s, mientras que fuera de la diagonal están las covarianzas de los pares de variables Para las varianzas también se utiliza la siguiente notación alternativa σ jj = σ j = varx j) Además hay que recordar que varx j ) = covx j, X j ) La matriz Σ es simétrica y semidefinida positiva Aurea Grané Máster en Estadística Universidade Pedagógica 8 La correlación de X se define a partir de la matriz de covarianzas P = CorrX) = D σ ΣD σ, donde D σ = diag σ,, σ pp ) = diagσ,,σ p ), dando lugar a la siguiente matriz de correlaciones ρ ρ p ρ ρ p P =, con ρ jk = corrx j, X k ) = σ jk σ j σ k ρ p ρ p La matriz P es simétrica y semidefinida positiva

3 Aurea Grané Máster en Estadística Universidade Pedagógica 9 Variables aleatorias compuestas) Sea X un vector aleatorio con esperanza µ y covarianza Σ Consideremos la variable aleatoria compuesta) Y = a X, donde a R p, es decir, Y es una combinación lineal de las componentes del vector aleatorio X La esperanza y varianza de Y son EY ) = Ea X) = a EX) = a µ R, vary ) = vara X) = cova X,a X) = Ea X Ea X))a X Ea X)) ) = Ea X a µ)a X a µ) ) = a EX µ)x µ) )a = a Σa Si Z = b X es otra variable compuesta, con b R p, entonces la covarianza entre Y y Z es covy, Z) = cova X,b X) = Ea X Ea X))b X Eb X)) ) = Ea X a µ)b X b µ) ) = a EX µ)x µ) )b = a Σb = b Σa Aurea Grané Máster en Estadística Universidade Pedagógica 3 La distribución normal multivariante Toda variable aleatoria X Nµ, σ) puede expresarse como X = µ + σ Z, donde Z N, ) La generalización de esta propiedad en dimensión p > permite definir la distribución normal multivariante Se dice que X = X, X ) tieneley normal bivariante con parámetros µ = µ, µ ) y Σ = σ σ σ ρ, y se denotará σ σ ρ σ como X N µ,σ), si X X = µ µ + a a a a Z donde Z, Z son variables aleatorias independientes con ley N, ) Los coeficientes a ij para j =, ) vienen determinados por los parámetros σ = varx ), σ = varx ), ρ = corrx, X ) Z Aurea Grané Máster en Estadística Universidade Pedagógica La función de densidad de probabilidad de X N µ,σ) en el punto x, x ) R es { fx, x ) = πσ σ exp } ρ Qx, x ), donde Qx, x ) es la forma cuadrática siguiente: Qx, x ) = x µ ) ρ σ ρ x µ )x µ ) + x µ ) ) σ σ σ Observación Si ρ = X y X están incorreladas), entonces { fx, x ) = exp x µ ) πσ σ σ + x µ ) )} σ { = exp x µ ) } { πσ σ exp x µ ) } πσ σ = f X x ) f X x ), donde f X x ) y f X x ) son las funciones de densidad marginales de dos va con leyes Nµ, σ ) y Nµ, σ ), respectivamente Aurea Grané Máster en Estadística Universidade Pedagógica En la Observación anterior hemos demostrado que si X = X, X ) N µ,σ) y ρ = corrx, X ) =, entonces las variables aleatorias X y X son normales e independientes Recordad que esto último se debe a que la función de densidad conjunta puede expresarse como el producto de las funciones de densidad marginales) La implicación contraria siempre es cierta Es decir, si X y X son variables aleatorias independientes, entonces corrx, X ) = Recordad que corrx, X ) = σ /σ σ ) donde σ = EX X ) EX ) EX ) Cuando X y X son va independientes se cumple que EX X ) = EX ) EX )) Acabamos de demostrar para el caso p = ) que bajo el modelo de normalidad multivariante, incorrelación equivale a independencia

4 Aurea Grané Máster en Estadística Universidade Pedagógica 3 Generalización al caso multivariante Se dice que el vector X = X,,X p ) tiene ley normal p-variante si existen p variables aleatorias independientes con ley N, ), Z, Z,,Z p, tales que X = µ + AZ, donde Z = Z,,Z p ), µ = µ,,µ p ) y A es una matrix p p Propiedades: La esperanza y covarianza del vector X = µ + A Z son EX) = µ, VarX) = A A = Σ Utilizaremos la notación X N p µ,σ) Observad que Σ Además, Σ > si ranga) = p Observación 3 Esta propiedad se utiliza para generar muestras de un vector aleatorio N p µ,σ) con Σ = A A Aurea Grané Máster en Estadística Universidade Pedagógica 4 Si X es no singular, su función de densidad de probabilidad en el punto x R p es { fx) = Σ / exp } π) p/ x µ) Σ x µ), donde x µ) Σ x µ) es el cuadrado de la distancia de Mahalanobis del punto x al centro de la distribución µ 3 Todo vector Y obtenido como cominación lineal de X tiene ley normal multivariante En particular, todo subconjunto de X tiene ley normal multivariante y las marginales X,,X p son normales univariantes 4 Para variables aleatorias con distribución conjunta normal multivariante, incorrelación equivale a independencia 5 Si X N p µ,σ) es no singular, la variable aleatoria U p = X µ) Σ X µ) χ p Aurea Grané Máster en Estadística Universidade Pedagógica 5 Aurea Grané Máster en Estadística Universidade Pedagógica 6 6 Consideremos la siguiente partición del vector X = X,X ), donde X = X,,X p ), X = X p+,,x p ) y p = p p Sean µ = EX ) y µ = EX ) los vectores de esperanzas La matriz de covarianzas de X puede particionarse en bloques como: Σ = Σ Σ Σ Σ, donde Σ = VarX ), p p, Σ = VarX ), p p, Σ = CovX,X ), p p, y Σ = Σ La distribución de X condicionada a X = x es normal con vector de esperanzas EX X = x ) = µ + Σ Σ x µ ) y matriz de covarianzas V arx X = x ) = Σ Σ Σ Σ Ejemplo 3 Sea X = X, X, X 3 ) un vector aleatorio con ley normal de media µ =,, ) y matriz de covarianzas Σ = 3 a) Encontrar la ley de la va Y = X + X 3 X 3 ) b) Encontrar un vector a,, tal que las va X y X a X X 3 sean independientes c) Calcular la distribución de X 3 condicionada a X, X ) = x, x )

5 Aurea Grané Máster en Estadística Universidade Pedagógica 7 Aurea Grané Máster en Estadística Universidade Pedagógica 8 b) a = a, a ) tal que X y X a X a X 3 sean independientes a) La va Y = X + X 3 X 3 puede escribirse como Y = b X, donde b =,, 3) Puesto que X N 3 µ,σ), la va Y tendrá ley normal Su esperanza y varianza son: EY ) = Eb X) = b µ =,, 3) vary ) = varb X) = b Σb =,, 3) = 3 3 = 3 Puesto que bajo el supuesto de normalidad, independencia equivale a incorrelación, debemos encontar aquel vector a tal que covx, X a X a X 3 ) = Observemos que X a X a X 3 =, a, a )X y X =,, )X, por tanto: = covx, X a X a X 3 ) =,, )Σ a = a a = a Por tanto, cualquier vector a = k,), k R hace que las variables X y X a X a X 3 sean independientes Aurea Grané Máster en Estadística Universidade Pedagógica 9 c) Distribución de X 3 condicionada a X, X ) = x, x ) X = X X X 3 N 3 µ,σ), donde µ = = µ µ y Σ = 3 = Σ )) Σ )3 Σ 3) Σ 33 La distribución de X 3 condicionada a X, X ) = x, x ) será normal univariante, de esperanza ) x EX 3 X, X ) = x, x ) ) = µ 3 + Σ 3) Σ µ )) x µ ) x ) ) x ) = +, ) + 3 x =, ) + /3 x ) x =, /3) + x = x x 3 = x + 3 x + 3, µ 3 ) Aurea Grané Máster en Estadística Universidade Pedagógica y varianza: varx 3 X, X ) = x, x ) ) = Σ 33 Σ 3) Σ )) Σ )3 ) ) ) ) =, ) =, ) 3 /3 ) =, /3) = + ) = 3 3 Resumiendo, X 3 X, X ) = x, x ) N x + 3 x + 3, 3)

6 Aurea Grané Máster en Estadística Universidade Pedagógica Ejemplo 3 Sean X,X,X 3,X 4 vectores aleatorios independientes ) con ley N µ,σ), donde µ =, ) y Σ = a) Encontrar la ley del vector aleatorio Y = 4 X 4 X + 4 X 3 4 X 4 b) Escribir la funbción de densidad del vector Y c) Calcular la correlación ρ correspondiente a la matriz de covarianzas Σ Observar qué cambios se producen en la densidad de Y al variar el valor de ρ = corry, Y ) Aurea Grané Máster en Estadística Universidade Pedagógica a) El vector Y tiene ley normal bivariante con vector de esperanzas EY) = E 4 X 4 X + 4 X 3 ) 4 X 4 = 4 EX ) 4 EX ) + 4 EX 3) 4 EX 4) = ) ) ) µ = =, 4 y matriz de covarianzas VarY) = Var 4 X 4 X + 4 X 3 ) 4 X 4 = 6 VarX ) + 6 VarX ) + 6 VarX 3) + 6 EX 4) = 4 6 Σ = 4 Σ Resumiendo, Y N, 4 Σ ) Aurea Grané Máster en Estadística Universidade Pedagógica 3 b) Puesto que E ), la función de densidad de Y = Y, Y ) en el punto y = y, y ) R es { fy) = 4 Σ / exp ) } π) / y 4 Σ y = π Σ / exp { y Σ y }, y R c) La matriz de covarianzas de Y es Σ = ) Por tanto, el coeficiente de correlación será ρ = corry, Y ) = σ σ σ = 7 Aurea Grané Máster en Estadística Universidade Pedagógica 4 Cómo influye el valor de ρ en la densidad de Y? Puesto que σ = σ σ ρ, la matriz Σ puede escribirse en función de ρ como Σ = ρ ) ρ En el Tema vimos dos medidas de dispersión global: La variación total trσ) = 3, que no depende de ρ La varianza generalizada detσ) = ρ ) ρ = detσ) = ρ = detσ) = A medida que ρ aumenta, la dispersión global disminuye 3 ρ=7 ρ=4 ρ= Elipses de la forma cuadrática yσ y

7 Aurea Grané Máster en Estadística Universidade Pedagógica 5 Función de densidad de Y Nµ,Σ), µ =, ) y Σ = ρ ) ρ Aurea Grané Máster en Estadística Universidade Pedagógica 6 33 Distribuciones relacionadas con la normal multivariante y y y y En esta sección consideraremos distribuciones asociadas a una muestra de tamaño n de una vector aleatorio normal p-variante Paralelismos entre el caso univariante y el multivariante: Caso univariante Nµ, σ ) Caso multivariante N p µ,σ) χ n W p Σ, n) Fm, n) Λp, a, b) t T a) ρ = 7 b) ρ = 8 Aurea Grané Máster en Estadística Universidade Pedagógica 7 La ley Wishart Dada una muestra aleatoria simple de tamaño n de una ley N p,σ) es decir, X,,X n sucesión de vectores aleatorios iid N p,σ)), se define la distribución de Wishart como la ley de la matriz aleatoria, p p, n Q = X i X i W p Σ, n) Propiedades: i= Q W p Σ, n ), Q W p Σ, n ) independientes, entonces Q + Q W p Σ, n + n ) Teorema de Fisher) Si S es la matriz de covarianzas de una muestra de tamaño n obtenida a partir de un vector con ley N p µ,σ), entonces: i) El vector x y la matriz S son estocásticamente independientes, ii) x N p µ, n Σ), iii) ns W p Σ, n ) Aurea Grané Máster en Estadística Universidade Pedagógica 8 La ley Lambda de Wilks La distribución Lambda de Wilks es la ley del cociente de determinantes Λ = A Λp, a, b), A + B donde A W p Σ, a), B W p Σ, b), independientes, siendo Σ no singular y a p Propiedades: Λp, a, b) = Λb, a + b p, p) En general, una transformación de Λ equivale, exacta o asintóticamente, a una F de Fisher Por ejemplo: si p =, Λ a Λ b = Fb, a), si p =, Λ/ a Λ / b = Fb, a ))

8 Aurea Grané Máster en Estadística Universidade Pedagógica 9 Aurea Grané Máster en Estadística Universidade Pedagógica 3 La ley T de Hotelling Se define la distribución T de Hotelling como la ley de la va T = nz Q Z T p, n), donde Z N p,i), Q W p I, n) estocásticamente independientes Propiedades: Si p =, T, n) es el cuadrado de una va con ley t de Student con n grados de libertad En general, T p, n) es proporcional a una F de Fisher, es decir, n p+ n p T p, n) = Fp, n p + ) 3 Transformaciones afines sobre Z no afectan a la ley T Es decir, si X N p µ,σ), R W p Σ, n) independientes, entonces nx µ) R X µ) T p, n) 4 Si X,,X n es una muestra aleatoria simple de una ley N p,σ), entonces: n )x µ) S x µ) = nx µ) S x µ) T p, n ) 5 Dadas dos muestras aleatorias simples e independientes, X,,X n iid N p µ,σ), Y,,Y n iid N p µ,σ), si µ = µ, entonces: n n x y) S P n + n x y) T p, n + n ), donde S P = n +n n S + n S ) es la media aritmética ponderada de las matrices de covarianzas muestrales pooled covariance matrix) Observación 4 Las propiedades 4 y 5 nos dicen que la ley T de Hotelling se utlizará en los contrastes multivariantes sobre medias, de forma análoga a la ley t de Student en el caso univariante Aurea Grané Máster en Estadística Universidade Pedagógica 3 Aurea Grané Máster en Estadística Universidade Pedagógica 3 34 Aplicaciones a la inferencia multivariante [] Sea X una matriz de datos n p, cuyas filas representan una muestra aleatoria simple de una ley N p µ,σ) Consideremos el siguiente contraste de hipótesis: H : µ = µ, µ R p Cuando H sea cierta, el estadístico n )x µ ) S x µ ) T p, n ) Utilizando la propiedad de la ley T de Hotelling, tendremos que n p x µ p ) S x µ ) Fp, n p) y podremos obtener una región crítica para el nivel de significación deseado [] Consideremos dos matrices de datos X e Y: X, n p, provinenete de una ley N p µ,σ), Y, n p, provinenete de una ley N p µ,σ) independientes Consideremos el siguiente contraste de hipótesis: H : µ = µ Cuando H sea cierta, el estadístico n n x y) S P n + n x y) T p, n + n ), donde S P = n +n n S + n S ) De forma equivalente utilizando la propiedad de la ley T de Hotelling), el estadístico n + n p n + n )p n n x y) S P n + n x y) Fp, n + n p ) y podremos obtener una región crítica para el nivel de significación deseado

9 Aurea Grané Máster en Estadística Universidade Pedagógica 33 [3] Supongamos que tenemos g matrices de datos provinentes de g distribuciones normales multivariantes independientes: muestra tamaño media covarianza ley de matriz muestral) muestral) probabilidad X n p x S N p µ,σ) X n p x S N p µ,σ) X g n g p x g S g N p µ g,σ) La estimación muestral del vector de medias global y la matriz de covarianzas común son x = g n i x i, S = g g n i S i, siendo n = n i n n g i= i= Queremos contraste de hipótesis H : µ = µ = = µ g i= Aurea Grané Máster en Estadística Universidade Pedagógica 34 Para ello, introducimos las siguientes matrices: g B = n i x i x))x i x)), dispersión entre grupos) W = i= g x ik x i )x ik x i ) = i= k= T = B + W, dispersión total) g n i S i, dispersión dentro de los grupos) Si H es cierta, B W p Σ, g ), W W p Σ, n g) son independientes y T W p Σ, n ) Para resolver este contraste utilizaremos el estadístico: Λ = W Λp, n g, g ), W + B que se aproxima a una ley F de Fisher mediante la aproximación asintótica de Rao: Λ /β α β γ Si Λ Λp, a, b), entonces Fp b, α β γ), Λ /β p b donde α = a + b p + b + )/, β = p b 4)/p + b 5), γ = pb )/4 i= Aurea Grané Máster en Estadística Universidade Pedagógica 35 Ejemplo 33 Un psicólogo realiza dos tests, uno de capacidad verbal variable X ) y otro de rendimiento intelectual general variable X ), a n = individuos adultos, obteniendo los siguientes resultados: x = 554, 3497), S = Contrastar la hipótesis de que la media poblacional es µ = 6, 4) Se trata de un contraste para la media poblacional H : µ = µ, donde µ = 6, 4), n =, p = Por tanto, utilizaremos el estadístico T de Hotelling T = n )x µ ) S x µ ) T p, n ), o, equivalentemente, F = n p x µ p ) S x µ ) Fp, n p) Mediante Matlab, obtenemos F = 68 > F,99) 5 = 37 Por tanto, se rechaza H, es decir, µ 6, 4) ) Aurea Grané Máster en Estadística Universidade Pedagógica 36 Ejercicios computacionales Ejercicio 3 Generar dos muestras de tamaños n = y n = 5 provinentes, respectivamente, de dos leyes normales multivariantes N 3 µ,σ) y N 3 µ,σ), con µ =,, ), µ = 9,, ) y Σ = a) Obtener los vectores de medias y las matrices de covarianzas muestrales b) Contrastar la hipótesis H : µ =,, ) vs H : µ,, ) c) Contrastar las hipótesis H : µ = µ vs H : µ µ, mediante el contraste de la T de Hotelling y mediante el contraste de la Lambda de Wilks