Distribuciones multivariadas

Transcripción

1 Distribuciones multivariadas Si X 1,X 2,...,X p son variables aleatorias discretas, definiremos la función de probabilidad conjunta de X como p(x) =p(x 1,x 2,...,x k )=P (X 1 = x 1,X 2 = x 2,...,X p = x p ) Propiedades: p(x) 0paratodox. p(x) = 1, donde la suma se toma sobre todos los posibles valores de x. La función de probabilidad marginal para la variable X i se define como p i (x i )=P (X i = x i )= p(x 1,...,x i,...,x p ) donde la suma se realiza sobre todos x tales que su i-ésima componente es x i. Diremos que X 1,X 2,...,X p son independientes si p(x) = p p i (x i ) i=1 9

2 Recordemos que la probabilidad condicional del evento A dado que ocurre el evento B se define como: P (A B) = P (A B) P (B) Análogamente, si X 1 y X 2 son variables aleatorias discretas, definiremos la función de probabilidad condicional de X 1 dado X 2 = x 2 como p(x 1 x 2 )=P (X 1 = x 1 X 2 = x 2 )= p(x 1,x 2 ) p(x 2 ) Con mayor generalidad, puede definirse p(x 1,...,x k x k+1,...,x p )= p(x) p(x k+1,...,x p ) En el caso de variables aleatorias continuas, definiremos análogos para la función de densidad y la función de distribución. La función de distribución conjunta de X 1,X 2,...,X p se definirá como F (x) =F (x 1,...,x p )=P (X 1 x 1,...,X p x p ) (Nótese que esta definición es válida también para variables discretas) 10

3 La función de densidad conjunta es la función f(x) =f(x 1,...,x p )tal que En este caso, F (x) = x1 xp... f(u 1,...,u p )du 1...du p f(x) = p F (x 1,...,x p ) x 1 x 2... x p La función de densidad conjunta satisface las siguientes propiedades: f(x) 0paratodox.... f(x)dx 1...dx p =1. Distribuciones marginales y condicionales pueden ser definidas en el caso continuo de manera análoga al caso discreto. f i (x i )=... f(x)dx 1...dx i 1 dx i+1...dx p =1 o, más generalmente, f(x 1 x 2 )= f(x 1,x 2 ) f(x 2 ) f(x 1,...,x k x k+1,...,x p )= f(x) f(x k+1,...,x p ) 11

4 Medias, varianzas y correlaciones El valor esperado de X es el vector µ T =[µ 1,...,µ p ]talque µ i = E(X i )= xf i (x)dx eslamediadelai-ésimacomponentedex.(six i es discreta, µ i = E(X i )= xp i (x)) La varianza de la i-ésima componente de X viene dada por σ 2 i = Var(X i)=e(x i µ i ) 2 = EX 2 i µ2 i La covarianza de dos variables X i y X j se define como σ ij = Cov(X i,x j )=E[(X i µ i )(X j µ j )] = E(X i X j ) µ i µ j Nótese que σ ii = σ 2 i 12

5 Cuando se trabaja con p variables, se tienen p varianzas y 1 p(p 1) 2 covarianzas. En este caso, es útil presentar todas estas cantidades en una matriz p p de la siguiente manera: Σ= σ 2 1 σ σ 1p σ 12 σ σ 2p. σ p1 σ p2... σ 2 p Esta matriz se denomina matriz de dispersión, matriz de variancia y covarianza o simplemente matriz de covarianza. Nótese que esta matriz es simétrica. Σ puede también escribirse en alguna de las siguientes formas: Σ = E[(X µ)(x µ) T ] = E[XX T ] µµ T 13

6 Consideremos ahora la variable aleatoria univariada Y definida como una combinación lineal de X 1,...,X p. En ese caso Y = a T X donde a T =[a 1,a 2,...,a p ] es un vector de constantes. Entonces E(Y )=a T µ y Var(Y )=a T Σa Estos resultados pueden generalizarse al caso en el cual A es una matriz de constantes p m. En ese caso A T X es un vector m 1, y tiene vector de medias y matriz de covarianza dados por las siguientes expresiones: E(A T X)=A T µ Var(A T X)=A T ΣA 14

7 La correlación entre dos variables aleatorias X i y X j se define como ρ ij = σ ij σ i σ j Es una medida de dependencia lineal entre variables. ρ ij < 1 Si X i y X j son independientes, ρ ij =0.Elrecíproco no es cierto. Cuando se tienen p variables X 1,X 2,...,X p, es en general conveniente presentar las p(p 1)/2 correlaciones en una matriz simétrica cuyo elemento ij es ρ ij (nótese que todos los elementos de la diagonal son 1). Esta matriz se denomina matriz de correlación y se denotará porp. Si definimos D = diag(σ 1,σ 2,...,σ p ), puede verse que: Σ = DPD P = D 1 ΣD 1 Tanto Σ como P son matrices semipositivo definidas, y tienen el mismo rango. Si rango(σ) = rango(p ) = p, las matrices son positivo definidas. 15

8 Distribución Normal multivariada En el caso univariado, decimos que una variable aleatoria X tiene distribución normal con media µ yvarianzaσ 2 (X N(µ, σ 2 )) si su función de densidad tiene la forma f(x) = 1 2πσ exp[ (x µ) 2 /2σ 2 ] En el caso multivariado, decimos que el vector X sigue una distribución normal multivariada si su función de densidad conjunta es de la forma f(x) = 1 (2π) p/2 Σ 1/2 exp[1 2 (x µ)t Σ 1 (x µ)] donde Σ es una matriz p p no singular, simétrica y positiva definida. Si Σ = 0,x tienen una distribución degenerada. 16

9 Caso Bi-variado En este caso X =(X 1,X 2 ); la media es θ =(µ 1,µ 2 ) y la matriz de Varianza-Covarianza tienen la forma: Σ= σ2 1 σ 12 σ 12 σ2 2 donde Σ = σ 2 1 σ2 2 (1 ρ2 ); ρ es la correlación entre X 1 y X 2 y σ 12 = ρσ 1 σ 2 es la covarianza entre X 1 y X 2. Si ρ =0X 1 y X 2 no están correlacionadas y además son independientes. Si X 1 y X 2 son independientes esto implica que X 1 y X 2 no están correlacionadas. Esto se cumple para todas las distribuciones bivariadas. Si ρ = 0 esto no implica independencia. Sin embargo esta afirmación si es cierta para la distribución normal. 17

10 Distribuciones marginales normales Sea X = Y ; θ = θ Y ; Σ= Σ 11 Σ 12 Z θ Z Σ 21 Σ 22 donde: Y : q 1, Σ 11 : q q Z : r 1, Σ 22 : r r θ Y : q 1, Σ 12 : q r θ Z : r 1, q + r = p Si Σ 11 > 0yΣ 22 > 0, Y y Z tienen densidades: Y N(θ Y, Σ 11 ) Z N(θ Z, Σ 22 ) Esto se puede demostrar calculando por ejemplo la distribución marginal de: g(y) = f(y, z)dz 18

11 Distribuciones normales condicionales Sea X : p 1 un vector de variables aleatorias tal que: X N(θ, Σ) Entonces la distribución condicional: Y Z = z N(θ Y +Σ 12 Σ 1 22 (z θ Z), Σ 11,2 ) donde Σ 11,2 =Σ 11 Σ 12 Σ 1 22 Σ 21. En el caso bi-dimensional: X =(X 1,X 2 ) ; θ =(θ 1,θ 2 ) Σ 11 = σ 2 1,Σ 12 = ρσ 1 σ 2,Σ 22 = σ 2 2 yσ 11,2 = σ 2 1(1 ρ 2 ) 19

12 Media muestral y matriz de covarianza muestral Sean X 1, X 2,...,X n observaciones de una variable aleatoria X p 1. Entonces el vector de medias muestrales se calcula como X = X,1 X,2. X.p donde X.j = 1 n n i=1 X ij. La matriz de covarianza muestral S contiene los siguientes elementos: s jj = s jk = n i=1 (X ij X.j ) 2 n 1 n i=1 (X ij X.j )(X ik X.k ), i j n 1 S puede escribirse con 1 n 1 X T X, donde X 11 X,1 X 12 X,2... X 1p X.p X 21 X = X,1 X 22 X,2... X 2p X.p. X n1 X,1 X n2 X,2... X np X.p 20

13 La matriz de correlación muestral R tiene elementos (Nótese que si j = k, r jk =1) r jk = s jk s j s k R puede escribirse como R = 1 n 1 X T X, donde X = (X 11 X,1 )/s 1 (X 12 X,2 )/s 2... (X 1p X.p )/s p (X 21 X,1 )/s 1 (X 22 X,2 )/s 2... (X 2p X.p )/s p. (X n1 X,1 )/s 1 (X n2 X,2 )/s 2... (X np X.p )/s p La matriz de covarianza muestral y la matriz de correlación muestral se relacionan a través de la expresión donde D = diag(s 2 1,s2 2,...,s2 p ). R = D 1/2 SD 1/2 Teorema del Límite Central Multivariado Si las filas de la matriz de datos X representan una muestra de una variable aleatoria multivariada X con E(X) = µ y Cov(X) = Σ, entonces la distribución asintótica de X es una normal multivariada con vector de medias µ ymatrizdecovarianza 1 n Σ. 21