Distribucions bivariants, independencia, covariància, correlació

Distribucions bivariants, independencia, covariància, correlació Albert Satorra UPF Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 1 / 29

Continguts 1 Variables aleatòries bivariants (discretes) Distribucions conjuntes, marginals, condicionades, esperança condicional Independencia entre variables 2 Associació entre variables: Covariància i correlació Desigualtat de Cauchy-Schwarz, acotació de ρ XY 3 Exemples Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 2 / 29

Introducció Interessa la variació conjunte de dues o més variables aleatòries lligades al mateix espai mostral Ω. Primer ens centrarem en dues variables X i Y discretes. Motivem el tema amb un exemple. Exemple: Tenim una caixa amb boles 1 2 3 de la que fem dues extraccions. Sigui X la bola de la primera extracció i Y la bola de la segona extracció. Considerem dos casos: i) extraccions sense restitució, i ii) extraccions amb restitució. En i), la distribució de probabilitat conjunta P XY (x, y) (les probabilitats p(x, y) de les diferents combinacions dels valors de les variables ) és P XY 1 2 3 P Y (y) 1 0 1/6 1/6 1/3 2 1/6 0 1/6 1/3 3 1/6 1/6 0 1/3 P X (x) 1/3 1/3 1/3 1 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 3 / 29

En ii), la distribució de probabilitat conjunta P XY (x, y) és P XY 1 2 3 P Y (y) 1 1/9 1/9 1/9 1/3 2 1/9 1/9 1/9 1/3 3 1/9 1/9 1/9 1/3 P X (x) 1/3 1/3 1/3 1 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 4 / 29

Distribució bivariant discreta Z = (X,Y) a valors un conjunt finit o infinit numerable Ω lligats a un experiment aleatori. Distribució de Probabilitat Conjunta: P XY (x i, y j ) = P([X = x i ] [Y = y j ]) (probabilitats dels diferents valors de la variable). Tenim que P XY (x i, y j ) 0 x,y P XY (x i, y j ) = 1 De la conjunta obtenim les Distribucions Marginals: P X (x) = y P XY (x, y), marginal de X P Y (y) = x p(x, y), marginal de Y NOTA: de les marginals no podem obtenir la distribució conjunta, llevat el cas en que X i Y són independents (ho veurem d aquí un moment). Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 5 / 29

Distribució condicionada (condicional), Y X = x, X Y = y Si sabem s ha produit X = x, modifica aquesta informació la P(Y )? Parlarem de la variable Y condicionada a X = x, Y X = x. Parlem de la distribució de probabilitat condicional P Y X P Y X (y) = P XY (x, y) P X (x) o, simplement, P X Y Noteu que hi ha una distribució condicional diferent per cada valor de la variable X. Podem considerar també l esperança condicionada E[Y X ] E(Y X = x) = j y j P[y j x] que és una funció de x. A vegades, E(Y X = x) és linial en x, és a dir E(Y X ) = a + bx. Penseu que X pot ser la renda, Y el consum. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 6 / 29

Independencia entre X i Y : Quan Y X = x és igual a Y, o de forma equivalent, quan P Y X = P Y, parlem de independència entre X i Y. Hi ha independència entre X i Y si (i només si) P XY (x, y) = P X (x)p Y (y) és a dir, distribució de probabilitat conjunta és el producte de les marginals. És una propietat simètrica, independència entre X i Y implica (Y X = x) = Y i (X Y = y) = X Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 7 / 29

Esperança d una funció g(x, Y ) E(g(X, Y )) = x Ara podem demostrar E(X + Y ) = EX + EY : g(x, y)p(x, y) y E(X + Y ) = x (x + y)p(x, y) = y x xp(x, y) + y x yp(x, y) y = x x( y P(x, y)) + y y( x P(x, y)) = x x(p X (x)) + y y(p Y (y)) = E(X ) + E(Y ) Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 8 / 29

Exemple: E(XY ) E(XY ) = x xyp(x, y) Es verifica que E(XY ) = E(X )E(Y )?? Considereu dues variables X i Y i la variança de la variable (univariant) suma X + Y V (X + Y ) = E((X + Y ) 2 ) (E(X + Y )) 2 (E(X + Y )) 2 = (EX ) 2 + (EY ) 2 + 2(EX )(EY ) E(X + Y ) 2 = E(X 2 + Y 2 + 2XY ) = E(X 2 ) + E(Y 2 ) + 2E(XY ) De manera que V (X +Y ) = (E(X 2 ) (EX ) 2 )+(E(Y 2 ) (EY ) 2 )+2(E(XY ) (EX )(EY )) = V (X ) + V (Y ) + 2 {E(XY ) (EX )(EY )} y Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 9 / 29

Associació entre variables: Covariància, C(X, Y ), σ XY La σ XY entre dues variables aleatòries X i Y és σ XY = E(X µ X )(Y µ Y ) = E(XY ) E(X )E(Y ) Mesura associació (variació conjunta) entre les dues variables X i Y. NOTEU: C(X,Y)= 0 no implica independència entre X i Y. Per un exemple, considerem X: -1 0 1 amb distribució uniforme (P[X=x] = 1/3), aleshores la va Y = X 2 no és independent de X i, en canvi, C(X, Y ) = 0 Ara podem enunciar una nova propietat de la variància. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 10 / 29

Propietats de la variància de la suma i esperança del producte el cas de independència Independència entre X i Y implica EXY = EXEY ( Cov(X, Y ) = 0) Demostració: EXY = xyp XY (x, y) = xyp X (x)p Y (y) x y x y ( ) = xp X (x) yp Y (y) = E(X )E(Y ) x y V (X + Y ) = VX + VY (Noteu que V (X Y ) = VX + VY ) malgrat la indepenència, en general, V (X.Y ) V (X )V (Y ) Independencia entre més de dues variables aleatòries X 1,..., X K : P X1 X 2...X K (x 1,..., x K ) = P X1 (x 1 )... P XK (x K ) En aquest cas: E(X 1 X 2... X K ) = E(X 1 )E(X 2 )... E(X K ). Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 11 / 29

Propietat fonamental: V (X + Y ) = V (X ) + V (Y ) + 2Cov(X, Y ) Demostració V(X +Y) = V(X) + V(Y) + 2Cov(X,Y) V (X + Y ) = E[(X + Y ) 2 ] [E(X + Y )] 2 = EX 2 + EY 2 + 2EXY ((EX ) 2 + (EY ) 2 + 2(EX )(EY )) = (EX 2 (EX ) 2 ) + (EY 2 (EY ) 2 ) + 2(EXY (EX )(EY )) V (X ) + V (Y ) + 2C(X, Y ) Si X 1, X 2,... X n són (mutuament) independents: V (X 1 + X 2 + + X n ) = V (X 1 ) + V (X 2 ) + + V (X n ) E(X 1 X 2 X n ) = E(X 1 ) E(X 2 ) E(X n ) Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 12 / 29

Propietats del operador covariància. Cov(X,Y) = Cov(Y,X) Cov(k,Z) = 0 (aquí k denota una variable aleatoria constant) V(X) = Cov(X,X) Cov(kX,Y) = kcov(x,y) (noteu que k pot esser negatiu, de manera que Cov(-2X,Y) = -2Cov(X,Y) Cov(X+k,Y) = Cov(X,Y) Cov(X+Y,Z) = Cov(X,Z) + Cov(Y,Z) Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 13 / 29

Exemple Tenim una caixa amb les boles 1 2 3 i efectuem dues extraccions. Considerem dos casos: (i) amb restitució; (ii) sense restitució. X és el número de la primera extracció i Y al número corresponent a la segona extracció. Cal calcular Cov(X,Y) en els dos casos. En ambdos casos (i) i (ii), tenim En el cas (ii): EX = EY = (3 + 1)/2 = 2 V (X ) = V (Y ) = (2 4)/12 = 2/3 σ X = σ Y = 2/3 EXY = 1 2 1/6+1 3 1/6+2 1 1/6+2 3 1/6+3 1 1/6+3 2 1/6 = (2 + 3 + 2 + 6 + 3 + 6)/6 = 22/6 = 11/3 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 14 / 29

Exemple (cont.) De manera que C(X, Y ) = 11/3 4 = 11/3 12/3 = 1/3 ρ(x, Y ) = 1/3 2/3 = 0.5 P Y X =1 (1) = 0; P Y X =1 (2) = 1/2; P Y X =1 (3) = 1/2 E(Y X = 1) = (2 + 3)/2 = 2.5 P Y X =2 (1) = 1/2; P Y X =2 (2) = 0; P Y X =2 (3) = 1/2 E(Y X = 2) = (1 + 3)/2 = 2 P Y X =3 (1) = 1/2; P Y X =3 (2) = 1/2; P Y X =3 (3) = 0 E(Y X = 3) = (1 + 2)/2 = 1.5 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 15 / 29

Independència implica σ XY = ρ XY = 0 Si les variables X i Y són independents, aleshores E(XY ) = E(X )E(Y ) de manera que σ XY = 0 i ρ XY = σ XY σ X σ Y = 0. També es pot veure que en el cas de independència, E(Y X ) = E(Y ), idem E(X Y ) = E(X ); és a dir, les esperances condicionades són les mateixes que sense condicionar. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 16 / 29

compte! σ XY = ρ XY = 0 NO implica Independència P XY 0 1 P X (x) 1 0 1/3 1/3 0 1/3 0 1/3 1 0 1/3 1/3 P Y (y) 1/3 2/3 1 En aquest cas, Y = X 2 ; és a dir, no són independents. Tot i això, podem veure que σ 12 = ρ 12 = 0. És a dir, que covariància zero no guaranteix independència. Solament en el cas (o veurem) de distribució conjunta normal bivariant. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 17 / 29

Exemple d esperança condicional Noteu que E(Y X = x) és una funció de x, que podem representar en el gràfic de regressió següent: Figure : La funció de regressió E(Y X ) regressio Y X E(Y X) 0.0 0.5 1.0 1.5 2.0 2.5 3.0 1 2 3 X Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 18 / 29

Exemple (cont.) En el cas (i) (amb restitució), tenim: EXY = 1 2 (1/9)+1 3 (1/9)+2 1 (1/9)+2 3 (1/9)+3 1 (1/9)+3 De manera que (2 + 3 + 2 + 6 + 3 + 6 + 1 + 4 + 9)/9 = 36/9 = 4 C(X, Y ) = 4 4 = 0 En aquest cas (i), P Y X =x (y) = P Y (y) = 1/3, de manera que E(Y X = x) = E(Y ) = 2 per qualsevol valor de x, de manera que la funció de regressió E(Y X = x) és constant en x Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 19 / 29

Exemple (cont.): Esperança condicional, E(Y X ) E(Y X = x) és constant en x Figure : La regressió E(Y X ) regressio E(Y X), cas (i) amb restitucio E(Y X) 0.0 0.5 1.0 1.5 2.0 2.5 3.0 1 2 3 X Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 20 / 29

Correlació entre les variables X i Y, ρ(x, Y ), ρ XY, r XY ρ XY = C(X, Y ) V (X )V (Y ) = σ XY σ X σ Y Noteu també que σ XY = ρ XY σ X σ Y, de manera que podem obtenir la covariància a partir de la correlació i les desviacions estàndards. De fet, ρ XY coincideix amb la covariància si les X i Y són variables estandarditzades (tipificades, amb esperança zero, i variància 1). Veurem que 1 ρ XY 1 amb igualtat (a 1 o 1) solament si hi ha relació lineal exacta entre elles, si hi ha a, b, c tal que ax + by = c. Independència implica correlació zero, però correlació zero no implica independència. Noteu que hi ha correlació zero si i solament si la covariància és zero. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 21 / 29

Desigualtat de Cauchy-Schwarz i acotació de ρ XY Si X i Y són dues variables aleatòries lligades al mateix Ω i am valor esperat finit, aleshores: (EXY ) 2 EX 2 EY 2 Demostració: Si Z = kx + Y, aleshores Z 2 = k 2 X 2 + Y 2 + 2kXY. Tenim que 0 E(Z 2 ) = k 2 EX 2 + 2kEXY + EY 2, d on obtenim... (recordeu ax 2 + bx + c = 0, el discriminant de l equació = b 2 4ac 0... Si = 0 aleshores hi ha un k amb Z = kx + Y = 0, és a dir, Y = kx ). Apliqueu la desigualtat anterior a les variables centrades X µ X i Y µ Y, i obteniu (Cov(X, Y )) 2 V (X )V (Y ) De manera que (Cov(X, Y )) 2 V (X )V (Y ) [ ] Cov(X, Y ) 2 = = ρ 2 XY σ X σ 1 y Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 22 / 29

... acotació 1 ρ XY +1 amb igualtat si i solament si hi ha una dependencia linial exacta entre X i Y, si hi han a i b tals que Y = a + bx. Noteu que obtenim igualtat (es a dir correlació +1 o 1) en el cas solament que hi hagi un valor de k pel que Y µ Y = k(x µ X ), és a dir, quan Y = (µ Y kµ X ) + kx = a + bx. Donades les variables X 1 i X 2 la matriu ( σ 2 Σ = 1 σ12 σ12 σ2 2 ) S anomena matriu de var. -covar. del vector aleatoria (X 1, X 2 ). Per la desigualtat de Cauchy-Schwarz, el determinant d aquest matriu σ12 2 σ2 1 σ2 2 0. Direm que Σ és una matriu semi-definida positiva. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 23 / 29

Exemple: Tenim una caixa amb boles 1 2 3 4 de la que fem dues extraccions. Sigui X la bola de la primera extracció i Y la bola de la segona extracció. Considerem dos casos a) extraccions sense restitució i b) extraccions amb restitució. Considerarem primer el cas a). En aquest cas la distribució de probabilitat conjunta serà P XY 1 2 3 4 1 0 1/12 1/12 1/12 2 1/12 0 1/12 1/12 3 1/12 1/12 0 1/12 4 1/12 1/12 1/12 0 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 24 / 29

Exemple: Cal considerar les distribucions de probabilitat marginals que, en aquest exemple, seran distribucions uniformes de 1 a 4. En aquest cas a) les variables X i Y no són independents. També podem considerar les corresponents distribucions de probabilitat condicionals. Y X o X Y. Tenim que la distribució condicionada Y X = 3 serà: Y X = 3 : 1 2 3 4 P Y X =3 : 1/3 1/3 0 1/3 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 25 / 29

exemple (cont.) Tenim que E(Y X = 3) = 7/3. De fet, X : 1 2 3 4 E(Y X ) 9/3 8/3 7/3 6/3 (fer una representació gràfica de E(Y X = x) que és linial en x Noteu que Cov(X, Y ) = EXY EXEY = 35/6 (2.5)(2.5) = 0.4166. La variancia de les marginals és: V (X ) = EXX EXEX = 30/4 (2.5)(2.5) = 1.25 = 1.109 2 Per tant, la correlació serà: ρ = 0.4166 1.25 1.25 = 0.333 Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 26 / 29

exemple (cont.) Podem ara considerar el cas ii) d extraccions amb restitució. En aquest cas és fàcil veure que hi ha independència entre X i Y, que les distribucions marginals són iguals, que les esperances condicionades són iguals constants, que la covariancia i la correlació són zero, etc. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 27 / 29

Exemples: Tenim dos valors de borsa X i Y cada un amb guany esperat 100 amb variància 10. Tenim l opció de i) comprar-ne 2 valors de X o ii) comprar-ne un de X i un de Y. Quina de les dues inversions té més risc?. Comenteu els tres casos: Cov(X,Y) = 0, Cov(X,Y) positiva, Cov(X,Y) negativa. Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 28 / 29

1 Considerem els valors X i Y amb distribució de probabilitat conjunta P XY 1 2 3 1 0.2 0.1 0.1 2 0.4 0.1 0.1 Trobeu les distribucions de probabilitat condicionades, marginals, la covariància, esperança condicional, etc. 2 Si invertim 100 euros, que té més variància (risc), comprar deu bons de 10 en el mateix actiu X, o comprar deu bonos de 10 en deu actius diferents X 1,..., X 10 independents. Suposeu que el valor esperat i la variància són iguals en tots els actius. Hi ha diferència entre valors esperats de les dues opcions? Albert Satorra ( UPF ) AD/E-GRAU Tardor 2015 29 / 29