2.5. Vectores aleatorios

Transcripción

1 2.5. Vectores aleatorios Hasta ahora, dado un espacio de probabilidad (Ω, F, P), sólo hemos considerado una variable aleatoria X sobre Ω a la vez. Sin embargo, nos puede interesar estudiar simultáneamente varias características de un fenómeno aleatorio. Matemáticamente, esto supone considerar varias variables X, Y,... : Ω R a la vez. Estudiar simultáneamente varias variables de un fenómeno proporciona más información que el estudio de cada una por separado, en particular porque esto permite analizar las relaciones entre las características bajo estudio. Por ejemplo, al estudiar el clima terrestre se puede medir la temperatura atmosférica y, a la vez, la concentración de carbono en la atmósfera. Al estudiar estas variables de manera conjunta podemos observar relaciones existentes entre ellas (efecto invernadero). 2. Probabilidad 2.5. Vectores aleatorios 1 / 38

2 Vectores aleatorios: nociones generales Definición (Vector aleatorio) Sea (Ω, F, P) un espacio de probabilidad. Un vector aleatorio (d-dimensional) es una función X = (X 1,..., X d ) : Ω R d, ω X (ω) = (X 1 (ω),..., X d (ω)). Observaciones: En estricto rigor, para que X sea un vector aleatorio, debe cumplir la condición de medibilidad siguiente: para todo a 1,..., a d R d, el conjunto {ω Ω : X 1 (ω) a 1,..., X d (ω) a d } tiene que estar en F. (Cuando F = 2 Ω, la condición siempre se cumple.) Con la función X : Ω R d y la probabilidad P, podemos obtener una medida de probabilidad sobre R d. Esta medida se define por P X (A) = P(X 1 (A)), para todo A R d tal que la preimagen X 1 (A) está en F, y se llama la distribución de probabilidad del vector aleatorio x, o distribución conjunta de las variables X 1,..., X d. Nótese: en este curso, todos los vectores aleatorios X y conjuntos A que nos puedan interesar cumplirán la condición X 1 (A) F. 2. Probabilidad 2.5. Vectores aleatorios 2 / 38

3 Vectores aleatorios: nociones generales Definición (Variables y distribuciones marginales) Sea X = (X 1,..., X d ) : Ω R d un vector aleatorio. Los componentes X i : Ω R (i [d]) son variables aleatorias, llamadas variables marginales de X. Llamamos las distribuciones de probabilidad sobre R asociadas, P X1,..., P Xd, las distribuciones marginales de X. Nótese: En general, si conocemos P X podemos calcular las distribuciones marginales P X1,..., P Xd. La proposición recíproca no es cierta! Conocer las distribuciones de X 1,..., X d no permite en general determinar la distribución de un v.a. X = (X 1,..., X d ). (Veremos ejemplos pronto.) Vamos a dividir el estudio de vectores aleatorios entre el caso discreto y el continuo. 2. Probabilidad 2.5. Vectores aleatorios 3 / 38

4 Vectores aleatorios discretos Definición Un vector aleatorio discreto es un vector aleatorio X = (X 1,..., X d ) : Ω R d tal que cada variable marginal X i es discreta. Definición (Función de probabilidad conjunta) Sea X = (X 1,..., X d ) : Ω R d un vector aleatorio discreto. La función (de masa) de probabilidad de X, o función de probabilidad conjunta de X 1,..., X d, es la función p X : R d [0, 1], x P(X = x). Las funciones de probabilidad de las variables X i, a saber p X1,..., p Xd, se llaman funciones (de masa) de probabilidad marginales de X. Cómo se relaciona p X con las p Xi? Por ejemplo, sea X = (X 1, X 2 ), con X 1 : Ω {x 1,1,..., x 1,n }, y con X 2 : Ω {x 2,1,..., x 2,m }. Tenemos entonces, para todo i [n]: p X1 (x 1,i ) = j [m] p X (x 1,i, x 2,j ). Cuál es la fórmula para p X2 (x 2,i )? Cómo se generaliza esta relación a cualquier d > 2? 2. Probabilidad 2.5. Vectores aleatorios 4 / 38

5 Vectores aleatorios discretos Ejemplo: lanzamos dos dados al mismo tiempo. Un primer ejemplo de vector aleatorio podría ser la variable X = (X 1, X 2 ), donde X i es el resultado del dado i (i = 1, 2). En este caso, la función de probabilidad p X se determina fácilmente: X toma cada valor (i, j) en [6] 2 con igual probabilidad P(X = (i, j)) = 1/36. Otro ejemplo podría ser X 1 = mínimo de los dados, y X 2 = máximo. En este caso X también toma sus valores en [6] 2, pero la frecuencia con la que los toma ya no es constante. Por ejemplo X toma el valor (2, 2) una vez, el valor (2, 3) dos veces, y el valor (3, 2) nunca. La función p X se puede representar con un tablero de valores. Por ejemplo, en el segundo caso arriba, tenemos la distribución siguiente: X 1 \X /36 1/18 1/18 1/18 1/18 1/ /36 1/18 1/18 1/18 1/ /36 1/18 1/18 1/ /36 1/18 1/ /36 1/ /36 2. Probabilidad 2.5. Vectores aleatorios 5 / 38

6 Vectores aleatorios discretos Pasamos a estudiar otras nociones y propiedades importantes relativas a vectores aleatorios, quedándonos de momento en el caso discreto. Definición (Independencia de variables aleatorias discretas) Sean X 1,..., X d v.a.s discretas Ω R, y sea X = (X 1,..., X d ). Decimos que X 1,..., X d son independientes si para x 1,..., x d R cualesquiera tenemos P(X 1 = x 1,..., X d = x d ) = P(X 1 = x 1 ) P(X d = x d ). Es decir, la función p X es el producto de las funciones p Xi, i [d]. Nótese: Si X 1,..., X d son independientes, entonces x 1,..., x d, los eventos {X 1 = x 1 },..., {X d = x d } son mutuamente independientes. ( Por qué?) Definición (Variable aleatoria condicionada, caso discreto) Sea (X, Y ) un vector aleatorio discreto, y sea x 0 R un valor fijo con P(X = x 0 ) > 0. La variable Y condicionada a X = x 0 es la variable con función de probabilidad y P(Y = y X = x 0 ) = P(X =x 0, Y =y) P(X =x0). Esta variable se denota por Y X =x0, o por Y X = x 0. Se define X Y =y0 de forma análoga, para todo y 0 con P(Y = y 0 ) > Probabilidad 2.5. Vectores aleatorios 6 / 38

7 Vectores aleatorios discretos A continuación generalizamos la noción de esperanza. Definición (Esperanza de un vector aleatorio, caso discreto) Sea X : Ω R d un vector aleatorio discreto, con valores x 1, x 2,.... La esperanza (o media) de X se define por la fórmula E(X ) = i x i P(X = x i ) (cuando la suma converge). La fórmula es la misma que la de la esperanza de una variable discreta real, pero aquí E(X ) tiene valor en R d. La cuestión de la convergencia puede ser un problema sólo cuando el recorrido de X es infinito (numerable). En este curso este problema no nos concernirá. (En estricto rigor, se pide que la suma sea absolutamente convergente, es decir que i x i P(X = x i ) <.) Las propiedades básicas de la esperanza de vectores aleatorios discretos son similares a las ya vistas para variables aleatorias reales. En particular tenemos la propiedad de linealidad: Para X, Y : Ω R d, a, b R, se tiene E(aX + by ) = a E(X ) + b E(Y ). 2. Probabilidad 2.5. Vectores aleatorios 7 / 38

8 Vectores aleatorios continuos Empezamos recordando la definición general de vector aleatorio. Definición Sea (Ω, F, P) un espacio de probabilidad. Un vector aleatorio es una función X = (X 1,..., X d ) : Ω R d, ω X (ω) = (X 1 (ω),..., X d (ω)). Como ya vimos para d = 1, si el recorrido de X incluye un intervalo, entonces típicamente la probabilidad de que X tome un valor individual en este intervalo es insignificante. Es entonces más pertinente evaluar la probabilidad de que X (ω) esté en una región dada de R d ; más precisamente, en un conjunto A R d tal que la preimagen X 1 (A) F. Generalicemos pues de forma natural lo que vimos en el caso d = 1: podemos intuir que, para d > 1, evaluar una tal probabilidad debe consistir en tomar la integral (multiple) sobre A de una función f que generaliza la noción ya vista de función de densidad de probabilidad. 2. Probabilidad 2.5. Vectores aleatorios 8 / 38

9 Vectores aleatorios continuos Formalicemos primero la noción de función de densidad multidimensional. Esta será la análoga de la f.m.p. p X del caso discreto. Definición (Función de densidad de un vector aleatorio continuo) Una función f : R d R se llama función de densidad (de probabilidad) (f.d.p.) si satisface las condiciones siguientes: 1. f (x) 0 para todo x R d. 2. f es integrable (de Riemann). 3. f (t 1,..., t d ) dt 1 dt d = 1. Definición (Vector aleatorio continuo) Sea X : Ω R d un vector aleatorio sobre (Ω, F, P). Decimos que X es continuo si existe una f.d.p. f X : R d R tal que, para todo A R d con X 1 (A) F, tenemos P(X A) = A f X (t 1,..., t d ) dt 1 dt d. Si X tiene componentes X 1,..., X d, la función f X se llama también función de densidad conjunta de X 1,..., X d. 2. Probabilidad 2.5. Vectores aleatorios 9 / 38

10 Vectores aleatorios continuos En el caso d = 1, los conjuntos A R que hemos considerado usualmente son intervalos. Para d > 1, de forma similar, bastará considerar cajas, i.e. conjuntos de tipo A = [a 1, b 1 ] [a d, b d ], o uniones de tales conjuntos. Para un tal A, tenemos P(X A) = b 1 a 1 b d a d f dt 1 dt d. En el caso discreto vimos la noción de función de masa de probabilidad marginal. El análogo continuo es el siguiente. Definición (Función de densidad marginal) Sea X = (X 1,..., X d ) : Ω R d un vector aleatorio continuo. Entonces X 1,..., X d son variables continuas Ω R, y las f.d.p. f i de X i (i [d]) se llaman las funciones de densidad marginal de X. Se puede expresar f i en términos de f X. Por ejemplo para X = (X 1, X 2 ), tenemos f 1 (x 1 ) = f X (x 1, x 2 ) dx 2. Cómo se generaliza esto a d > 2? Nótese, en relación a la última definición: de modo similar al caso discreto, que X 1,..., X d tengan cada una función de densidad dada no determina una función de densidad conjunta para (X 1,..., X n ). 2. Probabilidad 2.5. Vectores aleatorios 10 / 38

11 Vectores aleatorios continuos Continuamos siguiendo las analogías con el caso discreto. Tenemos Definición (Independencia de variables aleatorias continuas) Sean X 1,..., X d v.a.s continuas Ω R, cada X i con f.d.p. f i, y sea X = (X 1,..., X d ) con f.d.p. f. Decimos que X 1,..., X d son independientes si para x 1,..., x d R cualesquiera tenemos f (x 1,..., x d ) = f 1 (x 1 ) f d (x d ). Es decir, la función f es el producto de las funciones f i, i [d]. Definición (Variable aleatoria condicionada, caso continuo) Sea (X 1, X 2 ) un v.a. continuo con f.d. f, y sea x 0 R un valor fijo con f 1 (x 0 ) > 0. La variable X 2 condicionada a X 1 = x 0 es la variable con f.d.p. x 2 f (x 0, x 2 )/f 1 (x 0 ). Esta variable se denota por X 2 X 1 = x 0. Definición (Esperanza de un vector aleatorio, caso continuo) Sea X : Ω R d un vector al. continuo, con f.d.p. f. La esperanza E(X ) es el elemento de R d definido por E(X ) = x f (x) dx 1 dx d (siempre que esta integral sea absolutamente convergente). 2. Probabilidad 2.5. Vectores aleatorios 11 / 38

12 Vectores aleatorios Vamos a pasar pronto a ver ejemplos de vectores aleatorios continuos y de cálculos con todas estas herramientas. Pero antes, formulamos unas pocas ideas adicionales relativas a vectores aleatorios en general. Gracias a las herramientas que hemos desarrollado en el caso discreto y en el continuo, podemos formular estas ideas adicionales para ambos casos a la vez. La primera idea es que puede interesarnos componer un vector aleatorio X : Ω R d con una función g : R d R (continua), obteniendo así la nueva variable aleatoria g X : Ω R. Cuál sería la esperanza de esta nueva v.a.? La respuesta es similar a la que ya vimos para variables reales. Sea X = (X 1, X 2 ) : Ω R 2 un vector aleatorio, y sea g : R 2 R continua. La esperanza de g(x 1, X 2 ) es: caso discreto: E g(x 1, X 2 ) = x 1,x 2 g(x 1, x 2 ) p X (x 1, x 2 ). caso continuo: E g(x 1, X 2 ) = g(x 1, x 2 ) f X (x 1, x 2 ) dx 1 dx 2. (Aquí p X es la f.m.p. y f X la f.d.p.; y de nuevo, suponemos la convergencia de estas sumas e integrales.) 2. Probabilidad 2.5. Vectores aleatorios 12 / 38

13 Vectores aleatorios Tomando en particular g(x 1, x 2 ) = x 1 x 2, podemos dar sentido a la esperanza de la variable producto X 1 X 2 : Ω R, ω X 1 (ω) X 2 (ω). Podemos entonces deducir la propiedad de multiplicatividad siguiente: Sean X, Y : Ω R variables aleatorias (ambas continuas o ambas discretas). Si X, Y son independientes, entonces E(XY ) = E(X ) E(Y ). Podemos también formular la noción importante siguiente. Definición (Covarianza) Sean X, Y : Ω R variables aleatorias. La covarianza de X e Y, denotada por Cov(X, Y ), se define por Cov(X, Y ) = E ( (X EX )(Y EY ) ). Observaciones: Relación entre la varianza y la covarianza: V (X ) = E ( (X EX ) 2) = Cov(X, X ). Desarrollando cuadrados, usando la linealidad de la esperanza, y observando que Cov(X, Y ) = Cov(Y, X ), se demuestra que V (X + Y ) = V (X ) + V (Y ) + 2Cov(X, Y ). 2. Probabilidad 2.5. Vectores aleatorios 13 / 38

14 Vectores aleatorios Desarrollando el producto en Cov(X, Y ) = E ( (X EX )(Y EY ) ), se obtiene la fórmula alternativa Cov(X, Y ) = E(XY ) E(X ) E(Y ). Con esta fórmula, vemos que Cov(X, Y ) = 0 E(XY ) = E(X ) E(Y ). Dos v.a.s X, Y se dicen incorreladas (o incorrelacionadas) si Cov(X, Y ) = 0, es decir si E(XY ) = E(X ) E(Y ). Usando la propiedad de multiplicatividad mencionada anteriormente, vemos que si X, Y son independientes entonces Cov(X, Y ) = 0. Cuidado: la recíproca de la proposición anterior no es cierta. Se puede dar Cov(X, Y ) = 0 sin que X, Y sean independientes. Usando la fórmua V (X + Y ) = V (X ) + V (Y ) + 2Cov(X, Y ), vemos que si X, Y son incorreladas, entonces V (X + Y ) = V (X ) + V (Y ). Más generalmente, si X 1, X 2,..., X d son variables aleatorias Ω R, entonces V (X X d ) = d i=1 V (X i) i<j d Cov(X i, X j ). En particular, si las variables X i son incorreladas dos a dos (por ejemplo, si son mutuamente independientes) entonces tenemos la fórmula muy útil siguiente: V (X X d ) = d i=1 V (X i). 2. Probabilidad 2.5. Vectores aleatorios 14 / 38

15 Vectores aleatorios Se puede interpretar Cov(X, Y ) como un parámetro que cuantifica el fallo de independencia entre X e Y. No obstante, para este tipo de interpretación suele ser más apropiado el parámetro similar siguiente, que es adimensional (y del cual ya vimos un caso particular en el capítulo 1). Definición (Coeficiente de correlación) Dado un vector aleatorio (X, Y ) : Ω R 2, el coeficiente de correlación Cov(X,Y ) entre X e Y es ρ X,Y = = V (X ) V (Y ) Observaciones: Tenemos siempre ρ X,Y [ 1, 1]. Cov(X,Y ) σ X σ Y. Si X, Y son independientes, entonces por la discusión anterior tenemos ρ X,Y = 0. La recíproca de la proposición anterior es falsa, pues como ya hemos mencionado, existen variables aleatorias incorreladas que no son independientes. 2. Probabilidad 2.5. Vectores aleatorios 15 / 38

16 Vectores aleatorios La noción de función de distribución se extiende a vectores aleatorios. Definición (Función de distribución conjunta) Dado x = (x 1,..., x d ) R d, denotamos por S x la región (, x 1 ] (, x d ] R d. Sea X = (X 1,..., X d ) : (Ω, F, P) R d un vector aleatorio. La función de distribución de X, o función de distribución conjunta de las X i, es la función F X : R d R definida por F X (x) = P(X S x ) = P(X 1 x 1,..., X d x d ). Esta función F X (x) = P(X 1 x 1,..., X d x d ) tiene propiedades que generalizan las ya vistas en el caso d = 1. En particular se verifica que F es continua por la derecha en cada variable. Para todo i [d] y valores fijos cualesquiera x j con j i, tenemos lim xi F (x 1,..., x d ) = 0. lim x1,...,x d + F (x 1,..., x d ) = 1. Las funciones x i P(X i x i ) son funciones de distribución de las variables marginales X i. Estas funciones se llaman funciones de distribución marginales de X. 2. Probabilidad 2.5. Vectores aleatorios 16 / 38

17 2.6. Vectores aleatorios: ejemplos, modelos importantes Vamos a ver unos ejemplos de distribuciones probabiĺısticas multidimensionales. Empezamos en el caso discreto. 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 17 / 38

18 Vectores aleatorios: ejemplos en el caso discreto Ejemplo 1: Producto de binomiales, con parámetros n 1, n 2 N, p 1, p 2 (0, 1). Aquí se trata de un vector aleatorio de la forma X = (X 1, X 2 ), con valores en {0, 1,..., n 1 } {0, 1,..., n 2 }, y con función de masa de probabilidad p X (k 1, k 2 ) igual a P(X 1 = k 1, X 2 = k 2 ) = ( n1 k 1 ) p k 1 1 (1 p 1) n 1 k 1 ( n2 k 2 ) p k 2 2 (1 p 2) n 2 k 2. Nótese que las variables marginales tienen distribuciones binomiales, X 1 B(n 1, p 1 ), X 2 B(n 2, p 2 ). Nótese también que p X (k 1, k 2 ) = p X1 (k 1 )p X2 (k 2 ), luego en esta distribución las marginales son independientes. 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 18 / 38

19 Vectores aleatorios: ejemplos en el caso discreto Ejemplo 2: Producto de Poisson, con parámetros λ 1, λ 2 > 0. Aquí se trata de un vector aleatorio de la forma X = (X 1, X 2 ), con valores en Z 2 0 = {0, 1,...} {0, 1,...}, y con función de masa de probabilidad p X (k 1, k 2 ) igual a P(X 1 = k 1, X 2 = k 2 ) = e λ λk k 1! e λ 2 λk2 2 k 2!, para k 1, k 2 Z 0. Nótese que las variables marginales tienen distribuciones de Poisson, X 1 Poi(λ 1 ), X 2 Poi(λ 2 ). Nótese también que p X (k 1, k 2 ) = p X1 (k 1 )p X2 (k 2 ), luego en esta distribución las marginales también son independientes. Con este tipo de construcción, usando independencia, se pueden dar muchos ejemplos más de vectores aleatorios X, cada vez con la f.m.p. de X igual al producto de las f.m.p marginales. Veamos un ejemplo en el cual las marginales no son independientes. 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 19 / 38

20 Vectores aleatorios: ejemplos en el caso discreto Ejemplo 3: distribución trinomial, con parámetros n N, p 1, p 2, p 3 (0, 1) con p 1 + p 2 + p 3 = 1. Esto modeliza un experimento en el cual n objetos son repartidos aleatoriamente entre tres clases, con cada objeto mandado, independientemente de los demás, a la clase i con probabilidad p i, i [3]. Tomemos el vector aleatorio X = (X 1, X 2 ) donde X i es el número de objetos que acaban en la clase i. Entonces X tiene recorrido {(k 1, k 2 ) {0, 1,..., n} 2 : k 1 + k 2 n}. La función de probabilidad es pues ( )( ) n n k1 p X (k 1, k 2 ) = p k 1 1 pk 2 2 (1 p 1 p 2 ) n k 1 k 2. k 1 k 2 Nótese: razonando de forma combinatoria pensando en el experimento mencionado, se ve que la f.m.p. marginal p X1 (k 1 ) es ( ) n k 1 p k 1 1 (p 2 + p 3 ) n k1 = ( ) n k 1 p k 1 1 (1 p 1) n k 1, luego X 1 B(n, p 1 ). De modo similar, tenemos X 2 B(n, p 2 ). Nótese que, en esta distribución, estas marginales no son independientes (para verlo, considerar si se da p X (k 1, k 2 ) = p X1 (k 1 ) p X2 (k 2 )). 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 20 / 38

21 Vectores aleatorios: ejemplos en el caso continuo Podemos formar ejemplos multidimensionales tomando productos, de forma semejante a la que vimos en el caso discreto. En el caso continuo tomaríamos el producto de las funciones de densidad de probabilidad (f.d.p.). Esto funciona gracias al resultado de análisis siguiente (que mencionamos en dimensión 2). Teorema: sean f 1, f 2 unas f.d.p. sobre R. Entonces la función f : R 2 R, (x 1, x 2 ) f 1 (x 1 )f 2 (x 2 ) es una f.d.p., cuyas f.d.p. marginales son f 1, f 2. Un ejemplo simple que podemos considerar usando esto es el siguiente: Ejemplo 1: Distribución uniforme en un rectángulo (a 1, b 1 ) (a 2, b 2 ). En este ejemplo el vector aleatorio X = (X 1, X 2 ) continuo toma valores en el rectángulo R = (a 1, b 1 ) (a 2, b 2 ) R 2. La f.d.p. conjunta de X 1, X 2 es aquí 1 f (x 1, x 2 ) = (b 1 a 1 )(b 2 a 2 ) 1 R(x 1, x 2 ). 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 21 / 38

22 Vectores aleatorios: ejemplos en el caso continuo Se pueden tomar otras regiones R, en particular que no sean productos cartesianos como los rectángulos: { 2, si 0 < y < x < 1 Ejemplo 2: consideremos la f.d.p. f (X,Y ) (x, y) =. 0, si no Verifiquemos que la integral total de f es 1: f (x, y) dx dy = ( 1 ) x dy dx = [ ] 1 0 2x dx = 2 x = 1. 0 Calculemos la f.d.a. marginal para Y : para todo a (0, 1) tenemos P(Y a) = ( a ) x dy dx + ( 1 ) a a 0 2 dy dx = 2 a 0 x dx + 2a 1 a 1 dx [ ] x 2 a 2 = 2 + 2a(1 a) = 2a 0 a2. Para a > 1, F Y (a) = 1. Para a < 0, F Y (a) = 0. Las f.d.p. marginales son f X (x) = f (x, y) dy = x 0 2 dy = 2x, x (0, 1); f X (x) = 0, x (0, 1). f Y (y) = f (x, y) dx = 1 y 2 dy = 2 2y, y (0, 1); f Y (y) = 0, y (0, 1). No se da f (X,Y ) (x, y) = f X (x)f Y (y). Por tanto X, Y no son independientes. 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 22 / 38

23 Vectores aleatorios: ejemplos en el caso continuo Calculamos la covarianza: primero E(X Y ) = xy f (x, y) dx dy = ( 1 ) 0 2x x 0 y dy dx = 1 0 2x(x 2 /2) dx = 1 0 x 3 dx = [ x 4 /4 ] 1 0 = 1/4. Tenemos también E X = x f (x, y) dx dy = 1 0 x ( x 0 2 dy ) dx = x 2 dx = 2/3. Semejantemente, calculamos que EY = 1/3. Concluimos que Cov(X, Y ) = 1/4 2/3 1/3 = 1/36. Pasamos a un ejemplo importante de distribución multidimensional. Definición (Distribución normal multivariante) Un vector aleatorio X = (X 1,..., X d ) es normal con media µ = ) matriz de covarianzas Σ = ( σ11 σ 12 σ 1d σ 21 σ 22 σ 2d σ d1 σ d2 σ dd f (x) = exp ( 1 2 (x µ)t Σ(x µ) ) / (2π) d Σ, ( µ1 ). y µ d si su función de densidad es ( Σ = det(σ) ) Aquí σ ij = Cov(X i, X j ), para i, j [d]. Notación: X N d (µ, Σ). 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 23 / 38

24 Vectores aleatorios: ejemplos en el caso continuo X N d (µ, Σ) f (x) = 1 e 2 (x µ)t Σ(x µ) (2π) d Σ Ejemplo con µ = ( 0 0 ), Σ = ( ): f (x 1, x 2 ) = e 1 2 (x2 1 +x2 2 ) 2π Se puede ver que cada variable marginal también es normal (univariante). De hecho, tenemos el resultado siguiente: Teorema (Caracterización alternativa de normales multivariantes) Un vector aleatorio X = (X 1,..., X d ) es normal si y sólo si toda combinación lineal de sus componentes tiene distribución normal univariante, es decir si y sólo si, para todo a 1,..., a d R, la variable real Y = a 1 X a d X d tiene una distribución normal. 2. Probabilidad 2.6. Vectores aleatorios: ejemplos, modelos importantes 24 / 38

25 2.7. Ley de los grandes números. Teorema central del ĺımite. En esta última sección del capítulo, estudiamos unos resultados que están entre los más importantes de la teoría de la probabilidad: La ley de los grandes números. El teorema central del ĺımite. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 25 / 38

26 Ley de los grandes números La expresión ley de los grandes números designa una familia de resultados matemáticos que confirman de forma rigurosa una intuición muy común, a saber, que si un experimento aleatorio tiene una cierta probabilidad teórica p de éxito, entonces repitiendo el mismo experimento de forma independiente un número n de veces, la frecuencia relativa de éxitos observada debería tender a p a medida que n crece. Ejemplo: realizamos lanzamientos sucesivos e independientes de una moneda equilibrada. Denotemos por X i la variable aleatoria con valor 1 si en el i-ésimo lanzamiento sale cara, y con valor 0 si en el i-ésimo lanzamiento sale cruz. Siendo la moneda equilibrada, asignamos al evento X i = 1 la probabilidad teórica p = 1/2. Obtenemos así una sucesión X 1, X 2,... de variables aleatorias independientes, cada una con distribución de Bernoulli Be(1/2). Definimos S n = X X n (número de caras en los n primeros lanzamientos). La frecuencia relativa (o proporción) de caras en los primeros n lanzamientos es pues S n /n. La intuición común aquí sería que S n /n converge hacia 1/2 cuando n. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 26 / 38

27 Ley de los grandes números Para confirmar esta intuición rigurosamente, en particular debemos formular precisamente lo que entendemos al hablar de convergencia de una sucesión de variables aleatorias (como la sucesión (S n /n) n N en el ejemplo anterior). Resulta que hay varias nociones de convergencia para sucesiones de variables aleatorias, y esto dará lugar a varias formulaciones de la Ley de los grandes números (LGN). Sea una sucesión de v.a.s X 1, X 2,... : Ω R, y sea X : Ω R otra v.a.. La primera noción de convergencia de X n a X que veremos consiste en considerar, para ɛ > 0 cualquiera, el evento {ω Ω : X n (ω) X (ω) > ɛ}, y pedir que su probabilidad se haga insignificante a medida que n crece. Definición (Convergencia en probabilidad) Sean X, X 1, X 2,... : Ω R variables aleatorias. Decimos que X n (o que la P sucesión) converge a X en probabilidad, y escribimos X n X, si para todo ɛ > 0 tenemos P( X n X > ɛ) 0 cuando n. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 27 / 38

28 Ley de los grandes números Con la noción de convergencia en probabilidad podemos dar una primera formalización de la LGN. Teorema (Ley débil de grandes números) Sean X 1, X 2,... variables aleatorias independientes, con igual media µ y varianza σ 2, y sea S n = X X n. Entonces Sn P n µ cuando n. (Esta fue también la primera versión de la LGN históricamente, establecida por Jakob Bernoulli a principios del s. XVIII, en el caso X i Be(p).) Se llama débil esta versión porque entre los modos de convergencia que veremos, el modo en probabilidad es de los más débiles (en sentido lógico). Un modo más fuerte de convergencia de X n a X consiste en mirar, no el evento X n X > ɛ, sino en cada ω Ω la sucesión entera de valores (X n (ω)) n. Para que se dé este modo de convergencia se pide que esta sucesión converja a X (ω) para casi todo ω, es decir que el evento {ω Ω : X n (ω) X (ω)} tenga probabilidad Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 28 / 38

29 Ley de los grandes números Definición (Convergencia casi segura) Sean X, X 1, X 2,... : Ω R variables aleatorias. Decimos que X n converge c.s. a X casi seguramente, y escribimos X n X, si tenemos que P(X n X ) = P({ω Ω : X n (ω) X (ω) cuando n }) = 1. c.s. P Se puede verificar que X n X X n X. Para formular la LGN asociada a este modo de convergencia, usamos la terminología muy habitual siguiente. Definición (Variables aleatorias i.i.d.) Decimos que unas variables aleatorias X 1, X 2,... son independientes e idénticamente distribuidas (i.i.d.) si cada variable X i tiene la misma distribución de probabilidad que las otras y las variables son mutuamente independientes. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 29 / 38

30 Ley de los grandes números Teorema (Ley fuerte de grandes números) Sean X 1, X 2,... variables aleatorias i.i.d., cada una con E( X i ) finita y todas con igual media µ. Sea S n = X X n, n N. Entonces tenemos Sn c.s. n µ cuando n. (Demostrada por Kolmogorov en Naturalmente, la LGN fuerte implica la LGN débil.) Vamos a ver una tercera noción de convergencia, que es muy útil y que es también más fuerte que la convergencia en probabilidad. Definición (Convergencia en media cuadrática) Sean X, X 1, X 2,... variables aleatorias. Decimos que X n converge a X en m2 media cuadrática, y escribimos X n X, si E(X n X ) 2 0, n. Tenemos las relaciones siguientes entre los tres modos de convergencia vistos hasta ahora: 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 30 / 38

31 Ley de los grandes números Teorema (Ley de grandes números en media cuadrática) Sean X 1, X 2,... variables aleatorias independientes, con igual media µ y varianza σ 2, y sea S n = X X n. Entonces Sn m2 n µ cuando n. Resumiendo: Existen diferentes modos de convergencia de una sucesión de variables aleatorias. Dos modos de convergencia llamados fuertes son, primero (y principalmente) la convergencia casi segura, y segundo la convergencia en media cuadrática. Un modo débil de convergencia es la convergencia en probabilidad. (Más adelante veremos otro más débil aun.) La ley fuerte de grandes números asegura que, para toda sucesión de variables i.i.d. con media µ, la media muestral (o aritmética) de las primeras n variables converge casi seguramente a la constante µ. Esto confirma la intuición inicial acerca de ensayos de Bernoulli independientes sucesivos de igual parámetro! 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 31 / 38

32 Teorema central del ĺımite La idea del Teorema Central del Límite se puede dar de modo informal como sigue: Si una variable es el resultado de la suma de muchas causas mutuamente independientes y pequeñas (i.e. ninguna causa domina al total) entonces la distribución de la variable se aproxima a la distribución normal. Este resultado es de muy gran generalidad e importancia, ya que sus suposiciones iniciales son muy débiles y por tanto su conclusión nos permite analizar una gran variedad de fenómenos de forma unificada, usando la distribución normal. Para poder dar la formulación precisa del teorema y describir sus aplicaciones, necesitamos una cuarta noción de convergencia de variables aleatorias, que precisará lo que se quiso decir aquí arriba con se aproxima a la distribución normal. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 32 / 38

33 Teorema central del ĺımite Recordemos la noción de punto de continuidad de una función F : R R, denotemos por C F el conjunto de puntos de continuidad de una tal función, y recordemos la noción de función de distribución de una v.a. Definición (Convergencia en distribución) Sean X, X 1, X 2,... variables aleatorias y sean F, F n las funciones de X, X n respectivamente, n N. Decimos que X n converge a X en distribución, y escribimos X n D X, si x CF tenemos F n (x) F (x) cuando n. (Hay ejemplos que muestran que hay que tomar x C F y no todo x R.) Este es el modo de convergencia más débil de los cuatro que hemos visto. Tenemos las relaciones siguientes entre estos cuatro modos de convergencia: 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 33 / 38

34 Ley de los grandes números Teorema Central del Límite Sean X 1, X 2,... variables aleatorias i.i.d., con media µ y varianza σ 2 > 0, sea S n = X X n, y sea Z N(0, 1). Entonces Sn nµ σ D Z cuando n n. En( otros términos, ) la conclusión es que para todo t R tenemos P Sn nµ σ n t Φ(t) cuando n. Aquí Φ denota la función de distribución de la normal estándar: Φ(t) = P(X t) = t e x2 /2 2π dx. Nótese que ES n = nµ, y que, como las X i son mutuamente independientes, tenemos (por un resultado ya mencionado) que S n tiene varianza V (S n ) = V (X 1 ) + + V (X n ) = n σ 2. Por tanto, la variable Sn nµ σ es la n estandarización (tipificación) de S n, y el TCL nos dice que esta estandarización converge en distribución a la normal estándar. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 34 / 38

35 Teorema Central del Límite Observaciones sobre el TCL: Es importante notar que el teorema no supone nada sobre la distribución de las X i salvo que tengan varianza finita. En esto radica la gran generalidad del teorema. Cuando n es suficientemente grande, el teorema nos garantiza que X X n N(nµ, σ 2 n) en distribución. Para aplicar el teorema a un caso práctico particular, hay que llevar cuidado con cómo entendemos n es suficientemente grande para que la aproximación sea fiable. Esto depende de los parámetros del caso particular, como veremos en ejemplos; si las X i siguen una las distribuciones principales vistas en este curso, el error en la aproximación es proporcional a 1/ n (teorema de Berry-Esseen). Para calcular probabilidades de cualquier suma (grande) de variables aleatorias i.i.d., gracias al teorema sabemos que es suficiente estandarizar la suma, aproximarla por una variable normal estándar y utilizar las tablas de probabilidad de la distribución normal estándar. 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 35 / 38

36 Teorema Central del Límite Ejemplo: lanzamos 100 dados independientemente. Denotamos por S la suma de los 100 resultados. Tenemos S [100, 600]. Si X es el resultado de un dado, tenemos EX = = 3.5, y V (X ) = EX 2 (EX ) 2 = = = Por lo tanto tenemos µ = ES = 350, σ 2 = V (S) = 3500/ Podemos dar la probabilidad de que S caiga en un intervalo [a, b] estandarizando primero S y luego usando la función Φ. Tenemos pues ( a 350 P(a < S < b) = P < S 350 < b 350 ) ( b 350 ) ( a 350 = Φ Φ ) Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 36 / 38

37 Resumen sobre sumas de variables aleatorias Sean X 1,..., X n variables aleatorias reales, y sea Y la variable aleatoria X X n. Recordamos algunos resultados vistos anteriormente. Tenemos E(Y ) = n i=1 E(X i), y si todas las variables X i tienen la misma distribución que X, esto es n E(X ). V (Y ) = n i=1 V (X i) i<j n Cov(X i, X j ). Si las X i son mutuamente independientes, las covarianzas se anulan y tenemos V (Y ) = n i=1 V (X i). Si además las X i tienen todas la misma distribución que X, entonces tenemos V (Y ) = nv (X ), y por tanto σ Y = σ X n. Qué distribución tiene Y? En general es muy difícil determinarla. 1) Para n arbitrario (puede ser pequeño, e.g. n = 10), en algunos casos particulares se puede determinar: - Si las X i son independientes, y tenemos X i Be(p) para todo i, entonces Y Bin(n, p). - Si las X i son independientes, y X i N(µ, σ 2 ) para todo i, entonces Y N(nµ, nσ 2 ). 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 37 / 38

38 Resumen sobre sumas de variables aleatorias 2) Cuando n es grande, en el caso en que las X i son i.i.d., tenemos el teorema central del ĺımite, que nos dice que la distribución de Y nµ σ n se puede aproximar por la normal estándar N(0, 1). 2. Probabilidad 2.7. Ley de los grandes números. Teorema central del ĺımite. 38 / 38