x i x, y j y f X,Y (x, y) dx dy {X x, Y y} a F X (a) = lím F X,Y (a, b) = f X (x) = f X,Y (x, y) dy. y x F X,Y (x, y) = f X,Y (x, y),

Transcripción

1 TEMA La distribución conjunta de dos (o más) variables. Veamos las definiciones básicas, en el caso de dos v.a.s X, Y sobre un mismo espacio de probabilidad (Ω, F, P). Definiciones: 1) La función de distribución F X,Y : R [, 1] es la dada por F X,Y (x, y) = P(X x, Y y). Las F X, F Y se llaman entonces sus distribuciones marginales. Observaciones: Como el suceso X x} es la unión creciente de los X x, Y y} cuando y, la marginal F X coincide con F X (x) = P(X x) = lím P(X x, Y y) = sup y F X,Y (x, y), y y lo mismo para la F Y. Para v.a.s X 1,..., X n, la definición es la misma: para cada x = (x 1,..., x n ) R n, F X (x) = P(X i x i para cada i), donde X = (X 1,..., X n ) es un vector aleatorio, que es como conviene pensar en el par (X, Y ). VER (más abajo) el Ejemplo 1 ) La función de masa p X,Y es p X,Y (x, y) = P(X = x, Y = y), si ambas son discretas; su relación con la función de distribución: si x i }, y j } son las valores de ambas variables, F X,Y (x, y) = p X,Y (x i, y j ). x i x, y j y VER Ejemplos y 3 3) Se dice que el vector (X, Y ) tiene distribución continua si hay una f X,Y : R [, ), llamada su densidad conjunta, tal que F X,Y (x, y) = f X,Y (x, y) dx dy X x, Y y} (el análogo de la suma del caso anterior). Observaciones: Al escribir F X,Y (x, y) como una integral iterada vemos que la marginal F X es en este caso a } F X (a) = lím F X,Y (a, b) = f X,Y (x, y) dy dx b Ejemplos: de modo que X tiene distribución continua, con densidad f X (x) = f X,Y (x, y) dy. (todo igual para Y, claro) Si en la integral iterada (o escrita en el otro orden... x y } F X,Y (x, y) = f X,Y (x, y) dy dx derivamos primero respecto de x, luego de y, resulta y x F X,Y (x, y) = f X,Y (x, y),... y derivando en el otro orden) que muestra cómo pasar de la F X,Y (x, y) a la f X,Y (x, y). VER Ejemplos 4 y 5 Ejemplo 1) Sean X, Y el número de reyes y número de ases que salen al extraer al azar dos de las 4 1 cartas de una baraja. Hay seis valores posibles del par X, Y, que podemos ver como puntos del plano, sobre los que se colocan sus respectivas masas de probabilidad, que en % son: Ejercicio: hallarlas., ,4,5 Y = 63,6 16,4,77 X = 1 En ese caso, F X,Y (a, b) = salvo que a, b sean ambos, en cuyo caso F X,Y (a, b) es la suma de las masas de los valores cubiertos por el cuadrante x a, y b}. Comparar Definición ). Ejemplo ) Más simple que el anterior, pese a haber ahora infinitos valores: X, Y independientes, ambas con distribución Geométrica p. Por la independencia, p X,Y (j, k) = p X (j)p Y (k) = p q j+k si j, k >. 1

2 Ejemplo 3) Esta vez las v.a.s NO son discretas: X, Y independientes, ambas con distribución Exp 1. Usando de nuevo la independencia, (1 e x )(1 e y ) si x, y >, F X,Y (x, y) = F X (x) F Y (y) = si no. Con las observaciones que siguen a la Definición 3) podemos deducir que su función de densidad conjunta es también el producto e x e y si x, y >, f X,Y (x, y) = si no de las dos densidades marginales f X, f Y, y verificar que F X,Y (x, y) se recupera con la integral iterada x y } f X,Y (x, y) dy dx. Ejemplo 4) Con las X, Y del ejemplo anterior, sean ahora U = mínx, Y }, V = máxx, Y }. Queremos F U,V (u, v). De las igualdades X u, Y v} X v, Y u} si u < v, U u, V v} = X v, Y v} si u v, resulta F U,V (u, v) = F X,Y (u, v) + F X,Y (v, u) F X,Y (u, u) si u < v, F X,Y (v, v) si u v, y al derivar f U,V (u, v) = f X,Y (u, v) = e u v si < u < v, si no. La conclusión refleja lo siguiente: como debe ser U = X, V = Y, o al revés, el par U, V cae en un punto gordo del dominio < u < v si y sólo si el X, Y cae en la unión de ese punto y su simétrico respecto de x = y. Y también ilustra el hecho de que la densidad f X,Y (x, y) suele ser la forma más simple de expresar y manejar la distribución conjunta en el caso continuo (como lo es la función de masa en el discreto) aunque la F X,Y sea insustituible para hacer argumentos generales, entre otras cosas. Ejercicio: con la fórmula que sigue a la DEF 3, hallar las marginales f U, f V. Ejemplo 5) Queremos hallar la distribución marginal de X +Y, para la que no tenemos (aún) una fórmula preparada. Empezamos por lo tanto con la F X+Y : si s > F X+Y (s) = P(X + Y s) = s s x f X,Y dy dx = s s x e x e y dy dx = (1 e s ) se s se s si s >, de donde f X+Y (s) = Nótese que esa es la Gamma con w =, λ = 1. si no. Comentarios: (e v e v ) si s >, Se habrá hallado tras el Ejemplo 4 que U Exp, mientras que f V (v) = si no. Ambas cosas tienen un significado inteligible: si recordamos que la Exp 1 era por ejemplo el tiempo hasta que observemos la siguiente estrella fugaz, podemos pensar en U = mínx, Y } del modo siguiente: X, Y son los tiempos correspondientes a dos clases de estrellas (digamos las del este y las del oeste), igualmente abundantes (puesto que tienen el mismo tiempo medio =1), con lo que U es el tiempo hasta observar alguna de ellas, y como esa población es doble, su parámetro λ = 1/E(U) debe ser doble también, porque se dobla la frecuencia; se puede comprobar que la f V hallada coincide con la de la suma de dos v.a.s independientes que sean Exp con parámetros 1 y ; la razón es la siguiente: acabamos de ver que U es Exp, y se tiene obviamente V = U + (V U); pero el segundo sumando es el tiempo que falta aún hasta observar una de la otra clase (la que no era U), y ya sabemos que la Exponencial no tiene memoria : como ya ha transcurrido el tiempo U, la distribución del tiempo que falta es la misma que al principio: Exp 1. El cálculo hecho en el Ejemplo 5 va a generalizarse pronto para la densidad de la suma X + Y de v.a.s continuas independientes. Y tendrá un nombre propio: convolución de f X con f Y.

3 3. El caso de variables independientes. Se trata ahora de generalizar ideas que hemos visto en los ejemplos anteriores. Revisando los Ejemplos y 3 se ve que es plausible lo que afirma la siguiente PROPOSICION A: El que las v.a.s X 1,..., X n sean independientes equivale a cada uno de los hechos siguientes: i) que se tenga, para cada x = (x i ) R n p X (x) = i, p X i (x i ), en el caso discreto f X (x) = i f X i (x i ), en el caso continuo. ii) que p X (x) en el caso discreto (f X (x) en el continuo) sea un producto de funciones de cada variable. Prueba: Recordemos que la definición de independencia pide que se tenga F X (x) = i F X i (x i ), es decir pide la independencia de los sucesos X i x i }, i = 1,..., n. i) Ya hemos observado que esa independencia implica la de cualesquiera sucesos relacionados uno con cada variable, en particular los X i = x i }, y eso es lo que dice i) en el caso discreto. La implicación recíproca sale en ese caso de la suma que hemos dado (para el caso n = ) tras la definición de función conjunta de masa, y que produce F X en términos de p X. En el caso continuo, las dos implicaciones se obtienen con la integral que expresa F X en términos de f X y con la derivada cruzada de orden n que recupera la f X. ii) Pensemos en el caso n =. Si f X,Y (x, y) = f 1 (x)f (y), podemos suponer ambas puesto que lo es f X,Y, y es inmediato que las marginales son f i si ponemos a cada una el factor constante adecuado para que tenga integral 1. Exactamente la misma idea en el caso discreto y para cualquier n. El Ejemplo 5 se generaliza de este modo: PROPOSICION B: La densidad de la suma X + Y de v.a.s continuas independientes es f X+Y (s) = f X(x)f Y (s x) dx que se llama la convolución f X f Y. Observaciones: El análogo discreto es la suma (donde el segundo factor de cada sumando puede ser =) p X+Y (s) = p X (x i )p Y (s x i ) x i X(Ω) que ya usamos por ejemplo para la suma de puntos de dos (o más) dados. Para n > v.a.s independientes, lo mismo: f P X i = f X1 f Xn = f X1 (f X f Xn ). Prueba de B: Basta derivar la F X+Y (s) = P(X + Y s) = f X (x) } s x f Y (y) dy dx. El punto técnico es que pasamos la derivada dentro de la integral ; la idea de por qué eso es legítimo: una integral es como una suma, y la derivada de una suma es la suma de las derivadas. Querríamos decir, como otro apartado de la Proposición A, lo que parece más intuitivo: X, Y son independientes si la distribución de Y condicionada a X = x es la misma x. Si son discretas, esto es cierto y es un ejercicio sencillo el ver que equivale a i). Pero tiene un problema si son continuas: no hemos definido probabilidades condicionadas a un suceso que tenga P =, como es el X = x en ese caso. Si lo miramos por analogía con el caso discreto, se ve cuál debería ser la afirmación: que la función g(y) = f X,Y (x, y) sea la misma para cada x, salvo por el factor g(y) dy por el que habrá que dividirla para que sea una densidad (y que será entonces el valor de fx (x)). Como esta afirmación equivale a ii), definimos f Y X (y x) = f X,Y (x, y)/c(x), con c(x) = f X,Y (x, y) dy y le llamamos ( abusando del lenguaje ) la densidad de Y condicionada a X = x. Se puede llegar formalmente a esta definición tomando el límite cuando δ de la densidad condicionada al suceso x X x + δ, que tendrá P > si f X (x) >. Ejemplos: En el Ejemplo 4 era f U,V (u, v) = e (v+u) si < u < v, y como u e (v u) dv = e w dw = 1, la densidad de V condicionada a U = u es f U,V (u, v)/e u = e (v u) para v > u. Otra forma de decir lo mismo: si es U = u, la variable W = V U tiene densidad f W (w) = e w para w >, que como se ve no depende del valor de U; la conclusión (ya citada antes) es que W, U son independientes. Pregunta parecida: si conocemos X + Y = s en el Ejemplo 3, cuál será la densidad (condicionada) de X? Si hemos entendido lo anterior, la tentación es razonar así: como f X,Y (x, y) = e s (constante) sobre el segmento x [, s] de la recta X + Y = s, y f X,Y (x, y) = fuera de él, la densidad condicionada de X es la Uniforme[, s]. La respuesta es correcta por milagro : para contestarla habría que haber hallado primero la distribución conjunta de X, X + Y, y entonces su restricción a la recta X + Y = s. Si ha salido bien es, como veremos, gracias a que el cambio de variables (X, Y ) (X, X + Y ) es lineal.

4 3.3 Esperanza y varianza en el caso multivariante. El concepto de valor esperado se extiende sin más al caso de un vector aleatorio: si X = (X 1,..., X n ), la misma definición que en el caso n = 1 da el vector E(X) de coordenadas E(X i ). Y para la varianza? La apuesta más ingenua sería el vector de coordenadas var(x i ). Una más astuta, la E( X E(X) ), donde es ahora el módulo de ese vector de desviaciones. Veremos que la extensión genuina es otra. Definición: Para dos v.a.s X, Y, definimos su covarianza como X = X E(X) cov(x, Y ) = E(X Y ), donde son las versiones centradas de X, Y. Y = Y E(Y ) Observación: Por lo tanto, var(x) = cov(x, X), y la igualdad var(x) = E(X ) E(X) es un caso particular de: cov(x, Y ) = E(XY ) E(X)E(Y ) Ejercicio: comprobarlo. con lo que en particular cov(x, Y ) = si X, Y son independientes. Pero no al revés!! (como vimos en el Ejercicio, Hoja 3). Ejemplo 7) Siendo X, Y, U, V como en el Ejemplo 4) de 3.1, busquemos la cov(x, V ). Ya sabemos que E(X) = 1, E(V ) = 3/, porque X, Y Exp 1, U Exp y porque se tiene evidentemente X + Y = U + V. Para hallar E(XV ) podemos usar la E(XV ) = f X,Y (x, y) = e x y si x, y >, si no, x xe x xe y dy + x, teniendo en cuenta que V = } ye y dy dx = X si Y X, Y si V > X. xe x x + e x} dx = = 9 4 de donde cov(x, V ) = 9/4 1 3/ = 3/4. Un cálculo idéntico daría la cov(x, U), pero no hace falta: podemos usar el hecho de que para cualesquiera v.a.s X, Y, Z se tiene cov(x, Y + cz) = cov(x, Y ) + c cov(x, Z) es decir, que cov(x, Y ) es lineal en Y si fijamos X, y razonar así: Ejercicio: probarlo. X + Y = U + V cov(x, U) = cov(x, X) + cov(x, Y ) cov(x, V ) = = 1 4 donde se ha usado que cov(x, X) = var(x) = 1 y que cov(x, Y ) = porque X, Y son independientes. Definición: La matriz de varianzas-covarianzas del vector aleatorio X = (X 1,..., X n ) es la de entradas c ij = cov(x i, X j ). Esta es la versión n-dimensional de la varianza, que incluye en su diagonal las var(x i ). Para entender su significado, vamos primero a visitar algunas ideas de análisis de datos. 3.4 Una ojeada a la historia del Cálculo de Probabilidades y la Estadística. Algunos nombres y fechas: Ver 1)"#%!)3)1+%%,-45%!%-4 67$"*"))8%9:;<#8+%%,-4=%!%=/ >))3%?#@*A8+%%,-B4%!%,C4C D)3AE%#$8A:11"+%%,-/B%!%,C./ FE$)7)(%&#%GA"H$#+%%,--C%!%,C/B!"#$$#!I"(A8%J)K1)3#+%%,CB=%!%,L4C F&$"#8!G)$"#%J#<#8&$#+%%,C/4%!%,L55 6)$1%'$"#&$"37%M):+%%,CCC%!%,L// '$)83"%M)1*A8+%%,L44%!%,=,, N)$1%!#)$A8+%%,L/C%!%,=5- O("1#%A$#1+%%,LC,%!%,=/- F8&$#;%?"PA1)#H"37%NA1(A<A$AH+%%,=.5%!%LC IAQ*@)$#%#*)&R*"3A+%&#&#%#1%Q"8%&#%1A%,=-.

5 En el libro de Freedman hay muchas referencias a la historia: En el Cap. 14 se explica la correspondencia entre Fermat y Pascal, en los 165 s, sobre la llamada Paradoja del Chevalier de Méré: por qué resulta ser más probable sacar al menos un en 4 tiradas de un dado que sacar al menos un en 4 tiradas de dos dados. La idea (demasiado) ingenua es que nos quedamos igual si tenemos 6 veces más oportunidades de conseguir una cosa 6 veces menos probable. 1 Pero las probabilidades de ambas cosas (con dados equilibrados) son: 1 (5/6) 4 = 51.8 %, 1 (35/36) 4 = 49.1 %. El intercambio de ideas entre Fermat y Pascal como consecuencia de ese problema es uno de los momentos fundacionales del Cálculo de Probabilidades. A partir de los datos: Hemos introducido los modelos de probabilidad como descripciones del comportamiento a largo plazo de los resultados de un experimento. Para eso hemos tenido que seleccionar ejemplos particularmente simples, con descripción sencilla que se pueda dar por sentada a priori, como en los dados del problema anterior. Pero la pregunta interesante es la contraria: dados los resultados de algún experimento, a) cómo resumirlos visualizarlos, b) cómo asignarles un modelo de probabilidad y los parámetros del mismo. El libro de Freedman comienza con este punto de vista, dando ejemplos de datos y un ejemplo de a): cómo la misma idea de nuestras funciones de densidad permite ver una gran cantidad de datos como un histograma: representando cada 1 % de los datos como una unidad de área bajo una gráfica. Con esta representación aparece de nuevo la idea del centro de gravedad de los datos: el valor medio x = 1 N x i N 1 Un ejemplo histórico de b) se encuentra en el Ars Conjectandi de Jacob Bernoulli (publicado en 1713, años después de su muerte). La pregunta que plantea Bernoulli es (en traducción simplificada) la siguiente: supongamos una urna con un total de n bolas R y B, por ejemplo en proporción 3: (desconocida para nosotros); todos saben dice Bernoulli que si se extraen bolas con reemplazamiento, la proporción de R extraídas tenderá a la larga a la proporción p de R en la urna 3 ; pero cuántas extracciones harán falta para tener casi seguridad (digamos, con un.1 % de incertidumbre) de cuál es la proporción en la urna? Este intento de cuantificar la ley de los grandes números inaugura lo que mucho después se ha llamado estimación paramétrica; la pregunta de Bernoulli coincide esencialmente con la siguiente: Si X Binomial N,p, desde qué valor de N se tendrá, para un ε, δ dados, P( X/N p < ε) > 1 δ. Bernoulli consigue responderla con valores de N que resultan desalentadoramente grandes ; en retrospectiva podemos ver que su demanda de certeza era excesiva para casi todos los casos prácticos, y respondía más bien a la necesidad de transmitir la idea de que podemos conseguir a la larga certeza total. Nace la Normal: Poco tiempo después, Abraham de Moivre retoma el problema y prueba que para N grande, la Normal de media µ = Np y varianza σ = Npq aproxima la Binomial N,p ; es decir si X tiene esa distribución, e Y es Normal con igual media y varianza, P(a σ < X µ < b σ) P(a σ < Y µ < b σ) para cada a, b R, y la aproximación tiende a la igualdad cuando N (pero es ya excelente con N no muy grandes). Esto da un método general para responder toda clase de preguntas como la de Bernoulli, que de Moivre explica en su libro The Doctrine of Chances, Supongamos por ejemplo ε = 1/1, δ =.1 %. La Tabla de la Normal estándar Z nos dice que 1 δ < P( Z < 3.3). Esa será aproximadamente para nuestra X la P( X Np < 3.3 σ), y queremos que sea 1 δ < P( X Np < Nε), es decir, basta con que se tenga 3.3 Np(1 p) Nε. Sustituyendo los valores de ε = 1/1 y de p = 3/5 se llega a N La versión correcta de esa intuición es que el número esperado de éxitos coincide: /3 en ambos casos. Se han visto ejemplos de histogramas en el Laboratorio. 3 Eso es lo que llamamos ahora la ley de los grandes números.

6 Mínimos cuadrados: Hay una relación profunda y no evidente entre la media y la varianza que hemos definido para v.a.s.: la función q(a) = E( X a ) tiene derivada q (a) = E(X a) = (a E(X) ), luego su valor mínimo es q(e(x)) = var(x). La idea es la misma que aparece por ejemplo en escritos de Huygens 4 sobre la Mecánica de un sólido: respecto de ejes de dirección fijada, el momento de inercia es mínimo si el eje pasa por el c.d.g. del sólido. Y podemos enunciarla en sentido contrario: definir el valor central de unos datos como el a que minimiza la suma de cuadrados S(a) = N (x i a). Como antes, basta derivar respecto de a para ver que el mínimo se alcanza en a = x. Eso hace que las dos ideas se apoyen mutuamente : supongamos que los x i son medidas con errores de una cantidad desconocida x; podemos escribir x i = a + ε i, donde a es nuestra apuesta sobre su valor exacto, ε i los errores; la relación citada invita a usar a = x como la mejor apuesta posible, y la media cuadrática S( x)/n como una estimación del tamaño de los ε i. Legendre presenta esta idea en un escrito 5 de 185 como apoyo a la de usar mínimos cuadrados para resolver SEL sobredeterminados (con más ecuaciones que incógnitas). Tales sistemas de ecuaciones aparecen de modo natural al repetir, para obtener mayor precisión, las medidas que deben llevar al cálculo de ciertas cantidades, ya que esas medidas vienen acompañadas de sus inevitables errores aleatorios. Medidas con errores y máxima verosimilitud: El tema del escrito de Legendre ilustra una de las razones de la importancia histórica de este asunto: medidas astronómicas reiteradas 6, o medidas topográficas, que se intensificaron en los siglos XVII-XVIII. Gauss, que había trabajado intensamente en ambos tipos de medidas 7, argumenta de esta forma en 189 para defender x como la mejor apuesta para el verdadero valor que tratamos de medir: supongamos para esos errores de medida, como es razonable, una densidad ϕ(x) simétrica respecto de ; viendo los errores como funciones ε i = x i a de nuestra apuesta a sobre el valor exacto, lo natural es tomar el valor de a que haga máxima la probabilidad de haber cometido esos errores. Esta idea se convertirá más tarde en un método estadístico bajo el nombre de máxima verosimilitud. Claro que esa probabilidad es en este caso para todo a, puesto que suponemos una distribución continua de los errores, pero la condición equivalente es que sea máximo el producto P (a) = i ϕ(x i a) Supongamos por un momento que la densidad sea una Normal: ϕ(x) = c e h x, que ya en el siglo XVIII se había usado por varios autores, entre ellos Gauss, como modelo para los errores. Tomando el log P (a) es fácil ver que en ese caso d da P (a) = d da (x i a) = a = x. i Pero Gauss da la vuelta al argumento: sólo la densidad Normal puede dar ese resultado para cada conjunto de valores x i, porque si llamamos L(x) = (log ϕ(x)), la implicación L(x i a) = a = x i sólo será cierta si L es lineal: L(x) = bx, con lo que log ϕ(x) = b + bx /, y ϕ es una Normal simétrica. De este modo Gauss completa el argumento moral y estético de Legendre en favor de x y los mínimos cuadrados, aclarando además la relación privilegiada de éstos con la densidad Normal. Pero falta aún ver por qué los errores de medida deben someterse a la belleza de este argumento... El CLT: En los años siguientes, Laplace prueba el teorema que extiende lo hecho por de Moivre, explica así el papel singular de la Normal y permite entender que los errores de medida, y muchas otras obras del azar, se ajusten a ella. Es el llamado Teorema Central del Límite, que se irá perfeccionando y entendiendo mejor a lo largo del siglo y medio siguiente y del que veremos una versión en el Tema 4 del programa. i=1 4 Que también escribe un libro clave sobre Cálculo de Probabilidades: De ratiociniis in Ludo Aleae, Nouvelles méthodes pour la détermination des orbites des comètes. 6 Que además eran indispensables para la navegación hasta que alguien consiguió construir relojes que conservasen la hora largo tiempo en las condiciones de un barco (John Harrison, hacia 17-6). 7 Me atrevo a recomendar una muy notable novela histórica sobre Gauss, Alexander von Humboldt y las actividades de ambos en ese campo: Daniel Kehlmann, Die Vermessung der Welt, 5 (La Medición Del Mundo, 6).

7 3.5 La función generatriz y sus amigas. Las cuatro cosas que he contado sobre la función generatriz de momentos M X (t) = E(e tx ) y sobre la función característica φ X (t) = E(e itx ) pueden leerse (con algún detalle técnico más) en las pgs (Cap. 7) del G-W. 3.6 Correlación. Recordemos qué era un producto escalar en un espacio vectorial E: una función E E R (u, v) u, v que es bilineal (lineal en v para u fijado, y al revés), simétrica: u, v = v, u, definida positiva: para cada u, u, u y además u, u = u =. Consecuencia de esos axiomas es la Desigualdad de Cauchy-Schwarz: u, v u, u v, v. Prueba: Llamemos 8 u = u, u ; supongamos que es u v >, porque si uno de los vectores es, no hay nada que probar. Entonces u u ± v v u, v u, v = 1 ± + 1 ± u v u v 1, es decir, ± u, v u v. En el caso del producto escalar ordinario, la fracción u, v /( u v ) es el coseno del ángulo que forman los dos vectores; pero de la Prueba se desprende que, también en el caso general, esta desigualdad es estricta salvo que u/ u, v/ v sean iguales u opuestos, es decir, salvo que u, v sean proporcionales. La covarianza es un producto escalar: Ya sabíamos que es bilineal, simétrica y que cov(x, X) = var(x). Sólo queda por lo tanto aclarar en qué espacio vectorial estamos pensando para que sea definida positiva como corresponde a un producto escalar, puesto que var(x) = sólo implica que se tenga X = E(X) c.s. (usamos el adverbio casi-seguramente, abreviado c.s. para decir que algo tiene P = 1). La respuesta se puede dar de dos formas, a partir del espacio vectorial formado por todas las v.a. X : Ω R; de manera formal, tomando el cociente por el subespacio de las casi-seguramente constantes ; o de manera menos formal pero más intuitiva, y equivalente a la anterior: tomando el subespacio de las que tienen E =, las centradas, y manteniendo para la discusión que sigue (y un poco también en general) la idea de que var(x) y cov(x, Y ) pertenecen realmente a sus centradas, de las cuales las demás v.a.s son trasladadas, y de las que toman prestados esos parámetros. Una vez dicho esto, la prueba de la desigualdad de C-S se puede repetir exactamente, recordando que hemos llamado σx = var(x) y dando el nombre coeficiente de correlación ρ X,Y al cociente 1 ρ X,Y = cov(x, Y ) σ X σ Y 1. Y la consecuencia de la prueba también se aplica, pero sin olvidar que hablamos de las centradas: ρ X,Y = ±1 si y sólo si Y EY es proporcional a X EX. En cambio, las llamaremos incorreladas si ρ X,Y =, es decir si cov(x, Y ) = (que será cierto en particular si son independientes). Por lo tanto podemos metafóricamente decir que ρ X,Y es el coseno del ángulo que forma Y EY con X EX. Los siguientes ejemplos mostrarán lo cerca que está esa metáfora de ser una verdad precisa. Ejemplos: De acuerdo con la idea expuesta antes, tomemos en ellos sólo v.a.s centradas. Sean X, R independientes, X Uniforme( 1, 1), R Uniforme(r, r) y sea Y = ax + R. Es fácil ver que (X, Y ) es Uniforme en el paralelogramo x < 1, y ax < r, que ax = E(Y X = x) y que var(x) = E(X ) = 1/3 var(r) = r var(x), var(y ) = (a + r )var(x), cov(x, Y ) = E(XY ) = ae(x ) + E(XR) = a var(x), con lo que ρ X,Y = a a + r que tiende a ±1 (según el signo de a) si hacemos r, es decir si apagamos el ruido R = Y ax. Todo es esencialmente igual si en el ejemplo anterior tomamos X Normal(, σ ), R Normal (, r ): ρ X,Y = aσ/( (aσ) + r ). 8 Aunque esta notación pertenece realmente al producto escalar ordinario, conviene usarla para ver mejor que la idea es la misma en el caso general.

8 3.7 Elogio de las matrices. Podemos incluir el ejemplo anterior en toda una familia de ellos. Tomemos como sistema de coordenadas un par Z = (Z 1, Z ) de v.a.s Normales(, 1) e independientes. Dicho de otro modo, que tienen densidad conjunta Varianzas-covarianzas: Si X, Y son dos combinaciones lineales de las Z i : f Z (z 1, z ) = 1 e z 1 / 1 e z / = 1 π π π e z /. X = u 1 Z 1 + u Z, Y = v 1 Z 1 + v Z, o escrito matricialmente : Y = (Z 1, Z ) y lo mismo para X, el hecho de que la cov(x, Y ) es bilineal permite escribir ( ) [ ] v cov(x, Y ) = (u 1, u ) V ar 1 Z v donde V ar Z es la matriz de varianzas-covarianzas de Z (que por lo dicho sobre las Z i, es la matriz unidad). Pero por el mismo precio podemos calcular de un golpe toda la matriz de varianzas-covarianzas de X, Y : ( ) ( ) u1 u ( ) V ar X,Y = u V ar 1 v 1 v 1 v Z = L L T u v donde L T es la traspuesta de L, la matriz que expresa el vector (X, Y ) como función lineal del Z. En el ejemplo anterior, ( ) ( ) σ L =, V ar aσ s X,Y = L L T σ aσ = aσ (aσ) + s. Y mejor que eso, podemos ver cómo depende en general esa matriz de los vectores u, v de coeficientes: ( ) V ar X,Y = L L T u u v = u v v, donde vemos que ρ X,Y es, en este caso literalmente, el cos del ángulo formado por u, v. Ahora es inmediato contestar preguntas como: ( ) cos α sen α Qué matrices L darán σ X =1= σ Y? Respuesta: L =, y entonces ρ cos β sen β X,Y = cos(α β). Qué matrices L darán ρ X,Y = es decir, X, Y incorreladas? Respuesta: Las que tengan u v. Qué matrices L darán ρ X,Y = ±1? Respuesta: Las que tengan u, v proporcionales. Pero es razonable excluir este caso, porque entonces no estamos produciendo dos v.a.s, sino esencialmente dos copias de una misma X. En consecuencia, suponemos desde ahora que L es regular; y podemos también suponer que tiene det(l) >, porque al permutar las columnas de L producimos exactamente el mismo par X, Y, ya que Z 1, Z son idénticas. Hay una pregunta que no se responde con esto, la de si X, Y serán independientes (no tienen por qué serlo) en el caso de ser incorreladas. Para eso hay que mirar su densidad conjunta. 3.8 La densidad bi-normal. Pensemos en cualquier trozo D del plano z = (z 1, z ) y en su imagen por la biyección lineal (x, y) = L(z). El suceso A = z D es idéntico al L(z) L(D), luego P(A) puede calcularse integrando en un plano o en el otro: P(A) = f Z (z) dz 1 dz = f X,Y (x, y) dx dy = f X,Y (L(z)) J(z) dz 1 dz D L(D) donde la última igualdad es la fórmula de cambio de variables en la integral doble y J(z) es el factor local de corrección de áreas, el jacobiano de la biyección en cada punto. Pero en nuestro caso ese factor es la constante det(l), luego f X,Y (L(z)) debe coincidir con f Z (z) salvo factor constante. Recordando que f Z (z) = 1 π e z /, resulta f X,Y (L(z)) = cte e z /, es decir f X,Y (x, y) = cte e q(x,y)/, ( ) [ ] donde q(x, y) es la forma cuadrática L 1 (x, y) x = (x, y) Q, con Q = (L y 1 ) T L 1 = (L L T ) 1. Esto es lo que denominamos una Normal Bivariante. Veamos de nuevo... Ejemplos: El primero, para responder la pregunta lanzada hace poco: X, Y eran incorreladas si u v. Pero eso equivale a que LL T sea diagonal y a que lo sea su inversa Q, con lo que en ese caso q(x, y) = ax + by, y efectivamente f X,Y (x, y) es producto de una función de x y otra de y, ambas densidades Normales! D [ v1 v ]

9 De la igualdad f X,Y (L(z)) = cte f Z (z) se desprende también que L aplica las curvas de nivel de F Z (círculos) sobre las de f X,Y, que en consecuencia son elipses; en el caso que acabamos de ver, esas elipses tienen como ejes los de coordenadas x, y. En el otro caso sencillo visto antes, cuando σ X = σ Y = 1, la matriz LL T, y en consecuencia también su inversa Q, tiene iguales las dos entradas de su diagonal y eso permite escribir q(x, y) en la forma a(x + y) + b(x y) ; es decir, X ± Y son Normales independientes y sus elipses tiene como ejes las diagonales del plano x, y. Ver en relación con este caso el Ejemplo A) de la Hoja 4. Éste es el caso que aparece en el Grimmett-Welsh como la Normal Bivariante Estándar. Lo es en el sentido siguiente: cada Normal Bivariante se puede reducir a ésta con el cambio de escala X/σ X, Y/σ Y. A la conclusión de que X, Y son Normales podemos llegar de modo general: cada Z i tiene la misma función característica φ(t) = E(e itzi ) = exp( t /), luego cada X = c 1 Z 1 + c Z tiene φ X (t) = E(e it(c1z1+cz) ) = E(e itc1z1 )E(e itcz ) = φ(c 1 t)φ(c t) = exp( c t /) que es la de una Normal con varianza c. Esto es otra peculiaridad de las Normales. Nótese que hemos probado que las X, Y de una Normal Bivariante son independientes si están incorreladas, pero NO hemos probado que eso sea cierto en general para dos Normales. Contraejemplo: si llamamos Φ(z) a la densidad de la Z Normal(,1), hay una abscisa a > tal que y si definimos W = a a Z si Z < a Z si no, z Φ(z) dz = 1 = 1 var(z) es fácil ver que E(W Z) = y que W es Normal(,1). 3.9 La influencia mutua de las variables en una Normal Bivariante. Una pregunta natural al describir y analizar datos de dos cantidades es la de cómo depende una de la otra. En el lenguaje de su distribución conjunta, eso se traduce en esta pregunta: cuál es, para cada x R, la distribución de Y condicionada a X = x? Ejemplo: Supongamos que nuestras X, Y (una vez centradas) tienen la distribución dada por [ ] ( ) [ ] X = σ X Z 1 X σx Z1 [1] es decir, =, Y = ax + sz Y aσ X s Z un ejemplo que ya hemos visto antes; como Z es independiente de Z 1 y por lo tanto también del valor de X, la distribución de Y condicionada a X = x es la de ax + sz, es decir Normal(µ, r ) con µ = ax. Ya sabemos que la distribución de Y es la Normal(, σ Y ) con σ Y = (aσ X ) + s. Estos dos sumandos parten la dispersión total de Y en la heredada de X + la independiente de ella. Observemos lo que hace esa función lineal con las curvas de nivel de la densidad de (Z 1, Z ); en la figura vemos el cuadrado unidad, el trozo de círculo tangente a él, y la imagen de ambos. ( σx aσ X s ) = s (! X, a! X ) En particular vemos que las elipses de nivel de f X,Y tienen tangente vertical precisamente en los puntos de la recta y = ax, donde se sitúan las E(Y X = x) para cada x. Los pares de Normales dadas por las fórmulas [1] son en realidad todas las Normales Bivariantes, porque: la matriz G de un giro produce, como hemos visto, dos variables con distribución conjunta idéntica a la de Z = (Z 1, Z ), y cada matriz L con [ det(l) ] > es el producto de un giro y una matriz como la de [1]: ( ) [ ] ( ) ( ) X Z [ ] = L 1 σx Z = G 1 Y Z aσ X s Z (basta que giro inverso G T lleve la segunda columna de L al eje vertical), de modo que las X, Y producidas por L tienen la misma distribución que en [1]. Falta ahora contestar la siguiente pregunta natural: qué distribución tiene X condicionada a Y = y? La tentación natural es decir: X = (Y sz )/a, luego la distribución de X Y = y es Normal(y/a, (s/a) ). FALSO, porque Z NO es independiente de Y!!

10 De modo que necesitamos (si es posible) escribir X como cy + W donde W sea independiente de Y. Para ver que eso puede hacerse, sin que demasiadas letras nos nublen la imagen, supongamos que estamos en el caso σ X = 1 = σ Y que hemos llamado Normal Bivariante Estándar (lo que se consigue, como vimos, con un simple cambio de unidades en cada variable ). Eso equivale a que nuestra matriz sea ( ) 1 a s con a + s = 1. Sabemos que en ese caso W debe ser un múltiplo de sz 1 az para ser independiente de Y = az 1 + sz. La tarea es pues escribir X = Z 1 como c 1 Y + c (sz 1 az ) y la solución resulta ser X = ay + s Z 1 saz. Todo es ahora simétrico: la W = s Z 1 saz tiene también varianza s, y la varianza de X se parte en los dos sumandos a var(y ) + var(w ) = a + s = 1, como ocurría con la de Y. Además, el coeficiente de dependencia mutua resulta coincidir con ρ X,Y = cov(x, Y ) = cov(z 1, az 1 + sz ) = a. Ésa es la pendiente de la recta y = ax donde se sitúan los valores medios E(Y X = x), pero también, simétricamente, la de la recta x = ay donde se se sitúan los E(X Y = y). En los puntos de esta otra recta es donde las elipses tienen tangente horizontal (recordemos que sus ejes son las diagonales del plano en este caso estándar); ambas rectas coinciden si y sólo si es ρ X,Y = ±1 (lo que NO puede ocurrir si la matriz L es regular), mientras que coinciden con los ejes si y sólo si ρ X,Y =. 3.1 Las dos lineas de las medias: regresión. Recordemos qué propiedad caracterizaba al valor medio E(X) de una v.a. X: es la constante c que hace más pequeña la E( X c ) = var(x) + (c E(X)). Dada ahora la distribución conjunta de dos v.a.s X, Y, podemos plantearnos en los mismos términos la pregunta de qué recta y = ax + b describe mejor la forma en que Y depende de X, del modo siguiente: Hallar los valores a, b que hacen mínima la E( Y (ax + b) ). La respuesta es fácil de dar, porque p(a, b) = E( Y (ax + b) ) es un polinomio de grado. Pero quizá la forma más clara de llegar a ella es la siguiente: En primer lugar, debe anularse la p(a, b) = E(Y (ax + b)) = ( E(Y ) (a E(X) + b) ), b es decir, el punto (E(X), E(Y )) debe estar en la recta buscada: E(Y ) = a E(X) + b. Si suponemos ahora que las variables están centradas (es decir, que hemos tomado ese punto de las medias como origen), será b = y la recta y = ax que buscamos debe cumplir p(a, b) = = E(X(Y ax)), = E(XY ) a E(X ) = cov(xy ) a var(x), a es decir, a = cov(xy ) σ Y = ρ X,Y. var(x) σ X La recta buscada, a la que llamamos la recta de regresión de Y sobre X, es por lo tanto y E(Y ) σ Y = ρ X,Y x E(X) σ X. Ejercicio: comprobar que el mínimo de E( Y (ax + b) ) que se consigue así es (1 ρ X,Y )σ Y. Observaciones clave: Ésta es exactamente, en el caso de una Normal Bivariante, la recta de las medias y = E(Y X = x). Exactamente igual que en aquel caso, podemos intercambiar los papeles de las variables: la recta que se obtiene entonces es y E(Y ) ρ X,Y = x E(X), σ Y σ X la simétrica de la anterior en el plano de las variables tipificadas (centradas y divididas por su desviación). Todo lo que acabamos de hacer vale exactamente igual en el caso de unos datos x i, y i, i = 1,..., N si ponemos en lugar de las E(X), E(Y ), var(x), cov(x, Y ),... las medias y varianzas muestrales: x = 1 N x i, ȳ = 1 N y i, Sx = 1 N (x i x) 1 N, (x i x)(y i ȳ),... N N N N i=1 i=1 i=1 Para ver por qué es así, basta con repetir el argumento con estas definiciones, o más fácil aún: éstas definiciones coinciden con las anteriores si usamos como distribución conjunta de X, Y la uniforme sobre los N puntos (x i, y i ): probabilidad 1/N en cada uno. i=1

11 ! X =1=! Y "< El siguiente gráfico ilustra varias de las ideas expuestas en las páginas previas. ( 1 ρ s )! X =1=! Y "> ( 1 ρ s ) ρ + s = 1 en ambos casos simple cambio de escala! Y! X Arriba a la izquierda vemos el cuadrado unidad de R acompañado del círculo unidad, una de las curvas de nivel de la densidad Normal canónica, correspondiente al vector Z que se usa en 3.7 a 3.9. Las dos flechas que salen de allí representan dos funciones lineales que producen Normales Bivariantes Estándar (ver 3.9), y en las figuras a las que se dirigen vemos, junto con los parámetros de cada Bi-normal, las imágenes del círculo y cuadrado unidad, así como las dos rectas de regresión y la que Freedman llama la SD-line (en linea de puntos), la linea de pendiente σ Y /σ X por el punto de las medias, que es aquí el origen; ésta es al mismo tiempo la bisectriz de los ejes (por ser σ X = σ Y ) y es uno de los ejes de la elipse, y de cada una de las elipses dilatadas de ésa, que son las curvas de nivel de la densidad conjunta. La flecha restante, que corresponde a un cambio de escala en cada variable (una función lineal con matriz diagonal) permite ver qué cambia y qué sigue igual bajo ese cambio: las rectas de regresión son las imágenes de las de arriba, y siguen siendo los puntos donde las curvas de nivel tienen tangente vertical u horizontal; pero las simetrías se han roto: ni son simétricas las dos rectas de regresión, ni la SD-line (que es la imagen de su predecesora) coincide con la bisectriz de los ejes de coordenadas ni con un eje de las elipses. Recordemos también que si tenemos una distribución de datos con esos mismos parámetros, sus rectas de regresión seguirán siendo las que vemos en estas figuras, porque el argumento que lleva a la solución del problema de mínimos cuadrados (ver 3.1) no depende en modo alguno de que la distribución sea Normal. 1