Tema 2. Inferencia en poblaciones normales multivariantes

Transcripción

1 Máster en Técnicas Estaísticas Análisis Multivariante. Año Profesor: César Sánchez Sellero. Tema. Inferencia en poblaciones normales multivariantes.1. Introucción. En este tema realizaremos tareas e inferencia sobre el vector e meias y la matriz e covarianzas e una población normal multivariante, en base a una muestra aleatoria simple extraía e ella. También se tratarán poblemas que involucren a varias poblaciones. Muchos proceimientos resultarán ser extensiones naturales e los métoos ya conocios para poblaciones normales univariantes, mientras que en algún caso surgirán problemas nuevos, por ejemplo, comparación entre componentes el vector e meias o cuestiones e inferencia simultánea; en enitiva, situaciones provocaas por la imensión múltiple. Pero para comenzar conviene recorar la situación univariante, en la cual la inferencia se apoya en el teorema e Fisher que ice que la meia tiene istribución normal con cierta meia y varianza, la varianza muestral tiene istribución ji-cuarao, y son inepenientes. De igual moo, en el tema anterior se obtuvo un resultao que arma que el vector e meias muestral es normal multivariante, la matriz e covarianzas muestral tiene istribución e Wishart, y son inepenientes. Así, por ejemplo, en base a este resultao se puee hacer inferencia sobre el vector e meias cuano la matriz e covarianzas es esconocia, recurrieno a la istribución Γ e Hotelling. Aunque el vector e meias muestral y la matriz e covarianzas muestral son estimaores naturales e sus análogos poblacionales, también vamos a ver que son los estimaores e máxima verosimilitu, y e paso, introucimos la función e verosimilitu y en general la iea e verosimilitu, que será empleaa en varias ocasiones a lo largo e este tema... Vectores aleatorios. En esta sección vamos a recorar los conceptos básicos relacionaos con un vector aleatorio. Los contenios coincien con la sección 3.1 e los apuntes e la asignatura "Moelos e regresión", el primer cuatrimestre el máster. Se ha optao por reproucirlos e nuevo aquí. Un vector aleatorio es una colección e variables aleatorias X = meias simultáneamente sobre el mismo iniviuo o sobre el mismo resultao e un experimento aleatorio. Caa una e las componentes e un vector aleatorio es una variable aleatoria, y por tanto se puee calcular su meia, su varianza y su istribución. Sin embargo, hay algunas propieaes conjuntas entro e un vector aleatorio, como son la covarianza o la correlación y 5 X 1. X

2 6 Máster en Técnicas Estaísticas la istribución conjunta. En concreto, se ene el vector e meias como E X 1 EX =. E X y la matriz e covarianzas como: V ar X 1 Cov X 1, X Cov X 1, X Cov X, X 1 V ar X Cov X, X Σ = CovX, X = Cov X, X 1 Cov X, X V ar X El vector e meias y la matriz e covarianzas se comportan e la siguiente manera ante transformaciones lineales: Eα + AX = α + AEX Covα + AX, β + BY = ACovX, Y B sieno α y β vectores e imensión q, y A y B matrices q. Como caso particular e transformaciones lineales, se encuentran los cambios e localización y escala. Así, ante un cambio e localización, como el que representa sumar el vector α, el vector e meias quea esplazao en la misma irección α, para situarse e nuevo en el centro e la istribución. La matriz e covarianzas, sin embargo, es invariante ante cambios e localización. Respecto e cambios e escala, poemos ecir que caa componente el vector e meias está meio en la misma escala que la variable por ejemplo, en centímetros o en metros si la variable representa una longitu, mientras que caa varianza se mie en la escala e la variable elevaa al cuarao, y la covarianza en el proucto e las escalas e las os variables involucraas. Hay una transformación lineal que tiene un interés especial, que se conoce como estanarización. La estanarización e una variable aleatoria se consigue restano la meia y iviieno por la esviación típica raíz cuaraa e la varianza. En el caso e un vector aleatorio, su estanarización sería Y = Σ 1/ X µ que así construio verica EY = 0 y CovY, Y = I. Puee surgir alguna ua sobre cómo obtener la matriz Σ 1/. A este respecto es útil tener presente que toa matriz e covarianzas es una matriz simétrica y semienia positiva. Recoremos ciertos resultaos algebraicos para este tipo e matrices. Si A es una matriz simétrica, entonces A = v 1,..., v λ λ sieno v 1,..., v una base ortonormal e autovectores e A y λ 1,..., λ sus autovalores asociaos. A se ice enia positiva si toos los autovalores e A son positivos. En ese caso se puee emplear para enir una norma y una istancia: x = x Ax. v 1. v

3 Análisis Multivariante 7 A se ice semienia positiva si toos los autovalores son no negativos. En ese caso los autovalores nulos provocan una reucción e imensión. Como ya se ijo, toa matriz e covarianzas es una matriz simétrica y semienia positiva. Su rango, número e autovalores no nulos, coincie con la imensión el espacio lineal en el que se puee incluir el vector aleatorio. De hecho, icho espacio lineal es el generao por los autovectores asociaos a los autovalores no nulos. Las potencias e una matriz simétrica se pueen obtener, simplemente elevano a la potencia corresponiente la matriz iagonal e los autovalores, esto es, si k R, entonces λ k 1 0 v 1 A k = v 1,..., v λ k v Por supuesto para las potencias negativas es necesario que toos los autovalores sean istintos e cero, y en el caso e la matriz e covarianzas, que sea enia positiva..3. Inferencia sobre el vector e meias, como extensión el univariante. Supongamos una muestra aleatoria simple e un vector aleatorio normal multivariante. poemos enotar por X 1,..., X n N µ, Σ inepenientes. Entonces X = 1 n n X i N µ, 1 n Σ y este resultao es suciente para obtener un pivote para µ cuano la matriz e covarianzas es conocia, el cual resulta e la estanarización e X. Así, n X µ Σ 1 X µ χ Por ejemplo, en base a este pivote se puee obtener una región e conanza para el vector e meias, con nivel e conanza 1 α, e la forma: {µ R : n X µ Σ 1 X µ < χ,α } La Observamos que la región e conanza que se encuentra entro el corchete, es la región limitaa por una elipse en el plano si =, un balón e rugby en el espacio si = 3, y así sucesivamente. Se trata e un elipsoie en R, centrao en X, cuyos ejes van en la irección e los autovectores e Σ y la longitu e los raios semilongitu e los ejes viene aa por λj χ,α /n con j {1,..., }, sieno λ 1,..., λ los autovalores e Σ. En el caso biimensional, =, se puee representar la elipse, aplicano la siguiente expresión para los puntos que la forman: [ X + χ,α /n λ1 v 1 cosθ + ] λ v senθ con θ [0, π sieno v 1 y v los autovectores e Σ, y λ 1 y λ sus autovalores respectivos.

4 8 Máster en Técnicas Estaísticas Al igual que ocurría en el caso univariante con la esviación típica, ahora si la matriz e covarianzas es esconocia, es necesario estimarla meiante su análogo muestral, lo cual conuce a una istribución iferente, que se puee consierar una extensión e la T e Stuent. Es la istribución e Hotelling, cuya enición y propieaes básicas se pueen encontrar en el tema anterior. Too ello nace e la extensión el Teorema e Fisher al caso multivariante, que ice lo siguiente: Si X 1,..., X n N µ, Σ inepenientes, entonces X = 1 n n X i N µ, 1 n Σ ns = 1 n n Xi X X i X W Σ, n 1 y aemás son inepenientes. De ello y e la enición e la istribución Γ e Hotelling, se obtiene el pivote siguiente: n 1 X µ S 1 X µ Γ, n 1 La istribución e Hotelling se puee transformar en una F e Snéecor, y en este caso resulta n X µ S 1 X µ F,n Ejemplo.1 Representa la región e conanza, al nivel el 95%, para el vector e meias en base a los siguientes atos e las extremiaes e iez animales: Longitu: 65, 46, 53, 57, 71, 49, 58, 68, 54, 53 Anchura: 1.5, 18.5, 0.6, 4.5, 6.3, 17.8,., 4.9, 1., 1.0 suponieno que la istribución es normal con matriz e covarianzas.5 1 Σ = 1 Obtén y representa la región e conanza en el caso e que la matriz e covarianzas sea esconocia..4. Estimaores e máxima verosimilitu. Consieremos isponible una muestra aleatoria simple X 1,..., X n N µ, Σ e vectores aleatorios inepenientes y con la misma istribución normal multivariante. Vamos a obtener los estimaores e máxima verosimilitu el vector e meias, µ, y e la matriz e covarianzas, Σ. La función e verosimilitu sería: Lx, µ, Σ = π n/ Σ n/ exp { 1 } n x i µ Σ 1 x i µ

5 Análisis Multivariante 9 Observamos que n x i µ Σ 1 x i µ = = n [ xi x Σ 1 x i x + x µ Σ 1 x µ + x µ Σ 1 x i x ] n x i x Σ 1 x i x + n x µ Σ 1 x µ ya que la suma e los obles prouctos vale cero. Entonces la logverosimilitu se puee expresar así: log Lx, µ, Σ = c n log Σ 1 n x i µ Σ 1 x i µ = c n log Σ 1 n x i x Σ 1 x i x n x µ Σ 1 x µ sieno c = n logπ. Observamos que, por ser Σ enia positiva, y en consecuencia, también lo será Σ 1, x µ Σ 1 x µ > 0, salvo que µ = x, en cuyo caso vale cero. Por tanto, la función e log verosimilitu alcanza su máximo en ˆµ = x, que e este moo se convierte en el estimaor e máxima verosimilitu el vector e meias. Aemás, sup log Lx, µ, Σ = c n µ log Σ 1 para cualquier matriz e covarianzas Σ. n x i x Σ 1 x i x.1 A continuación calcularemos el máximo e aquella función respecto e Σ. Poemos expresar ] [ n sup log Lx, µ, Σ = c n µ log Σ 1 traza x i x Σ 1 x i x = c n log Σ 1 n traza [ x i x Σ 1 x i x ] = c n log Σ 1 n traza [ Σ 1 x i x x i x ] = c n log Σ + traza Σ 1 S. one hemos aplicao que trazaa+b=trazaa+trazab y que trazaab=trazaba. Ahora ebemos obtener el máximo e esta función respecto el argumento Σ. Para ello, apelamos al resultao siguiente. Lema Supongamos una matriz A enia positiva. La función fσ = log Σ + traza Σ 1 A, restringia a las matrices Σ enias positivas, alcanza su mínimo en Σ = A.

6 10 Máster en Técnicas Estaísticas Entonces, aplicano este lema llegamos a la conclusión e que los estimaores e máxima verosimilitu el vector e meias y la matriz e covarianzas sin restricciones son X y S, respectivamente. Asimismo, la función e verosimilitu tiene como máximo: sup Σ sup log Lx, µ, Σ = c n log S + traza S 1 S = c n log S +.3 µ.5. Contraste sobre el vector e meias, meiante el test e razón e verosimilitues. A continuación veremos cómo se puee usar el test e razón e verosimilitues para hacer inferencia en poblaciones normales multivariantes. En esta sección ilustraremos el caso el problema e inferencia sobre el vector e meias cuano la matriz e covarianzas es conocia, y también cuano es esconocia. Vector e meias con matriz e covarianzas conocia Partimos como antes e una muestra aleatoria simple X 1,..., X n N µ, Σ e vectores aleatorios inepenientes y con la misma istribución normal multivariante. Suponieno que la matriz e covarianzas Σ es conocia, eseamos llevar a cabo tareas e inferencia relativas al vector e meias µ. En concreto, poemos estar interesaos en una región e conanza para µ, o poemos querer contrastar una hipótesis nula el tipo H 0 : µ = µ 0. Centránonos en el contraste e la hipótesis nula H 0 : µ = µ 0, vamos a aborar este problema meiante el proceimiento e razón e verosimilitues. En esta situación, el estaístico e contraste sería: LX, µ 0, Σ log λx = log sup µ LX, µ, Σ one la función e verosimilitu es la que se ha tratao en la sección anterior. De lo allí expuesto extraemos que, bajo la hipótesis nula, H 0 : µ = µ 0, la función e logverosimilitu aopta la forma: log Lx, µ 0, Σ = c n log Σ 1 mientras que bajo la alternativa, n x i x Σ 1 x i x n x µ 0 Σ 1 x µ 0 sup log Lx, µ, Σ = c n µ log Σ 1 En enitiva, el estaístico e contraste resulta: log λx = log n x i x Σ 1 x i x LX, µ 0, Σ sup µ LX, µ, Σ = n X µ0 Σ 1 X µ0

7 Análisis Multivariante 11 Observamos que si H 0 : µ = µ 0 es cierta, X N µ 0, Σ/n y, en consecuencia, n X µ0 Σ 1 X µ0 χ Así, rechazaremos la hipótesis nula H 0 : µ = µ 0 cuano n X µ0 Σ 1 X µ0 > χ,α sieno χ,α el cuantil 1 α e la istribución χ. Vector e meias con matriz e covarianzas esconocia. El problema e inferencia coincie con el anterior, esto es, isponemos e una muestra aleatoria simple X 1,..., X n N µ, Σ y eseamos realizar tareas e inferencia relativas al vector e meias µ. consiste en que ahora la matriz e covarianzas Σ es esconocia. La única iferencia El estaístico e razón e verosimilitues para el contraste e la hipótesis nula H 0 : µ = µ 0 sería: log λx = log sup Σ LX, µ 0, Σ sup µ,σ LX, µ, Σ Nótese que ahora, al ser Σ esconocia, se convierte en un parámetro tanto bajo la hipótesis nula como bajo la alternativa, parámetro que será estimao por máxima verosimilitu. Bajo la alternativa, hemos visto en la sección anterior que los estimaores e máxima verosimilitu el vector e meias y la matriz e covarianzas sin restricciones son X y S, respectivamente. Asimismo, la función e verosimilitu tiene como máximo: sup Σ sup log Lx, µ, Σ = c n log S + traza S 1 S = c n log S + µ A continuación maximizamos la verosimilitu bajo la hipótesis nula. Para ello basta con expresar la verosimilitu en una forma similar a la anterior: ] [ n log Lx, µ 0, Σ = c n log Σ 1 traza x i µ 0 Σ 1 x i µ 0 = c n log Σ 1 n traza [ Σ 1 x i µ 0 x i µ 0 ] = c n log Σ + traza Σ 1 ˆΣµ0 sieno ˆΣ µ0 = 1 n n x i µ 0 x i µ 0, el cual resulta ser un estimaor razonable e la matriz e covarianzas bajo la hipótesis e que la meia vale µ 0. Por lo emás los pasos son iénticos al caso anterior, salvo que se ha puesto µ 0 allí one se hallaba x. Aplicano e nuevo el lema,

8 1 Máster en Técnicas Estaísticas concluimos que ˆΣ µ0 es el estimaor e máxima verosimilitu e la matriz e covarianzas bajo la hipótesis nula, y que la función e verosimilitu bajo icha hipótesis alcanza el valor máximo: sup log Lx, µ 0, Σ = c n log ˆΣ µ0 + Σ Entonces el estaístico e contraste meiante la razón e verosimilitues resulta: log λx = log sup Σ LX, µ 0, Σ sup µ,σ LX, µ, Σ = n log ˆΣ µ0 log S Descomponemos ˆΣ µ0 = 1 n = 1 n n X i µ 0 X i µ 0 n [ Xi X X i X + X µ0 X µ0 + X µ0 Xi X ] = S + rr sieno r = X µ 0. Sustituyeno en el estaístico e contraste obtenemos log λx = n log S + rr log S = n log S I + S 1 rr log S = n log I + S 1 rr Estuiemos, pues, el eterminante que aparece en el último término. En a enotamos meiante λ 1,..., λ a los autovalores e S 1 rr, y observamos que 1 + λ 1,..., 1 + λ son los autovalores e I + S 1 rr. En b y c usamos que la matriz S 1 rr es e rango uno. I + S 1 rr a = Finalmente, j=1 1 + λ j b = 1 + λ 1 c = 1 + traza S 1 rr = 1 + traza r S 1 r = 1 + r S 1 r log λx = n log 1 + r S 1 r será el estaístico e contraste y rechazaremos la hipótesis nula si este estaístico toma un valor emasiao grane. Será equivalente si consieramos el estaístico r S 1 r = X µ0 S 1 X µ0 y rechazamos la hipótesis nula cuano este nuevo estaístico toma un valor emasiao grane. Nótese que el estaístico anterior se obtiene tras aplicar una transformación creciente a este último. La istribución el estaístico ha sio obtenia en el tema anterior: n X µ0 S 1 X µ0 F,n En enitiva, rechazaremos la hipótesis nula H 0 : µ = µ 0 si n X µ0 S 1 X µ0 > f,n,α

9 Análisis Multivariante Regiones e conanza y comparaciones simultáneas. A partir el estaístico Γ e Hotelling, poemos obtener una región e conanza para el vector e meias, e la forma: { µ R : n X µ S 1 } X µ < f,n,α Esta región constituye un elipsoie en R, centrao en X, cuyos ejes van en la irección e los autovectores e S y la longitu e los raios semilongitu e los ejes viene aa por λj n f,n,α j {1,..., } sieno λ 1,..., λ los autovalores e S. A continuación planteamos el problema e conseguir intervalos e conanza para las componentes el vector e meias, o más en general, para combinaciones lineales el tipo l µ = l 1 µ l µ Observano que l X 1,..., l X n Nl µ, l Σl y aemás son inepenientes, poemos aborar este problema, que ya es univariante, meiante el proceimiento e la T e Stuent. Así, como la meia y la cuasivarianza muestrales calculaas sobre las observaciones l X 1,..., l X n resultan ser l X y l S c l, respectivamente, el intervalo e conanza aopta la forma l l X S c l l tn 1,α/, l X S c l + tn 1,α/ n n sieno t n 1,α/ el cuantil 1 α/ e la istribución T e Stuent con n 1 graos e liberta. De este moo, para un l jo, el intervalo anterior contiene a l µ con una probabilia 1 α. En particular, poemos pensar en un vector e la forma l = 1, 0,..., 0 que serviría para extraer la primera componente el vector aleatorio. Igual se haría con las emás componentes meiante los vectores canónicos corresponientes. Así obtenríamos p intervalos e conanza, uno para caa componente el vector e meias. Sin embargo, el nivel e conanza se reere a la probabilia iniviual e caa intervalo, e moo que la probabilia e que toos los intervalos simultáneamente contengan a la componente corresponiente el vector e meias será en general inferior al nivel e conanza jao. Para satisfacer un nivel e conanza simultáneo, ebemos moicar la construcción e los intervalos haciénolos más amplios. Vamos a plantear este objetivo e manera simultánea en toos los vectores l. Si seguimos partieno como pivote e la meia estuentizaa, la iea poría ser cambiar el valor t n 1,α/ por otra constante aecuaa, previsiblemente más grane. Así, si n l X l µ } P { l S c l < c l Rp = 1 α los intervalos e conanza obtenios al sustituir t n 1,α/ por c cumplirán el nivel e conanza e manera simultánea. Enunciamos el lema siguiente.

10 14 Máster en Técnicas Estaísticas Lema Sea B una matriz, simétrica y enia positiva, y r R. Entonces x r max x R \{0} x Bx = r B 1 r y este máximo se alcanza cuano x = cb 1 r para cualquier c R\{0}. Aplicano este lema obtenemos n l X µ max l R l S c l = n X µ S 1 c X µ Γ, n 1 De este resultao se puee extraer el valor e c y nalmente resultan los intervalos e conanza simultáneos: n 1 l l X n f S c l n 1 l,n,α, l X + n n f S c l,n,α n o equivalentemente l X n f,n,αl Sl, l X + n f,n,αl Sl Este métoo para obtener intervalos e conanza siultáneos se suele conocer como métoo e Scheé. La tabla siguiente permite comparar los valores e c para el cálculo e los intervalos e conanza, extraíos e la T e Stuent frente a los que se obtienen meiante la Γ e Hotelling. n 1 n f,n,0 05 n t n 1,0 05 = 4 = '145 4'14 11'5 5 '064 3'60 6'39 50 '010 3'31 5' '970 3'19 4'61 1'960 3'08 4'8 Otro métoo para obtener intervalos e conanza simultáneos es el métoo e Bonferroni. Es una alternativa vália en cualquier contexto en el que se requiera una cantia nita e intervalos simultáneos, ya que no se basa en la naturaleza probabilística el problema en cuestión como sí lo hace el métoo e Scheé, sino que su funamento raica simplemente en la subaitivia e la probabilia. Si C 1,..., C m consisten en los sucesos respectivos e que caa intervalo e conanza contenga al parámetro corresponiente, P C i cierto i = 1 P C i falso para algún i m 1 P C i falso = 1 α α m

11 Análisis Multivariante 15 sieno 1 α 1,..., 1 α m los niveles e conanza iniviuales e caa intervalo. Así, para alcanzar un nivel e conanza simultáneo 1 α basta con tomar α 1,..., α m e moo que α 1 + +α m = α, por ejemplo meiante α 1 = = α m = α/m. La tabla siguiente muestra el cociente para 1 α = 0 95 Longitu el intervalo e Bonferroni Longitu el intervalo e Scheé = m = n '88 0'69 0'9 5 0'90 0'75 0' '91 0'78 0' '91 0'80 0'6 0'91 0'81 0'66 t n 1,α/m n 1 n f,n,α Ejemplo. Partieno el ejemplo.1, calcularemos los intervalos e conanza para la meia e la longitu y e la anchura, al nivel e conanza el 95%, obtenios e manera iniviual, y simultáneos por el métoo e Scheé y por el métoo e Bonferroni. Representaremos los tres tipos e intervalo en los ejes vertical y horizontal, sobre el mismo gráco one se representó la elipse e conanza para el vector e meias..7. Generalización el contraste sobre el vector e meias. En esta sección veremos cómo se puee generalizar el contraste sobre el vector e meias, al caso e restricciones más genéricas sobre µ, más generales que la hipótesis nula, H 0 : µ = µ 0. El resultao básico lo enunciamos como un teorema. Después, como aplicación más común e este resultao, veremos el contraste e restricciones lineales sobre µ, entre las cuales tiene un interés especial el contraste e iguala e las componentes el vector e meias. Teorema.1 Sea X 1,..., X n una muestra aleatoria simple e N µ, Σ. Si las hipótesis H 0 y H a conucen a los estimaores e máxima verosimilitu ˆµ y X, respectivamente, y bajo niguna e las os hipótesis hay restricciones para Σ, entonces los estimaores e máxima verosimilitu e Σ son S + rr y S, bajo H 0 y H a respectivamente, sieno r = X ˆµ. Aemás, el test e razón e verosimilitues para contrastar H 0 frente a H a viene ao por log λx = nr Σ 1 r si Σ es conocia.4 y log λx = n log 1 + r S 1 r si Σ es esconocia..5 Demostración La emostración seguiría los mismos pasos que en los casos anteriores, one contrastábamos una hipótesis nula simple sobre el vector e meias con matriz e covarianzas conocia o esconocia.

12 16 Máster en Técnicas Estaísticas Contraste e restricciones lineales. Supongamos que Σ es conocia y eseamos contrastar la hipótesis nula H 0 : Bµ = b sieno B una matriz conocia e oren q y rango máximo q, y b un vector conocio. A este problema e contraste le poemos aplicar el teorema anterior. Para ello, tenemos que obtener el estimaor e máxima verosimilitu bajo H 0, que enotaremos meiante ˆµ. La función e logverosimilitu se puee escribir así: lx, µ, Σ = log Lx, µ, Σ = c n log Σ 1 n x i x Σ 1 x i x n x µ Σ 1 x µ En tal caso, el problema consiste en: Consieramos la función Maximizar lx, µ, Σ sujeto a Bµ = b l + = l nλ Bµ b sieno λ un vector e multiplicaores e Lagrange. Derivano De one l + µ = n x µ Σ 1 nλ B = 0 x µ = ΣB λ.6 ecuación que ebemos añair a la restricción Bµ = b, para obtener las soluciones para λ y µ. Multiplicano por B, B x Bµ = B x b = BΣB λ lo cual nos permite espejar λ = BΣB 1 B x b que, sustituio en la ecuación.6, a lugar al estimaor e máxima verosimilitu ˆµ = X ΣB BΣB 1 B X b El test e razón e verosimilitues viene ao por.4, one e moo que nalmente aopta la forma r = X ˆµ = ΣB BΣB 1 B X b log λx = n B X b BΣB 1 B X b Bajo la hipótesis nula, H 0, BX 1,..., BX n N q b, BΣB y son inepenientes, sieno q la imensión e b, y por tanto la istribución el estaístico e contraste es χ q.

13 Análisis Multivariante 17 Si la matriz e covarianzas es esconocia, el estimaor e máxima verosimilitu e µ bajo H 0 es ˆµ = X SB BSB 1 B X b El test e razón e verosimilitues viene ao por.5, one r = X ˆµ = SB BSB 1 B X b e moo que nalmente tomamos como estaístico e contraste cuya istribución es Γ q, n 1. n 1r S 1 r = n 1 B X b BSB 1 B X b Caso particular. Contraste e iguala e las componentes el vector e meias. El contraste e la hipótesis nula e que las componentes el vector e meias, µ = µ 1,..., µ, son iguales, se puee ver como un caso particular el contraste e restricciones lineales. Para ello, basta consierar la siguiente matriz B = e moo que H 0 : Bµ = 0 equivale a la iguala e las meias. Nótese que hay otras matrices que también servirían para efectuar este contraste. En concreto, la matriz B que acabamos e proponer, efectúa las iferencias entre la meia e la primera componente y caa una e las emás meias. En este sentio, aemás e servir para el contraste, permite estimar la iscrepancia entre las meias por comparación con la primera e ellas. Si se emplea otro tipo e matriz, se obtenrían las posibles iscrepancias entre las meias en una presentación iferente. Ejemplo.3 En Maria, Kent y Bibby 1979, página 1, se pueen encontrar los atos e epósitos e corcho obtenios en 8 árboles y extraíos en las cuatro irecciones, Norte, Sur, Este y Oeste. Se está estuiano si la cantia meia e corcho que se llega a recoger, es similar en las cuatro irecciones. Vamos a efectuar el contraste e esta hipótesis usano el test propuesto en esta sección..8. Inferencia sobre la matriz e covarianzas. Suponemos que el vector e meias µ es esconocio y queremos contrastar una hipótesis nula simple sobre la matriz e covarianzas H 0 : Σ = Σ 0 frente a una alternativa en la que la matriz e covarianzas no está sujeta a restricciones. El vector e meias carece e restricciones tanto bajo la hipótesis nula como bajo la alternativa.

14 18 Máster en Técnicas Estaísticas Aplicano el proceimiento e razón e verosimilitues, resulta el estaístico e contraste: log λx = log sup µ L X, µ, Σ 0 sup µ,σ L X, µ, Σ Al igual que en la expresión., tenremos y, reproucieno la expresión.3, sup log L X, µ, Σ 0 = c n log Σ0 + traza Σ 1 0 µ S sup Σ sup log Lx, µ, Σ = c n log S + µ e moo que el estaístico e contraste aopta la forma: log λx = n log Σ 0 + traza Σ 1 0 S log S = n traza Σ 1 0 S log Σ 1 0 S = n λ j log = n a log g p = n a log g 1 j=1 j=1 λ j sieno λ 1,..., λ los autovalores e la matriz Σ 1 0 S, a la meia aritmética e tales autovalores y g su meia geométrica. La istribución exacta e este estaístico bajo la hipótesis nula no se encuentra isponible. En su lugar, usaremos la istribución asintótica que presenta por ser un estaístico e razón e verosimilitues: log λx = n a log g 1 χ m sieno el número e graos e liberta, la iferencia entre el número e parámetros inepenientes bajo la hipótesis alternativa y bajo la hipótesis nula, que en este caso resulta, m = 1 + 1, pues es el número e parámetros inepenientes en una matriz e covarianzas. Por haberse construio como cociente e verosimilitues bajo la hipótesis nula y bajo la alternativa, rechazaremos la hipótesis nula cuano este estaístico sea grane o, mejor icho, cuano supere el cuantil 1 α e la istribución χ m, enotao por χ m,α, sieno α el nivel e signicación jao e antemano. Ejemplo.4 Sobre los atos el ejemplo.1, vamos a contrastar que la matriz e covarianzas es.5 1 Σ = 1 Por último, ebemos observar que si se hubiera supuesto que el vector e meias es conocio, siguieno los mismos pasos habríamos llegao al estaístico e contraste log λx = n a log g 1

15 Análisis Multivariante 19 sieno a y g las meias aritmética y geométrica, respectivamente, e los autovalores e la matriz Σ 1 ˆΣ 0 µ. La única iferencia raica en la sustitución e S por el estimaor ˆΣ µ = 1 n X i µ X i µ n Nuevamente tenemos los mismos problemas con la istribución el estaístico e contraste y apelamos a la istribución asintótica, que es χ m con el mismo número e graos e liberta, m = Generalización el contraste sobre la matriz e covarianzas. En esta sección se va a generalizar el test obtenio obtenio para el contraste e la matriz e covarianzas. Primero se ofrece el enunciao e un teorema e generalización, cuya emostración es innecesaria, pues consiste en la constatación e los mismos argumentos e máxima verosimilitu ya empleaos, y e los esarrollos subsiguientes. Después se tratan iversas situaciones en las cuales se puee aplicar este teorema. Teorema. Sea X 1,..., X n una muestra aleatoria simple e N µ, Σ. Si las hipótesis H 0 y H a conucen a los estimaores e máxima verosimilitu ˆΣ y S, respectivamente, y si X es el estimaor e máxima verosimilitu para µ bajo cualquiera e las os hipótesis, entonces el estaístico e razón e verosimilitues para contrastar H 0 frente a H a viene ao por log λx = n a log g 1 sieno a y g las meias aritmética y geométrica, respectivamente, e los autovalores e la matriz ˆΣ 1 S. Demostración La emostración seguiría los mismos pasos que en la sección anterior. Contraste e la hipótesis nula H 0 : Σ = kσ 0, k 0, +, con µ esconocio. Supongamos que el vector e meias µ es esconocio y que queremos contrastar una hipótesis nula compuesta sobre la matriz e covarianzas H 0 : Σ = kσ 0 k 0, + sieno Σ 0 una matriz e covarianzas jaa, frente a una alternativa en la que la matriz e covarianzas no está sujeta a restricciones. El vector e meias carece e restricciones tanto bajo la hipótesis nula como bajo la alternativa. Estamos en las coniciones el teorema anterior, por lo que sólo nos falta calcular el estimaor e la matriz e covarianzas bajo la hipótesis nula, ˆΣ = ˆkΣ 0. Empezamos calculano el supremo en µ, siguieno los mismos pasos que conujeron a la expresión., tras lo cual efectuamos ciertas operaciones elementales: sup log L X, µ, kσ 0 = c n log kσ 0 + traza kσ 0 1 S µ

16 0 Máster en Técnicas Estaísticas = c n log = c n 1 k Σ 0 + traza k Σ 1 0 S log k + log Σ k traza Σ 1 0 S A continuación buscamos el supremo respecto e k, para lo cual efectuamos la erivaa corresponiente: sup µ log L X, µ, kσ 0 = n 1 k k 1 k traza Σ 1 0 S Esta erivaa se anula en ˆk = 1 traza Σ 1 0 S = a 0 sieno a 0 la meia aritmética e los autovalores e Σ 1 0 S. Calculano la erivaa seguna poríamos comprobar que se trata e un máximo e la función e logverosimilitu y, en consecuencia, que ˆk = a 0 es el estimaor e máxima verosimilitu e k. Entonces, aplicano la expresión que gura en el teorema anterior, el estaístico e razón e verosimilitues aopta la forma: log λx = n a log g 1 sieno a y g las meias aritmética y geométrica, respectivamente, e los autovalores e la matriz ˆΣ 1 S = 1 a 0 Σ 1 0 S. En consecuencia, a = 1 y g = 1 a 0 g 0, sieno g 0 la meia geométrica e los autovalores e Σ 1 0 S. Sustituyeno los valores e a y g obtenemos 1 log λx = n 1 log g 0 1 = n log a 0 a 0 g 0 Por último, no estano isponible la istribución exacta e este estaístico, la aproximamos por una χ m, sieno el número e graos e liberta m = = Test e esfericia. Hay un caso particular e este tipo e contraste que tiene un interés especial. Es el test e esfericia, que consiste en contrastar la hipótesis nula H 0 : Σ = k I que viene a ecir que las variables tienen la misma varianza y son incorrelacionaas. Nótese que la incorrelación equivale a inepenencia cuano se trata e variables normales. Es inmeiato que estamos ante un caso particular el test anterior. Para verlo basta con tomar Σ 0 = I. Por tanto, el estaístico e contraste sería: log λx = n log a 0 g 0 χ m sieno a 0 y g 0 las meias aritmética y geométrica, respectivamente, e los autovalores e la matriz Σ 1 0 S = S, y m =

17 Análisis Multivariante 1 Ejemplo.5 Se ha meio la longitu y la anchura e la cabeza e los hijos primero y seguno, en 5 familias. Los atos guran en la tabla siguiente. Primer hijo Seguno hijo Longitu Anchura Longitu Anchura Suponieno normalia, vamos a contrastar la esfericia e este vector e cuatro variables. Contraste e la hipótesis nula H 0 : Σ 1 = 0, con µ esconocio. Separemos las variables en os conjuntos con 1 y variables, respectivamente. Por supuesto, 1 + =. Entonces la matriz e covarianzas se puee expresar Σ11 Σ Σ = 1 Σ 1 Σ Queremos contrastar la hipótesis e que los os conjuntos e variables son inepenientes entre sí, lo cual, en esta situación one se supone normalia, equivale a incorrelación, esto es, a que Σ 1 = 0. Bajo la hipótesis nula H 0 : Σ 1 = 0, la verosimilitu se escompone en el proucto e os factores corresponientes a las verosimilitues que provienen e caa conjunto e variables. De

18 Máster en Técnicas Estaísticas este moo, bajo la hipótesis nula, los estimaores e µ 1 y Σ 11 por un lao, y e µ y Σ por otro, se obtienen maximizano la verosimilitu e caa conjunto e variables por separao. Así, suponieno que el vector e meias µ = µ 1, µ es esconocio, su estimaor e máxima verosimilitu será ˆµ = X 1, X = X, mientras que ˆΣ = S S Bajo la alternativa, no hay restricciones ni para el vector e meias ni para la matriz e covarianzas, e moo que los estimaores e máxima verosimilitu serán X y S, respectivamente. Entonces el estaístico e razón e verosimilitues aopta la forma que gura en la expresión el teorema anterior, one 1 ˆΣ 1 S11 0 S11 S S = 1 I S = 11 1 S 1 0 S S 1 S S 1 S 1 I En tal caso, a = 1 ˆΣ 1 traza S = 1 = 1. Por otro lao, g = ˆΣ 1 S = S S 11 S = S S 1 S 1 S 11 S 1 = I S 1 S 1S 1 11 S 1 = I R 1 R 1R 1 11 R 1 En el último paso hemos sustituio las matrices e covarianzas por matrices e correlaciones, que se construyen a partir e las anteriores así: R = D 1/ SD 1/, sieno D una matriz iagonal que contiene las varianzas. Entonces, el estaístico e contraste será: log λx = n log g = n log I S 1 S 1S 1 11 S 1 Ahora poemos apelar a la istribución asintótica, pero en su lugar vamos a obtener la istribución exacta λx /n = I S 1 S 1S11 1 S 1 Λ, 1, n 1 1 si H 0 : Σ 1 = 0 es cierta. De la teoría e matrices Wishart particionaas véase Maria, Kent y Bibby 1979, página 70, tenemos que M 11 = ns 11 Wishart 1 Σ 11, n 1 M = ns Wishart Σ, n 1 M 1 = n S S 1 S11 1 S 1 = M M 1 M11 1 M 1 Wishart Σ 1, n 1 1 y M 1 es inepeniente e M 11, M. Aemás, si H 0 : Σ 1 = 0 es cierta, entonces Σ 1 = Σ y M 1 Wishart Σ 1, n 1 1 M M 1 Wishart Σ 1, 1 y son inepenientes = M 1 M 1 + M M 1 Λ, 1, n 1 1

19 Análisis Multivariante 3 Por último, observamos que λx /n = I S 1 S 1S 1 11 S 1 = S S 1 S 1 S 11 S 1 = M 1 M 1 + M M 1 Como correspone a un test e razón e verosimilitues, se rechazará la hipótesis nula H 0 : Σ 1 = 0 cuano λx sea pequeño, o equivalentemente, cuano I S 1 S 1S11 1 S 1 sea pequeño, o equivalentemente, cuano su transformación en una F e Snéecor sea grane. Ejemplo.6 Sobre los atos el ejemplo.5, vamos a contrastar si existe correlación entre las meias el primer hijo y las el seguno. Caso particular. Coeciente e correlación múltiple. Consieremos que uno e los conjuntos e variables tenga un único elemento, por ejemplo, 1 = 1 y = 1. En esta situación, R 11 = 1, y si enotamos α = R 1, éste será un vector 1imensional. De este moo, el estaístico e contraste resulta: λx /n = I R 1 αα a = 1 α R 1 α = 1 R 1R 1 R 1 = 1 R Λ, 1, n sieno R el coeciente e correlación múltiple entre la primera variable y las restantes. En el paso a se aplica la misma argumentación que ya fue usaa en la página 1. Usano que en general tenemos que 1 Λ, 1, m Λ, 1, m = m + 1 F,m +1, R 1 R 1 n F 1,n Finalmente, el coeciente e correlación múltiple sea consierará signicativo cuano el estaístico anterior R /1 R sea grane, comparao con la istribución F e Snéecor. Contraste e la hipótesis nula H 0 : Σ es iagonal, con µ esconocio. La hipótesis nula consiste en suponer que las variables son incorrelacionaas, pero, a iferencia el test e esfericia no exigimos que tengan la misma varianza. De nuevo, la incorrelación equivale a inepenencia en un contexto e normalia. Así, bajo la hipótesis nula, se maximiza la verosimilitu separaamente para caa variable, ano lugar a los estimaores e la meia y la varianza e ichas variables y en consecuencia a los estimaores el vector e meias y matriz e covarianzas: X y ˆΣ = S 1... S Bajo la alternativa, no hay ninguna clase e restricciones sobre los parámetros µ y Σ que, por tanto, amiten como estimaores e máxima verosimilitu X y S.

20 4 Máster en Técnicas Estaísticas Entonces, aplicano el teorema general, el estaístico e contraste será: log λx = n a log g 1 = n log R sieno a y g las meias aritmética y geométrica, respectivamente, e los autovalores e la matriz ˆΣ 1 S, y R la matriz e correlaciones. El último paso e la expresión anterior se ebe a que R = ˆΣ 1/ S ˆΣ 1/ y esta matriz, aún sieno istinta e ˆΣ 1 S, tiene los mismos autovalores que élla. Aemás, como la iagonal e una matriz e correlaciones está formaa por unos, la traza vale y, en consecuencia, la meia e los autovalores vale uno, a = 1. Por último, aproximamos la istribución el estaístico así: n log R χ 1 1 one el número e graos e liberta resulta e la iferencia el número e parámetros inepenientes bajo la hipótesis nula y bajo la alternativa: = Comparación e poblaciones normales multivariantes. En esta sección vamos a consierar varias poblaciones normales multivariantes, e las cuales extraemos muestras e manera inepeniente. En base a estas muestras contrastaremos hipótesis e iguala o comparación entre los parámetros e las iferentes poblaciones. Consieremos pues X 11,..., X 1n1 N µ 1, Σ 1 inepenientes X k1,..., X knk N µ k, Σ k inepenientes sieno a su vez las k muestras inepenientes entre sí. El abanico e posibles problemas e comparación e estas k poblaciones es muy amplio. En lo que sigue hemos seleccionao algunos casos que nos parecen más interesantes Contraste e iguala e meias e os poblaciones normales multivariantes con matrices e covarianzas iguales. Restringimos la situación anterior al caso e os poblaciones y por tanto suponemos X 11,..., X 1n1 N µ 1, Σ 1 inepenientes X 1,..., X n N µ, Σ inepenientes sieno a su vez las os muestras inepenientes entre sí. matrices e covarianzas son iguales, Σ 1 = Σ. En estas coniciones pretenemos contrastar la hipótesis nula H 0 : µ 1 = µ Aemás suponremos que las os

21 Análisis Multivariante 5 Parece razonable basar el proceimiento e contraste en una meia e iscrepancia o istancia entre estimaores e µ 1 y e µ. De caa una e las os poblaciones se pueen obtener estimaores e los parámetros corresponientes a caa población, X 1 = 1 n 1 X 1j S c1 = 1 n 1 n 1 1 j=1 X = 1 n X j S c = 1 n n 1 j=1 n 1 j=1 n j=1 X1j X 1 X1j X 1 Xj X Xj X Por ser las os muestras inepenientes entre sí, también lo son los estaísticos proceentes e caa una e ellas. Aemás, un teorema el primer tema extensión el teorema e Fisher al caso multivariante garantiza que X 1 N µ 1, Σ/n 1 n 1 1 S c1 Wishart Σ, n 1 1 y son inepenientes X N µ, Σ/n n 1 S c Wishart Σ, n 1 y son inepenientes Aemás, como las os muestras son inepenientes entre sí, también lo son los estaísticos obtenios en base a caa una e ellas. Por tanto, X 1 X 1 N µ 1 µ, + 1 Σ, n 1 n n 1 1 S c1 + n 1 S c Wishart Σ, n 1 + n y aemás son inepenientes. Denotemos meiante S c = n 1 1 S c1 + n 1 S c n 1 + n una meia poneraa e S c1 y S c, que servirá como estimaor e la matriz e covarianzas común Σ. Entonces, bajo la hipótesis nula H 0 : µ 1 = µ, n 1 n X1 n 1 + n X S 1 c X1 X Γ, n 1 + n lo cual lo convierte en un estaístico aecuao para el contraste e icha hipótesis Contraste e iguala e matrices e covarianzas e poblaciones normales multivariantes. Recoremos el moelo inicial e esta sección X 11,..., X 1n1 N µ 1, Σ 1 inepenientes X k1,..., X knk N µ k, Σ k inepenientes

22 6 Máster en Técnicas Estaísticas sieno a su vez las k muestras inepenientes entre sí. Nos planteamos el contraste e la hipótesis nula H 0 : Σ 1 = = Σ k. Los vectores e meias están exentos e restricciones tanto bajo la hipótesis nula como bajo la alternativa. Vamos a obtener el test e razón e verosimilitues. Lo primero que observamos es que, como las muestras son inepenientes entre sí, la función e verosimilitu se puee expresar como proucto e las funciones e verosimilitu e caa una e las k poblaciones. Bajo la alternativa, sup log µ 1,Σ 1,...,µ k,σ k = k k L µ i, Σ i = k sup log L µ i, Σ i = µ i,σ i [ n i logπ 1 n i log S i n ] i k log L Xi, S i = n logπ 1 k n i log S i n Bajo la hipótesis nula, enotemos Σ = Σ 1 = = Σ k a la matriz e covarianzas común, sup log µ 1,...,µ k,σ = sup Σ = sup Σ k k L µ i, Σ = sup Σ k [ n i logπ n i [ n logπ n sup log L µ i, Σ = sup µ i Σ log Σ + traza Σ 1 ] S i log Σ + traza Σ 1 Q ] = n n k log L Xi, Σ logπ n log Q n n sieno Q = k n is i. Nótese que Q/n es el estimaor e máxima verosimilitu e la matriz e covarianzas común, Σ, y resulta ser una meia poneraa e las matrices e covarianzas muestrales provenientes e caa población. Finalmente, el estaístico e razón e verosimilitues aopta la forma: sup k µ1,...,µ log k,σ L µ i, Σ sup k µ1,σ 1,...,µ k,σ k L µ = n log Q k i, Σ i n n i log S i k = n i log Q i χ 1 n S 1 +1k 1 cuya istribución hemos aproximao por una ji-cuarao cuyos graos e liberta resultan e la iferencia e parámetros inepenientes entre la hipótesis nula y la alternativa. Ejemplo.7 Se ha meio la longitu, la anchura y la altura el caparazón e 48 tortugas, 4 hembras y 4 machos. Los vectores e meias y matrices e covarianzas respectivos son: x 1 = x = S 1 = S =

23 Análisis Multivariante 7 Suponieno normalia en caa sexo, a Vamos a contrastar que los vectores e meias son iguales en ambos sexos, suponieno que las matrices e covarianzas son iguales. b Vamos a contrastar que las matrices e covarianzas son iguales en ambos sexos. Bibliografía. Anerson, T.W An introuction to multivariate statistical analysis. Wiley. Johnson, R.A. y Wichern, D.W Applie multivariate statistical analysis. Prentice-Hall. Maria, K.V., Kent, J.T. y Bibby, J.M Multivariate analysis. Acaemic Press. Seber, G.A.F Multivariate observations. Wiley.