Análisis Multivariado 2 - Práctica 1. 1 Componentes principales y autoconsistencia

Transcripción

1 Análisis Multivariado 2 - Práctica 1 1 Componentes principales y autoconsistencia 1. Sea Σ R p p una matriz de covarianza definida positiva. Considere el problema de aproximar Σ por una matriz Γ R p p de rango r minimizando [ m ] m Σ Γ = (σ ij γ ij ) (a) Muestre que i=1 i=1 Σ Γ 2 = tr(λ P)(Λ P) t donde H t ΣH = Λ = diag(λ 1,..., λ m ), λ 1 λ m 0, H una matriz ortogonal y P = H t ΓH. (b) Muestre que la matriz Γ de rango r que minimiza Σ Γ es Γ = r λ j h j h t j, donde H = [h 1,..., h p ]. 2. Sea x un vector aleatorio de dimensión d con media 0, y matriz de dispersión Σ = (σ jk ). Sea v j = γ t j x la j-ésima componente principal de x. Sean λ 1 λ 2 λ d 0 los autovalores de Σ. (a) Verifique que las y j son no correlacionadas y que Var(y j ) = λ j (b) Muestre que la correlación entre x j y v l es γ lj λl /σ jj, donde γ l,j es el j-ésimo elemento de γ l. 3. Implemente en R el test del cociente de máxima verosimilitud para la hipótesis nula H 0,(r,h) : λ r+1 = λ r+2 = = λ r+h 1

2 contra la alternativa H 1,(r,h) : λ r+1 > λ r+2 > > λ r+h 4. Implemente en R el test bilateral para porcentajes para la hipótesis nula q H 0,(r,h) : λ j p λ = p 0 j contra la alternativa H 0,(r,h) : q λ j p λ j p Considere el conjunto de datos turtles. (a) Calcule las rectas de regresión X 2 = ax 1 + b y X 2 = cx 1 + d. (b) Grafíquelas junto con las observaciones. (c) Superponga la recta de cuadrados mínimos ortogonales. (d) Verifique que las tres rectas pasan por la media muestral y que la recta de cuadrados mínimos ortogonales se encuentra entre ambas rectas de regresión. 6. Considere la siguiente matriz de correlación obtenida por MacDonnell (1902) a partir de observaciones de siete características físicas de 3000 criminales. Head length Head breadth Face breadth R = Left finger length Left forearm length Left foot length Height Halle las componentes principales. Cómo interpretaría las componentes obtenidas? 2

3 7. Sea x R p y {A 1,..., A k } una partición de R p, i.e., k i=1a i = R p y A i A j = si i j. Suponga que P(x A i ) > 0 para i = 1,..., k y defina un vector y R p como y = E(x x A i ) si x A i Pruebe que y es auto consistente para x. 8. (a) Sean x, y R p vectores aleatorios con matrices de covarianza Σ x y Σ y respectivamente. Pruebe que si y es auto-consistente para x entonces MSE(x, y) = E x y 2 = tr(σ x ) tr(σ y ) = Concluya que Σ x Σ y es semidefinida positiva. (b) Sea X N(0, 1). Definamos 2 si X < 0 Y = π 2 si X 0 π entonces, Y es auto consistente para X y p Var(x j ) Var(y j ) MSE(X, Y ) = 1 2 π 9. Sea x = (X 1, X 2 ) t un vector aleatorio tal que x N 2 (0, I). Sea ( ) y = (Y 1, Y 2 ) t 2 signo(x1 ) = π signo(x 2 ) donde signo(t) = 1 si t > 0 y 1 si t < 0. Sea z = (X 1, 0) (a) Muestre que tanto y como z son auto consistentes para x (b) Cuál de las dos aproximaciones auto consistentes y y z tiene menor error cuadrático, es decir, cual es menor entre MSE(x, y) y MSE(x, z)? 3

4 10. Sea x N(0, Σ) donde Σ = ( ) (a) Obtenga los autovalores λ 1 > λ 2 y autovectores β 1, β 2 de Σ. (b) Muestre que y (1) = β 1 β t 1 x y y (2) = β 2 β t 2 x son auto consistentes para x. Calcule MSE(x, y (1) ) y MSE(x, y (2) ). (c) Encuentre a matriz de proyección P asociada la la proyección sobre la recta x 2 = x 1 /3 y muestre que y = Px no es auto consistente para x. Es decir, encuentre un vector c = (c, c/3) t tal que E(x y = c) c 4

5 2 Biplot 1. Considere el conjunto de datos iris. Consiste en medidas (en cm) de largo y ancho del pétalo y sépalo para 50 flores de 3 especies de iris: versicolor (Grupo 1), virginica (Grupo 2) y setosa (Grupo 3). Indiquemos por x ij, 1 j n i = 50, las observaciones del grupo i y por n i Q i = (x ij x i )(x ij x i ) t la suma de cuadrados del grupo i. Sean n = n 1 + n 2 + n 3 S pooled = 1 n (Q 1 + Q 2 + Q 3 ) S = 1 n 3 n i (x ij x)(x ij x) t x = 1 n i=1 3 n i i=1 x ij (a) Para cada grupo por separado, realice al siguiente análisis Hallar las componentes principales (es decir, las basadas en S i = Q i /n i ) e interpretarlas en función de las variables originales. Realice un biplot. Qué observa? (b) Considere ahora todas las observaciones juntas y realice los siguientes dos análisis i. Considere todas las observaciones como provenientes de una única población Halle las componentes principales muestrales y los autovalores de S. Halle los porcentajes de la variabilidad total explicados por la primera y por las dos primeras componentes, e interpretarlas en función de las variables originales. Grafique las dos primeras componentes principales. Qué observa? Realice un biplot. 5

6 ii. Considere ahora a las observaciones como provenientes de poblaciones con igual matriz de covarianza pero distintas medias Halle los autovectores y los autovalores de S pooled. En base a esos autovectores γ l, 1 l p = 4, contruya las componentes principales como v ij = Γ t (x ij x i ) 1 j n i 1 i 3 donde Γ = ( γ 1,..., γ p ) t. Halle los porcentajes de la variabilidad total explicados por la primera y por las dos primeras componentes, e interpretarlas en función de las variables originales. Grafique las dos primeras componentes principales. Qué observa? Como se compara con el análisis hecho en los puntos (a) y (b)(i). Realice un biplot adaptado a esta situación. iii. Realice un test para la hipótesis nula H 0 : µ 1 = µ 2 = µ 3 y para H 0 : Σ 1 = Σ 2 = Σ 3. Es razonable considerar todas las especies juntas? Alguno de los analisis hechos es (b)(i) o (ii) es razonable? (c) Repita el análisis hecho en b) para los grupos versicolor (Grupo 1) y virginica (Grupo 2). 2. El conjunto de datos microtus de la library(flury) consiste en las mediciones de huesos y dientes de ratones campestres (de la especie Microtus). Considere solamente las 43 ratas del grupo 1. (a) Utilice solamente las primeras 3 variables (Y 1, Y 2, Y 3 ) que son el ancho de los molares superiores izquierdos 1, 2 y 3 respectivamente, medidos en mm./1000, para las 43 ratas del grupo 1. i. Halle las componentes principales muestrales y los autovalores de S. ii. Halle los porcentajes de la variabilidad total explicados por la primera y por las dos primeras componentes, e interpretarlas en función de las variables originales. iii. Realice un biplot. 6

7 (b) Realice un biplot con todas las variables. (c) Repita el análisis anterior agregando a los datos las mediciones del grupo 2. Qué observa? 3. Considere el conjunto de datos que se encuentran en el archivo Datos Paises.xlx, correpondiente a las siguientes 6 variables indicadoras de desarrollo de 91 países. tasanat tasamor mortinf esphom espmuj pnb tasa de natalidad cada 1000 habitantes tasa de mortalidad cada 1000 habitantes mortalidad infantil (por debajo de un año) esperanza de vida en hombres esperanza de vida en mujeres producto bruto nacional per cápita (a) Realizar un biplot de los datos. (b) Realizar un biplot de los datos transformados por logaritmos. (c) Cuál elegiría? 4. Realice un análisis de componentes principales para el conjunto de datos heptathlon de la librería HSAUR y construya el biplot. 7