Resumen. El análisis de componentes principales (PCA) es una técnica multivariada utilizada

Transcripción

1 Comparación de las aproximaciones χ 2 para la prueba de igualdad de los valores propios en el PCA Eduard Alexander Gañán Cárdenas a, Juan Carlos Correa Morales b eaganan@unal.edu.co a. Estudiante M.Sc. en Estadística. Universidad Nacional - Sede Medellín b. Profesor Asociado Escuela de Estadística. Universidad Nacional - Sede Medellín Resumen El análisis de componentes principales (PCA) es una técnica multivariada utilizada para reducir la dimensión de los datos. En el trabajo aplicado, un problema de relevancia consiste en definir el número k de componentes principales que se deben considerar, es decir, las que representan la mayor variabilidad de los datos. Para tal fin, se han planteado distintas propuestas, una de las cuales consiste en probar H 0k = λ k+1 = λ k+2 =... = λ p = λ a través de la prueba de razón de verosimilitud (LRT). Donde p es el número de variables en el conjunto de datos y λ es un valor propio desconocido. Con la idea de mejorar la aproximación de la prueba LRT a su distribución asintótica χ 2, se han propuesto distintos factores de corrección.

2 En este trabajo se realiza una comparación vía simulación estadística de los distintos factores de corrección midiendo que tan bien se aproximan a su distribución asintótica. Comparision of χ 2 Approximations for Testing the Equality of the Eigenvalues in Principal Components Analysis Eduard Alexander Gañán Cárdenas a, Juan Carlos Correa Morales b eaganan@unal.edu.co a. M.Sc. Student Teaching Assistant. National University of Colombia at Medellin b. Associate Professor School of Statistic. National University of Colombia at Medellin Abstract Principal component analysis (PCA) is a multivariate technique used for data reduction. In the applied work, an important problem is to define the number of

3 principal components k to be considered i.e., representing most of the variation in the data. To address this, several proposals have been made, one of which considers testing H 0k = λ k+1 = λ k+2 =... = λ p = λ, via a likelihood ratio test (LRT). Here, p is the number of variables in the data set and λ is an unknown eigenvalue. In order to improve its approach to the asymptotic χ 2 distribution, different correction factors have also been proposed for the LRT. In this work we compare some of these factors by measuring how well they approach the asymptotic distribution using statistical simulation.

4 0.1. Introducción A partir del PCA se realizan distintos procedimientos como determinar el número mínimo de componentes necesario para representar gran parte de la variabilidad de los datos, seleccionar variables, construir índices, entre otros. En este análisis es importante notar que los datos con los que cuenta un investigador, realmente son una muestra y los resultados obtenidos requieren de un proceso de inferencia, ya que estos están sujetos a variaciones muestrales ([2]; [5]; [3]). Así, una cuestión de gran importancia consiste en definir el número de componentes adecuado para representar la muestra. En este trabajo, se considera el método basado en la prueba de hipótesis H 0k : λ k+1 = λ k+2 =... = λ p = λ con λ desconocido, el cual se conoce también como prueba isotrópica o de igualdad de varianzas de las últimas componentes principales. La prueba se conduce empezando con k = 0 y se incrementa k hasta que la hipótesis es aceptada. El estadístico de prueba LRT (denotado por W) para esta hipótesis bajo H 0k presentan una distribución asintótica χ 2, en la cual está implícito el supuesto de normalidad de los datos ([5]; [3]). Con el fin de mejorar la aproximación del estadístico a su distribución límite, se han propuesto distintas modificaciones al estadístico LRT en las cuales vale distinguir entre las obtenidas con base en la matriz de covarianza y las obtenidas a partir de la matriz de correlación. En este estudio se realiza una comparación vía simulación de los distintos estadísticos o factores de corrección propuestos para el caso de efectuar el PCA con la matriz de covarianza. En la comparación se considera: El número de variables, el número de componentes, el nivel de significancia y el tamaño de la muestra. Así, uno de los objetivos es ofrecer al usuario de PCA unas recomendaciones sobre del estadístico a utilizar y el tamaño de muestra mínimo requerido

5 para obtener el mejor comportamiento de prueba. En la sección 2 se ilustran los estadísticos a estudiar y en la sección 3, los escenarios de simulación y los resultados obtenidos, así como un ejemplo del procedimiento empleado Métodos Si los valores propios l 1,l 2,...,l p son obtenidos de la matriz de covarianza S. El estadístico de prueba para la anterior hipótesis se define como: [ { } ] lk+1 + l k l p W = n (p k)log e log e (l k+1 l k+2... l p ) (p k) Bajo H 0k cierta, W tiene aproximadamente una distribución χ 2 con 1 2 (p k + 2)(p k 1) grados de libertad. (1) Un nuevo factor de corrección es obtenido si n es reemplazada por FC2 = n (2p + 11)/6 (2) Lawley (1956) plantea una nueva aproximación reemplazando n por el factor de corrección: FC3 Lawley = n k 1 6 donde λ i es reemplazado por l i, y λ es estimado como ( 2(p k) ) k + λ 2 1 q (λ i λ) 2 (3) i=1 p j=k+1 lj p k. Considerando que λ 1,λ 2,...,λ k son todos grandes comparados con λ. En caso de probar H 00, es decir k = 0, se recomienda usar el factor de corrección n 1 6 ( 2p ), (4) p

6 0.3. Simulación Se consideraron los siguientes escenarios de simulación: p = 5,1,0,15,30. n = 10,30,50,100,200,500. Se simula de una distribución N p (0, Σ) con Σ = diag (λ 1,...,λ k,λ,...,λ), ([1]; [6]; [7]; [8]). i. Si k = 0, entonces Σ = I p. ii. Si k = 2, entonces λ = 1 y λ i = ai(p k) 1 k j=1 aj con a 1 = 0,56, a 2 = 0,24. iii. Si k = 3, entonces λ = 1 y λ i = 0,3 a 3 = 0,15. ai(p k) 1 k j=1 aj con a 1 = 0,45, a 2 = α = 0,1,0,05,0,01. Se realizan 10,000 simulaciones Ilustración En caso de probar k = 0, la hipótesis será: H 00 : λ 1 = λ 2 =... = λ p = λ con λ desconocido. Ahora, de acuerdo a la distribución límite de W (ver figura 1), se rechaza H 00 si W χ (p+2)(p 1),1 α, con nivel de significancia α = 0,05.

7 Figura 1: Distribución límite del estadístico W, una χ (p+2)(p 1) para el caso de p = 5 y k = 0.

8 (a) n = 10 (b) n = (c) n = 50 (d) n = (e) n = 200 (f) n = 500 Figura 2: Comparación de la distribución real del estadístico W con su distribución límite. Para el caso de p = 5 y k = 0.

9 (a) n = 50 (b) n = (c) n = 200 (d) n = 500 Figura 3: Comparación de la distribución real del estadístico W con su distribución límite. Para el caso de p = 30 y k = 0. Se observa como a medida que el tamaño de muestra n se incrementa en relación al número de variables p, la distribución del estadístico W se acerca más a su distribución límite χ 2.

10 0.4. Resultados A continuación se muestran los resultados de simulación obtenidos: p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 1: Error Tipo I real para el valor nominal α = 0,1 con k = 0.

11 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 2: Error Tipo I real para el valor nominal α = 0,05 con k = 0.

12 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 3: Error Tipo I real para el valor nominal α = 0,01 con k = 0.

13 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 4: Error Tipo I real para el valor nominal α = 0,1 con k = 2.

14 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 5: Error Tipo I real para el valor nominal α = 0,05 con k = 2.

15 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 6: Error Tipo I real para el valor nominal α = 0,01 con k = 2.

16 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 7: Error Tipo I real para el valor nominal α = 0,1 con k = 3.

17 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 8: Error Tipo I real para el valor nominal α = 0,05 con k = 3.

18 p n = 10 n = 30 n = 50 n = 100 n = 200 n = W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley W F C FC3 Lawley Cuadro 9: Error Tipo I real para el valor nominal α = 0,01 con k = 3.

19 Error Tipo I α=0.05, p=5, k=0, W FC2 FC3 Lawley Error Tipo I α=0.05, p=5, k=2, W FC2 FC3 Lawley Tamaño de muestra (n) Tamaño de muestra (n) Error Tipo I α=0.05, p=5, k=3, W FC2 FC3 Lawley Tamaño de muestra (n) Figura 4: Comparación de los estadísticos W, FC2, FC3 Lawley con α = 0,05 y p = 5.

20 Error Tipo I α=0.05, p=10, k=0, W FC2 FC3 Lawley Error Tipo I α=0.05, p=10, k=2, W FC2 FC3 Lawley Tamaño de muestra (n) Tamaño de muestra (n) Error Tipo I α=0.05, p=10, k=3, W FC2 FC3 Lawley Tamaño de muestra (n) Figura 5: Comparación de los estadísticos W, FC2, FC3 Lawley con α = 0,05 y p = 10.

21 Error Tipo I α=0.05, p=15, k=0, W FC2 FC3 Lawley Error Tipo I α=0.05, p=15, k=2, W FC2 FC3 Lawley Tamaño de muestra (n) Tamaño de muestra (n) Error Tipo I α=0.05, p=15, k=3, W FC2 FC3 Lawley Tamaño de muestra (n) Figura 6: Comparación de los estadísticos W, FC2, FC3 Lawley con α = 0,05 y p = 15.

22 Error Tipo I α=0.05, p=30, k=0, W FC2 FC3 Lawley Error Tipo I α=0.05, p=30, k=2, W FC2 FC3 Lawley Tamaño de muestra (n) Tamaño de muestra (n) Error Tipo I α=0.05, p=30, k=3, W FC2 FC3 Lawley Tamaño de muestra (n) Figura 7: Comparación de los estadísticos W, FC2, FC3 Lawley con α = 0,05 y p = Discusión El estadístico W es el que peor se aproxima a su distribución límite, lo cual es aún más crítico cuando no hay una gran diferencia entre el número de variables y el tamaño de muestra. Llevando incluso a casos en los cuales se requieren

23 tamaños de muestra mayores a 800 si se cuenta con 30 variables. Lo anterior llevaría a no recomendar este estadístico para la determinación del número de componentes. El estadístico F C2 presenta un comportamiento más estable, mostrando ser mejor que el estadístico W e incluso que el de Lawley (1956). Así, FC2 requiere menores tamaños de muestra que FC3 Lawley para presentar una buena aproximación. Además, este estadístico es más adecuado cuando se quiere probar k = 0 (es decir, que no hay una reducción de dimensionalidad al realizar PCA), ya que presenta niveles de error tipo I inferiores al valor nominal. El estadístico FC3 Lawley presenta una buena aproximación, aunque en contraste con FC2 requiere una mayor diferencia entre el tamaño de muestra y el número de variables para considerarlo adecuado en la determinación del número de componentes.

24 Bibliografía [1] Fujikoshi Y., Yamada T., Watanabe D., Sugiyama T. (2007). Asymptotic Distribution of the LR Statistic for Equality of the Smallest Eigenvalues in High-Dimensional Principal Component Analyisis. Journal of Multivariate Analysis. 98: [2] Johonson R. A., Wichern D.W. (1988). Applied Multivariate Statistical Analysis. Prentice Hall in Statistics. [3] Krazanowski (1988). Principles of Multivariate Analysis, A User s Perspective. Oxford Statistical Sciencie. [4] Lawley (1956) Lawley (1956). Test of Significance for Latent Roots of Covariance and Correlations. Biometrika. 43: [5] Mardia K. V., Kent J. T., Bibby J. M. (1988). Multivariate Analysis. Academic Press, San Diego, Sexta Edici [6] Schott J. R. (2006). A High-Dimensional Test for the Equality of the Smallest Eigenvalues of a Covariance Matrix. Journal of Multivariate Analysis. 97: [7] Watanabe D., Okada S., Fujikoshi Y., Sugiyama T. (2008). Large Sample Approximations for LR Statistic for Equality of the Smallest Eigenvalues of a Covariance Matrix under Elliptical Population. Computational Statistic & Data Analysis. 52:

25 [8] Waternaux C.M. (1984). Principal Components in the Nonnormal Case: The Test of Equality of Q Roots Journal of Multivariate Analysis. 14: