LABORATORIO DE COMPONENTES PRINCIPALES EN MATLAB

Transcripción

1 LABORATORIO DE COMPONENTES PRINCIPALES EN MATLAB Este ejercicio consiste en aplicar el método de componentes principales como herramienta para la reducción de dimensionalidad de las variables independientes mediante funciones de MATLAB. De acuerdo a lo visto, un modelo de la forma y=f(x i ), i=1,n. Se obtuvo una muestra desde un conjunto de observaciones mediante el método de muestreo estratificado para la selección de muestras representativas de varios tamaños. El número de variables originales x i podría ser reducido a uno nuevo z i. De este modo, se puede tener un nuevo y reducido conjunto de variables z, totalmente independientes, de la forma y=f(z i ), i=1,n, siendo n<<n. En este sitio WEB hay disponible un conjunto de ejemplos (data250, data500, data800) en Excel que representa conjuntos de datos conformado por nueve variables (x 1 x 9 ) y una variable respuesta y. Desde este archivo se extraen las variables independientes x i para ser examinadas mediante el método de reducción. La variable y, también presente en estos conjuntos de datos, se separa para otras pruebas. Este archivo seleccionado en Excel debe ser convertido a un archivo tipo texto (ascii) previamente a ser utilizado en MATLAB. Supongamos que el nombre del archivo tipo texto se llamará data.txt. Desde MATLAB, se procede a realizar el análisis de componentes principales. A manera de ejemplo, solamente se incluyen el procedimiento general y es comparado con el método numérico de valores singulares (SVD), a los fines de conocer el método alternativo para hacer estos cálculos básicos. En esta guía sólo se incluyen los comandos. Los resultados deberían ser observados para realizar los análisis correspondientes. Se recomienda el uso del par de comandos diary on, al principio del ejercicio, y diary off, al terminar todo el trabajo, para que quede registrado todo el 1

2 laboratorio en un archivo y pueda ser editado y revisado en posteriores consultas. diary labacp load data.txt Trasladamos los datos a una matriz XY XY=data; Seleccionamos la matriz X con solo las variables independientes. Debe verificar con anticipación cuantas columnas corresponden a X. En este caso son 9 y están ubicadas entre la columna 2 y 10 X=XY(:,2:10); size(x) ans = Revise. El resultado La matriz que compone las variables independientes es de 9 variables independientes. X(1:1,1:9) ans = Luego la variable respuesta será 2

3 Y=XY(:,11) Esta muestra estratificada de acuerdo a la variable dependiente y, será explorada a los fines de determinar si se le puede aplicar una reducción de variables. Emplearemos los dos métodos que pueden determinar los componentes principales. Función en MATLAB para emplear el Método de los valores singulares. help SVD SVD Singular value decomposition. [U,S,V] = SVD(X) produces a diagonal matrix S, of the same dimension as X and with nonnegative diagonal elements in decreasing order, and unitary matrices U and V so that X = U*S*V'. S = SVD(X) returns a vector containing the singular values. [U,S,V] = SVD(X,0) produces the "economy size" decomposition. If X is m-by-n with m > n, then only the first n columns of U are computed and S is n-by-n. See also SVDS. De acuerdo a este método podemos obtener una matriz diagonal que incluye los valores propios de la matriz simétrica. Para nuestro caso la matriz simétrica es la matriz de correlación. 3

4 Determinamos la matriz de correlación R. R=corrcoef(X); R Observará una matriz 9x9. La suma de la diagonal representa el rango de la matriz A simple vista podemos observar en la matriz algunos elementos con valores cercanos a uno. Esto pareciera indicar una colinealidad entre variables. Se aplica SVD y de acuerdo a los valores singulares, tenemos: [u,lambda,v]=svd(r); donde: u lambda Observe la diagonal principal. Los valores propios, al multiplicarse por 100, representan el porcentaje equivalente a la contribución de la varianza de cada componente. Observe además que esta contribución es decreciente hasta completar el número de componentes principales. La suma de la diagonal (traza) representa el rango de la matriz. Por otro lado, los componentes principales quedan definidos por los 4

5 autovectores v. Es decir, v Observe que estos vectores (autovectores) son ortogonales y ortonormales. El producto indistintamente de dos de ellos será igual cero (ortoganiladad) y el producto de cada uno de ellos por si mismo es igual uno (ortonoprmalidad). Por ejemplo, el producto entre los dos primeros autovectores debería ser cero. v(1:1,:)*v(2:2,:)' ans = Estos autovectores definen el nuevo espacio dimensional ortonormal donde las variables originales podrían ser definidas en unas nuevas (variables latentes) mediante una rotación a estos nuevos ejes en los cuales quedarían proyectadas. Se puede observar que la traza tanto de la matriz de correlación R como el de la matriz de los autovalores lambda es la misma. trace(r) ans = 9 trace(lambda) 5

6 ans = 9 Por otro lado, igualmente y de manera simplificada, se puede obtener el conjunto de componentes principales al estimar en una misma función los autovalores, autovectores y el porcentaje explicado por cada uno de las nuevas variables cuando ellas son rotadas. El comando en MATLAB tiene la siguiente sintaxis: help pcacov PCACOV Principal Component Analysis using the covariance matrix. [PC, LATENT, EXPLAINED] = PCACOV(X) takes a the covariance matrix, X, and returns the principal components in PC, the eigenvalues of the covariance matrix of X in LATENT, and the percentage of the total variance in the observations explained by each eigenvector in EXPLAINED. De acuerdo a esta función y utilizando la matriz de correlación R como matriz de entrada, tenemos [cp,lambda,explicacion]=pcacov(r); donde: cp: matriz de componentes principales, lambda: matriz diagonal con los autovalores de R, explicacion: porcentaje explicado de la varianza por cada uno de los componentes. Los componentes principales (autovectores) son: 6

7 cp Los resultados en cp y v resultan los mismos por ambos métodos. Del mismo modo, los autovalores son: lambda' El porcentaje explicado por cada una de las variables al ser transformadas es: explicacion' De acuerdo a lo anterior y al criterio de Kayser (lambda >1), observe cuantas variables están en capacidad de explicar lo más cercano al 90% de la varianza total. Sin embargo, bajo el criterio de Jolliffe (lambda > 0.7), estas referencias deben revisarse al momento de decidir que tan eficiente se desea sea el nivel de predicción del modelo que se desea construir con las variables transformadas. Es decir, a este punto, hemos elegido los primeros k 1 componentes principales. Los restantes k 2 componentes serían determinados evaluando la correlación de la variable dependiente y con las variables transformadas z. Otra guía para la selección de los componenetes es si comparamos estos valores gráficamente mediante el scree plot (diagrama del codo); se retienen aquellos componentes que muestren un apreciado cambio de pendiente. Esta selección termina cuando se observa una tendencia uniforme o casi uniforme de la pendiente. Veamos por ejemplo plot(lambda) 7

8 En este caso, se puede retener hasta el componente cinco. Estandarización de la matriz de datos a los fines de poder rotarlos. Se estandariza variable por variable con media cero y varianza uno, a fin rotar las observaciones originales y contabilizar cada una de las variables originales en el vector x en su equivalente de variables latentes z (estos son los scores). Para este caso se dispone de 252 observaciones, entonces los comandos serían para cada una de las 9 variables estandarizadas sx1=(x(:,1:1)-ones(252,1).*mean(x(:,1:1)))./sqrt(var(x(:,1:1))); sx2=(x(:,2:2)-ones(252,1).*mean(x(:,2:2)))./sqrt(var(x(:,2:2))); sx3=(x(:,3:3)-ones(252,1).*mean(x(:,3:3)))./sqrt(var(x(:,3:3))); sx4=(x(:,4:4)-ones(252,1).*mean(x(:,4:4)))./sqrt(var(x(:,4:4))); sx5=(x(:,5:5)-ones(252,1).*mean(x(:,5:5)))./sqrt(var(x(:,5:5))); sx6=(x(:,6:6)-ones(252,1).*mean(x(:,6:6)))./sqrt(var(x(:,6:6))); sx7=(x(:,7:7)-ones(252,1).*mean(x(:,7:7)))./sqrt(var(x(:,7:7))); sx8=(x(:,8:8)-ones(252,1).*mean(x(:,8:8)))./sqrt(var(x(:,8:8))); sx9=(x(:,9:9)-ones(252,1).*mean(x(:,9:9)))./sqrt(var(x(:,9:9))); Compilamos en una matriz SX todos los vectores que contienen las variables originales estandarizadas SX=[sx1 sx2 sx3 sx4 sx5 sx6 sx7 sx8 sx9]; 8

9 Las variables latentes en Z1 o Z2 son los nuevos valores contabilizados de las variables originales en los nuevos ejes. Esto es, las variables z, mediante la rotación de sus ejes son definidas por los componentes principales cp o v. Z1=SX*cp; Z2=SX*v; Comprobación de que tanto cp como v son equivalentes: Z1 y Z2 tienen los mismos resultados Z1-Z2; El comando que sigue le permite observar que variables, vectores o matrices tiene residente en memoria hasta este punto de esta sesión de trabajo. Por ejemplo who Your variables are: R cp sx3 sx9 SX data250 sx4 u X explicacion sx5 v Z1 lambda sx6 Z2 sx1 sx7 ans sx2 sx8 En este momento debemos revisar si los últimos k 2 (criterio de Jolliffe que indica revisar correlaciones mayores a 0.7 en los componentes no retenidos y revisados por segunda vez para su posible retención) Estos componentes se 9

10 pueden incorporar revisando las correlación entre la variable dependiente y y las nuevas variables en Z. Para ello utilizamos el vector Y, previamente considerado. who Your variables are: R cp sx3 sx9 SX data250 sx4 u X explicacion sx5 v Z1 lambda sx6 xsyy_250 Z2 sx1 sx7 ans sx2 sx8 Y size(y) Y Y es entonces correlacionado con Z. En esta fase se hace la estimación de la matriz de correlación entre las variables latentes en Z (Z1 o Z2) y la variable respuesta Y. Para ello, en una matriz ZY todas las columnas para estimar la matriz de correlación Rzy y observar los valores de la variable y los componentes en Z no retenidos en la primera oportunidad. Y es un vector columna, luego debe ser transpuesto para hallar ZY. Sería ZY=[Z1 Y ]; 10

11 Ahora Rxy = corrcoef(zy) Simplifiquemos. Como en este ejercicio resultó en una matriz de correlación de orden 10x10, revisaremos la última columna que se corresponde con la variable y y las nuevas variables independientes z, a fin de seleccionar los k 2 restantes componentes que indicarán la incorporación de nuevas variables, para mejorar el nivel de estimación del modelo resultante y=f(z). Rxy(:,10) Revise.. que observa Podemos observar que a pesar de seleccionar algunos primeros componentes (en el caso de este ejemplo fueron los primeros cinco), se pueden agregar aquellos que tengan una buena correlación de las variables latentes z con y. De ahí que estos últimos componentes, mencionados como los k 2 componentes, pueden ser incorporados como parte de los componentes definitivamente seleccionados en el proceso de reducción. Por tanto, los componentes definitivos que se podrían incluir como variable independientes dados por la matriz de variables latentes Z son los k resultantes de la suma k=k 1 +k 2 La matriz definitiva de variables reducidas quedaría compuesta por los k componentes relacionados con cada columna de la matriz Z, sean los indicados por k 1 como los indicados por k 2. Por ejemplo, se agregaron los indicados como séptimo y noveno a los primeros cinco. Var_reducidas= [Z1(:,1:5) Z1(:,7) Z1(:,9)]; 11

12 Finalmente, estas variables reducidas más la variable y forman el nuevo conjunto de datos para un modelo de estimación. Por ejemplo, el entrenamiento de un modelo de redes neuronales. En efecto, el conjunto final de datos para entrenamiento sería una matriz compuesta por estas variables reducidas y la variable Y DatosZY = [Var_reducidas,Y]; size(datoszy) Para guardarlo como archivo tipo texto (txt) save DatosZY ascii Estos valores serán guardados en el área de trabajo asignado al principio de la sesión en un archivo texto que puede ser reutilizado por cualquier otra aplicación (Excel, SPSS, Minitab o el mismo MATLAB) 12