COMPONENTES PRINCIPALES

Transcripción

1 5 COMPONENTES PRINCIPALES Karl Pearson ( ) Científico británico. Inventor del contraste que lleva su nombre y uno de los fundadores de la Estadística en el siglo xix. Sus trabajos sobre ajustes ortogonales precedieron el análisis de componentes principales. Fue Catedrático de matemáticas y después de Eugenesia en la Universidad de Londres. Fundador con Weldon, y con el apoyo económico de Galton, de la prestigiosa revista de estadística Biometrika Introducción Un problema central en el análisis de datos multivariantes es la reducción de la dimensionalidad: si es posible describir con precisión los valores de p variables por un pequeño subconjunto r < p de ellas, se habrá reducido la dimensión del problema a costa de una pequeña pérdida de información. 1

2 134 Capítulo 5: Componentes principales El análisis de componentes principales tiene este objetivo: dadas n observaciones de p variables, se analiza si es posible representar adecuadamente esta información con un número menor de variables construidas como combinaciones lineales de las originales. Por ejemplo, con variables con alta dependencia es frecuente que un pequeño número de nuevas variables (menos del 20 por 100 de las originales) expliquen la mayor parte (más del 80 por 100 de la variabilidad original). La técnica de componentes principales es debida a Hotelling (1933), aunque sus orígenes se encuentran en los ajustes ortogonales por mínimos cuadrados introducidos por K. Pearson (1901). Su utilidad es doble: 1. Permite representar óptimamente en un espacio de dimensión pequeña observaciones de un espacio general p-dimensional. En este sentido, componentes principales es el primer paso para identificar las posibles variables latentes, o no observadas que generan los datos. 2. Permite transformar las variables originales, en general correladas, en nuevas variables incorreladas, facilitando la interpretación de los datos. En este capítulo presentamos únicamente esta técnica como una herramienta exploratoria. El problema de inferir si las propiedades de reducción de la dimensión encontradas en los datos puede extenderse a la población de la que provienen se estudiara en el Capítulo 12, análisis factorial Planteamiento del problema Supongamos que se dispone de los valores de p-variables en n elementos de una población dispuestos en una matriz X de dimensiones n p, donde las columnas contienen las variables y las filas los elementos. Supondremos en este capítulo que previamente hemos restado a cada variable su media, de manera que las variables de la matriz X tienen media cero y su matriz de covarianzas vendrá dada por 1/n X X. El problema que se desea resolver es encontrar un espacio de dimensión más reducida que represente adecuadamente los datos. Puede abordarse desde tres perspectivas equivalentes. a) Enfoque descriptivo Se desea encontrar un subespacio de dimensión menor que p tal que al proyectar sobre él los puntos conserven su estructura con la menor distorsión posible. Veamos cómo convertir esta noción intuitiva en un criterio matemático operativo. Consideremos primero un subespacio de dimensión uno, una recta. Se desea que las proyecciones de los puntos sobre esta recta mantengan, lo más posible, sus posiciones relativas. Para concretar, consideremos el caso de dos dimensiones (p = 2). La Figura 5.1 indica el diagrama de dispersión y una recta que, intuitivamente, proporciona un

3 5.2. Planteamiento del problema 135 Figura 5.1. Ejemplo de la recta que minimiza las distancias ortogonales de los puntos a ella. buen resumen de los datos, ya que la recta pasa cerca de todos los puntos y las distancias entre ellos se mantienen aproximadamente en su proyección sobre la recta. La condición de que la recta pase cerca de la mayoría de los puntos puede concretarse exigiendo que las distancias entre los puntos originales y sus proyecciones sobre la recta sean lo más pequeñas posibles. En consecuencia, si consideramos un punto x i y una dirección a 1 = (a 11,..., a 1p ), definida por un vector a 1 de norma unidad, la proyección del punto x i sobre esta dirección es el escalar: z i = a 11 x i a 1p x ip = a 1x i (5.1) y el vector que representa esta proyección será z i a 1. Llamando r i a la distancia entre el punto x i, y su proyección sobre la dirección a 1, este criterio implica: minimizar n ri 2 = n x i z i a 1 2, (5.2) donde u es la norma euclídea o módulo del vector u. La Figura 5.1 muestra que al proyectar cada punto sobre la recta se forma un triángulo rectángulo donde la hipotenusa es la distancia del punto al origen, (x i x i) 1/2, y los catetos la proyeccion del punto sobre la recta (z i ) y la distancia entre el punto y su proyección (r i ). Por el teorema de Pitágoras, podemos escribir: x ix i = z i 2 + r 2 i, (5.3) y sumando esta expresión para todos los puntos, se obtiene: n x ix i = n zi 2 + n ri 2. (5.4)

4 136 Capítulo 5: Componentes principales Como el primer miembro es constante, minimizar n r2 i, la suma de las distancias a la recta de todos los puntos, es equivalente a maximizar n z2 i, la suma al cuadrado de los valores de las proyecciones. Como las proyecciones z i son, por (5.1) variables de media cero, maximizar la suma de sus cuadrados equivale a maximizar su varianza, y obtenemos el criterio de encontrar la dirección de proyección que maximice la varianza de los datos proyectados. Este resultado es intuitivo: la recta de la Figura 5.1 parece adecuada porque conserva lo más posible la variabilidad original de los puntos. El lector puede convencerse considerando una dirección de proyección perpendicular a la de la recta en esta figura: los puntos tendrían muy poca variabilidad y perderíamos la información sobre sus distancias en el espacio. Si en lugar de buscar la dirección que pasa cerca de los puntos buscamos la dirección tal que los puntos proyectados sobre ella conserven lo más posible sus distancias relativas llegamos al mismo criterio. En efecto, si llamamos d 2 ij = x i x j a los cuadrados de las distancias originales entre los puntos y d 2 ij = (z i z j ) 2 a las distancias entre los puntos proyectados sobre una recta, deseamos que D = (d 2 ij d 2 ij) i j sea mínima. Como la suma de las distancias originales es fija, minimizar D requiere maximizar d i j 2 ij, las distancias entre los puntos proyectados. Se demuestra en el Apéndice 5.1 que la dirección es la misma que proporciona una variable escalar de varianza máxima. b) Enfoque estadístico Representar puntos p dimensionales con la mínima pérdida de información en un espacio de dimensión uno es equivalente a sustituir las p variables originales por una nueva variable, z 1, que resuma óptimamente la información. Esto supone que la nueva variable debe tener globalmente máxima correlación con las originales o, en otros términos, debe permitir prever las variables originales con la máxima precisión. Esto no será posible si la nueva variable toma un valor semejante en todos los elementos, y, se demuestra en el Apéndice 5.2, que la condición para que podamos prever con la mínima pérdida de información los datos observados, es utilizar la variable de máxima variabilidad. Volviendo a la Figura 5.1 se observa que la variable escalar obtenida al proyectar los puntos sobre la recta sirve para prever bien el conjunto de los datos. La recta indicada en la figura no es la línea de regresión de ninguna de las variables con respecto a la otra, que se obtienen minimizando las distancias verticales u horizontales, sino la que minimiza las distancias ortogonales o entre los puntos y la recta y se encuentra entre ambas rectas de regresión. Este enfoque puede extenderse para obtener el mejor subespacio resumen de los datos de dimensión 2. Para ello, calcularemos el plano que mejor aproxima a

5 5.3. Cálculo de los componentes 137 los puntos. El problema se reduce a encontrar una nueva dirección definida por un vector unitario, a 2, que, sin pérdida de generalidad, puede tomarse ortogonal a a 1, y que verifique la condición de que la proyección de un punto sobre este eje maximice las distancias entre los puntos proyectados. Estadísticamente esto equivale a encontrar una segunda variable z 2, incorrelada con la anterior, y que tenga varianza máxima. En general, la componente z r (r < p) tendrá varianza máxima entre todas las combinaciones lineales de las p variables originales, con la condición de estar incorrelada con las z 1,..., z r 1 previamente obtenidas. c) Enfoque geométrico El problema puede abordarse desde un punto de vista geométrico con el mismo resultado final. Si consideramos la nube de puntos de la Figura 5.1 vemos que los puntos se sitúan siguiendo una elipse y podemos describirlos por su proyección en la dirección del eje mayor de la elipse. Puede demostrarse que este eje es la recta que minimiza las distancias ortogonales, con lo que volvemos al problema que ya hemos resuelto. En varias dimensiones tendremos elipsoides, y la mejor aproximación a los datos es la proporcionada por su proyección sobre el eje mayor del elipsoide. Intuitivamente la mejor aproximación en dos dimensiones es la proyección sobre el plano de los dos ejes mayores del elipsoide y así sucesivamente. Considerar los ejes del elipsoide como nuevas variables originales supone pasar de variables correladas a variables ortogonales o incorreladas como veremos a continuación Cálculo de los componentes Cálculo del primer componente El primer componente principal se define como la combinación lineal de las variables originales que tiene varianza máxima. Los valores en este primer componente de los n individuos se representarán por un vector z 1, dado por z 1 = Xa 1. Como las variables originales tienen media cero también z 1 tendrá media nula. Su varianza será: 1 n z 1z 1 = 1 n a 1X Xa 1 = a 1Sa 1 (5.5) donde S es la matriz de varianzas y covarianzas de las observaciones. Es obvio que podemos maximizar la varianza sin límite aumentando el módulo del vector a 1. Para que la maximización de (5.5) tenga solución debemos imponer una restricción al módulo del vector a 1, y, sin pérdida de generalidad, impondremos que a 1 a 1 = 1. Introduciremos esta restricción mediante el multiplicador de Lagrange: M = a 1Sa 1 λ(a 1a 1 1)

6 138 Capítulo 5: Componentes principales y maximizaremos esta expresión de la forma habitual derivando respecto a los componentes de a 1 e igualando a cero. Entonces cuya solución es: M a 1 = 2Sa 1 2λa 1 = 0, Sa 1 = λa 1, (5.6) que implica que a 1 es un vector propio de la matriz S, y λ su correspondiente valor propio. Para determinar qué valor propio de S es la solución de (5.6), multiplicando por la izquierda por a 1 esta ecuación, a 1Sa 1 = λa 1a 1 = λ y concluimos, por (5.5), que λ es la varianza de z 1. Como ésta es la cantidad que queremos maximizar, λ será el mayor valor propio de la matriz S. Su vector asociado, a 1, define los coeficientes de cada variable en el primer componente principal. Ejemplo 5.1. Ilustraremos con detalle el cálculo de la primera componente principal con los datos de los logaritmos de las ACCIONES, fichero acciones.dat y Anexo I. Los paquetes estadísticos habituales (Minitab, SPSS, Statgraphics, etc.) proporcionan directamente los componentes principales, pero vamos a indicar los cálculos para el lector interesado. La matriz de varianzas y covarianzas de estos datos en logaritmos, que ya utilizamos en el Ejemplo 3.5, es, S = Los valores propios son las raíces de la ecuación: S λi = = λ λ λ = = λ λ 2 λ 3 = 0 Las raíces de este polinomio, obtenidas con Matlas, son λ 1 = 0.521, λ 2 = 0.113, λ 3 = = El vector propio asociado a λ 1 nos da los pesos de la primera componente principal. Para calcularlo, resolvemos el sistema Sa 1 = λ 1 a 1

7 5.3. Cálculo de los componentes 139 que conduce a: a 11 a 12 a a a a a a a a a a 13 = = a 11 a 12 a 13 y el sistema es compatible indeterminado. Para encontrar una de las infinitas soluciones tomemos la primera variable como parámetro, x, y resolvamos el sistema en función de x. La solución es, {a 11 = x, a 12 = 0.427x, a 13 = 0.562x} El valor de x se obtiene ahora imponiendo que el vector tenga norma unidad, con lo que resulta: y el primer componente es a 1 = Z 1 = 0.817X X X 3 donde X 1, X 2 y X 3 son las variables en logaritmos. Por ejemplo, el valor de esta nueva variable, la primera componente principal, para la primera observación (la primera acción) es z 1 = log(3.4) log(89.7) log(30.2) = El primer componente principal puede aproximadamente escribirse Z 1 = 0.82X (X 3 X 2 ) X 3 y utilizando la definición de las variables originales: es decir, Z 1 = 0.82 log(d/p) log(p/d) log(pn/b) Z 1 = 1.17 log(d/p) log(pn/b) que indica que este primer componente depende básicamente de la variable X 1, la rentabilidad por dividendos. Llamando z 1 = log Z 1 este primer componente puede escribirse también como z 1 = p1.27 d 1.16 ( ).09 N B que es, aproximadamente, de nuevo la variable x 1, el cociente entre el precio de la acción y los dividendos recibidos. Esta variable es la que explica mejor la variabilidad conjunta de las acciones.

8 140 Capítulo 5: Componentes principales Ejemplo 5.2. Los datos de EPF de la encuesta de presupuestos familiares en España (fichero epf.dat y Anexo I) presentan los gastos medios de las familias españolas para las 51 provincias (Ceuta y Melilla aparecen unidas como una provincia) en nueve epígrafes: X 1 = alimentación, X 2 = vestido y calzado, X 3 = vivienda, X 4 = mobiliario doméstico, X 5 = gastos sanitarios, X 6 = transportes, X 7 = enseñanza y cultura, X 8 = turismo y ocio, X 9 = otros gastos. La matriz de covarianzas resume la variabilidad de estas 9 variables en los 51 elementos observados. Como las distribuciones de los gastos son muy asimétricas, las variables se han expresado en logaritmos. El vector propio asociado al mayor valor propio, 0.348, define la siguiente variable, primer componente principal: z 1 = 0.12x x x x x x x x x 9 Se observa que z 1 es una suma ponderada de todos los gastos, con mayor peso, de los gastos en enseñanza y cultura (x 7 ) y sanitarios (x 5 ). El menor peso lo tiene el gasto en alimentación (x 1 ). Si calculamos los valores de z 1 para las provincias españolas y las ordenamos por esta nueva variable las provincias quedan prácticamente ordenadas por su renta. La primera componente principal tiene, pues, en este caso, una explicación inmediata: redescubre la renta de cada provincia Cálculo del segundo componente Vamos a obtener el mejor plano de proyección de las variables X. Lo calcularemos estableciendo como función objetivo que la suma de las varianzas de z 1 = Xa 1 y z 2 = Xa 2 sea máxima, donde a 1 y a 2 son los vectores que definen el plano. La función objetivo será: φ = a 1Sa 1 + a 2Sa 2 λ 1 (a 1a 1 1) λ 2 (a 2a 2 1) (5.7) que incorpora las restricciones de que las direcciones deben de tener módulo unitario (a i a i) = 1, i = 1, 2. Derivando e igualando a cero: La solución de este sistema es: φ a 1 = 2Sa 1 2λ 1 a 1 = 0 φ a 2 = 2Sa 2 2λ 2 a 2 = 0 Sa 1 = λ 1 a 1, (5.8) Sa 2 = λ 2 a 2 (5.9)

9 5.3. Cálculo de los componentes 141 que indica que a 1 y a 2 deben ser vectores propios de S. Tomando los vectores propios de norma uno y sustituyendo en (5.7), se obtiene que, en el máximo, la función objetivo es φ = λ 1 + λ 2 (5.10) es claro que λ 1 y λ 2 deben ser los dos autovalores mayores de la matriz S y a 1 y a 2 sus correspondientes autovectores. Observemos que la covarianza entre z 1 y z 2, dada por a 1 S a 2 es cero ya que a 1 a 2 = 0, y las variables z 1 y z 2 estarán incorreladas. Puede demostrarse (véase el Ejercicio 5.7) que si en lugar de maximizar la suma de varianzas, que es la traza de la matriz de covarianzas de la proyección, se maximiza la varianza generalizada (el determinante de la matriz de covarianzas) se obtiene el mismo resultado. Ejemplo 5.3. El segundo componente principal para las variables de gastos de la EPF definidas en el Ejemplo 5.2 es el asociado al segundo valor propio mayor, que es 0,032. El vector propio asociado a este valor propio define la nueva variable: z 2 = 0.05x x x x x x x x x 9 = = (0.05x x x x x 9 ) (0.17x x x x 8 ) Esta variable es aproximadamente la diferencia entre dos medias ponderadas de los gastos. La primera, da sobre todo peso a otros gastos (x 9 ), y transporte (x 6 ). En otros gastos están incluidas las transferencias fuera de la provincia a miembros de la familia mayores de 14 años que no residan en ella, podemos conjeturar que esta variable separa las provincias que reciben transferencias de las que las envian. Es también significativo que estas provincias tienen altos gastos en transporte. La primera media ponderada puede considerarse un indicador de cómo esta provincia envía recursos a otras. La segunda media da mayor peso a las variables enseñanza y cultura (x 7 ) y gastos sanitarios (x 5 ). Figura 5.2. Proyección de los datos de la EPF sobre el plano definido por las dos primeras componentes principales.

10 142 Capítulo 5: Componentes principales Este segundo componente va a separar a provincias que envían recursos a otras (alto valor de x 9 ) y que tienen también altos gastos de transporte, respecto a las que transfieren relativamente poco y tienen altos gastos de educación y sanidad. Las provincias con valores más altos de este componente son Zamora, León, Lugo, Toledo, Huesca, Lérida, Segovia, Soria y Palencia. Estas provincias no han tenido tradicionalmente universidad, por lo que tienen que enviar los estudiantes fuera y tienen bajos costes de educación. Por el contrario, las provincias con valores bajos de este componente z 2 incluyen a Madrid y Barcelona, centros receptores netos de estudiantes de otras provincias, así como a Salamanca, Zaragoza y Tenerife. La Tabla 5.1 presenta la ordenación de las provincias según el primer y segundo componente. La Figura 5.2 representa cada provincia en el plano de las dos primeras componentes principales. Cada punto aparece representado por sus coordenadas respecto a los ejes definidos por las componentes principales y puede interpretarse como la proyección de los puntos, que están en un espacio de dimensión 9, tantos como variables, sobre el plano que mejor mantiene sus distancias relativas, que es el definido por las dos primeras componentes. Tabla 5.1. Ordenación de las provincias de la EPF, según los dos primeros componentes Comp. 1 Comp. 2 Navarra Zamora Madrid León Barcelona Lugo Lleida Toledo Vizcaya Huesca Gerona Murcia Baleares Navarra Tarragona Lérida Guipúzcoa Segovia Las Palmas Soria. Ciudad Real Cuenca Ávila Teruel Castellón Orense Zamora Badajoz Ceuta y Melilla Salamanca Jaén. Málaga Salamanca Cádiz Madrid Badajoz Jaén Ceuta y Melilla Zaragoza Huelva Tenerife Barcelona

11 5.3. Cálculo de los componentes Generalización Puede demostrarse análogamente que el espacio de dimensión r que mejor representa a los puntos viene definido por los vectores propios asociados a los r mayores valores propios de S. Estas direcciones se denominan direcciones principales de los datos y a las nuevas variables por ellas definidas componentes principales. En general, la matriz X (y por tanto la S) tiene rango p, existiendo entonces tantas componentes principales como variables que se obtendrán calculando los valores propios o raíces características, λ 1,..., λ p, de la matriz de varianzas y covarianzas de las variables, S, mediante: S λi = 0 (5.11) y sus vectores asociados son: (S λ i I)a i = 0. (5.12) Los términos λ i son reales, al ser la matriz S simétrica, y positivos, ya que S es definida positiva. Por ser S simétrica si λ j y λ h son dos raíces distintas sus vectores asociados son ortogonales. Si S fuese semidefinida positiva de rango r < p, lo que ocurriría si p r variables fuesen combinación lineal de las demás, habría solamente r raíces características positivas y el resto serían ceros. Llamando Z a la matriz cuyas columnas son los valores de los p componentes en los n individuos, estas nuevas variables están relacionadas con las originales mediante: Z = XA donde A A = I. Calcular los componentes principales equivale a aplicar una transformación ortogonal A a las variables X (ejes originales) para obtener unas nuevas variables Z incorreladas entre sí. Esta operación puede interpretarse como elegir unos nuevos ejes coordenados, que coincidan con los ejes naturales de los datos. Ejemplo 5.4. Los restantes valores propios de la matriz de covarianzas de los datos de la EPF son 0.027, , , , 0.010, , y A partir del tercero son muy pequeños. El tercer componente principal es z 3 = 0.12x x x x x x x x x 9 = = (0.12x x x x x x 8 ) (0.85x x 7 ) y puede de nuevo interpretarse como la diferencia entre dos medias ponderadas. La primera da sobre todo peso a las variables 3, vivienda, 8, turismo y ocio, 1, alimentación y 4, mobiliario doméstico. La segunda a la 5, gastos sanitarios, y a la 7, enseñanza y cultura. Separa provincias con bajos costes en sanidad y altos en vivienda y ocio de las que tengan la

12 144 Capítulo 5: Componentes principales estructura opuesta. La Figura 5.3 representa las observaciones proyectadas sobre el plano de las componentes primera y tercera. Se observa que la tercera dimensión es independiente de la primera (riqueza o renta) y separa provincias con altos gastos en sanidad, como Salamanca y Palencia, de otras con gastos relativamente bajos en esta magnitud y mayor en vivienda y ocio. Figura 5.3. Representación de los datos de la EPF em el plano definido por los componentes primero y tercero. Ejemplo 5.5. La Tabla 5.2 presenta la matriz de varianzas y covarianzas entre nueve indicadores económicos medidos en distintas empresas. Tabla 5.2. Matriz de varianzas covarianzas de los nueve indicadores x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x , Los valores propios de esta matriz se presentan en la Tabla 5.3. Su suma es , prácticamente igual, salvo por errores de redondeo, a la suma de las varianzas de las variables, que es Ya veremos que esta concordancia ocurre siempre. Los vectores propios de los

13 5.4. Propiedades de los componentes 145 tres primeros componentes se indican en la Tabla 5.4. Se observa que el primer componente principal es una media ponderada de las primeras seis variables. El segundo contrapone la primera, la segunda y la cuarta a la tercera y la sexta. El tercer componente contrapone las tres primeras al resto de las variables. Estos resultados son consistentes con la matriz de la Tabla 5.2. El rasgo más característico de esta tabla es la distinta magnitud de las seis primeras variables respecto al resto. Esto lo recoge el primer componente principal. El segundo rasgo es la presencia de covarianzas negativas en las filas de las dos primeras variables y esto se recoge en el segundo componente. El tercero incorpora por un lado las tres últimas variables y, por otro, contrapone las tres primeras variables frente al resto. Tabla 5.3. Autovalores de la matriz Tabla 5.2 Componente λ i Tabla 5.4. Vectores propios de la matriz Tabla 5.2 Componente x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x Propiedades de los componentes Los componentes principales son nuevas variables con las propiedades siguientes: 1. Conservan la variabilidad inicial: la suma de las varianzas de los componentes es igual a la suma de las varianzas de las variables originales, y la varianza generalizada de los componentes es igual a la original. Comprobemos el primer punto. Como V ar (z h ) = λ h y la suma de los valores propios es la traza de la matriz: tr(s) = V ar (x 1 ) V ar (x p ) = λ λ p por tanto, p V ar(x i) = λ i = p V ar(z i). Las nuevas variables z i tienen conjuntamente la misma variabilidad que las variables originales. Los componentes principales también conservan la Varianza generalizada, (determinante de la matriz de covarianzas de las variables). Como el determinante

14 146 Capítulo 5: Componentes principales es el producto de los valores propios, llamando S z a la matriz de covarianzas de los componentes, que es diagonal con términos λ i : S x = λ 1... λ p = Π p V ar(z i) = S z. 2. La proporción de variabilidad explicada por un componente es el cociente entre su varianza, el valor propio asociado al vector propio que lo define, y la suma de los valores propios de la matriz. En efecto, la varianza del componente h es λ h, y la suma de las varianzas de las variables originales es p λ i, igual, como acabamos de ver, a la suma de las varianzas de los componentes. La proporción de variabilidad total explicada por el componente h es λ h / λ i. 3. Las covarianzas entre cada componente principal y las variables X vienen dadas por el producto de las coordenadas del vector propio que define el componente por su valor propio: Cov(z i ; x 1,..., x p ) = λ i a i = (λ i a i1,..., λ i a ip ) donde a i es el vector de coeficientes de la componente z i. Para justificar este resultado, vamos a calcular la matriz p p de covarianzas entre los componentes y las variables originales. Esta matriz es: Cov(z, x) = 1 n Z X y su primera fila proporciona las covarianzas entre la primera componente y las p variables originales. Como Z = XA, sustituyendo Cov(z, x) = 1 n A X X = A S = DA, donde A contiene en columnas los vectores propios de S y D es la matriz diagonal de los valores propios. En consecuencia, la covarianza entre, por ejemplo, el primer componente principal y las p variables vendrá dada por la primera fila de A S, es decir a 1 S o también λ 1a 1, donde a 1 es el vector de coeficientes de la primera componente principal. 4. Las correlación entre un componente principal y una variable X es proporcional al coeficiente de esa variable en la definición del componente, y el coeficiente de proporcionalidad es el cociente entre la desviación típica del componente y la desviación típica de la variable. Para comprobarlo: Corr(z i ; x j ) = Cov(z i x j ) V ar(zi )V ar(x j ) = λ ia ij λ i s 2 j = a ij λi s j

15 5.4. Propiedades de los componentes Las r componentes principales (r < p) proporcionan la predicción lineal óptima con r variables del conjunto de variables X. Esta afirmación puede demostrarse de dos formas. La primera demostrando que la mejor predicción lineal con r variables de las variables originales se obtiene utilizando las r primeras componentes principales. La segunda demostrando que la mejor aproximación de la matriz de datos que puede construirse con una matriz de rango r se obtiene construyendo esta matriz con los valores de los r primeros componentes principales. La demostración de estas propiedades puede verse en el apéndice Si estandarizamos los componentes principales, dividiendo cada uno por su desviación típica, se obtiene la estandarización multivariante de los datos originales. Estandarizando los componentes Z por sus desviaciónes típicas, se obtienen las nuevas variables Y c = ZD 1/2 = XAD 1/2 donde D 1/2 es la matriz que contienen las inversas de las desviaciónes típicas de las componentes. Hemos visto en el capítulo anterior que la estandarización multivariante de una matriz de variables X de media cero se define como: Y s = XAD 1/2 A Tanto las variables Y c como las Y s tienen matriz de covarianzas identidad, pero unas pueden ser una rotación de las otras. Esto no altera sus propiedades, y la estandarización multivariante puede interpretarse como: (1) obtener los componentes principales; (2) estandarizarlos para que tengan todos la misma varianza. Esta relación se presenta gráficamente en la Figura 5.4. La transformación mediante componentes principales conduce a variables incorreladas pero con distinta varianza. Puede interpretarse como rotar los ejes de la elipse que definen los puntos para que coincidan con sus ejes naturales. La estandarización multivariane produce variables incorreladas con varianza unidad, lo que supone buscar los ejes naturales y luego estandarizarlos. En consecuencia, si estandarizamos los componentes se obtiene las variables estandarizadas de forma multivariante.

16 148 Capítulo 5: Componentes principales Figura 5.4. Representación gráfica de la relación entre componentes principales y estandarización multivariante Análisis normado o con correlaciones Los componentes principales se obtienen maximizando la varianza de la proyección. En términos de las variables originales esto supone maximizar: M = p p p a 2 i s 2 i + 2 a i a j s ij (5.13) j=i+1 con la restricción a a = 1. Si alguna de las variables, por ejemplo la primera, tiene una varianza s 2 1, mayor que las demás, la manera de aumentar M es hacer tan grande como podamos la coordenada a 1 asociada a esta variable. En el límite, si una variable tiene una varianza mucho mayor que las demás, el primer componente principal coincidirá muy aproximadamente con esta variable. Cuando las variables tienen unidades distintas esta propiedad no es conveniente: si disminuimos la escala de medida de una variable cualquiera, de manera que aumenten en magnitud sus valores numéricos (pasamos por ejemplo de medir en km a medir en metros), el peso de esa variable en el análisis aumentará, ya que en (5.13): (1) su varianza será mayor y aumentará su coeficiente en el componente, a 2 i, pues contribuye más a aumentar M; (2) sus covarianzas con todas las variables aumentarán, con el consiguiente efecto de incrementar a i. En resumen, cuando las escalas de medida de las variables son muy distintas, la maximización de (5.13) dependerá decisivamente de estas escalas de medida y las variables con valores más grandes tendrán más peso en el análisis. Si queremos evitar

17 5.5. Análisis normado o con correlaciones 149 este problema, conviene estandarizar las variables antes de calcular los componentes, de manera que las magnitudes de los valores numéricos de las variables X sean similares. La estandarización resuelve otro posible problema. Si las variabilidades de las X son muy distintas, las variables con mayor varianza van a influir más en la determinación de la primera componente. Este problema se evita al estandarizar las variables, ya que entonces las varianzas son la unidad, y las covarianzas son los coeficientes de correlación. La ecuación a maximizar se transforma en: p p M = a i a j r ij (5.14) j=i+1 siendo r ij el coeficiente de correlación lineal entre las variables i y j. En consecuencia, la solución depende de las correlaciones y no de las varianzas. Los componentes principales normados se obtienen calculando los vectores y valores propios de la matriz R, de coeficientes de correlación. Llamando λ R p a las raíces características de esa matriz, que suponemos no singular, se verifica que: p λ R i = traza(r) = p (5.15) Las propiedades de los componentes extraídos de R son: 1. La proporción de variación explicada por λ R p será: λ R p p (5.16) 2. Las correlaciones entre cada componente z j y las variables X originales vienen dados directamente por a j λj siendo z j = Xa j. Estas propiedades son consecuencia inmediata de los resultados de la Sección 5.4. Cuando las variables X originales están en distintas unidades conviene aplicar el análisis de la matriz de correlaciones o análisis normado. Cuando las variables tienen las mismas unidades, ambas alternativas son posibles. Si las diferencias entre las varianzas de las variables son informativas y queremos tenerlas en cuenta en el análisis, no debemos estandarizar las variables: por ejemplo, supongamos dos índices con la misma base pero uno fluctúa mucho y el otro es casi constante. Este hecho es informativo, y para tenerlo en cuenta no se deben estandarizar las variables, de manera que el índice de mayor variabilidad tenga más peso. Por el contrario, si las diferencias de variabilidad no son relevantes se eliminan con el análisis normado. En caso de duda, conviene realizar ambos análisis, y seleccionar aquél que conduzca a conclusiones más informativas.

18 150 Capítulo 5: Componentes principales Ejemplo 5.6. La matriz de correlación de los nueve indicadores económicos del Ejemplo 5.5 es R = Los valores propios son: λ i y los vectores propios asociados a los tres primeros valores propios son: Tabla 5.5. Vectores propios de la matriz de correlaciones λ x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x Si comparamos estos resultados con los del Ejemplo 5.5 vemos que el primer vector propio cambia apreciablemente. Con la matriz de varianzas las variables con más peso en el componente eran las que tenían una mayor varianza: la 2, luego la 3 y finalmente las 1, 4, 5 y 6 con un peso parecido. Estos pesos reproducen la relación relativa entre las varianzas de las variables. Sin embargo, al utilizar la matriz de correlaciones este efecto desaparece, y el peso de las variables está más relacionado con las correlaciones. La proporción de variabilidad explicada por el primer componente cambia mucho: de 878.5/ = 60.9 por 100 a 3.7/9 = = 41 por 100. El segundo componente cambia completamente: ahora está prácticamente asociado a las tres últimas variables. La proporción de variabilidad que explica ha aumentado considerablemente, del 196/ = 13.6 por 100 a 2.72/9 = 30 por 100. El tercer vector propio es también distinto en ambas matrices. Ejemplo 5.7. Consideremos los datos de INVEST publicaciones científicas en los países de la OCDE. Los datos tienen magnitudes muy distintas (unos bancos de datos tienen muchos más trabajos que otros). Si deseamos conservar esta propiedad, que está asociada a que en algunos campos científicos se publica mucho más que en otros, haremos el análisis sobre la matriz de covarianzas. Si no queremos dar más peso a unos campos que a otros, es conveniente realizar

19 5.5. Análisis normado o con correlaciones 151 el análisis normado o sobre la matriz de correlación. Los resultados en este último caso se indican en la Tabla 5.6. Se observa que el primer componente principal explica una proporción muy alta de la variabilidad, el 95.4 por 100. Con los tres primeros componentes se explica el 99.5 por 100 de la variabilidad. Además, después del tercer vector propio la variabilidad explicada disminuye claramente, (véase la Tabla 5.6 y la Figura 5.5 lo que indica que sólo debemos preocuparnos de los tres primeros componentes ya que los siguientes tienen poca capacidad explicativa. En la Tabla 5.7 se indican los valores de los componentes para estos tres vectores propios. Tabla 5.6. Variabilidad explicada por los componentes principales para los datos de INVEST en logaritmos Comp. λ h P h h P h Tabla 5.7. Vectores propios de los tres primeros componentes para los datos de INVEST en logaritmos Comp. 1 Comp. 2 Comp. 3 INTER.A INTER.F AGRIC BIOLO MEDIC QUÍMI INGEN FÍSICA Para interpretar los componentes consideramos sus coordenadas en las variables. Éstas se indican en la Tabla 5.7 y en la Figura 5.6. Se observa que el primer componente es un factor de tamaño, ya que es una media ponderada de todas las variables con mayor peso de los bancos interdisciplinarios y del banco médico. El segundo componente es un factor de forma y contrapone la investigación en Química e Ingeniería frente a la realizada en Agricultura y Biología. El tercero contrapone ingeniería, física y el banco intera con respecto a Biología y Química.

20 152 Capítulo 5: Componentes principales Figura 5.5. Gráfico para la selección del número de componentes. Datos de INVEST en logaritmos. Figura 5.6. Representación de los pesos de las dos componentes. Datos de INVEST en logaritmos Interpretación de los componentes Componentes de tamaño y forma Cuando existe una alta correlación positiva entre todas las variables, el primer componente principal tiene todas sus coordenadas del mismo signo y puede interpretarse como un promedio ponderado de todas las variables (véase el Ejercicio 5.2), o un factor global de tamaño. Los restantes componentes se interpretan como factores de forma y típicamente tienen coordenadas positivas y negativas, que implica que contraponen unos grupos de variables frente a otros. Estos factores de forma pueden frecuentemente escribirse como medias ponderadas de dos grupos de variables con distinto signo y contraponen las variables de un signo a las del otro. Por ejemplo,

21 5.6. Interpretación de los componentes 153 el segundo componente principal de los datos de la EPF del Ejercicio 5.3 puede escribirse aproximadamente, despreciando los coeficientes pequeños (menores que 0,1): donde z 2 = (0.05x x x x x 9 ) (0.17x x x x 8 ) I 0 I S I 0 = 0.16x x x 9 es un indicador de los gastos de transporte y transferencias a otras provincias y I S = 0.17x x x x 8 es un indicador de gastos en servicios (educación y sanidad). Además, cuando las variables van en logaritmos, los componentes suelen poder escribirse como ratios de promedios geométricos de las variables. Por ejemplo, supongamos que un componente tiene la expresión z 1 = 0.5 log x log x log x 3 este componente puede escribirse también como z 1 = 0.3 log x 2 x log x 3 x 1 que indica que es un promedio de estos dos ratios (véase el Ejemplo 5.1). La interpretación de los componentes se simplifica suponiendo que los coeficientes pequeños son cero y redondeando los coeficientes grandes para expresar el componente como cocientes, diferencias o sumas entre variables. Estas aproximaciones son razonables si modifican poco la estructura del componente y mejoran su interpretación. Una medida del cambio introducido al modificar un vector propio de a i a a im es el cambio en la proporción de variabilidad explicada por el componente. Si el valor propio asociado a a i es λ i, el componente explica el λ i / λ j de la variabilidad. Si ahora modificamos el vector a a im, la varianza de la proyección de los datos sobre este componente es λ im = a im Sa im = ( Xa im ) ( Xa im )/n, la varianza del componente, y la proporción de variabilidad explicada será λ im / λ j. El cambio relativo será (λ i λ im )/λ i, ya que siempre λ i λ im, y si este cambio es pequeño, está justificada la modificación si favorece la interpretación. Ejemplo 5.8. Vamos a calcular el cambio relativo que experimenta el segundo componente principal de los datos de la EPF si despreciamos los coeficientes más pequeños. La varianza del segundo componente modificado es La varianza del componente original es , por lo que el cambio de explicación por tomar el coeficiente simplificado es sólo de ( )/ = 1/320 =

22 154 Capítulo 5: Componentes principales Ejemplo 5.9. Supongamos 6 observaciones x 1,..., x 6 en dos dimensiones, cada observación corresponde a un rectángulo y las variables son longitud de la base y altura del rectángulo. Gráficamente las observaciones son, que corresponden a la matriz de datos, X = aplicamos logaritmos a estos datos para facilitar la interpretación de las componentes, log(x) = cuya matriz de varianzas covarianzas es, [ ] S = Los autovalores y autovectores de la descomposición espectral de esta matriz son, las dos primeras componentes son λ 1 = 0.78 λ 2 = [ ] [ a 1 = a = Z 1 = Xa 1 = log(x 1 ) log(x 2 ) = log(x 1 X 2 ) = Z 2 = Xa 2 = log(x 1 ) log(x 2 ) = log( X 1 X 2 ) = ]

23 5.6. Interpretación de los componentes 155 Si ordenamos los rectángulos según el valor de la primera y segunda componente obtenemos, La primera ordenación coincide con la inducida por el volumen de los rectángulos, es una transformación creciente del producto de la base por la altura, y el primer componente describe el tamaño. El segundo componente relaciona la base con la altura y ordena las observaciones en función de su forma Selección del número de componentes Se han sugerido distintas reglas para seleccionar el número de componentes: 1. Realizar un gráfico de λ i frente a i. Comenzar seleccionando componentes hasta que los restantes tengan aproximadamente el mismo valor de λ i. La idea es buscar un codo en el gráfico, es decir, un punto a partir del cual los valores propios son aproximadamente iguales. El criterio es quedarse con un número de componentes que excluya los asociados a valores pequeños y aproximadamente del mismo tamaño. 2. Seleccionar componentes hasta cubrir una proporción determinada de varianza, como el 80 o el 90 por 100. Esta regla es arbitraria y debe aplicarse con cierto cuidado. Por ejemplo, es posible que un único componente de tamaño recoja el 90 por 100 de la variabilidad y, sin embargo, pueden existir otros componentes que sean muy adecuados para explicar la forma de las variables. 3. Desechar aquellos componentes asociados a valores propios inferiores a una cota, que suele fijarse como la varianza media, λ i /p. En particular, cuando se trabaja con la matriz de correlación, el valor medio de los componentes es 1, y esta regla lleva a seleccionar los valores propios mayores que la unidad. De nuevo esta regla es arbitraria: una variable que sea independiente del resto suele llevarse un componente principal (véase Ejercicio 5.8) y puede tener un valor propio mayor que la unidad. Sin embargo, si está incorrelada con el resto puede ser una variable poco relevante para el análisis, y no aportar mucho a la comprensión del fenómeno global.

24 156 Capítulo 5: Componentes principales Representación gráfica La interpretación de los componentes principales se favorece representando las proyecciones de las observaciones sobre un espacio de dimensión dos, definido por parejas de los componentes principales más importantes. Este punto se ha ilustrado en los ejemplos anteriores, donde se ha indicado que la proyección de cualquier observación sobre un componente es directamente el valor del componente para esa observación. La representación habitual es tomar dos ejes ortogonales que representen los dos componentes considerados, y situar cada punto sobre ese plano por sus coordenadas con relación a estos ejes, que son los valores de los dos componentes para esa observación. Por ejemplo, en el plano de los dos primeros componentes, las coordenadas del punto x i son z 1i = a 1 x i y z 2i = a 2 x i. La interpretación se favorece representando en el mismo plano, además de las observaciones, las variables originales. Esto puede hacerse utilizando como coordenadas su coeficiente de correlación con cada uno de los ejes. El vector de correlaciones entre el primer componente y las variables originales viene dado por λ 1/2 1 a 1D, donde D es una matriz diagonal cuyos términos son las inversas de las desviaciones típicas de cada variable. La matriz de correlaciones R cv entre los p componentes y las p variables tendrá como filas los términos λ 1/2 j a jd y puede escribirse R cv = Λ 1/2 AD donde A es la matriz de vectores propios, Λ 1/2 es la matriz diagonal con términos λ i y en el análisis normado como las variables se estandarizan a varianza unidad las correlaciones será simplemente Λ 1/2 A. Una representación equivalente es el biplot que presentamos en la sección siguiente. Tiene la ventaja de representar las variables y las observaciones en un mismo gráfico. Conviene investigar si transformando las variables se obtiene una interpretación más simple. Como regla general, cuando al tomar logaritmos las variables X tienen una distribución aproximadamente simétrica, conviene realizar el análisis de componentes principales sobre los logaritmos de las variables. Es importante recordar que las covarianzas (o correlaciones) miden únicamente las relaciones lineales entre las variables. Cuando entre ellas existan relaciones fuertes no lineales el análisis de componentes principales puede dar una información muy parcial de las variables. Ejemplo La Figura 5.7 presenta la proyección de los datos de INVEST, los países de la OCDE, sobre el plano formado por los dos primeros componentes principales extraídos de la matriz de correlación, que se estudiaron en el Ejemplo 5.6. Se observa que el primer eje ordena a los países por su cantidad de investigación, mientras que el segundo tiene en cuenta sus características: separa a Japón (JP), con gran énfasis en investigación tecnológica, del Reino Unido (UK), que tiene más énfasis en la investigación biomédica.

25 5.6. Interpretación de los componentes 157 Como indicamos en el Capítulo 4 la observación de Estados Unidos es atípica y existe una marcada asimetría en las distribuciones de las variables. Vamos a presentar los datos excluyendo a Estados Unidos y con una transformación logarítmica de las variables para reducir la asimetría. La Figura 5.8 muestra el nuevo diagrama de cajas múltiple. Como la varianza de las nuevas variables transformadas es similar, el análisis de componentes principales se realizará directamente sobre la matriz de varianzas covarianzas. Los resultados obtenidos figuran en las Tablas 5.8 y 5.9. Figura 5.7. Proyección de las observaciones en las dos primeras componentes principales. Los tres primeros componentes explican el 97 por 100 de la variabilidad y tienen la siguiente interpretación. El primero, es una media ponderada de todos los bancos con mayor peso del banco químico. El segundo, contrapone la investigación en Química frente a la general del banco INTER.F y a la de ingeniería y física. El tercero contrapone el banco INTER.F y Química al resto. Los países proyectados en estos tres componentes se presentan en la Figura 5.9. Se ha añadido también la proyección sobre el cuarto componente, que separa completamente al Reino Unido de Japón (véase Tabla 5.9). Figura 5.8. Diagrama de cajas de los logaritmos de las variables de INVEST una vez eliminado Estados Unidos.

26 158 Capítulo 5: Componentes principales Tabla 5.8. Variabilidad explicada por los componentes principales λ h P h h P h Comp Comp Comp Comp Comp Comp Comp Comp Tabla 5.9. Pesos de las tres primeras componentes principales para los datos de INVEST Comp. 1 Comp. 2 Comp. 3 INTER.A INTER.F AGRIC BIOLO MEDIC QUÍMI INGEN FÍSICA Figura 5.9. Representación de las observaciones de INVEST en los planos definidos por las cuatro primeras componentes.

27 5.6. Interpretación de los componentes Datos atípicos Antes de obtener los componentes principales conviene asegurarse de que no existen datos atípicos, ya que, como hemos visto en el capítulo anterior, los atípicos pueden distorsionar totalmente la matriz de covarianzas. Para ilustrar su efecto sobre los componentes, supongamos el caso más simple en que un error de medida introduce un valor atípico grande en la primera variable. Su efecto será aumentar mucho la varianza de esta variable y disminuir las covarianzas con las restantes, con lo que, si hacemos el atípico muy grande, la matriz S será, aproximadamente: [ σ S 22 ] donde 0 = (0, 0,..., 0). Esta matriz tiene un vector propio (1, 0,..., 0) unido al valor propio σ 2 1 y, si σ 2 1 es muy grande, éste será el primer componente principal. Por tanto, un valor atípico suficientemente grande distorsiona todos los componentes que podemos obtener de la matriz afectada (véase el Ejemplo 5.10). El resultado anterior sugiere que las componentes principales podrían utilizarse para detectar datos atípicos multivariantes, ya que un valor muy extremo se llevará un componente principal y aparecerá como extremo sobre esta componente. Desgraciadamente, aunque los componentes pueden identificar atípicos aislados, no hay garantía de que funcionen cuando existen grupos de atípicos, debido al problema de enmascaramiento. Por esta razón, conviene utilizar para detectarlos el método presentado en el capítulo anterior, basado en proyecciones sobre las direcciones extremas de kurtosis, que al ser capaz de identificar todos los posibles atípicos permite calcular la matriz de covarianzas libre de distorsiones graves Distribución de los componentes Los componentes principales pueden verse como un conjunto nuevo de variables y estudiar su distribución individual y conjunta. Por construcción estarán incorrelados, pero pueden existir relaciones no lineales entre ellos. Ejemplo Vamos a calcular los componentes principales de la matriz de correlación de las 27 medidas físicas, MEDIFIS. Aunque todas las variables van en centímetros, los tamaños de las variables son muy distintos, lo que aconseja utilizar la matriz de correlación. La proporción de varianza que explica cada vector propio se indica en la Tabla Para decidir cuántos componentes tomar utilizaremos la Figura 5.10 que indica que a partir del tercer componente hay una caída en la capacidad predictiva. Los tres primeros componentes explican conjuntamente el 93.5 por 100 de la variabilidad. Tabla Variabilidad explicada por las componentes para los datos de Medifis λ h P h %