Análisis de Componentes Principales (PCA) Jesús González y Eduardo Morales

Transcripción

1 Análisis de Componentes Principales (PCA) Jesús González y Eduardo Morales

2 Introducción a PCA 2 PCA à herramienta estándar en análisis de datos Simple No paramétrico Extrae información relevante a partir de conjuntos de datos confusos Provee forma de reducir un conjunto de datos complejo a otro con dimensión menor n Revela estructuras simplificadas (algunas veces ocultas) Relación PCA SVD Aplicación en n Aprendizaje Computacional n Reducción de la Dimensionalidad

3 Ejemplo 3 camera A camera B camera C FIG. 1 A toy example. The position of a ball attached to an oscillating spring is recorded using three cameras A, B and C. The position of the ball tracked by each camera is depicted in each panel below.

4 PCA 4 Cómo representamos el conjunto de datos con una ecuación simple? Ademas, tenemos que trabajar con datos con ruido

5 Cambio de Bases 5 Meta en PCA Identificar las bases más significativas para reexpresar el conjunto de datos Esperamos que la nueva base n Filtre el ruido n Revele la estructura oculta

6 Base Naive 6 Representamos cada muestra de nuestro conjunto de datos Las coordenadas observadas en cada cámara n Obtenemos la posición de la bola por 10 minutos a 120 Hz. n 10 x 60 x 120 = 72,000 muestras (vectores) n X es un espacio vectoral m-dimensional generado por una base ortonormal 2 ~X = 6 4 x A y A x B y B x C y C ntributes a 2-dim

7 Base Naive 7 Si vemos solo la cámara A Cuál es una base ortonormal para (X A, Y A )? Una elección naive sería {(1,0), (0,1)} n Refleja el método con el que se obtuvieron los datos Hay otras opciones {(sqrt(2)/2) (sqrt(2)/2), (-sqrt(2)/2) (-sqrt(2)/2)} u otra rotación

8 Base Naive 8 Cómo representamos la base naive en álgebra lineal? Cada renglón es un vector base ortonormal b i con m componentes b b 2 B = = = I b m

9 Cambio de Base 9 Pregunta de PCA Hay otra base, una combinación lineal de las bases originales, que mejor exprese el conjunto de datos? Linearidad à simplifica el problema n Restringe el conjunto de bases potenciales

10 Cambio de Base 10 Sea X, el conjunto de datos original n Cada columna es una muestra independiente n En el ejemplo, X es una matrix de m x n n m = 6 n n = 72,000 Y, otra matriz de m x n, relacionada por una transformación lineal P n Y es una nueva representación de los datos originales PX = Y

11 Cambio de Base 11 Definamos las siguientes cantidades: p i son los renglones de P x i son las columnas de X (o muestras individuales) yi son las columnas de Y

12 Cambio de Base 12 La ecuación representa un cambio de base y puede tener muchas interpretaciones P es una matriz que transforma X en Y Geométricamente, P es una rotación y estiración, la cual transforma X en Y Los renglones de P {p 1,, p m } son un nuevo conjunto de vectores base para expresar las columnas de X

13 Cambio de Base Tenemos los producto punto de 6 4 PX y la forma de las columnas de Y 2 PX = Y = p 1.. p m 3 PX 7 5 x 1 x n 2 3 p 1 x 1 p 1 x n p m x 1 p m x n y i = p 1 x i.. p m x i

14 Preguntas Restantes 14 Los vectores renglón {p 1,.., p m } en esta transformación serán los componentes principales de X Cuál es la mejor manera de re-expresar X? Cuál es una buena elección de base P? Estas preguntas se responden al preguntarnos Qué carácterísticas nos gustaría que tuviera Y?

15 Varianza y la Meta 15 La pregunta más importante Qué expresa la media de los datos lo mejor posible?

16 Ruido y Rotación 16 No existe una escala absoluta para el ruido Sin embargo, se puede cuantificar relativo a la fuerza de la señal Medida común: signal-to-noise ratio (SNR), o un radio de varianzas σ 2 n SNR (>>1) indica una medición altamente precisa n SNR baja, indica datos con mucho ruido SNR = s2 signal s 2 noise.

17 Ruido y Rotación 17 En el ejemplo Cualquier desviación de la línea recta del movimiento de la pelota es ruido Si consideramos razonablemente buenas mediciones Podemos asumir (cuantitativamente) n Las direcciones con las varianzas más altas en nuestro espacio de mediciones contiene la dinámica de interés La dirección con la varianza más alta no es X^ = (1, 0), ni Y^ = (0, 1); sino la dirección a lo largo del eje de la nube.

18 Ruido y Rotación 18 y σ 2 noise σ 2 signal x FIG. 2 Simulated data of (x,y) for camera A. The signal and noise variances s 2 signal and s 2 noise are graphically represented by the two lines subtending the cloud of data. Note that the largest direction of variance does not lie along the basis of the recording (x A,y A ) but rather along the best-fit line.

19 Ruido y Rotación 19 Maximizar la varianza y por asunción la SNR Corresponde a encontrar la rotación apropiada de la base naive Encontrar la dirección indicada por la línea σ 2 SIGNAL figura de la En 2 dimensiones, la dirección de mayor varianza corresponde a la línea de mejor ajuste para la nube de datos Rotamos la base naive para que sea paralela a la línea de mejor ajuste Revelará la dirección del movimiento del resorte y la pelota

20 Redundancia 20 Un factor más para confundirnos en el análisis es la redundancia En el ejemplo tenemos redundancia porque Múltiples sensores graban la información de la misma dinámica Era necesario grabar dos variables? n Medidas altamente correlacionadas n Si las cámaras A y B están muy cerca n Si una medida se toma en metros y la otra en pulgadas n En algunos casos una sola medida es suficiente n Podemos calcular r 1 a partir de r 2

21 Redundancia 21 r 2 r 2 r 2 r 1 low redundancy r 1 r 1 high redundancy FIG. 3 A spectrum of possible redundancies in data from the two separate measurements r 1 and r 2. The two measurements on the left are uncorrelated because one can not predict one from the other. Conversely, the two measurements on the right are highly correlated indicating highly redundant measurements.

22 Matriz de Covarianza 22 En 2 dimensiones es fácil identificar casos redundantes Encontrar la pendiente con mejor ajuste y verificando la calidad del ajuste Cómo cuantificamos y generalizamos estas nociones a dimensiones más altas? Conjuntos de medidas con media cero n A = {a 1, a 2,, a n }, B = {b 1, b 2,, b n } n El sub-script denota el número de muestra

23 Matriz de Covarianza 23 Varianzas individuales de A y B s 2 A = 1 n  i a 2 i, s 2 B = 1 n  i b 2 i Covarianza entre A y B covariance o f A and B s 2 AB = 1 n  i a i b i La covarianza entre 2 variables mide el grado de la relación lineal entre ellas

24 Matriz de Covarianza 24 Valor positivo grande Datos positivamente correlacionados Valor negativo grande Datos negativamente correlacionados La magnitud absoluta de la covarianza mide el grado de redundancia Cero sí y solo si A y B no están correlacionados s 2 AB = s2 A if A = B.

25 Matriz de Covarianza 25 Podemos convertir A y B a sus correspondientes vectores renglón a = [a 1 a 2... a n ] b = [b 1 b 2... b n ] Covarianza como producto de matrices s 2 ab 1 n abt

26 Matriz de Covarianza 26 Generalizando de 2 vectores a un número arbitrario Renombramos a y b a x 1 y x 2 y vectores renglón adicionales x 3, x m Definimos una nueva matriz X de m x n. X = x 1.. x m 3 7 5

27 27 Matriz de Covarianza Interpretación de X 6 4 Cada renglón de X corresponde a todas las medidas de un tipo en particular Cada columna de X corresponde a un conjunto de medidas de un ejemplo en particular Ahora definimos la matriz de covarianza C X. 7 5 C X 1 n XXT. n El elemento ij de C X es el producto punto entre el vector del tipo de medida i con el vector del tipo de medida j

28 Matriz de Covarianza 28 Propiedades de C X C X es una matriz de m x m cuadrada simétrica Los términos de la diagonal de C X son la varianza de tipos particulares de medidas Los valores fuera de la diagonal de C X son la covarianza entre tipos de medidas

29 Matriz de Covarianza 29 Los valores de covarianza reflejan el ruido y redundancia en nuestras medidas En la diagonal: valores grandes corresponden a estructura interesante Fuera de la diagonal: valores con magnitudes altas corresponden a alta redundancia

30 Matriz de Covarianza 30 Suponiendo que tenemos la opción de manipular C X Definir la matriz de covarianza manipulada C Y Qué carácterísticas queremos optimizar en C Y?

31 Matriz de Covarianza Diagonalizada 31 Queremos Minimizar redundancia medida por la magnitud de la covarianza Maximizar la señal, medida por la varianza Cómo debería verse la matriz de covarianza optimizada C Y? n Los términos en C Y fuera de la diagonal deben ser cero n C Y debe ser una matriz diagonal, ó Y está descorrelacionada n Cada dimensión sucesiva en Y debe estar ordenada (ranked) de acuerdo a la varianza

32 Matriz de Covarianza Diagonalizada 32 Hay varios métodos para diagonalizar C Y PCA utiliza el método más sencillo Asume que todos los vectores base {p 1,, p m } son ortonormales n P es una matriz ortonormal Veamos como trabaja PCA P es la matriz generalizada de rotación para alinear una base con los ejes de máxima varianza El conjunto ordenado que resulta de p s son los componentes principales.

33 Resumen de Suposiciones 33 Linearidad Alta varianza, tiene estructura importante Los componentes principales son ortogonales

34 PCA 34

35 PCA 35

36 PCA 36