Introducción al Data Mining Clase 9. Cluster Analysis con proyecciones

Transcripción

1 Introducción al Data Mining Clase 9 Cluster Analysis con proyecciones Ricardo Fraiman Centro de Matemática, Udelar y Universidad de San Andrés, Argentina

2 Proyecciones aleatorias y clustering. Biau et al

3 En la práctica, trabajar con problemas en espacios de dimensión muy grande o de dimensión infinita puede requerir de alguna técnica de reducción de la dimensión. Una forma habitual de reducir la dimensión es proyectando las observaciones en subespacios de menor dimensión que capturen tanto como sea posible la variación de los datos. Para este objetivo lo más habitual es utilizar componentes principales. Lamentablemente este método es computacionalmente caro, y sin garantía de que las distancias entre los datos originales y los proyectados se preserven... 2

4 Con el método de proyecciones aleatorias, los datos originales (de dimensión muy alta) se proyectan en subespacios de dimensión mucho menor usando una matriz aleatoria adecuadamente reescalada con entradas independientes y normales!!. La idea clave de las proyecciones aleatorias vienen del Lemma de Johnson Lindenstrauss (1984), que afirma que cualquier conjunto de n puntos en un espacio Euclideano pueden ser sumergido en un espacio Euclideano de dimensión mucho menor O( logn ɛ 2 ) sin distorcionar las distancias entre cualquier par de puntos por más de un factor de 1 ± ɛ, para cualquier 0 < ɛ < 1. 3

5 La demostración original de Johnson and Lindenstrauss fué simplificada por Frank y Maehara (1988, 1990) y luego trabajada usando técnicas probabiĺısticas por Dasgupta y Gupta (2003). La extensión a espacios de Hilbert se debe a Biau et al (2008) que describiremos a continuación. Algunas aplicaciones más recientes de este Lema se encuentran en Linial, London y Rabinovich (1995), Kleinberg (1997)y Indyk y Motwani (1998). 4

6 The random projection method. Caso de dimensión finita Sea H = R p. Sean {X i E( X 1 2 ) <. i 1} vectores aleatorios iid en H con Cada dato X i, 1 i n es un vector vector X i = (X (1) i, X (2) i,..., X (p) i ) R p. La base aleatoria sobre la que proyectamos Sea s < p un entero positivo, y {N j = (N (1) j,..., N (p) j ) j 1} vectores independientes, cuyas coordenadas son variables aleatorias normales independientes con varianza 1/s. O sea N j j 1 son normales multivariadas con media 0 y matriz de covarianza 1 s Id. 5

7 Definimos X i,j = p l=1 N (l) j X (l) i = N j, X i, j = 1,..., s, y los vectores proyectados sobre R s, X i = (X i,1,..., X i,s ) i = 1,... n. Si denotamos E N a la esperanza tomada con respecto a las variables normales (condicional a X 1,..., X n ), E N Xi,j 2 = X i 2. s El vector X i = (X i,1,..., X i,s ) R s es entonces una proyección aleatoria de X i sobre un subespacio s dimensional. 6

8 Claramente, para X i fijos, cada componente X i,j es una variable aleatoria normal con media 0 y varianza X i 2 /s. Por tanto E N ( X i 2 ) = X i 2, y (con X i fijas), s X i 2 2 tiene una distribución χ 2 con s grados de libertad. X i

9 Similarmente, para cada i i {1,..., n}, E N ( X i X i 2 ) = X i X i 2 y s X i X i 2 X i X i 2, tiene una distribución χ 2 con s grados de libertad. Ahora usando una cota de Chernoff para la distribución χ 2 cuadrado tenemos que ( Xi X P i 2 ) N X i X i 2 1 > ɛ y en forma similar tenemos que, P N ( Xi X i 2 X i X i 2 1 > ɛ ) e s 2 ( ɛ+ln(1+ɛ)), e s 2 ( ɛ+ln(1 ɛ)). 7

10 Como consecuencia tenemos el siguiente Teorema. Teorema (Johnson Lindenstrauss Lemma): Sea H = R p. Para cualquier ɛ, δ (0, 1) y cualquier entero positivo n, sea s un entero positivo tal que ln(n/ δ) s 4 (ɛ 2 2 ɛ 3 /3). Definamos la aplicación lineal f : H R s como la proyección aleatoria descrita antes. Entonces para cualquier conjunto D de n puntos en H, con probabilidad al menos 1 δ, para todo (u, v) D D, (1 ɛ) u v 2 f(u) f(v) 2 (1 + ɛ) u v 2. 8

11 Por tanto, las proyecciones aleatorias preservan aproximadamente las distancias de a pares en el conjunto de datos dado, y por tanto están particularmente bien diseñadas para los objetivos de cualquier procedimiento basado en distancias. En particular, podemos aplicarlo a k medias. 9

12 El algoritmo aplicado a k-medias Sea s = cealing(4 ln(n/ δ) (ɛ 2 2 ɛ 3 /3) ) y sean X 1,..., X n R s las proyecciones al azar de los datos originales X 1,..., X n. Consideremos el siguiente algoritmo para k medias. Determinemos una colección h n = (h n1,..., h nk ) (R s ) k de centros de clusters que minimicen el riesgo empírico de clustering en R s basados en los datos proyectados X 1,..., X n R s, y sean S n1,..., S nk R s las celdas de Voronoi asociadas a ellos. (O sea resolvamos el problema de k medias con los datos proyectados). 10

13 Definamos los centros de los clusters en el espacio original H = R p por ĥ nj = ni=1 X i I {Xi S nj }, j = 1,..., k, ni=1 I {Xi S nj } y denotemos por ĥn a la colección de estos k centros.

14 Los nuevos centros de los clusters - ahora en R p determinan via sus celdas de Voronoi asociadas una partición de H = R p en k celdas. El siguiente resultado asegura que reemplazar los centros óptimos empíricos h n por estos últimos (así definidos) ĥn no nos hace perder mucho. Teorema. Fijemos una muestra D = {X 1,..., X n }. Para cada ɛ, δ (0, 1), sean el entero positivo s y las proyecciones aleatorias como en el Teorema anterior. Entonces, con probabilidad al menos 1 δ I K (P n, ĥn) 1 + ɛ 1 ɛ I K(P n, h n ), donde I K es la función objetivo para k medias. La demostración se encuentra en Biau, Devroye and Lugosi (2008). 11

15 Para estudiantes de Ingeniería Matemática Extensión al caso de espacios de Hilbert 12

16 The random projection method. Let H be a separable Hilbert space. Then we may identify it with the space l 2 of all sequences x = (x α ) α 1 such that α=1 x 2 α <. Let {X i i 1} iid random elements in H with E( X 1 2 ) <. Each data point X i, 1 i n is now represented by a vector X i = (X (1) i, X (2) i,...) l 2. Let s be a positive integer, and {N j j = 1,... s} independent sequences, of independent centered normal random variables with variance 1/s, N j = (N (α) ) α 1 (not in l 2 ). 13

17 For each D 1, set X D i,j = D α=1 N (α) j X (α) i, j = 1,..., s, and X D i = (Xi,1 D,..., XD i,s ) i = 1,... n. Conditioned to X 1,..., X n, for fixed i and j, the sequence (X D i,j ) D 1 is a sum of independent centered random variables, and therefore it is a martingale. Moreover, denoting by E N expectation taken with respect to the normal random variables (conditioned to X 1,..., X n ), E N ( X D ij ) 2 = D α=1 (X (α) i ) 2 s X i 2. s 14

18 Thus, the sequence (Xi,j D ) D 1 is a martingale bounded in L 2, consequently, it converges almost surely and in L 2 to some random variable X i,j. Moreover, there exists a random variable Z i,j in L 2 such that X i,j Z i,j. It follows by dominated convergence that ĺım E N (Xi,j D D )2 = E N Xi,j 2 = X i 2. s The vector X i = (X i,1,..., X i,s ) R s may be regarded as a random projection of X i to an s dimensional subspace. Clearly, for fixed X i, each component X i,j is a normal random variable with mean 0 and variance X i 2 /s. Therefore E N ( X i 2 ) = X i 2, and (with X i fixed), s X i 2 X i 2 has a χ2 distribution with s degrees of freedom. 15

19 Similarly, for any i i {1,..., n}, E N ( X i X i 2 ) = X i X i 2 and s X i X i 2 X i X i 2, has a χ 2 distribution with s degrees of freedom. Now by a Chernoff bound for the χ 2 distribution we have and, similarly P N ( Xi X i 2 X i X i 2 1 > ɛ P N ( Xi X i 2 X i X i 2 1 > ɛ ) ) e s 2 ( ɛ+ln(1+ɛ)), e s 2 ( ɛ+ln(1 ɛ)). 16

20 By the union bound, the following Theorem holds. Theorem (Johnson Lindenstrauss Lemma): Let H be a separable Hilbert space. For any ɛ, δ (0, 1) and any positive integer n, let s be a positive integer such that ln(n/ δ) s 4 (ɛ 2 2 ɛ 3 /3). Define a linar map f : H R s as a random projection described above. Then for any set D of n points in H, with probability at least 1 δ, for all (u, v) D D, (1 ɛ) u v 2 f(u) f(v) 2 (1 + ɛ) u v 2. Thus, random projections approximately preserve pairwise distances in the data set, and therefore are particularly well suited for the purposes of k means clustering. 17

21 The algorithm Let s = cealing(4 ln(n/ δ) (ɛ 2 2 ɛ 3 /3) ) and let X 1,..., X n R s be the randomly projected data points X 1,..., X n. Consider the following algorithm. Determine a collection h n = (h n1,..., h nk ) (R s ) k of cluster centers which minimizes the empirical clustering risk in R s based on the projected data X 1,..., X n R s, and let S n1,..., S nk R s be the associated Voronoi cells. Define the cluster centers in H by ĥ nj = ni=1 X i I {Xi S nj }, j = 1,..., k, ni=1 I {Xi S nj } and denote by ĥn the collection of these k centers. 18

22 The cluster centers then determine the associated Voronoi partition of H into k cells. The following result ensures that replacing the empirically optimal cluster centers h n by ĥn does not harm too much. Theorem. Fix a sample D = {X 1,..., X n }. For any ɛ, δ (0, 1), let the positive integer s and the random projection be as in the previous Theorem. Then, with probability at least 1 δ I K (P n, ĥn) 1 + ɛ 1 ɛ I K(P n, h n ). The proof can be found in Biau, Devroye and Lugosi (2008). 19

23 Corollary. Assume that P P(R) and let ɛ (0, 1/2) and δ (0, 1). Define s as before and consider the clustering centers ĥn found by the clustering algorithm based on random projections. Then for any x > 0, with probability at least 1 e x (with respect to the random sample), with probability at least 1 δ (with respect to the random projections) I K (P n, ĥn) I K (P ) 24kR2 + 12R 2 2x n + 4ɛR 2. This corollary shows a tradeoff between performance and computational complexity. If one projects onto a space of dimension O(ln(n)/ɛ 2 ), the price to pay is an excess clustering risk of the order of ɛ. 20

24 With other dimension reduction techniques no such bounds can be proven. Consider, for example, a commonly used dimension reduction technique that simply keeps the first m n components of X (in an orthonormal representation of X ), where m n is some pre specified positive integer,growing with the sample size. Then it is easy to see that, even though almost sure convergence of the clustering risk to the optimum may be achieved, convergence may be arbitrarily slow. Another popular dimension reduction technique is based on principal component analysis. Unfortunately, clustering procedures based on a principal component analysis may significantly deteriorate the clustering performance. 21

25 Example 1. Assume that X takes its values in l 2. Let k = 1 and suppose that P is concentrated on just one point h = (h 1, h 2,..., ), where the h α s 0 with α=1 h α 2 <. The optimal cluster center is clearly h, but by truncating at the first m n components the best one can do is to take h = (h 1,..., h mn, 0, 0,...), giving a clustering risk equal to α>m n h 2 α. No matter how fast m n grows, the clustering risk may converge to zero at an arbitrarily slow rate. 22

26 Example 2. Let ɛ > 0 and assume that X is uniformly distributed on the four points ( 1 ɛ, 0), (1 + ɛ, 0), (0, 1), (0, 1). Then for k = 2, an optimal clustering rule groups ( 1 ɛ, 0) with (0, 1) and (1 + ɛ, 0) with (0, 1), giving a mean squared error converging to 1/2 as ɛ 0. At the same time, the principal component of the distribution is the x axis, so projecting on the first component collapses the points (0, 1) and (0, 1). Thus, any algorithm based on this projection needs to group, say ( 1 ɛ, 0), (0, 1), (0, 1) in one cluster, leaving (1 + ɛ, 0) for the other. The mean squared error of the best such rule converges to 2/3 as ɛ 0, thus giving a strictly increased clustering risk if ɛ is sufficiently small. 23