Introducción al Data Mining Clases 5. Cluster Analysis. Ricardo Fraiman Centro de Matemática, Udelar y Universidad de San Andrés, Argentina

Transcripción

1 Introducción al Data Mining Clases 5 Cluster Analysis Ricardo Fraiman Centro de Matemática, Udelar y Universidad de San Andrés, Argentina

2 Cluster Análisis 1

3 El término cluster analysis (usado por primera vez por Tryon, 1939) se refiere a diferentes métodos para agrupar objetos de tipo similar en categorías. Es una técnica de análisis exploratorio que intenta ordenar diferentes objetos en grupos, de forma que el grado de asociación entre dos objetos sea máximo si pertenecen al mismo grupo Cluster analysis se usa para encontrar estructuras en los datos sin proveer una explicación/interpretación. Cluster analysis simplemente descubre estructuras en los datos sin explicar porqué existen. 2

4 Ejemplos de problemas 3

5 (a) Motivación y planteo del problema. (b) Dos caminos. (c) k-medias. Versión poblacional. (d) k-medias. Versión empírica. (e) k-medias recortadas. (NO) (f) Caso infinito dimensional (NO) 4

6 (g) Cluster jerárquico. Versión poblacional (h) Cluster jerárquico. Versión empírica (i) Ejemplos y aplicaciones. * WSE

7 Qué problema queremos resolver? Dado un conjunto de vectores X 1,..., X n queremos formar con ellos K grupos homogeneos que sean distintos entre ellos... Está bien formulado el problema? Quién es K? Qué quiere decir homogeneos que sean distintos entre ellos...? Los métodos propuestos están asociados a distintas respuestas a esta pregunta. (Cuál es la versión poblacional de lo que queremos hacer??) 5

8 Si bien el problema es similar al de clasificación, en nuestro caso no tenemos una muestra de entrenamiento en la cual guiarnos para agrupar los datos. En el caso de clasificación tenemos una función objetivo clara a minimizar: el error de Bayes. En el caso de clasificación no supervisada (cluster) el problema es más difícil y aún no ha sido propuesta una cota inferior razonable que juegue el rol del error de Bayes, con consenso en la comunidad estadística. 6

9 Planteo del problema En Fraiman, Justel y Svarc (2008) se propone lo siguiente: Dado un vector aleatorio X en R p, una medida de dispersión multivariada D : R p R + para la cual D(X) es finita y una familia de métodos de partición f K : R p {1,..., K}, definimos las variables aleatorias: W j,k := X f K (X) = j, j = 1,..., K, la restricción del vector aleatorio X a los subconjuntos de la partición f K (X) = j. 7

10 Una versión poblacional del problema de cluster es buena para la familia de métodos dados por f K si las siguientes tres cantidades son suficientemente pequeñas: Kj=1 D(W j,k ), D(X) Kj=1 D(W j,k ) K 1 j=1 D(W j,k 1), K+1 j=1 D(W j,k+1) Kj=1 D(W j,k ) 1. (1) La primera requiere que la dispersión dentro de clusters sea pequeña respecto a la dispersión total. La segunda y la tercera reflejan el hecho que estamos tratando con el número correcto de clusters K. 8

11 Claramente la primera condición sola no es suficiente, pues podemos disminuir la dispersión de las variables W j,k simplemente aumentando el número de clusters!!! Dado un valor fijo de K, una cota inferior (que juega el rol del error de Bayes) puede ser el mínimo sobre todas las posibles particiones de tamaño K de K j=1 D(W j,k )/D(X), donde W j,k es la restricción del vector aleatorio X al subconjunto G j. En lo que sigue supondremos que el valor de K es conocido. Se han propuesto algunos métodos para estimar K.

12 K medias Supongamos K = 2. Buscaremos entonces dos centros c 1, c 2 R p de los clusters de modo que minimizen E ( mín( X c 1 2, X c 2 2 ) ), (2) y entonces el grupo G 1 esta dado por G 1 = {x R p : x c 1 x c 2 }, mientras que G 2 = G c 1. En este caso, se toma como función objetivo a minimizar la dada por (2). 9

13 En general, buscamos (c 1,..., c K ) centros de modo que minimizen g(c 1,..., c K ) = E ( mín X c j 2 j=1,...,k ), (3) y asignamos cada punto de R p a su centro más cercano. Los clusters resultan ser entonces las celdas de Voronoi asociadas a los K centros (c 1,..., c K ). En resumen, necesitamos estimar los K centros y luego asignar cada dato X 1,..., X n a su centro más cercano.

14 Versión empírica de K medias Dados X 1,..., X n consideramos la versión empírica de la ecuación (3), es decir g n (c 1,..., c K ) = 1 n n i=1 y buscamos {ĉ 1,..., ĉ K } que minimize (4). mín X i c j 2, (4) j=1,...,k Cada dato luego se asigna a su centro más cercano. Teoría asintótica: ver por ejemplo Pollard (1984). 10

15 En la práctica Que distancia usar? Estandarizar los datos? Si hay datos discretos? K medioides en lugar de K medias... es robusto?? Que pasa si ponemos un punto al infinito? Como se resuelve? Que son las medias podadas imparciales? 11

16 K medias podadas imparciales Buscamos (c 1,..., c K ) centros y una función de poda τ, τ(t)dp (t) = 1 α de modo que minimicen E ( τ(x) mín X c j 2 j=1,...,k ), (5) Este tour queda postergado para otra ocasión. 12

17 Características del consumo eléctrico 1 Cluster 1 1 Cluster :00 12:00 18: :00 12:00 18:00 13

18 Métodos jerárquicos. Hartigan Los métodos jerárquicos están basados en un concepto diferente. En la estimación de densidades!! Más precisamente en la estimación de los conjuntos de nivel de la densidad S(c) := {x R p : f(x) > c}, para cierto valor de c > 0. Más precisamente con las componentes conexas del conjunto de nivel S(c). 14

19 c no debe considerarse aquí como un parámetro de suavizado a ser asignado de forma óptima; el valor de c indica el nivel de resolución elegido para el problema de cluster. Luego volveremos sobre este problema. Referencias:Hartigan (1975) Wong and Lane (1983), Silverman (1986), Cuevas, Febrero and Fraiman (2001). 15

20 Versión empírica Sea ˆf n := ˆf n (t; h) := 1 n n i=1 K h (t X i ) un estimador basado en núcleos de la densidad f. Los cluster empíricos se definen como las componentes conexas de S n (c) := { ˆf n > c}. Finalmente, los datos X 1,..., X n se agrupan de acuerdo al correspondiente cluster empírico al que pertenecen. 16

21 17

22 El procedimiento de cluster propuesto es robusto en el sentido de que incluye un procedimiento automático para detectar y excluir outliers. Los outliers serán las observaciones no clasificadas por no pertenecer al c soporte {X i : f(x i ) > c}, que coincide con la noción habitual de identificar observaciones atípicas alejadas del central core de los datos. Aunque S n es un conjunto conocido, sus componentes conexas no están, en general, expĺıcitamente definidas. Por tanto, se requerirá de un algoritmo para hallarlas, o sea agrupar los datos originales en clusters. 18

23 Un algoritmo: Convolution Resampling Algorithm - CRA La herramienta básica para construir el algoritmo es el siguiente estimador del soporte (compacto) de una distribución: Si Z 1,..., Z n es una muestra aleatoria de una distribución con soporte (compacto) C, un estimador natural de C es la unión de las bolas cerradas de radio ɛ n centradas en los Z i, donde ɛ n 0. Ĉ n = n i=1 B(Z i, ɛ n ) (6) Referencias: Devroye and Wise (1985), Korostelev and Tsybakov (1993), Cuevas and Fraiman (1997), Cuevas, Febrero and Fraiman (2000). Lo interesante del estimador (6) es el hecho que sus componentes conexas son facilmente identificables. 19

24 Idea del algoritmo Tomemos una muestra (bootstrap) de ˆf n condicionada a ˆf n > c. (Convertimos el problema en uno de estimación del soporte.!! Usemos esta muestra para estimar las componentes conexas de S n = { ˆf n > c} (los clusters empíricos) por un estimador de tipo (6) construído a partir de las muestras bootstrap (que llamaremos clusters artificiales. Finalmente clasificar los datos originales de acuerdo al cluster artificial al que pertenecen. 20

25 La estructura de convolución del estimador de densidad basado en núcleos hace que las muestras bootstrap sean muy fáciles de calcular!!! X j + W j... Los detalles del algoritmo se pueden ver en Cuevas, Febrero y Fraiman (2001, pag ). En particular da un algoritmo para construir el Minimum Spanning Tree.

26 Validez (consistencia) del algoritmo La validez del algoritmo CRA esta basada en el hecho de que el conjunto de nivel S = {f > c} se puede estimar consistentemente (con respecto a la clásica distancia de Hausdorff entre conjuntos) por la versión empírica S n = { ˆf n > c}. Algunas referencias sobre la validez de este resultado son Cuevas y Fraiman (1997), Walther (1997), Tsybakov (1997), Molchanov (1998). Sin embargo, la convergencia de S n a S en la métrica de Hausdorff no garantiza en principio que las componentes conexas del conjunto S n converjan a las de S. La posibilidad de que una componente conexa de S pueda ser aproximada por la unión de varias componentes conexas de S n que estén cada vez más cerca no puede ser excluida a priori. 21

27 Prunning: colapsando grupos Esto, sin embargo no es un problema desde un punto de vista práctico: si a 0 es la distancia mínima entre las componentes conexas de S, que supondremos estrictamente positiva, se tiene que para cualquier 0 < a < a 0 la consistencia en Hausdorff de S n a S asegura que, para n suficientemente grande todos los clusters espúreos correspondientes a la misma componente conexa de S estarán a una distancia entre si menor a a/2 y por tanto podrán ser detectados y agrupados. 22

28 Comparación cualitativa con k medias Shape oriented clustering vs globular clustering El uso de métodos shape oriented como los jerárquicos, nos permiten evitar algunas patologías que aparecen con k medias. El método de k medias es especialmente adecuado cuando tenemos clusters globulares (por ejemplo elipsoidales). Por otro lado, tiene serias dificultades en otros casos. 23

29 Ejemplo Supongamos que nuestros datos X 1,..., X n están en dimensión 1 y que vienen de una mezcla 1 2 U[0, 2] + 1 U[3, 10], 2 uniformes entre 0 y 2 y entre 3 y 10 respectivamente. Hay claramente... grupos. 24

30 Si usamos 2 medias, los centros estimados convergen a c 1, c 2 solución de (c 1, c 2 ) = argmine (min( X c 1, X c 2 )) En este caso, resulta que c 1 > 1 y b > 6, 5, y por tanto todas las observaciones por debajo de 3.75 se clasificarán en el primer grupo. Mas precisamente, todas las observaciones en el intervalo [3,4.55] se clasifican en el primer grupo, cuando la partición natural debería ser [0,2], [3,10]. 25