RECONOCIMIENTO DE PAUTAS. ANÁLISIS DE CONGLOMERADOS (Cluster Analysis)

Transcripción

1 RECONOCIMIENTO DE PAUTAS ANÁLISIS DE CONGLOMERADOS (Cluster Analysis)

2 Análisis de conglomerados los análisis exploratorios de datos (como PCA) determinan relaciones generales entre datos en ocasiones no es eficiente

3 Análisis de conglomerados análisis de agrupamientos (cluster analysis): es un técnica de reconocimiento de pautas no supervisada que busca similitudes empleada originalmente en biología para determinar relaciones entre organismos (género, familia, ) herramienta esencial en tareas de clasificación y puede aplicarse en forma consecutiva al ACP resultado: se forman conglomerados (clusters) jerárquicos no jerárquicos

4 Análisis de conglomerados Cuando no conocemos cuántos grupos hay: * métodos jerárquicos produce una secuencia de particiones, juntando o separando clusters. En cada paso se juntan o separan dos clusters siguiendo algún criterio especificado. Cuando conocemos cuántos grupos hay: * métodos no jerárquicos : produce una partición de los objetos en un número especificado de grupos siguiendo un criterio de optimización.

5 Análisis de conglomerados

6 Decisiones que hay que tomar para formar un cluster 1. Elegir el método cluster que se va a emplear. 2. Decidir si trabajar con los datos según se miden o estandarizados. 3. Determinar similitud entre objetos: seleccionar la forma de medir la distancia/disimilitud entre objetos, dependiendo de si los datos son cuantitativos o cualitativos. 4. Clusters no jeráquicos: Elegir un criterio de optimalidad. Clusters jerárquicos: Elegir un criterio para vincular grupos, distancia entre grupos. 5. Decidir el número de clusters.

7 Análisis de agrupamiento etapa: mediciones de distancias a menor distancia, mayor similitud entre los objetos centroide u objeto individual que sirve de semilla para un conglomerado

8 Análisis de agrupamiento mediciones de distancias Minkowski (métrica L p ): Raíz p-ésima de la suma de las diferencias absolutas elevada a la potencia p-ésima entre los valores d ij =[ K p]1/ p x ik x jk k=1 d ij : distancia entre los objetos (muestras) i y j K= número de variables

9 mediciones de distancias Análisis de agrupamiento Euclídea: más usada p= 2 raíz cuadrada de la suma de cuadrados de las diferencias entre los valores. d 12 = [( x 11 x 21 ) 2 +(x 12 x 22 ) 2 ] 1/2

10 Análisis de agrupamiento Manhattan (city-block, distancia de ciudad): p=1 es mayor que la distancia euclídea d 12 = x 11 x 21 + x 12 x 22

11 Análisis de agrupamiento mediciones de distancias Pearson: basada en la desviación estándar (s j ) de la variable j K ( x ik x jk) 2 d ij = k=1 s j 2

12 Análisis de agrupamiento mediciones de distancias Mahalanobis: permite trabajar sin escalar los datos evita distorsiones por correlaciones D 2 ij = (x i x j ) T C 1 (x i x j ) C: matriz de covarianza (simétrica con respecto a la diagonal) x i, x j : columna de vectores de objetos i y j, respectivamente

13 Análisis de agrupamiento Desventaja distancia Minkowski: depende de las unidades hay que escalar los datos Desventaja distancia Mahalanobis: cuando el número de variables (mediciones) excede al número de objetos (muestras) no se puede aplicar porque C puede no tener inversa

14 métodos jerárquicos etapa: vincular grupos métodos de vinculación: Análisis de agrupamiento de vinculación simple (vecino más próximo, nearest neighbour) mínima distancia entre dos objetos de cada grupo (útil para para identificar atípicos) d ki = d Ai + d Bi 2 d Ai d Bi 2 = min(d Ai, d Bi )

15 Análisis de agrupamiento vecino más lejano (complete linkage) máxima distancia entre dos objetos de cada grupo. d ki = d Ai + d Bi 2 + d Ai d Bi 2 = max(d Ai,d Bi )

16 Análisis de agrupamiento vínculo promedio no ponderado (unweighted average linkage) d ki = n A n d Ai + n B n d Bi n = n A + n B

17 Análisis de agrupamiento vínculo promedio (median linkage) media de las distancias entre todos los objetos de los dos grupos d ki = d Ai 2 + d Bi 2 d AB 4

18 Análisis de agrupamiento Centroide (centroid linkage) distancia/disimilitud entre los centros de los grupos d ki = n A n d Ai + n B n d Bi n A n B n 2 d AB

19 Análisis de agrupamiento de Ward: utiliza la suma de las distancias al cuadrado a los centros de los grupos distancia de Lance y Williams... d ki = n A+n i n+n i d Ai + n B+n i n+n i d Bi n i n+n i d AB generalmente conviene usar distintos métodos y comparar los resultados

20 método del vecino más próximo

21 métodos jerárquicos Análisis de agrupamiento Representación gráfica: Dendograma: representa las etapas de la formación de conglomerados los grupos u observaciones que son mas similares son combinados a bajas alturas, mientras que los mas dismiles lo hacen a alturas grandes.

22 métodos jerárquicos Ejemplo: Análisis de agrupamiento Datos: intensidades de emisión de fluorescencia de 12 compuestos (A-L) a 4 longitudes de onda (300, 350, 400, 450 nm)

23 Ejemplo

24 Gráfico de puntuación para PCA 2 grupos

25 Euclidean Distance, Single Linkage Amalgamation Steps Step Nº Similarity Distance Clusters New Nº obs. clusters level level joined cluster new cluster ,1970 1, ,1970 1, ,7464 1, ,7464 1, ,7464 1, ,7464 1, ,7464 1, ,9944 2, ,9944 2, ,6888 2, ,5122 3,

26 Dendograma dos grupos como los obtenidos con PCA

27 métodos no jerárquicos Análisis de agrupamiento método de k-medias: separa las observaciones en k clusters, de manera que cada dato pertenezca a un grupo y sólo a uno. (o se pueden elegir k puntos semilla) cada objeto se asigna al conglomerado cuyo centroide esté más próximo OPTIMALIDAD: maximizar la homogeneidad dentro de los grupos

28 método de k-medias: Análisis de agrupamiento Una forma de cuantificar el criterio de optimalidad es: - Minimizar la media ponderada (por el tamaño del grupo) de las varianzas dentro de cada grupo para todas las variables dicho con otras palabras - Minimizar la suma de los cuadrados de las diferencias entre cada dato y la media de su grupo

29 Análisis de agrupamiento Pasos del Algoritmo de k-medias Partiendo de un conjunto inicial de k centroides, m1(1),,mk(1), que se pueden elegir al azar para evitar sesgos o por cualquier otro procedimiento, el algoritmo va alternando los dos siguientes pasos: paso de asignación: cada observación se asigna al cluster con el centroide más próximo (siguiendo el criterio de optimalidad), con la distancia euclidea. paso de centralización:para los clusters modificados se calculan los nuevos centroides. El algoritmo se considera que ha alcanzado la convergencia cuando en una iteración no se produce ningún cambio

30 método de k-medias: Análisis de agrupamiento

31 método de k-medias: Análisis de agrupamiento desventajas: el agrupamiento final refleja la elección de conglomerados (o puntos semilla) dificultades para elegir k (se debe elegir de antemano) es importante chequear distintas opciones para determinar el número de posibles clusters que hay en el conjunto de datos

32 Análisis de agrupamiento métodos no jerárquicos representaciones gráficas: gráficos de estrellas y rayos caras de Chernoff

33 métodos no jerárquicos Análisis de agrupamiento gráficos de estrellas y rayos gráficos radiales. cada estrella representa una observación, formando un polígono a partir de cada variable. el tamaño de cada línea corresponde al valor re-escalado de la variable.

34 métodos no jerárquicos caras de Chernoff Análisis de agrupamiento enfoque creado por Herman Chernoff basado en la capacidad humana para distinguir rostros. a cada variable se le asocia un rasgo o caracteristica de la cara (boca, ojos, nariz, etc..)