Minería de Datos Web. Cursada 2018

Transcripción

1 Minería de Datos Web Cursada 2018

2 Proceso de Minería de Texto

3 Clustering de Documentos Clasificación de Documentos Es un método supervisado para dividir documentos en base a categorías predefinidas Los ejemplos tienen que ser etiquetados (con clases asignadas) Clustering de Documentos Es un método no supervisado para dividir ejemplos en grupos cuando no existen categorías predefinidas El aprendizaje no supervisado es un método descriptivo para interpretar un conjunto de datos

4 Clustering de Documentos Es el proceso de buscar un agrupamiento natural en un conjunto de datos en base a su similitud Objetivo Dividir un conjunto de ejemplos (documentos) pertenecientes a clases desconocidas en subconjuntos disjuntos de clusters tal que: Los ejemplos que estén en un mismo cluster sean lo más similares posible entre sí Los ejemplos que estén en clusters diferentes sean lo más disímiles posible entre sí

5 Clustering de Documentos Espacio de características (términos) Los documentos se representan como vectores de frecuencia en un espacio de términos La similitud de dos documentos está dada por el coseno de ambos vectores

6 Clustering de Documentos Espacio de características (términos)

7 Clustering de Documentos Espacio de características (términos) Deportes Política Música

8 Clustering de Documentos El aprendizaje no supervisado es un método descriptivo para interpretar un conjunto de datos, algunas aplicaciones posibles: Clustering de los documentos recuperados para una consulta: se presentan los resultados de una búsqueda en forma más organizada y clara para el usuario (por ej. Vivísimo) Clustering de documentos en una colección: hipótesis de clustering, documentos similares tienden a ser relevantes a la misma consulta durante la recuperación de documentos, se agregan los documentos que pertenecen a un mismo cluster que los recuperados inicialmente para mejorar el recall Clustering para generación automática de taxonomías: para facilitar la exploración de documentos (por ej. Yahoo!)

9 Clustering de Documentos Hipótesis Documentos similares tienden a ser relevantes a la misma consulta Un buen método de clustering debería identificar clusters que sean tanto compactos como separados entre sí. Es decir, que tengan: Alta similitud intra-cluster Baja similitud inter-cluster

10 Clustering de Documentos Vivísimo

11 Clusty Clusty

12 Clustering de Documentos Kartoo

13 Clustering de Documentos Qué optimizar? Dado: un número de clusters Optimizar: Compactación de los clusters {promedio/min/max} distancia de los puntos a los otros en el mismo cluster {promedio/min/max} distancia de los puntos a los centros de los clusters Usualmente se buscan aproximaciones heurísticas

14 Clustering de Documentos Qué relaciona los documentos? Idealmente: similitud semántica En la práctica: similitud estadística Se trata los documentos como vectores Para muchos algoritmos es más fácil pensar en términos de distancia (en lugar de similitud entre documentos)

15 Clustering de Documentos Algoritmos basados en particionamiento Objetivo: Particionan el conjunto de datos D de n objetos en un conjunto de k clusters Dado un k, intentan encontrar una partición de k clusters que optimiza el criterio de particionamiento k-means: cada cluster es representado por su centro del cluster

16 K-Means Las instancias son vectores de valores reales Los clusters se basan en centroides o centros de gravedad, que son a media de las instancias en el cluster c: μ c = 1 c x c x Las instancias se reasignan a los clusters en base a su distancia a los centroides

17 K-Means k-means 1)Seleccionar aleatoriamente k ejemplos (semillas) para ser centroides de los clusters 2)Asignar cada ejemplo al centroide con el que tenga mayor similitud 3)Recalcular los centroides de acuerdo a los ejemplos asignados a cada cluster 4)Si no se satisface el criterio de terminación establecido volver a 2

18 K-Means Algoritmo: Sea sim la medida de distancia entre documentos Seleccionar k documentos aleatoriamente {s 1, s 2, s k } como semillas Hasta que se satisface un criterio de terminación Para cada documento x i : Asignar x i a el cluster c j talque sim(x i, s j ) sea la mínima (Actualizar las semillas de cada cluster) Para cada cluster c j s j = (c j )

19 K-Means

20 K-Means Seleccionar k=2 semillas en forma aleatoria

21 K-Means Asignar cada ejemplo al centroide con el que tenga mayor similitud

22 K-Means Asignar cada ejemplo al centroide con el que tenga mayor similitud

23 K-Means Recalcular los centroides de acuerdo a los ejemplos asignados a cada cluster c c

24 K-Means Asignar cada ejemplo al centroide con el que tenga mayor similitud c c

25 K-Means Asignar cada ejemplo al centroide con el que tenga mayor similitud c c

26 K-Means Recalcular los centroides de acuerdo a los ejemplos asignados a cada cluster c c

27 K-Means Recalcular los centroides de acuerdo a los ejemplos asignados a cada cluster c c

28 K-Means Asignar cada ejemplo al centroide con el que tenga mayor similitud c c

29 K-Means Recalcular los centroides de acuerdo a los ejemplos asignados a cada cluster c c

30 K-Means Los ejemplos no cambian de cluster, se satisface el criterio de terminación c c

31 K-Means Ventajas: Entre los algoritmos de particionamiento es eficiente Implementación sencilla Desventajas: Necesito conocer k de antemano Sensible a outliers, puede caer en mínimos locales Sensitivo a la elección de las semillas iniciales algunas semillas pueden resultar en una taza de convergencia menor la selección de semillas se puede basar en heurísticas o resultados obtenidos por otros métodos Es aplicable cuando es posible calcular el centroide, como en el caso de los documentos, pero es de difícil aplicación en atributos categóricos

32 Clustering Jerárquico Los algoritmos jerárquicos construyen un árbol binario o dendograma a partir de un conjunto de ejemplos Un dendograma muestra como se combinan los clusters La raíz es un cluster que contiene todos los ejemplos y las hojas contienen cada una un ejemplo Cortando en diferentes niveles se consiguen diferentes clusters

33 Clustering Jerárquico

34 Clustering Jerárquico Métodos de clustering: Aglomerativo (bottom-up) Métodos que comienzan con cada ejemplo en un cluster diferente y combinan iterativamente los clusters para formar clusters mayores Divisivo (top-down) Métodos que comienzan con todos los ejemplos en un mismo cluster y los separan sucesivamente en clusters de menor tamaño

35 Clustering Jerárquico Clustering Jerárquico Aglomerativo: Asume que existe una función de similitud que determina la similitud de dos instancias: Por ejemplo, similitud del coseno en caso de documentos Asume que existe una función de similitud que determina la similitud de dos clusters conteniendo múltiples instancias: Single link Complete link Group average

36 Clustering Jerárquico Single Link La similitud de los clusters es la de los dos ejemplos más similares entre ambos clusters

37 Clustering Jerárquico Single Link La similitud de los clusters es la de los dos ejemplos más similares entre ambos clusters Complete Link La similitud de los clusters es la de los dos ejemplos menos similares entre ambos clusters

38 Clustering Jerárquico Single Link La similitud de los clusters es la de los dos ejemplos más similares entre ambos clusters Complete Link La similitud de los clusters es la de los dos ejemplos menos similares entre ambos clusters Group Average Promedio de similitudes entre los ejemplos de ambos clusters

39 Clustering Jerárquico Single Link Usa la máxima similitud de los pares sim( c i, c j ) max x c, y i c j sim( x, Puede resultar en cluster largos y angostos dado un efecto cadena y) Después de mezclar c i y c j, la similitud del cluster resultante a otro cluster c k es: sim(( c c ), c ) max( sim( c, c ), sim( c, c i j k i k j k ))

40 Clustering Jerárquico Single Link

41 Clustering Jerárquico Complete Link Usa la mínima similitud de pares sim( c i, c j ) x c min, y i c j sim( x, y) Crea clusters esféricos y compáctos que son usualmente lo que se prefiere Después de mezclar c i y c j, la similitud del cluster resultante a otro cluster c k es: sim(( c c ), c ) min( sim( c, c ), sim( c, c i j k i k j k )) C i C j C k

42 Clustering Jerárquico Complete Link

43 Clustering Jerárquico Clustering Aglomerativo Jerárquico: 1)Asignar cada ejemplo a un cluster diferente (n ejemplos, n clusters) 2)Encontrar el par de clusters más similares y combinarlos en un único cluster 3)Recalcular las similitud o distancias entre el nuevo cluster y los clusters restantes 4)Hasta que solo quede un cluster de tamaño n, volver a 2

44 Clustering Jerárquico Algoritmo: Comienza con todos los ejemplos en su propio cluster Hasta que quede un único cluster: Entre todos los cluster existentes determinar los dos clusters c i y c j que son más similares Reemplazar c i y c j por un único cluster c i c j

45 Clustering Jerárquico Asignar cada ejemplo a un cluster diferente d 1 d 2 d 3 d 4 d d 2 d d 1 d 2 d 3 d 4 d 4

46 Clustering Jerárquico Encontrar el par de clusters más similares y combinarlos en un único cluster d 1 d 2 d 3 d 4 d d 2 d d 1 d 2 d 3 d 4 d 4

47 Clustering Jerárquico Encontrar el par de clusters más similares y combinarlos en un único cluster d 1 d 2 d 3 d 4 d d d 3 10 d 1 d 4 d 2 d 3 d 4 c 1

48 Clustering Jerárquico Recalcular las similitud o distancias entre el nuevo cluster y los clusters restantes c 1 d 2 d 3 c d 2 15 d 3 d 1 d 4 d 2 d 3 c 1

49 Clustering Jerárquico Encontrar el par de clusters más similares y combinarlos en un único cluster c 1 d 2 d 3 c d 2 d 3 15 d 1 d 4 d 2 d 3 c 2

50 Clustering Jerárquico Recalcular las similitud o distancias entre el nuevo cluster y los clusters restantes c 2 d 3 c 2 20 d 2 d 3 d 1 d 4 d 2 d 3 c 2

51 Clustering Jerárquico Encontrar el par de clusters más similares y combinarlos en un único cluster c 2 d 3 c d 2 d 3 d 1 d 4 d 2 d 3

52 Clustering Jerárquico Únicamente queda un cluster de tamaño n c 3 c 3 d 1 d 4 d 2 d 3 c 3

53 Clustering Jerárquico Ventajas: No es necesario establecer un número de clusters Se puede explorar el dendograma en diferentes niveles, más rico para el análisis de los datos que el particionamiento Desventajas: No se recupera de decisiones incorrectas Computacionalmente costoso

54 Proceso de Minería de Texto

55 Evaluación de Clustering Múltiples algoritmos y métodos de clustering (por ejemplo conceptual) Los datos se analizan y comparan usando diferentes algoritmos, con distinto valores para los parámetros La interpretación de los resultados de clustering permite un mayor entendimiento del significado de los datos La evaluación de los resultados de clustering es compleja (medidas internas y externas)

56 Evaluación de Clustering Criterio interno: un buen clustering produce clusters de alta calidad donde: la similitud intra-clase (intra-cluster) es alta la similitud inter-clase (inter-cluster) es baja La medida de calidad depende tanto de la representación del documento como de la medida de similitud usada

57 Evaluación de Clustering Criterio Externo: La calidad se mide por la capacidad de descubrir alguno o todos los patrones ocultos en los datos o clases latentes en un gold standard Medir el clustering respecto de un ground truth requiere datos etiquetados Asume documentos con C clases, mientras los algoritmos producen K clusters, ω 1, ω 2,, ω K, con n i miembros

58 Evaluación de Clustering Una medida simple es la pureza, el radio entre la clase dominante en el cluster π i y el tamaño del cluster ω i 1 Purity( i ) max j ( nij ) n i j C Sesgada porque tener n clusters maximiza la pureza Otras son entropía de clases en los clusters (o mutual information entre clases y clusters)

59 Evaluación de Clustering Cluster I Cluster II Cluster III Cluster I: Purity = 1/6 (max(5, 1, 0)) = 5/6 Cluster II: Purity = 1/6 (max(1, 4, 1)) = 4/6 Cluster III: Purity = 1/5 (max(2, 0, 3)) = 3/5

60 Evaluación de Clustering Rand Index medida de decisiones entre pares. RI = 0.68 Número de puntos Mismo Cluster en el clustering Clusters diferentes en el clustering Misma clase en el ground truth Diferentes clases en el ground truth 20 72

61 Evaluación de Clustering Rand index y F-Measure RI A A B D C D Comparado con Precision y Recall: P A A B R A A C Es posible calcular F-measure