EPB 603 Sistemas del Conocimiento

Transcripción

1 EPB Sistemas del Conocimiento Dr. Oldemar Rodríguez R. Maestría en Administración de la Tecnología de la Información Escuela de Informática Universidad Nacional Capítulo Método K-Means (Nubes Dinámicas)

2 Tareas de la Minería de Datos Clustering : (clasificación no supervisada, aprendizaje no supervizado): Es similar a la clasificación (discriminación), excepto que los grupos no son predefinidos. El objetivo es particionar o segmentar un conjunto de datos o individuos en grupos que pueden ser disjuntos o no. Los grupos se forman basados en la similaridad de los datos o individuos en ciertas variables. Como los grupos no son dados a priori el experto debe dar una interpretación de los grupos que se forman. Métodos: Clasificación Jerárquica (grupos disjuntos). Nubes Dinámicas k-means (grupos disjuntos). Clasificación Piramidal (grupos NO disjuntos). Cluster Analysis Objetivo: Obtener clases lo más homogéneas posibles y tal que estén suficientemente separadas.

3 The K-Means Clustering Method (nubes dinámicas) Criterio de la inercia

4 Ejemplo: Estudiantes Ver NotasEscolaresExcelKMeans.xlsx Definiciones Inercia total de la nube de puntos: Inercia inter-clases clases, es decir la inercia de los centros de gravedad respecto al centro de gravedad total:

5 Inercia intra-clases clases, es decir la inercia al interior de cada clase: Teorema: Igualdad de Fisher Inercia total = Inercia inter-clases + Inercia intra-clases

6 Ejemplo: Estudiantes Ver NotasEscolaresExcelKMeans.xlsx Objetivo: Se quiere que B(P) sea máxima y W(P) sea mínima Como la inercia I(P) es fija, dada la nube de puntos, entonces al maximizar B(P) se minimiza automáticamente W(P). Por lo tanto, los dos objetivos (homogeneidad al interior de las clases y separación entre las clases) se alcanzan al mismo tiempo al querer minimizar W(P).

7 Problema combinatorio Es necesario hacer notar que, cuando se quiere obtener una partición en K clases de un conjunto con n individuos, no tiene sentido examinar todas las posibles particiones del conjunto de individuos en K clases. En efecto, se está en presencia de un problema combinatorio muy complejo; sólo para efectos de ilustración, mencionemos que el número de particiones en clases de un conjunto con elementos es aproximadamente, y para elementos en clases anda por. Objetivo del Método K-means Así, el objetivo en el método de K-means es encontrar una partición P de Ω y representantes de las clases, tales que W(P) sea mínima.

8 Método de k-medias Existe un poco de confusión en la literatura acerca del método de las k-medias, ya que hay dos métodos distintos que son llamados con el mismo nombre. Originalmente, Forgy propuso en un primer método de reasignación-recentraje que consiste básicamente en la iteración sucesiva, hasta obtener convergencia, de las dos operaciones siguientes:. Representar una clase por su centro de gravedad, esto es, por su vector de promedios.. Asignar los objetos a la clase del centro de gravedad más cercano.

9 The K-Means Clustering Method (nubes dinámicas) McQueen propone un método muy similar, donde también se representan las clases por su centro de gravedad, y se examina cada individuo para asignarlo a la clase más cercana. La diferencia con el método de Forgy es que inmediatamente después de asignar un individuo a una clase, el centro de ésta es recalculado, mientras que Forgy primero hacía todas las asignaciones y luego recalculaba los centros. Variantes del método de Forgy son propuestas en Francia como Método de Nubes Dinámicas por E. Diday a partir en. Es McQueen quien propone el nombre k-means, que se usa hasta la fecha, aún si estos métodos también reciben nombres como nubes dinámicas, centros móviles, o reasignación-recentraje.

10 Método de Forgy Algoritmo: K-means

11 Algoritmo: K-means Ejemplo de las notas escolares

12 K-Means SQL Analysis Service. One of the most important differentiators in a clustering algorithm is how the algorithm decides how to assign cases (individuos) to clusters. The Microsoft Clustering algorithm allows two distinct methods of cluster assignment: K- means and expectation maximization (EM).. The K-means algorithm assigns cluster membership by means of distance.. The EM algorithm uses a probabilistic measure, rather than a strict distance measure, to determine which objects belong to which clusters.. Scalable Clustering: One of the problems in clustering data is that to determine the appropriate segmentation requires multiple iterations over the training dataset. In small datasets this is not a problem, because iterating over data in memory is very fast. After the data grows to the point where it can no longer fit into memory, the performance of clustering degrades to the point where it is no longer feasible to continue computing. In this case, you have a scalable framework for clustering that allows you to efficiently cluster datasets regardless of the size of the data. Parámetros en Microsoft Clustering

13 Parámetros en Microsoft Clustering. Clustering_Method indicates which algorithm is used to determine cluster membership. The possible values for this parameter are: Scalable EM (default) Non-scalable EM Scalable K-means Non-scalable K-means. Cluster_Count is the K in K-means it would also be the K in EM, if EM had a K. Cluster_Count indicates to the algorithm how many clusters to find. The default value is.. Minimum_Support controls when a cluster is considered empty and it is discarded and reinitialized. Usually, you will not need to modify this parameter, except in certain cases when business rules apply. For example, for privacy reasons you may not want to create clusters smaller than people.. Modelling_Cardinality controls how many candidate models are generated during clustering. Reducing this value will increase performance, at the potential cost of reducing accuracy. The default value is. Parámetros en Microsoft Clustering. Stopping_Tolerance is used by the algorithm to determine when a model has converged. It represents the maximum number of cases (individuos) that can change membership before you consider a model to have converged. The default value is.. Sample_Size indicates the number of cases (individuos) used in each step of the scalable framework. The default value is,.. Cluster_Seed is the random number seed (semilla) used to initialize the clusters. The default value is.. Maximum_Input_Attributes controls how many of the attributes (variables) considered for clustering are allowed before automatic feature selection is invoked. The default value is.. Maximum_States controls how many states (modalidades) one particular attribute can have. The default value is.

14 K-Means SQL Analysis Service. Ver el documento SQL Analysis Service User Guide Spanish.pdf para una guía completa sobre como crear un proyecto de Minería de Datos en SQL Analysis Service. Data Source pointing to the database. Data Source View including DimProduct, FactResellerSales and FactInternetSales. Ejemplo: Estudiantes

15 OJO OJO

16 Mejores en Matemática, más azul.

17 Ejemplo completo Bancos Centroamericanos. Descripción de la Base Datos: a. En el año, como parte de un estudio anual sobre la banca centroamericana, la revista SUMMA recopiló información sobre una serie de factores en bancos de la región. b. Las variables medidas fueron: Activos, Créditos, Depósitos, Valor Patrimonial, Ganancias, ROE (retorno sobre activos ) y ROA (retorno sobre el patrimonio). c. Los individuos son bancos centroamericanos, como BNCR, De Desarrollo Rural, Del País, Scotiabank Costa Rica, BAC El Salvador, BAC Guatemala, etc.

18

19

20 Gracias.