Primero se inicializan dos puntos (tantos como clusters queremos) al azar. Estos puntos se denominan centroides del cluster.

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Primero se inicializan dos puntos (tantos como clusters queremos) al azar. Estos puntos se denominan centroides del cluster."

Manuel Contreras Montero
hace 6 años
Vistas:

1 K-Means Introducción El algoritmo k-means es el algoritmo de clustering más popular y ampliamente utilizado. Algoritmo Supongamos que queremos agrupar los siguientes datos en dos clusters Primero se inicializan dos puntos (tantos como clusters queremos) al azar. Estos puntos se denominan centroides del cluster. K-means es un algoritmo iterativo en dos pasos. El primero es el de asignación del cluster y el segundo es el de movimiento del centroide. En el paso de asignación de los clusters, se asigna cada uno de los puntos al cluster cuyo centroide esté más cerca.

2 En el paso de movimiento de los centroides se mueve cada uno de los centroides hasta el punto representada por la media de los puntos que se han asignado a su cluster. Se repiten estos pasos hasta que no se producen cambios en las asignaciones de los puntos entre dos pasos. 1.- Asignación: 2.- Movimiento: 3. Movimiento

3 4. Movimiento Formalmente el algoritmo K-means toma como entradas el número de clusters K y un conjunto de datos de entrenamiento donde cada x es un vector de n elementos (no hay término de bias o intersección ) El algoritmo inicializa aleatoriamiento los K centroides y repite alternamente hasta que se converja la asignación de cada uno de los puntos a uno de los clusters y el movimiento de los centroides hasta la media de los puntos de su cluster correspondiente. En el paso de asignación se determina el índice de cada punto de entrenamiento como el del centroide que esté más cerca de él con.en K-means se suele utilizar la distancia al cuadrado en lugar de la distancia, pero es lo mismo. En el paso de movimiento de los centroides, desplazamos cada uno al punto dado por la media de los puntos asignados a él. En el caso de que un centroide no tenga ningún punto, entonces simplemente se elimina y pasamos a tener K-1 clusters (otra opción es reasignarlo aleatoriamente).

4 K-means siempre converge a algún conjunto de centroides. K-means para datos no claramente separados En ocasiones los puntos no están distribuidos en unos clusters más o menos claros como puede ser el caso sino que están distribuidos mucho más cerca unos de otros supongamos que queremos agrupar estos datos en 3 clases S,M y L. Entonces k-means puede dar lugar a unos clusters similares a los siguientes. Objetivo de optimización Sea el centroide del cluster al que se ha asignado el dato. Entonces la función de coste de K-means es la media de las distancias al cuadrado de los puntos hasta el centroide del cluster al que se asigna:

5 es esta función de coste se le llama en ocasiones distorsión (distortion)el objetivo de minimización es obtener la mínima distancia media sobre todos los puntos Lo que está haciendo el algoritmo K-means es minimizar J respecto de los índices en el paso de asignación (manteniendo los centroides) y minimizar respecto de los centroides en el paso de movimiento de los centroides (manteniendo los índices). Usar la función de coste nos permite determinar si nuestro algoritmo está funcionando correctamente ya que J tiene que mantenerse o disminuir en cada iteración y nunca incrementarse. Inicialización La mejor forma de inicializar K-means es usar un K menor que en número de datos m y escoger los K centroides aleatoriamente de entre los datos de entrenamiento en lugar de escoger un punto cualquier al azar. Supongamos que K=2 y quiero encontrar dos clusters en selecciono un par de puntos al azar aunque a veces no voy a tener tanta suerte y puedo acabar teniendo los siguientes centroides iniciales

6 dependiendo de la inicialización inicial K-means puede acabar convergiendo a diferentes soluciones, es decir, que el problema de minimización no es convexo y por lo tanto podemos acabar en un mínimo local. Por ejemplo, para los datos aparentemente hay tres clusters y si K-means llega al óptimo global tendríamos Pero si hay mala suerte podemos acabar con un óptimo local como o como

7 Para evitar esto lo que se puede hacer es inicializar K-means múltiples veces (entre 50 y 1000 veces) y ejecutarlo. Luego seleccionaríamos la solución con menor J. Esto es efectivo cuando tenemos un número relativamente pequeño de clusters (2-10). Si el número es mucho mayor entonces este procedimiento nos dará soluciones ligeramente mejores, pero la primera inicialización debería dar como resultado una solución bastante decente. Selección del número de clusters K No hay una buena forma de hacer esta selección automáticamente y por lo general se recurre a examinar una visualización de los datos de entrada o de la salida de K-means para seleccionar el número de clusters. Por ejemplo para los siguientes datos no está claro si tengo 2 o 4 clusters En ocasiones se utiliza K-means con idea de utilizar sus resultados en otro algoritmo u objetivo. En este caso habitualmente se selecciona K en función de una métrica del otro algoritmo u objetivo. Por ejemplo, para un caso de segmentación del mercado de las tallas de camisetas puedo plantear 3 tamaños o 5 tamaños

8 Y examinar, desde la perspectiva del negocio, cual es el número de tallas que más me interesa. Elbow method Una forma de seleccionar el número de clusters es mediante el elbow method. En este método ejecutamos K-means repetidamente con K diferentes y calculamos J para cada uno de ellos: Lo que hace este método es utilizar el "codo" de esta gráfica como el número de clusters más adecuado. Este codo es el número en el que se pasa de tener una disminución rápida de J con cada cluster que incluimos a tener una disminución mucho menor. Este método no siempre es efectivo porque nos podemos encontrar con situaciones como

9 en la que el codo no está claro. Referencias Machine Learning class lectures by Prof Andrew Ng (Stanford)

Documentos relacionados

Aprendizaje basado en ejemplos.

Aprendizaje basado en ejemplos. In whitch we describe agents that can improve their behavior through diligent study of their own experiences. Porqué queremos que un agente aprenda? Si es posible un mejor