Redes de Kohonen y la Determinación Genética de las Clases

Transcripción

1 Redes de Kohonen y la Determinación Genética de las Clases Angel Kuri Instituto Tecnológico Autónomo de México Octubre de 2001

2 Redes Neuronales de Kohonen Las Redes de Kohonen, también llamadas Mapas Auto-Organizados o SOMs (por sus siglas en inglés) son sistemas de clasificación no supervisada que permiten encontrar individuos de una población que comparten características comunes. Esto los hace ideales para explorar espacios vectoriales en los que se desconoce la estructura de clasificación de los vectores.

3 Redes de Kohonen En esta ilustración se muestra un SOM de dos dimensiones. Las neuronas se representan...

4 Redes de Kohonen...en el mapa bidimensional, mientras que los vectores de datos (representados por X i ) están en la parte inferior. Cada neurona apunta a los vectores, de manera que cada neurona tiene tantas coordenadas como rasgos hay en un vector.

5 Redes de Kohonen Supongamos, por ejemplo, que cada vector de datos tiene 13 rasgos y que el mapa tiene una estructura de 4 X 4. La neurona (1,1) tiene 13 coordenadas:

6 Redes de Kohonen Por otra parte, la neurona 16 (4,4) tiene las siguientes 13 coordenadas:

7 Redes de Kohonen Nuestro problema consiste en encontrar los valores de las coordenadas de c/u de las neuronas del mapa de manera que, en el espacio bidimensional de las neuronas, las neuronas vecinas apunten a aquellos datos que forman parte del mismo grupo. Por ejemplo, en el caso anterior, cada dato es una muestra de las componentes químicas de alguno de tres medicamentos.

8 Mapas Auto-Organizados En el mapa que se muestra, cada color identifica una de las tres medicinas; y cada círculo corresponde a una neurona. Como puede verse, las neuronas correspondientes a cada tipo de medicina son vecinas entre si.

9 Mapas Auto-Organizados Así, lo que pedimos de este tipo de redes, es un mapa del espacio multidimensional (en el ejemplo, de 13 dimensiones) al espacio bi-dimensional de tal manera que haya una cercanía geográfica entre las neuronas que mapean a miembros del mismo grupo. Cómo logramos eso? Kohonen propuso el siguiente algoritmo:

10 Algoritmo de Kohonen 1. Todas las coordenadas de las neuronas reciben, inicialmente, valores aleatorios. 2. Se inicializa un contador de épocas n 1 3. Se define la tasa de aprendizaje α(n) para la época n. (Una época es la presentación de todas las muestras). 4. Se define la función de retroalimentación r ik (n) de la neurona i a la neurona ganadora k en la época n, dada por: 2 r ik ( n) = exp( d ik σ ( n) 2 )

11 Algoritmo de Kohonen en donde σ (n) es el radio de aprendizaje para la época n y d es la distancia (euclidiana) entre la i- ésima neurona y la k-ésima neurona (o neurona ganadora, como se define más adelante). 5. Se define el factor de aprendizaje f α. Este tiene un valor cercano a 1 (por ejemplo 0.99) 6. Se define el factor radial f σ. Este tiene, asimismo, un valor cercano a 1 (p.e ). 7. Se presenta la muestra x(t) de entrenamiento a la red.

12 Algoritmo de Kohonen 8. Se determina cuál de las neuronas está más cerca de la muestra. Normalmente se calcula la distancia euclidiana entre el vector de pesos de las neuronas y el vector de entrenamiento. A esta neurona (la k- ésima) se le denomina la neurona ganadora. 9. Los vectores de peso de c/u de las neuronas perdedoras se modifican de acuerdo con: wij ( t + 1) = wij ( t) + α( n) rik ( n) ( x( t) wij ( t)) 10. Se ha cumplido una época? Si: Se actualizan los los parámetros de aprendizaje, de acuerdo con:

13 Algoritmo de Kohonen α( n σ ( n 11. Se cumple algún criterio de convergencia? Si: Fin No: Ir al paso 7 + 1) = α( n) + 1) = σ ( n) f f α σ

14 Algoritmo de Kohonen Debe notarse que la transformación del espacio M-dimensional (de los M rasgos o elementos del vector de c/u de las muestras) al espacio bidimensional de las N neuronas se produce al encontrar la distancia 2 dik rik ( n) = exp( ) 2 σ ( n) puesto que d ik = i k = 2 ( ix kx ) + ( iy k y ) 2

15 Algoritmo de Kohonen La distancia entre dos neuronas vecinas es, convencionalmente, igual a 1, como se ilustra.

16 Algoritmo de Kohonen Nótese que la expresión de r ik es similar a la de una distribución normal, centrada en d ik y con una desviación σ(n) como se ilustra.

17 Algoritmo de Kohonen Lo anterior implica que el ajuste al peso w ik está en función de la diferencia que existe entre la neurona ganadora y la i-ésima ponderada por la desviación estándar para esta época. Como en cada época σ ( n + 1) = σ ( n) fσ la influencia de la neurona ganadora en sus vecinas se reduce exponencialmente con el número de época (n).

18 Algoritmo de Kohonen ) ( :, ) ( ) ( (1) (2) (0) (1) σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ = = = = = = n f n general en y f f f f f f

19 Algoritmo de Kohonen Análogamente: ) ( :, ) ( ) ( (1) (2) (0) (1) α α α α α α α α α α α α α α α α = = = = = = n f n general en y f f f f f f

20 Algoritmo de Kohonen Este algoritmo garantiza que neuronas que apuntan a datos similares sean vecinas en el mapa de la red, pero no resuelve el problema de cómo están sectorizadas (a qué grupo pertenecen) las neuronas individuales. En otras palabras, empezamos con un mapa de neuronas disociadas de los vectores de datos y las asociamos en las coordenadas del mapa. Pero falta pintar los grupos.

21 Agrupamiento Dado: Obtener:

22 Agrupamiento (Labeling) Al problema de encontrar los grupos a los que pertenecen las neuronas se le llama etiquetamiento (labeling) de las neuronas. Este proceso se puede automatizar de manera sencilla si se conocen, a priori, los grupos a los que pertenecen los datos de entrenamiento.

23 Algoritmo de Agrupamiento Dadas N clases y un conjunto de objetos O i (muestras) cada uno de los cuales pertenece a las clase C( i) {1,..., N} se define una matriz P de N X M elementos, en donde M es el número de neuronas de la red. Los elementos de P se inicializan a 0. Entonces se puede aplicar el siguiente procedimiento.

24 1. Preséntese el objeto O i de la clase C(i) a la red y calcúlese la distancia Oi w j de todas las neuronas a este objeto. 2. Hágase 1 3. Repetir los pasos 1-2 hasta que todos los objetos hayan sido presentados a la red. 4. Calcular I m = max { Pn, m} para m = 1,..., M Algoritmo de Agrupamiento P C( i), j = n= 1,..., N P C( i), j + O i w j j

25 Algoritmo de Agrupamiento 5. Asigne la etiqueta de clase I m a la neurona m. Puede ser que no haya un máximo único ni está garantizado que haya al menos una neurona asignada a cada clase. En estos casos es necesario aplicar algún heurístico para desambiguar el sistema. Adicionalmente, se requieren, al menos, tantos objetos como neuronas haya en la red.

26 Matriz de Distancia

27 Agrupamiento Automático Cuando se desconocen los grupos a los que pertenecen las neuronas, el problema es considerablemente más complejo. Debemos de determinar, en este caso, en dónde están los límites de las vecindades entre las neuronas del mapa.

28 El Problema de las Particiones Es este el número correcto de particiones? Son adecuadas estas particiones?

29 Métrica de Clases Para establecer un sistema que determine, dado un número de clases, a qué clase pertenece cada una de las muestras, propusimos 4 métricas: a) Distancia absoluta b) Distancia absoluta agrupada c) Distancia euclidiana d) Distancia euclidiana agrupada

30 Distancia Absoluta: Métrica de Clases N C max( dist ) + dist j k i= 1 j= 1 j= 1,..., C k = 1,..., C k j

31 Métrica de Clases Distancia Absoluta Agrupada: 1 C( j) N C max( dist C ( j) ) + distk i= 1 j= 1 j= 1,..., C k = 1,..., C k j

32 Distancia Euclidiana: Métrica de Clases N C 2 ( max( dist j ) distk ) i= 1 j= 1 j= 1,..., C k = 1,..., C k j

33 Métrica de Clases Distancia Euclidiana Agrupada: 1 C( j) N C 2 ( max( dist C ( j) ) distk ) i= 1 j= 1 j= 1,..., C k = 1,..., C k j

34 Resultados Numéricos En la figura se muestran los valores obtenidos de muestrear valores aleatoriamente para los 4 tipos de métrica.

35 Resultados Numéricos Lo que se observa es el resultado de medir las distancias entre los grupos cuando los grupos son los conocidos (1a fila) y cuando la agrupación se hace aleatoriamente. Lo que buscamos es la métrica que nos entregue el menor valor posible para una agrupación aleatoria, de manera que tratemos de encontrar la agrupación que minimice ese valor.

36 Una Medida de Agrupamiento El razonamiento anterior se deriva del hecho de que una asignación aleatoria debe arrojar distancias menores que aquellas obtenidas del caso real. Si logramos una métrica que tenga el comportamiento deseado, nuestro problema se convierte en uno de minimización de los valores derivados de agrupar las muestras según la métrica más adecuada.

37 Simulaciones En la siguiente figura se muestra una tabla con los resultados de aplicar las distintas métricas a 5 grupos de 10, 15 y 20 muestras cada uno. En las 1as 4 columnas se muestra la desviación. En las últimas 4 se muestra el número de veces que la métrica equivocó su diagnóstico.

38 Simulaciones

39 Métricas Robustas De la tabla se puede ver que, en principio, las métricas 1 y 3 inducen errores. Por otra parte las métricas 2 y 4 no se equivocan. De estas, la mejor es la #4 cuya desviación es, consistentemente, menor que el el caso de la #2. Es decir, la métrica euclidiana agrupada se desempeña mejor.

40 Elección de los Elementos del Grupo Una vez convencidos que la métrica mejor es 1 C( j) N C 2 ( max( dist C ( j) ) distk ) i= 1 j= 1 j= 1,..., C k = 1,..., C k j debemos encontrar un método para encontrar la agrupación que minimice esta distancia.

41 El Problema de Minimización Este problema es no trivial. Supongamos que tenemos 160 muestras y 3 clases. Cuántas formas de agrupar estas 160 muestras en 3 clases existen? El número es O(2 320 ) que es, aproximadamente, O(10 96 ). Obviamente una búsqueda exhaustiva es inaplicable. Pero para un AG la solución de este problema es trivial.

42 Genoma Para resolver el problema de optimización debemos de construir un genoma (binario) que nos permita representar la solución. Una posible forma de proponiendo una cadena de números (un número por muestra) tal que cada número indique a qué grupo corresponde una muestra.

43 Genoma Siguiendo con el ejemplo anterior, donde hay 160 muestras y 3 categorías, el genoma se compone de 160 números entre 1 y 3. Por ejemplo: números

44 Genoma Nosotros decidimos codificar en binario, de manera que un individuo está representado por 160 X 2 bits; es decir, asociando parejas de bits representamos un número entre 0 y 2 (y no usamos la combinación 11 ). El genoma es de 320 bits y, por lo tanto, hay del orden de posibles combinaciones de individuos.

45 Solución al Problema

46 Solución al Problema En la gráfica anterior se muestra el comportamiento de los métodos de Las líneas inferiores corresponden a las mejores métricas.

47 Conclusiones Estableciendo una métrica adecuada es posible convertir el problema de determinación de grupos en problemas de clasificación a uno de minimización. El problema de minimización se puede resolver fácil y eficientemente usando AGs. Para determinar el número de grupos se requiere ir aplicando el AG consecutivamente para 2, 3,..., N grupos.

48 Conclusiones Los resultados obtenidos hasta el momento son alentadores pero no definitivos ya que el criterio de elección de la métrica más adecuada no asegura que los grupos encontrados sean los óptimos. En el futuro inmediato buscaremos un modelo matemático del comportamiento de la métrica para garantizar sus adecuadas propiedades matemáticas en todos los casos.