OVMMSOM: Una variaión de MMSOM y VMSOM omo ténia de lusterizaión de imágenes Frano Sánhez Huertas Esuela de Cienia de la Computaión Universidad Católia San Pablo frano.sanhez@usp.edu.pe Yván J. Túpa Valdivia CI en Cienia de la Computaión Universidad Católia San Pablo ytupa@usp.pe Raquel Patiño Esarina Esuela de Cienia de la Computaión Universidad Católia San Pablo rpatino@usp.edu.pe Resumen Este artíulo propone el modelo Optimized Vetor and Marginal Median Self-Organizing Map (OVMMSOM) omo una nueva forma de lusterizaión, omo una variante de los Mapas Auto-Organizados (SOM) basado en estadístias de orden, Marginal Median SOM (MMSOM) y Vetor Mediana SOM (VMSOM). Este modelo emplea ombinadamente MMSOM y VMSOM definiendo la importania de ada uno a través de un índie de partiipaión representado por un parámetro λ. Para demostrar la efetividad de la propuesta se probó on imagenes del onjunto de datos COIL100 y el índie de validaión CDbw. Los experimentos realizados mostraron que el modelo propuesto supera los resultados obtenidos por una red SOM stándard entrenada en bath, e inluso a los entrenamientos realizados por MMSOM y VMSOM por separado. Keywords-SOM ; MMSOM ; VOMSOM; CDbw I. ITRODUCCIÓ Los mapas auto-organizados (Self-Organizing Maps, SOM) son un tipo de Redes euronales[1] que estableen la adaptaión de ualquier espaio de entrada de datos haia una red de dos o tres dimensiones, de modo que se tenga un prototipo de neuronas bien definidas. Los nodos estan organizados en un mapa y ompiten entre sí para ganar uno a uno los patrones de entrada [2]. Este modelo esta basado en la lase de algoritmos de entrenamiento SOM que emplean estadístias de orden, omo Marginal Median SOM (MMSOM) y Vetor Median SOM (VMSOM)[3]. Estas variantes de SOM son tan buenas omo una SOM stándar, entrenada por bath, y han sido apliados anteriormente al reonoimiento de patrones. La ontribuión de esta investigaión esta en la evaluaión del trabajo de estos dos algoritmos de entrenamiento juntos mediante un índie de partiipaión representado por λ. Este índie será elegido dependiendo del mejor valor que obtenga el índie Composity Density between and whitin lusters index (CDbw) durante las pruebas. La superioridad de este modelo frente a BL-SOM y sus padres MMSOM y VMSOM queda demostrada mediante los experimentos realizados sobre el onjunto de datos de COIL100 vetorizados on el desriptor Color Layout [4]. Este artíulo se ha desarrollado de la siguiente manera. En la Seión 2 se explia el onepto de Clustering y el índie de validaión CDbw. La Seión 3 desarrolla los oneptos basios de la red SOM y sus respetivas variantes. Mientras que en la Seión 4, se desribe la propuesta del modelo. Los experimentos y los resultados se presentan en la Seión 5. La Seión 6 muestra algunas onsideraiones. Y finalmente la Seión 7, las onlusiones. II. CLUSTERIG Clustering es el proeso de agrupamiento que permite organizar un onjunto de datos dentro de subonjuntos a manera de grupos, así los datos que están en un mismo lúster son más similares que aquellos que se enuentran en otro lúster[5]. A diferenia de la lasifiaión, este es un aprendizaje no supervisado, es deir, aprende por observaión de ejemplos. Otra araterístia del lustering es que no existen etiquetas predefinidas de las distintas lases posibles para los datos; por lo tanto, a manera de que el algoritmo se ejeuta los datos progresivamente se identifian on los lusters que van apareiendo[6]. Para que un luster pueda ser tomado en uenta y validado debe umplir dos propiedades elementales: baja similitud inter-luster y alta similitud intra-luster[6]. II-1. El índie CDbw Con la neesidad de enontrar un riterio que permita determinar si el agrupamiento final realizado es el más óptimo, es deir lusters bien ompatos y al mismo tiempo bien separados, se aplia un índie onoido omo índie de validaión. Wu y Chow presentan un índie de validaión relativo que se basa en la densidad inter-luster e intra-luster. Este índie es onoido omo CDbw (Composity Density Between and whitin lusters) y enontrará la relaión que hay entre los lústers en funión de los elementos más representativos de ada uno. Una vez agrupados los datos en lusters se utiliza el índie de validaión CDbw. Entre mayor sea el valor del índie este india que es más óptimo. Para alularlo se utiliza la Euaión 1, en la ual intra_den() es la densidad intra-luster y Sep() es la separaión entre lusters[7], [8]. CDbw() = intra_den().sep() (1) 145
En la densidad intra-luster definida en la Euaión 2, el término density(v i j ) = n j l=1 f(x i,v i j ), en el ual x l pertenee al luster i, y v i j es el j-ésimo punto de representaión [7]. intra_den()= 1 r i i=1 density(v i j ),>1 (2) La Euaión f(x i,v i j ) se detalla a ontinuaión: { 1 si xi v i j σ, 0 en otro aso donde la desviaión estándar promedio σ es definida por la Euaión 4: σ = ni (3) σ(i) 2 / (4) k=1 donde el término n i representa el número de puntos, y σ(i) es un vetor que ontiene las desviaiones estándar de los puntos de representaión del luster i. Para definir el vetor de desviaiones estándar del luster i se onsidera el vetor de puntos de representaión v i = (v i1 ;v i2 ;...;v iri ) on tamaño r i. En la Euaión 5 vemos el p-ésimo elemento de σ(i) [7]. σ p (i)= ni (x p k mp i )2 /(n i 1) (5) k=1 donde x p k son los datos y mp i es la media de luster i. La expresión Sep() de la Euaión 1 representa la separaión que hay entre los lusters. Para alular la separaión se utiliza la Euaión 6. Los términos lose_rep(i) y lose_rep( j) son el par de puntos representativos más eranos entre el luster i y el luster j. Sep() = i=1 lose_rep(i) lose_rep( j) 1+inter_den() donde la densidad inter_den() se obtiene on la Euaión 7 inter_den() = uando >1 III. i=1 lose_rep(i) lose_rep( j) σ(i) + σ( j) MAPAS AUTO-ORGAIZADOS (SOM) Y SUS VARIATES Las redes neuronales artifiiales simulan el omportamiento de las neuronas biológias y son representadas mediante modelos matemátios. Si bien es ierto todavía no se ha podido omprender el erebro humano en su totalidad, se toman las propiedades básias de las neuronas, tales omo la propagaión del onoimiento entre las que se enuentran en una veindad, donde las neuronas más próximas reiben máyor estímulo de lo aprendido por alguna neurona. Los mapas auto-organizados (SOM) son redes neuronales no supervisadas bastante utilizadas en el área de minería de datos.[2], [9]. Para entender el entrenamiento de una red SOM debemos onsiderar el vetor de entrada X(t), donde todos los datos (6) (7) de entrada afetan a ada neurona i. Según los pesos de las. neuronas w i = [wi1,w i2,...,w in ] se determinará una neurona ganadora, por lo que todos los pesos de las veinas serán afetados y atualizados segun la euaión de aprendizaje 8: III-A. { wi (t)+ε(t)h i (t)(x t w t ), i (8) w i (t) i / SL-SOM El método Self-Organized SOM (SL-SOM) omplementa el trabajo de la SOM, al segmentar el mapa y alular el partiionamiento más óptimo. Una vez entrenada la red SOM se alula una matriz de distanias inter-neuronal denominada U-Matrix, la ual es segmentada a partir de un umbral definido. Todas aquellas posiiones de la U-Matrix que tengan una distania menor al umbral se les asigna un valor 1 y a las mayores un valor 0. De esta manera se genera una matriz binaria [10] en la que los setores donde se aumulan valores 1 se onsideran posibles lusters. El problema que se enuentra en este paso, es que hay regiones que no perteneen a ningún grupo, donde enontramos valores 0. Estas regiones no ayudan a visualizar la segmentaión, por eso onviene apliar un algoritmo de reimiento de regiones omo el Watershed [9], que elimina los valores 0 y redefine los lusters enontrados. El algoritmo tradiional de SL-SOM determina mediante un dendograma uál es el mejor partiionamiento. En el dendograma se puede observar uál es el resultado que prevalee, por su ontinuidad y estabilidad. Es deir, aquel resultado que da on más freuenia es el onsiderado omo más óptimo. Para rear el dendograma, es neesario realizar un álulo del número de lusters que se enuentran on distintos umbrales. Aunque este método es subjetivo, nos proporiona un riterio para esoger un buen resultado. III-B. BL-SOM BL-SOM forma un mapeamiento no-lineal de un espaio de entrada d-dimensional arbitrario haia un onjunto de nodos de dos o tres dimensiones (el mapa en sí). Cada nodo está asoiado on un vetor de pesos w = (w 1,w 2,...,w D ) T en el espaio de entrada. La BL-SOM es entrenada iterativamente y aprende los patrones de entrada. El aprendizaje (no-supervisado) de auto-organizaión subyae en revelar las propiedades estadístias de los patrones de entrada, reando así representaiones adeuadas para las araterístias, por ejemplo vetores de peso, y automátiamente rear nuevos lusters. Los mapas neuronales ompiten entre sí en búsqueda de ser ativados al ganar los patrones de entrada. Solamente una neurona gana en ada iteraión, onvirtiéndose así en la ganadora de la BMU 2 [11]. Sea x j el j-ésimo vetor de araterístias de entrada d- dimensional, y w i el i-ésimo vetor de peso d-dimensional. El primer paso del algoritmo es iniializar el vetor de entrada usando un algoritmo de iniializaión linear. Los vetores de peso w i definen la triangulaión Voronoi del espaio de entrada 2 Best Mathing Unit, mejor unidad de emparejamiento 146
[1], [2]. Cada elda Voronoi está representada por su entroide, el ual orresponde al vetor de pesos w i. Cada patrón de entrada x j está asignado a una elda Voronoi basada en la ondiión de veino más erano. Esto es, el índie BMU, ( j), del patrón de entrada x j definido en la Euaión 9 ( j)=argmín( x j w i ) (9) donde denota distania eulidiana. Asimismo, BL-SOM puede ser tratada omo un método de uantizaión de vetor [12]. El paso más importante del algoritmo BL-SOM es la adaptaión de los vetores de peso de las neuronas. Las neuronas están onetadas a neuronas adyaentes por una funión de veindario que india la topología del mapa. Determina también, uán fuertes son las onexiones entre las mismas [11]. En ada paso del entrenamiento, las neuronas atualizan la funión de veindario, uyo propósito es orrelaionar las direiones de las atualizaiones de los pesos en un gran número de neuronas alrededor de la BMU [13]. Para atualizar las neuronas venedoras y sus veindarios, se puede optar ya sea por tipo de regla de adaptaión LMS 3 o por un algoritmo bath. En el presente trabajo, se utiliza la última, la ual onsiste en que un onjunto de entrenamiento dado x j, el ual mantiene registro de las atualizaiones de los pesos, pero uyo ajuste es apliado solamente después de todas las muestras del onjunto que han sido onsideradas. El aprendizaje esa uando se alanza el número predeterminado de iteraiones [13]. En ada iteraión del entrenamiento se determina la BMU. Tras ello, todas las neuronas que perteneen al veindario son atualizadas a su tiempo. La regla de atualizaión del i-ésimo vetor de peso, w i, es alulada mediante la Euaión 10 [11]: α(t)h i( j) (t)x j j 1 h i (t) (10) donde define el número de patrones x j que han sido asignados a la i-ésima neurona hasta la t-ésima iteraión y h i (t) denota una funión de veindario alrededor del BMU (( j)). La tasa de aprendizaje a(t) es una funión dereiente en el tiempo. BL-SOM tiene algunas desventajas, tales omo la falta de robustez en uanto a valores atípios y deisiones erróneas para el vetor ganador debido a estimadores lineales. Pero esto se puede resolver utilizando estadístias de orden multivariante [3]. III-C. MMSOM MMSOM alula la mediana marginal de todos los patrones asignados a la neurona ganadora y atualiza solamente los vetores de peso BMU. MMSOM onfía en el onepto de ordenamiento marginal. El ordenamiento marginal de los vetores de entrada x 1,x 2,...,x n donde x j =(x 1 j,x 2 j,...x D j )T 3 Least Mean Squared se realiza al ordenar los omponentes de la neurona ganadora de forma independiente de auerdo a las D dimensiones [3], [14]: x q(1) x q(2)... xq(),q=1,2,...,d (11) donde q denota el índie del omponente del vetor en onsideraión. El nuevo vetor de peso del BMU surge del álulo de la mediana marginal de todos los patrones indexados en el BMU[15]. El álulo de la mediana marginal está definido en la Euaión (12) = marginal_median{x 1,x 2...,x n }= ( ) T x1(v+1),...,x D(v+a), = 2v+1 ( x1(v) +x 1(v+a) 2,..., x D(v) +x ) T (12) D(v+a) 2, = 2v donde denota el número de patrones asignados al BMU, w. La neurona ganadora es atualizada mediante la Euaión 13: III-D. w (t+ 1)=marginal_median{R (t) x(t)} (13) VMSOM VMSOM alula el vetor de medianas de todos los patrones asignados a la neurona ganadora y atualiza solamente el vetor de peso del BMU. El operador de vetor medio es el vetor que pertenee al onjunto de vetores de entrada indexados por el BMU, el ual es el más erano a todos los vetores de entrada atuales [16]. La mediana del vetor de vetores de entrada x 1,x 2,...,x está definida por la Euaión 14: donde x l = vetor_median{x 1,x 2...,x n } l = argmín k x j x k (14) La neurona ganadora es atualizada según la Euaión 15: w (t+ 1)=vetor_median{R (t) x(t)} (15) IV. OVMMSOM El modelo OVMMSOM alula un nuevo BMU para ada neurona, apartir de los BMU s resultantes de los entrenamientos por separado de MMSOM y VMSOM. El modelo se desribe en el algoritmo 1. V-A. V. RESULTADOS EXPERIMETALES Bases de Datos Utilizadas Las pruebas han sido realizadas utilizando la base de datos de imagenes COIL100 1, proporionada por la Universidad de Columbia, la ual ontiene 7200 imagenes orrespondientes a 100 objetos, ada una de las imagenes muestra a un objeto rotado 72 vees, ino grados a la vez omo se muestra en las Figuras 1 y 2 1 Columbia University Image Library - http://www.s.olumbia.edu/cave/software/softlib/oil-100.php 147
Algoritmo 1 Pseudoódigo del entrenamiento on OVMM- SOM Entrada: dataset P iniial ={p 1,..., p n } no vaío Salida: data lusterizada 1: mientras el valor de CDbw sea aeptable haer 2: Entrenar on MMSOM 3: Obtener BMU: MMBMU 4: Entrenar on VMSOM 5: Obtener BMU: V MBMU 6: Generar el nuevo BMU: OV MMBMU 7: OV MMBMU = λ MMBMU+(1 λ) V MBMU 8: Entrenar on OVMMSOM 9: Calular índie CDbw 10: fin mientras 11: devolver ierto es realizada mediante el álulo del índie CDbw. La partiipaión de ada uno de los entrenamientos (MM- SOM y VMSOM) en la propuesta esta definida por un índie λ, el ual definirá el nuevo BMU (OVMMBMU) de la siguiente manera: OV MMBMU = λ MMBMU+(1 λ) V MBMU (16) Como se puede ver en las Figura 3 y 4, que representan los experimentos realizados (100 entrenamientos). Figura 1. COIL100 Figura 3. Promedio de los índies obtenidos on respeto al número de lusters utilizando OVMMSOM Figura 2. Subonjunto de imagenes de COIL100 orrespondiente a un objeto V-B. Pruebas La extraión de araterístias de las imagenes se hizo utilizando el desriptor ColorLayout espeifiado en el Capítulo 2, el vetor araterístia de ada imagen posee 12 dimensiones, 6 para luminania y 6 para rominania. El total de experimentos realizados para ada algoritmo fue de 100 entrenamientos. El entrenamiento de la red BL-SOM se hizo iniialmente on 1200 patrones (los últimos 12 de ada grupo de 72, ada grupo de 72 representa a un artíulo del onjunto de COIL100), luego se agregaron los 6000 patrones restantes para lusterizar finalmente el onjunto total de patrones. La validaión de los lústers, para los 4 entrenamientos (BLSOM, MMSOM, VMSOM y la propuesta OVMMSOM) Figura 4. Comportamiento del índie CDbw para OVMMSOM on respeto a los valores λ Tras los resultados mostrados en las Figuras 3 y 4, se elige 0,35 omo valor del índie λ el ual se utilizará en las pruebas frente a los demás algoritmos. Los experimentos onstan de entrenamientos on los 4 métodos: BL-SOM, MMSOM, VMSOM y OVMMSOM. BL-SOM fue entrenada on 50 époas ada vez. La Tabla I muestra el promedio de los resultados tras 100 experimentos. El modelo OVMMSOM propuesto para entrenamiento de SOM, on índie λ = 0, 35 ha demostrado mejorar el índie de 148
Tabla I RESULTADOS COMPARATIVOS USADO LA DATA DE COIL100 (C = ÚMERO DE CLUSTERS OBTEIDOS) Tam Métodos SOM del BL MM VM OVMM mapa CDbw C CDbw C CDbw C CDbw C 4 4 1.76 2 2.64 2 1.54 3 2.38 3 5 5 1.93 4 3.15 3 2.89 4 2.48 5 6 6 2.07 5 2.61 3 2.77 4 2.99 5 7 7 2.38 4 2.96 5 2.56 4 2.65 4 8 8 2.59 5 2.49 4 3.12 5 3.56 5 9 9 2.29 5 3.42 4 3.28 4 3.78 5 validaión de sus predeesores MMSOM y VMSOM, inluso superando el índie de validaión que se le asignaba a los agrupamientos realizados on BL-SOM, por lo que los lústers obtenidos tras el entrenamiento propuesto por este modelo ofreen grupos mas densos y aislados de los demás. Esto signifia que, a diferenia de los demás métodos evaluados, ha proporionado una deteión más efiiente de lústers sobre la data, basado en el desriptor de olor ColorLayout, omo muestra la Figura 5. Figura 5. Clusterizaion de COIL100 on OVMMSOM y un mapa 9 9 VI. COSIDERACIOES En este artíulo se presentó un modelo de agrupamiento basado en redes SOM apliando los entrenamientos MMSOM y VMSOM junto al método de interpretaión de la red: SL-SOM. Se probó la alidad de este nuevo modelo de agrupamientos en un onjunto de imágenes utilizando un desriptor de bajo nivel basado en olor Color Layout. VII. COCLUSIOES Se determinó experimentalmente que la unión de los entrenamientos MMSOM y VMSOM on un índie de partiipaión λ llega a mejores resultados si es omparado on la apliaión de MMSOM y VMSOM por separado, donde los resultados son el valor del índie de validaión CDbw apliado a los grupos resultantes en el onjunto de imágenes utilizado. Se enontró que para un valor de λ = 0,35 se obtuvo el mejor rendimiento. Cabe destaar que en un iniio se propuso una partiipaión por igual de los entrenamientos MMSOM y VMSOM pero los resultados on este esenario no fueron alentadores, por lo que se optó por definir el índie de partiipaión λ y se busó un valor que ofreza mejores resultados. Otro punto a resaltar es la ontinuidad de OVMMSOM para obtener un número adeuado de lusters, pues en promedio ha enontrado la misma antidad de lusters válidos sin depender del tamaño del mapa. REFERECIAS [1] S. Haykin, eural networks: A omprehensive foundation, Journal of Multi-Criteria Deision Analysis, Upper Saddle River, Prentie-Hall, 1999. [2] T. Kohonen, Self-organizating maps, Springer-Verlag, 2000. [3] I. Pitas, C. Kotropoulos,. ikolaidis, R.Yang, and M. Gabbouj, Order statistis learning vetor quantizer, IEEE Trans. Image Proessing, vol. 5, pp. 1048-1053, 1996. [4] P. Salembier and J. R. Smith, Mpeg-7 multimedia, desription shemes, Transriptions on Ciruits and Systems For video Tehnologies, pags. 748-759., 2002. [5]. Grira, M. Cruianu, and. Boujemaa, Unsupervised and semisupervised lustering: a brief survey, Review of Mahine Learning Tehniques for Proessing Multimedia Content, Report of the MUSCLE European etwork of Exellene, 2004. [6] S. A. Elavarasi, J. Akilandeswari, and B. Sathiyabhama, A survey on partition lustering algorithms, International Journal of Enterprise and Bussiness Systems, 01 2011. [7] S. Wu and T. Chow, Clustering of the self-organizing map using a lustering validity index based on inter-luster and intra-luster density, Pattern Reognition Journal, págs. 175-188, 2003. [8] M. Halkidi and M. Vazirgiannis, A density based luster validity approah using multi-representatives, Journal of Intelligent Information Systems, 2008. [9] J. Costa, Classifiaçao automátia e análise de dados por redes neurais auto-organizaveis, PhD thesis, Universidade Estadual de Campinas., 1999. [10] A. Ultsh, Self-organizing neural networks for visualization and lassifiation, Intell. Data Anal. pp. 373-384, 1993. [11] Juha.Vesanto, J. Himberg, E. Alhoniemi, and J. Parhankangas, Som toolbox for matlab 5, http://www.is.hut.fi/projets/somtoolbox, Finland, 2000. [12] A. Gersho and R. Gray, Vetor Quantization and Signal Compression, ser. Kluwer international series in engineering and omputer siene. Kluwer Aademi Publishers, 1992. [Online]. Available: http://books. google.om.pe/books?id=dwdm6xgituc [13] M. M. V. Hulle, Faithful Representations and Topographi Maps. From Distortion- to Information-Base Self-Organization, 1st ed., ser. Adaptive and Learning Systems for Signal Proessing, Communiations and Control Series. ew York: Wiley-Intersiene, 2000. [14] C. Kotropoulos and I. Pitas, onlinear Signal and Image Proessing: Theory, Methods, and Appliations. Boa Raton, FL: CRC Press, 2004, h. Self-organizing maps and their appliations in image proessing, information organization, and retrieval. [15] I. Pitas and P. Tsakalides, Multivariate ordering in olor image restoration, IEEE Trans. Ciruits and Systems for Video Tehnology, pp. 247 259, 1991. [16] J. Astola, P. Haavisto, and Y. euvo, Vetor median filters, Proeedings of the IEEE, vol. 78, no. 4, pp. 678 689, 1990. 149