UN POCO DE HISTORIA Prof. Teuvo Kohonen UN POCO DE HISTORIA

Transcripción

1 Self-Organzng Maps 1. Defnón.. Un poo de hstora. CONTENIDO 3. Desrpón del algortmo. L. Pablo Sergo Garía 4. Ejemplos en ejeuón. 5. Problemas 6. Aplaones. DEFINICIÓN El SOM es un algortmo para vsualzar e nterpretar onjuntos de datos de gran antdad de dmensones. (Unversdad Tenológa de Helsnk) Comenza on la nvestgaón sobre la reaón de mapas de neuronas en el erebro en el sglo 18. Red neuronal basada en un aprendzaje ompettvo no supervsado, que puede ser usada para lusterng y lasfaón de datos. Se espeula que las osas que se aprenden se almaenan en el erebro por sus propedades, y que osas que perteneen a la msma ategoría están era unas de otras. En 198 el Prof. Teuvo Kohonen publa el paper ttulado: Self- Organzng Formatons of Topologally Corret Feature Maps, en el ual enuna el sguente desubrmento: En una red smple de elementos fsos adaptables, los uales reben señales desde un espao de eventos prmaro, la representaón de las señales son automátamente mapeadas en un onjunto de respuestas de salda, de forma tal que las respuestas adqueren el msmo orden topológo que tenen los eventos de entrada. Basado en este desubrmento, Kohonen propone que mapas topologamente orretos de dstrbuones estruturadas de señales, pueden ser formados en arreglos de una o dos dmensones ompuestos de undades de proesamento, las uales no tenían esta estrutura nalmente. Las señales pueden ser tems totalmente abstratos, sempre y uando se puedan representar sus araterístas en una métra o espao topológo. 1

2 Prof. Teuvo Kohonen S demos que la undad on la máxma respuesta a un evento en partular, es vsta omo la magen de dho evento, entones el mapeo se de ordenado s la relaón topológa de las mágenes y los eventos es smlar Prnpales elementos del algortmo: Vetores de entrada x = [x 1,x, x n ] Celdas del mapa on una posón determnada en el msmo (x,y) Vetores de peso (modelo) de las eldas m = [m. 1,m.,.,m n ] Pasos del algortmo: 1. Se nalza el vetor de peso de ada elda.. Se elge un vetor en forma aleatora del onjunto de vetores de entrada. 3. Se ompara el vetor del paso on ada uno de los vetores de peso del arreglo de eldas, para determnar ual de los vetores de peso es mas paredo al vetor de entrada. (BMU) 4. Se alula uales son las eldas dentro del vendaro de la elda enontrada en el paso El vetor de peso de ada una de las eldas enontradas en el paso 4, es modfado para que se asemeje mas al vetor de entrada. Cuanto mas era esta del BMU, mas se modfa. 6. Repetr desde el paso hasta ompletar N teraones.

3 Resultado de un SOM entrenado on un onjunto de entrada de vetores en R 3 los uales representan olores en formato RGB. Paso 1: Inalzaón de los vetores de peso. Inalzaón aleatora: el valor de los vetores es aleatoro. Inalzaón por muestreo: se toman vetores de entrada en forma aleatora. Inrementando el tamaño del mapa: Se alula un mapa de tamaño menor al deseado, y luego se agregan eldas entre las del mapa menor hasta llegar al tamaño deseado, en donde ada vetor de peso nuevo toma omo valor la meda de los vetores venos. Paso 3: Seleón de la BMU. Se ompara el vetor seleonado x, ontra ada vetor de peso w, alulando la dstana entre ambos: Paso 3: Seleón de la BMU. = n = 0 ( x m ) La BMU, m, será aquella que umpla lo sguente: = mn{ } Paso 4: Calulo del vendaro. En su paper orgnal Kohonen propone un vendaro fjo de oho eldas rundantes. Paso 4: Calulo del vendaro. Se puede substtur el tamaño fjo del vendaro por una funón que determna el msmo en base a la dstana entre la elda y la ganadora (BMU). Esta es una funón dereente en el tempo, y se alula en el de D de las eldas: h( r r, t) = e r r σ ( t) En donde r y r son las posones de la elda ganadora y la elda a modfar respetvamente, y σ(t) es una funón monótonamente dereente la ual afeta el anho de la funón Gausana. 3

4 Paso 4: Calulo del vendaro. Podemos observar en el gráfo omo, a medda que transurre el tempo, para que una elda perteneza al vendaro debe estar mas era de la BMU. Paso 5: Modfaón de los vetores de peso dentro del vendaro. Atualzamos los vetores de peso basados en la funón de vendaro h y el fator de aprendzaje α, haendo que los vetores atualzados se aerquen mas al vetor de entrada x. m ( t + 1) = m ( t) + h( r r, t)( x( t) m ( t)) α( t) α es el fator de aprendzaje, y es una funón dereente en el tempo, generalmente de la forma: A α( t) = t + B En donde A y B son onstantes adeuadamente seleonadas. Paso 5: Modfaón de los vetores de peso dentro del vendaro. El efeto obtendo se observa en el sgte gráfo, en donde vemos omo los vetores del vendaro de la BMU se aproxman a la entrada X. Paso 6: Repetr desde el paso hasta ompletar N teraones. Se sugere repetr el proeso 500 vees la antdad de undades de la red. (vsualzaón) Una vez generado el mapa podemos vsualzarlo de dversas maneras: Etquetas: (vsualzaón) Clusters (unfed dstane matrx): Se alula una matrz de dstanas entre los vetores de peso y sus venos. Mayor dstana = mas osuro. Las barras en torno a ada elda muestran la dstana respeto de la adyaente. El olor de la elda es la meda de las dstanas a sus eldas rundantes. 4

5 (vsualzaón) Vetores de entrada en el SOM: EJEMPLOS EN EJECUCIÓN Identfaón de olores. Vsualzando el espao de entrada. SOM aplado a textos. Se proyeta ada vetor de entrada busando su BMU. Se genera un hstograma en donde a ada elda se le asoa el número de hts que obtuvo. PROBLEMAS Datos perddos (valores no obtendos para los omponentes del vetor de entrada) en gran antdad. Generaón de varos mapas hasta obtener el mas orreto. APLICACIONES 1. WEBSOM (Web) (loal). Mapas de pobreza: Se mden varos fatores de aldad de vda. Computaonalmente ostoso a medda que aumenta la antdad de dmensones y antdad de undades en la red. Generaón de varos mapas hasta obtener el mas orreto. APLICACIONES 3. Reonomento del habla. (Duth Automat Speeh Reognton Usng Kohonen Neural Networks, J. Shalken, Delft, Holanda) 5