REDES AUTOORGANIZATIVAS

Transcripción

1 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 1 REDES AUTOORGANIZATIVAS 1. Introducción a la Autoorganización. 2. Arendizaje Cometitivo Carácterísticas Ventajas y Limitaciones. 3. Modelo de Kohonen. (Clustering) 4. Maas Toológicos de Características Autoorganizados de Kohonen Funcionalidad Algoritmo de entrenamiento Proiedades de los maas toológicos LVQ Alicaciones de los Maas Autoorganizados.

2 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 2 INTRODUCCIÓN Consiste en la modificación reetida de conexiones en resuesta a atrones de activación y siguiendo unas reglas reestablecidas, hasta el desarrollo final de la estructura o sistema. La organización en las redes neuronales tiene lugar en 2 niveles diferentes, los cuales están íntimamente interconectados en forma de lazo: Actividad: Ciertos atrones de actividad son roducidos or la estructura en resuesta a señales de entrada. Conectividad: Los Pesos de las diferentes interconexiones, son modificados en resuesta a señales roducidas or los PE. (Conceto de Plasticidad).

3 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 3 PRINCIPIOS: Princiio1: Modificaciones en los Pesos tienden a auto-amlificarse. El roceso de auto-amlificación está relacionado con el hecho de que las modificaciones de los Pesos están basadas en señales variables localmente. Princiio 2: Limitaciones debido a la cometitividad establecen la selección de gruos de interconexiones fuertes, a exensas de otras. Princiio 3: Modificaciones en los Pesos tienden a una cooeración entre todos ellos.

4 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 4 Contexto de las Redes Autoorganizativas. Existen roblemas donde el conjunto de entrenamiento está formado or un conjunto de atrones de entrada y donde las salidas deseadas no están disonibles. En estos casos la información relevante debe de ser localizada en los roios atrones de entrada (redundancia). Problemas tales como: Clustering: Los datos de entrada ueden ser agruados en clusters y el sistema al rocesar los datos debe de encontrar los centros de esos clusters. Cuantización de Vectores: Este roblema ocurre cuando en un esacio continuo tiene que ser discretizado. La entrada al sistema son vectores n-dimensionales y la salida es una reresentación discreta del esacio de entradas. Reducción de Dimensionalidad: Los datos de entrada deben de ser agruados en un subesacio con una dimensionalidad más baja que la dimensionalidad de los datos. Extracción de Características: El sistema tiene que extraer características de los datos de entrada (suone casi siemre una reducción de la dimensionalidad).

5 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 5 APRENDIZAJE COMPETITIVO Esta idea se basa en la existencia de una cierta cometitividad entre los PEs de una cierta caa or la oortunidad de entrenarse (arender). Esto, se refiere a que, el PE que roduce la salida mayor se le considera Ganador, y tiene la caacidad de inhibir a los otros PEs (no resentan activación: salida nula). Todo ello conlleva que solamente los esos del PE ganador odrán ser ajustados. Cada nodo recibe las mismas entradas de una caa revia y entre los nodos de la caa existen conexiones laterales: excitadora (sobre si mismo), inhibidoras (sobre todos los demás nodos de la caa).

6 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 6 MODELO DE KOHONEN. (Clustering) Matlab, Neural Neurocomuting cat. 5 Teuvo Kohonen, rofesor de la Facultad de Ciencias de la Información (Universidad de Helsinki), trabajó extensivamente, en lo que se denomina Memorias Asociativas y en modelos ara actividad neurobiológica. En líneas generales, las redes entrenadas mediante esta regla se caracterizan or diferentes factores: x1 W11 W1 1 f y1 f = función Cometitiva Asocian vectores de entrada a atrones de salida. W1n El arendizaje es Sin Suervisar. xn Wn f y Las estructuras de las redes las forman solamente 2 caas. Estructura Cometitiva Se determina la similitud entre los

7 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 7 PE y el vector de entrada mediante la formula: n d j = xi t w ji t i= 1 ( ( ) ( )) Una vez que se determina cual es el PE ganador (suongamos "k") se alica la función de transferencia de tio cometitiva: 2 y y j j = 0 j k = 1 j = k Una vez seleccionado el PE ganador se modifican sus esos mediante la siguiente regla: w + 1 = w + µ x w ( t ) ( t) ( t)( ( t) ( t)) ki ki i ki En algunos casos, la velocidad de arendizaje, suele ser deendiente del tiemo y normalmente decrece en cada aso.

8 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 8 CARACTERÍSTICAS La velocidad de arendizaje suele disminuir con el tiemo, hasta que toma un valor róximo a 0 en cuyo caso el arendizaje finaliza. Se trata de asociar cada PE de la caa de salida a un gruo de vectores de entrada, con una cierta similitud, generando de tal manera clases o clusters. Así, los esos de los Pes, son interretados como los centros de los clusters. Si existen más PE en la caa de salida que clases de atrones de entrada, ueden suceder dos cosas: quedan PE inactivos, sin asociar a ninguna clase una clase tiene asociados más de un PE.

9 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 9 Normalmente los atrones de entrada se Normalizan. Razón: El PE ganador se determina calculando una medida de similaridad entre entrada y eso. Dicha similaridad se calcula emleando, normalmente, la Distancia Euclídea y ésta comara magnitudes y orientación esacial. Patrones y Pesos Normalizados. Este hecho suone incrementar la velocidad de arendizaje ya que, existe menos variabilidad en el esacio de esos. Por ejemlo:(1,1,1,1);(4,4,4,4) son idénticos---- (1/2,1/2,1/2,1/2). Una Limitación de las redes cometitivas es que algunas neuronas ueden no ser entrenadas. En otras alabras, ueden existir vectores de esos muy distanciados de las entradas, con lo cual, nunca ganarán. Imortantísimo en estos sistemas es la inicialización de esos.

10 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 10 Demostración de que el arendizaje cometitivo sigue la idea de la Regla Delta. ( E = w ) kj xj La función error ara el atrón es: E w w = E = γ w w 0 x j j 1 2 i ganadora en otro caso ( ) ( ) γ j w = γ w x = x w j 2

11 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 11 MAPAS AUTOORGANIZATIVOS (TOPOLÓGICOS) MAPAS CEREBRALES La reresentación económica de la información es uno de los roblemas centrales de las ciencias de la información. El cerebro humano osee la caacidad y la habilidad ara oerar con grandes conjuntos de datos. Es caaz de obtener reresentaciones reducidas de hechos relevantes sin que ello imlique érdida de información en los datos y sus relaciones. El suuesto del rocesado inteligente de información uede ser visto como la creación de imágenes simlificadas del mundo real con diferentes niveles de abstracción, en relación a un subconjunto articular de datos observables [kohonen].

12 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 12 Es conocido que varias áreas del cerebro, esecialmente de la corteza cerebral, están organizadas de acuerdo a diferentes modalidades sensoriales. Exerimentos más recientes han revelado una estructura-fina en muchas áreas. Por ejemlo: las señales de resuesta en áreas como la visual, son obtenidas en el mismo orden toográfico sobre la corteza con que éstas fueron recibidas en los órganos sensoriales.

13 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 13 La osibilidad de que la reresentación del conocimiento en una categoría articular ueda asumir la forma de un maa de características y en cierto sentido organizado geométricamente sobre la corteza del cerebro, ha motivado una serie de investigaciones que han dado lugar a nuevos modelos de redes neuronales artificiales. Algunas investigaciones han revelado que ciertas caas de neuronas tienen la habilidad de cambiar sus resuestas de tal modo que la localización de la neurona en la red donde la resuesta es obtenida esecifica una cierta característica del conjunto de atrones de entrada. Esta esecificación ocurre en el mismo orden toológico que describe la relación de similaridad entre los atrones de entrada. Las neuronas o unidades no se mueven, es el conjunto de sus arámetros internos quienes definen su esecificidad. Las redes son normalmente bidimensionales: Existe un maeado que es caaz de reservar las relaciones toológicas mientras se consigue una reducción de dimensionalidad del esacio de entradas.

14 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 14 MAPAS AUTO-ORGANIZATIVOS Estructura de Neuronas Artificiales Maas cerebrales Fundamentos: Arendizaje Cometitivo. Relación Toológica entre EP. Modelado de Datos mediante un maeado esacial Maas Autoorganizativos Toológicos (SOM) T. Kohonen Prerocesado de atrones ara su reconocimiento Proyectar y visualizar esacios de entrada multi-dimensionales en esacios de salida bidimensional. (Maas Bidimensionales)

15 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 15 Estructura formada or dos caas. Las neuronas en la caa de salida se ordenan en esacios n-dimensionales. Los esos de las unidades de salida se adatan de forma que el orden resente en el esacio de entradas ersiste en la salida. La idea del algoritmo de arendizaje consiste en organizar los PEs en el esacio de salida, en regiones (locales) que actuarán como clasificadores de los datos de entrada. El maa toográfico es organizado de manera autónoma mediante un roceso cíclico de comaración de atrones de entrada (entrenamiento) y vectores de esos.

16 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 16 El SOM (Caso Esacio Euclídeo) Estructura Bidimensional Presentación Patrones Inicialización de la estructura: Valores de Pesos Parámetros de arendizaje Selección elemento ganador Utilización de una métrica. (Distancia Euclídea) A di j C titi Modificar Pesos: Se modifican los esos del EP ganador y de todos aquellos que se encuentren toológicamente cercanos al ganador. h(i,k)-función deendiente de distancia entre unidades. S- Región de Interés considerada. Proceso Arendizaje w ( t + 1) = w ( t) + γh( i, k) i i ( x( t) w ( t) ) i S i

17 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 17 Mecanismos Laterales que favorecen la Autoorganización CONTROL DE ACTIVIDAD Arendizaje Cometitivo: se basa en la existencia de una cierta cometitividad entre los EPs de una cierta caa or la oortunidad de entrenarse (arender). El EP que roduce la salida mejor se le considera Ganador, y tiene la caacidad de inhibir a los otros EPs. Solamente los esos del EP ganador odrán ser ajustados Caa CONTROL DE PLASTICIDAD Deendencia toológica en el ajuste de los esos: Mejora adativa en la vecindad de la neurona ganadora. El control de lasticidad recisa como la actividad local determina el arámetro de arendizaje en su vecindad. Función que controla la velocidad de arendizaje en torno a una neurona ganadora

18 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 18 Consideraciones (I) 1- Diferentes Regiones de Interés. 2- La regla de modificación de esos sigue la idea de la Regla Delta. w E = γ w E = 1 kj 2 j ( w x ) 2 j E w w w = 0 = γ x ( ) ( w x = γ x w ) j i ganadora en otro caso j j

19 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 19 Consideraciones (II) 3- El roceso or el que los nodos que se encuentran toológicamente cercanos al ganador modifiquen sus esos suone un efecto de suavizado o de relajación sobre los esos de las neuronas ertenecientes a la región de vecindad que conducen hacia una ordenación global. Inicialización aleatoria de esos Reresentació n Final Esacio de Salida Distribución Bidimensional Patrones Entrenamiento Proceso Entrenamient o

20 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 20 PROPIEDADES DE LOS MAPAS AUTOORGANIZATIVOS Proiedad 1: Aroximación del Esacio de Entrada. Los Maas de características, reresentados or el conjunto de vectores de esos, nos dan una buena aroximación al esacio de entrada. Proiedad 2: Ordenación Toológica. Los Maas son ordenados toológicamente en el sentido de que la localización esacial de una neurona corresonde a un dominio articular o conjunto de atrones de entrada. Proiedad 3: Densidad de Muestreo. Los Maas autoorganizativos reflejan variaciones en las estadísticas de la distribución de entrada: regiones en el esacio de entrada, cuyos vectores tienen altas robabilidades de ocurrencia, son maeados en largos dominios del esacio de salida y entonces con mejor resolución que regiones de las cuales sus atrones ejemlo tienen ocas robabilidades de ocurrencia.

21 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 21 Proiedad 4: Selección Automática de la dimensionalidad de las Características Existen dos tendencias ouestas en el roceso autoorganizativo: El conjunto de vectores de esos tiende a describir la función de densidad de los vectores de entradas. Interacciones locales entre unidades de rocesado tienden a reservar la continuidad de secuencias de vectores de esos. Como resultado de dichas fuerzas es que: la distribución de los vectores de esos tienden a aroximar una suerficie suavizada. Reresentación de la forma y orientación ótima en el esacio de atrones que mejor imita la estructura global de la densidad de los atrones de entrada. La distribución de los vectores de referencia tienden a encontrar aquellas dimensiones del esacio de atrones donde los vectores de entrada resentan una gran variación, reresentándola en el maa de salidas.

22 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 22 CARACTERÍSTICAS: Con resecto a esos: lo mismo que ara el arendizaje cometitivo. Los nodos ertenecientes a la región de interés del ganador son también modificados. La razón de este hecho es que lo que se trata de conseguir es que la red cree regiones que resondan a valores muy róximos al del vector de entrenamiento. Los PE que se encuentren róximos al ganador tendrán un alineamiento similar y sobre el ciclo de entrenamiento esto será una ventaja en la reresentación de la clase ara dicha entrada. Como consecuencia de que son similares esacialmente a vectores de entrenamiento, serán correctamente clasificados incluso aunque éstos no formen arte del conjunto de entrenamiento. Esto demuestra la Generalidad de esta estructura. La región de interés normalmente, se reduce de manera lineal deendiendo del nº de ciclos del entrenamiento: Las dos ideas centrales en las que se basa Kohonen ara desarrollar sus estructuras usando arendizaje autoorganizativo y cometitivo son: " El roceso de adatación de esos y el conceto de geometría toológica de PEs".

23 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 23 Consideraciones Prácticas ara creación de Maas (I) Arendizaje con un número equeño de atrones de entrenamiento. Obtener una reresentación correcta del esacio de entradas. Diferentes métodos en la resentación de atrones. Reresentación de manera adecuada los casos más significativos. Favorecer los casos imortantes. Escalamiento en las comonentes de los atrones. Favorecer una correcta ordenación de los vectores reresentativos. Forzar reresentaciones en ciertos lugares del maa de entrada. Forzar la inicialización de esos. Mantener sobre ciertas localizaciones velocidades de arendizaje bajas. Visualizar la calidad del arendizaje.

24 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 24 Consideraciones Prácticas ara creación de Maas (II) Utilización de Pesos Adativos. Métrica Usual Distancia Euclídea Diferencias significativas en la varianza de las comonentes de los atrones de entrada Incorrectas Orientaciones d e 2 2 [ x( t), m ( t)] = µ [ x i N j= 1 ( 1 j ( t) w ( t)] t + 1) = (1 k1) e ( t) + k µ x j ( t) w ( t) 2 e ( t) i = 1 N N j= 1 e ( t) µ ( t + 1) = k 2 µ ( t) 0 < k 2 < 1 si µ x j ( t) w ( t) > e ( t) i µ ( t + 1) = k µ ( t) 3 k 3 > 1 si µ x j ( t) w ( t) < e ( t) i

25 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 25 APLICACIONES: Problema del Viajante

26 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 26 Segmentación de Imágenes Imagen Original Imagen Segmentada Ideal Imagen segmentada (Color) Imagen segmentada (Textura) Imagen Segmentada (Color y Textura)

27 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 27 Segmentación Color Segmentación Color y Textura

28 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 28 Clasificador de Maa de Características. Learning Vector Quantization (LVQ) En roblemas de clasificación de atrones, el requerimiento consiste en clasificar un conjunto de atrones de entrada en un número finito de clases. En estos roblemas, una de las tareas más imortantes consiste en delimitar las condiciones de searación de clases. Hasta el momento se han descrito métodos tanto en arendizaje suervisado como en arendizaje sin suervisar que trataban de resolver este roblema. Diferentes estudios han llegado a demostrar que en ciertos casos un método Híbrido soluciona mejor este roblema. La solución asa or usar una combinación de un Maa de características y un clasificador lineal con arendizaje suervisado (Limann, 1989). Entrada Maa Autoorganizativo Linear Clasificador (LMS) Salida

29 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 29 LVQ. Vector Quantization. Vector Quantization es una técnica or la cual el esacio de entradas es dividido en un número determinado de regiones y ara cada una de ellas es definido un vector que la caracteriza. Un esacio continuo tiene que ser discretizado. La entrada al sistema son vectores n-dimensionales y la salida es una reresentación discreta del esacio de entradas. Partición de un esacio continuo en 10 valores discretos Cuando al sistema se le resenta un nuevo vector de entrada, rimero se le asigna una determinada región y desués es reresentado or el vector característico de dicha región. Esta técnica es frecuentemente utilizada en transmisión de datos, utilizando una versión codificada del vector de reresentación en lugar de los atrones de entrada.

30 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 30 Cuando la medida de similaridad que se utiliza ara asignar a un atrón de entrada a una determinada región es la Distancia Euclídea, el quantizer es denominado de Voronoi. Este, divide el esacio de entradas en Celdas de Voronoi, y cada celda es reresentada or uno de los vectores de reconstrucción Wi. La i-esíma celda contiene aquellos untos del esacio de entradas que están más cercanos al vector Wi que a cualquier otro Wj. La regla de arendizaje cometitivo basada en la distancia Euclídea uede se utilizada ara osicionar un conjunto de vectores de reresentación (Kohonen 1989). Este algoritmo de arendizaje cometitivo uede ser visto como un método aroximado ara comutar dichos vectores de manera sin suervisar. Kohonen, diseñó versiones suervisadas de este método, Learning Vector Quantization (LVQ), ara roblemas de clasificación adativa de atrones. La información de clases se utiliza ara afinar los vectores de reresentación: Mejora en la clasificación de regiones.

31 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 31 Entradas Salidas Pesos = 0 Pesos <> 0 Caa Cometitiva Caa Lineal ESTRUCTURA QUE SIMULA LVQ OPERACIÓN: LVQ es una técnica de arendizaje suervisado. Un vector de entrada X es tomado aleatoriamente del esacio de entradas. Si las clases del vector X y la del W asociado coinciden, entonces el vector W es movido en la dirección de X. Por la otro arte, si las clases son diferentes, el vector W es alejado de X.

32 Tema 5: Redes Autoorganizativas Sistemas Conexionistas 32 Las reglas del cambio de los esos asociados a los PE que forman la región a la cual el Maa Autoorganizativo da como ganadora son las siguientes: Si wt ( + 1) = wt ( ) + µ ( t)( x wt ( )) Si ς ς w w = ς ς x x wt ( + 1 ) = wt () µ ()( t x wt ()) Es deseable que el factor de ganancia µ(t) decrezca con el tiemo. Los esos de la caa lineal: - Se inicializan a valores (1 y 0) antes del arendizaje (Usual). - Se modifican utilizando la Regla Delta.