Redes Neuronales Artificiales

Transcripción

1

2 Adaline-Madaline Utilizan un aprendizaje OFF LINE con supervisión denominado LMS (Least Mean Squared) o regla del mínimo error cuadrático medio (Widrow). También denominado Regla Delta. El aprendizaje busca encontrar el mejor vector de pesos posible en términos del criterio de error cuadrático medio. ADALINE está limitada a una única neurona de salida. Un vector x como su entrada y un número real y como su salida. MADALINE es una combinación de neuronas ADALINE. 2

3 Adaline-Madaline x 0 =1 x 1 x 2 w 1 s Salida lineal w 2 y x N w N Conmutador adaptativo lineal Conmutador bipolar Estructura de la red ADALINE Salida binaria 3

4 Adaline-Madaline. Capa de entrada..... Capa oculta Estructura red MADALINE... Capa de salida 4

5 ART (Adaptive Resonance Theory) Esta teoría se aplica a sistemas competitivos (redes con aprendizaje competitivo). La red busca categorizar los datos que le son introducidos. La teoría se basa en la idea de hacer resonar la información de entrada con las categorías que ya reconoce la red. 5

6 ART (Adaptive Resonance Theory) Estructura: Capa competitiva (salida) O i -N A 1 1 w ij w ij -1 Capa de comparación (entrada) V j p x j R 6

7 ART (Adaptive Resonance Theory) El aprendizaje es de tipo ON LINE, no se distingue entre etapa de entrenamiento y de funcionamiento. Los pesos varían durante el funcionamiento de la red cuando se aplica información de entrada a la misma. Utiliza un aprendizaje no supervisado de tipo competitivo. Se pueden dar dos tipos de aprendizaje: Aprendizaje rápido. Se establece una nueva categoría. Aprendizaje lento. Una información de entrada es asociada a una categoría existente. 7

8 ART (Adaptive Resonance Theory) Aplicaciones: Tareas de reconocimiento de patrones Modelamiento de procesos biológicos Diseño de sistemas de control y diagnóstico adaptativo. 8

9 Mapas autorganizados de Kohonen Principio de entrenamiento auto-organizado (opuesto al aprendizaje supervisado). La red consiste básicamente de dos conjuntos de unidades, cada unidad de salida conectada a todos los n nodos de entrada. 9

10 Mapas autorganizados de Kohonen La idea básica que yace en las SOFM es la incorporación a la regla de aprendizaje competitivo un cierto grado de sensibilidad con respecto al vecindario o la historia. Esto hace que el número de neuronas que no aprenden desaparezca y ayuda a que se destaquen propiedades topológica que aparezcan en el mapeado de características. 10

11 Suponiendo que un vector de entrada tiene N características y se representa por un vector X en un espacio de patrones N-dimensional. La red mapea el patrón de entrada hacia un espacio de salida. Por ejemplo, el espacio de salida puede ser un array unidimensional o bidimensioanl de nodos de salida, que posee cierto orden topológico. 11

12 Mapas autorganizados de Kohonen Estructura de la red Capa de Salida... Conexiones feedforward Capa de Entrada 12

13 Mapas autorganizados de Kohonen 13

14 Mapas autorganizados de Kohonen Aprendizaje no supervisado de tipo competitivo. Las neuronas de la capa de salida compiten por activarse y sólo una de ellas lo consigue. Es de tipo OFF LINE y se distinguen dos etapas: Aprendizaje Funcionamiento 14

15 La cuestión es cómo entrenar la red para que esa relación de orden se preserve. Kohonen propuso que las neuronas de salida interactuaran lateralmente, llegando así a los mapas de características autorganizativos. 15

16 La característica más importante del modelo es el concepto de aprendizaje en un vecindario próximo a la neurona ganadora. El tamaño del vecindario decrece en cada iteración. La fase de entrenamiento es la siguiente: 16

17 (1) se selecciona la neurona ganadora con la distancia Euclídea Sea i* el índice del ganador, y sea I*el conjunto de índices correspondiente a un vecindario definido del ganador i*. (2) los pesos asociados con el ganador y su vecindario se adaptan de la siguiente forma: 17

18 Aprendizaje competitivo con sensibilidad en la Historia Si se incorpora alguna sensibilidad a la historia o frecuencia en la regla de entrenamiento, se obtiene otra forma de evitar el problema de las neuronas que no aprenden. Hay dos aproximaciones: Modular la selección del ganador incorporando sensibilidad a la frecuencia. Modular la tasa de aprendizaje incorporando la sensibilidad a la frecuencia. 18

19 Regla de aprendizaje competitivo Selección de un ganador i*, por ejemplo, como la neurona con la menor distancia euclídea. Adaptar los pesos asociados al ganador. 19

20 Mapas autorganizados de Kohonen El aprendizaje es un proceso iterativo de presentar a la red patrones de entrada hasta lograr un refinamiento adecuado del mapa topológico de salida. Para calcular la distancia entre vectores se aplica: d j =Σ i=1,n (e (k) i - w ji ) 2 para 1<=j<=M 20

21 Mapas autorganizados de Kohonen Luego de localizar la neurona vencedora (j*) se actualizan los pesos de las conexiones entre las neuronas de entrada y dicha neurona, así como las conexiones entre las de entrada y las neuronas vecinas a la ganadora mediante: w ji (t+1)=w ji (t)+α(t)[e i (k) -w j*i (t)] para j Zona j*(t) 21

22 Mapas autorganizados de Kohonen Funcionamiento: Cuando se presenta a la entrada una información, cada una de las M neuronas de la capa de salida la recibe por medio de las conexiones feedforward con pesos w ji. Las neuronas reciben las entradas debidas a las conexiones laterales de las neuronas de salida dependiendo su influencia de la distancia a la que se encuentren. 22

23 Mapas autorganizados de Kohonen Aplicaciones: Reconocimiento de patrones (voz, texto, imágenes, señales, etc.) Codificación de datos Compresión de imágenes 23

24 24