Redes neuronales dinámicas

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Redes neuronales dinámicas"

Juan Luis Carrasco Lucero
hace 5 años
Vistas:

1 Redes neuronales dinámicas Diego Milone y Leonardo Rufiner Inteligencia Computacional Departamento de Informática FICH-UNL

2 Organización Introducción: 3 dinámicas simples Clasificación Redes de Hopfield Arquitectura Entrenamiento Prueba Retropropagación a través del tiempo Redes parcialmente recurrentes

3 Introducción Por qué dinámicas?

4 Introducción Por qué dinámicas? Aproximación 1: entradas desplazadas

5 Introducción Por qué dinámicas? Aproximación 1: entradas desplazadas Aproximación 2: realimentación de las salidas

6 Introducción Por qué dinámicas? Aproximación 1: entradas desplazadas Aproximación 2: realimentación de las salidas Aproximación 3: realimentación de estados internos

7 Introducción Por qué dinámicas? Aproximación 1: entradas desplazadas Aproximación 2: realimentación de las salidas Aproximación 3: realimentación de estados internos Caso general: y(n) = f (x(n), z (n), y (n))

8 Clasificación Redes neuronales dinámicas (DNN) Redes con retardos en el tiempo (TDNN)

9 Clasificación Redes neuronales dinámicas (DNN) Redes con retardos en el tiempo (TDNN) Redes recurrentes (RNN) Redes totalmente recurrentes Redes parcialmente recurrentes (PRNN)

10 Clasificación Redes neuronales dinámicas (DNN) Redes con retardos en el tiempo (TDNN) Redes recurrentes (RNN) Redes totalmente recurrentes Redes de Hopfield (memorias asociativas) Redes de Boltzman (supervisadas) Teoría de la resonancia adaptativa (ART) Redes parcialmente recurrentes (PRNN)

11 Clasificación Redes neuronales dinámicas (DNN) Redes con retardos en el tiempo (TDNN) Redes recurrentes (RNN) Redes totalmente recurrentes Redes de Hopfield (memorias asociativas) Redes de Boltzman (supervisadas) Teoría de la resonancia adaptativa (ART) Redes parcialmente recurrentes (PRNN) Retropropagación a través del tiempo (BPTT) Redes de Elman Redes de Jordan

12 Redes de Hopfield Arquitectura

13 Redes de Hopfield Arquitectura Modelo matemático: ( N ) x > 0 +1 y j (n) = sgn(x) = sgn w ji y i (n 1) θ j x = 0 y j (n 1) i=1 x < 0 1 w ji = w ij i j w ii = 0 i

14 Redes de Hopfield: generalidades Cada neurona tiene un disparo probabilístico Conexiones simétricas

15 Redes de Hopfield: generalidades Cada neurona tiene un disparo probabilístico Conexiones simétricas El entrenamiento es no-supervisado

16 Redes de Hopfield: generalidades Cada neurona tiene un disparo probabilístico Conexiones simétricas El entrenamiento es no-supervisado Puede utilizarse como memoria asociativa

17 Redes de Hopfield: generalidades Cada neurona tiene un disparo probabilístico Conexiones simétricas El entrenamiento es no-supervisado Puede utilizarse como memoria asociativa Cada patrón es un valle de energía Se busca el valle iterativamente a partir de ciertas condiciones iniciales (patrones sucios o incompletos)

18 Entrenamiento (almacenamiento) Dado un conjunto de patrones (memorias fundamentales o datos limpios): X = { x k RN}

19 Entrenamiento (almacenamiento) Dado un conjunto de patrones (memorias fundamentales o datos limpios): X = { x k RN} Aprendizaje Hebbiano: P w ji = 1 N k=1 x kjx ki

20 Entrenamiento: observaciones El proceso de entrenamiento NO es iterativo

21 Entrenamiento: observaciones El proceso de entrenamiento NO es iterativo w ji es mayor cuando las neuronas i y j se tienen que activar juntas (regla de Hebb)

22 Entrenamiento: observaciones El proceso de entrenamiento NO es iterativo w ji es mayor cuando las neuronas i y j se tienen que activar juntas (regla de Hebb) La capacidad de almacenamiento está limitada a: con un 1 % de error. P max = N 2 ln(n)

23 Prueba (recuperación) Dado un patrón x (incompleto, ruidoso...) se fuerza: y(0) = x

24 Prueba (recuperación) Dado un patrón x (incompleto, ruidoso...) se fuerza: y(0) = x Iteración: 1. j = rnd(n) ( N ) 2. y j (n) = sgn w ji y i (n 1) i=1 3. volver a 1 hasta no observar cambios en las y j

25 Prueba: observaciones El proceso de recuperación ES iterativo (dinámico)

26 Prueba: observaciones El proceso de recuperación ES iterativo (dinámico) En general no se utilizan los θ j

27 Prueba: observaciones El proceso de recuperación ES iterativo (dinámico) En general no se utilizan los θ j La salida final es y(m) cuando no hay cambios al recorrer todas las salidas

28 Prueba: observaciones El proceso de recuperación ES iterativo (dinámico) En general no se utilizan los θ j La salida final es y(m) cuando no hay cambios al recorrer todas las salidas Se pueden obtener estados espúreos y oscilaciones...

29 Campos energéticos de Hopfield Almacenamiento Recuperación

30 Retropropagación a través del tiempo (BPTT) Arquitectura con recurrencia total

31 Retropropagación a través del tiempo (BPTT) Arquitectura con recurrencia total Expansión en red de propagación hacia adelante pura

32 Retropropagación a través del tiempo (BPTT) Arquitectura con recurrencia total Expansión en red de propagación hacia adelante pura Método de truncado (recurrencia parcial)

33 Otras redes que modelan dinámicas temporales Redes neuronales con retardos en el tiempo (TDNN) Arquitectura y entrenamiento

34 Otras redes que modelan dinámicas temporales Redes neuronales con retardos en el tiempo (TDNN) Arquitectura y entrenamiento Arquitecturas neuronales de Elman y Jordan Elman

35 Otras redes que modelan dinámicas temporales Redes neuronales con retardos en el tiempo (TDNN) Arquitectura y entrenamiento Arquitecturas neuronales de Elman y Jordan Jordan

36 Otras redes que modelan dinámicas temporales Redes neuronales con retardos en el tiempo (TDNN) Arquitectura y entrenamiento Arquitecturas neuronales de Elman y Jordan Otras más: redes pulsadas con sinápsis dinámicas, máquinas de estado líquido... etc.

Documentos relacionados

Redes Neuronales Artificiales

Redes Neuronales Artificiales Red de Hopfield Almacenar un conjunto de p patrones de forma tal que cuando se presente un nuevo patrón, la red responda produciendo alguno de los patrones previamente almacenados que más se parezca al