RNN y LSTM Redes Neuronales Profundas

Tamaño: px

Comenzar la demostración a partir de la página:

Download "RNN y LSTM Redes Neuronales Profundas"

Clara San Segundo Soler
hace 6 años
Vistas:

1 RNN y LSTM Redes Neuronales Profundas Rosana Matuk Segundo Cuatrimestre 2017 Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

2 Redes Recurrentes vs Redes Neuronales Tradicionales Las redes neuronales tradicionales feedforward multicapa aceptan una entrada de tamaño fijo (por ejemplo, una imagen) y producen un vector de salida de tamaño fijo (por ejemplo, probabilidades para las diferentes clases). Además, hacen este mapping con un número fijo de cómputos que depende del número de capas en el modelo. Las redes recurrentes operan sobre secuencias de vectores: secuencias en la entrada, en la salida, o en ambas. No hay constraints en las longitudes de las secuencias. La transformación recurrente es fija, y la aplicamos tantas veces como queramos. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

Ejemplos de Redes Recurrentes (1) Red no recurrente, de entrada fija a salida fija (e.g. clasificación de imágenes). (2) Salida secuencial (e.g. image captioning toma una imagen y produce una oración).

3 Ejemplos de Redes Recurrentes (1) Red no recurrente, de entrada fija a salida fija (e.g. clasificación de imágenes). (2) Salida secuencial (e.g. image captioning toma una imagen y produce una oración). (3) Entrada secuencial (e.g. análisis de sentimientos). (4) Entradas y salidas secuenciales (e.g. Traducción automática del inglés al francés). (5) Entradas y salidas secuenciales sincronizadas (e.g. clasificación de cada frame de un video). Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

4 Red Neuronal Recurrente: estado oculto Las RNN además de sus pesos, tienen un estado (hidden state). La misma función y el mismo conjunto de parámetros son usados en cada paso. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

5 Red Neuronal Recurrente (vanilla): cómputo Las RNN además de sus pesos, tienen un estado (hidden state). La misma función y el mismo conjunto de parámetros son usados en cada paso. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

6 Cómputo en RNNs Las Redes Neuronales Recurrentes (RNNs) aceptan como entrada un vector x, tienen internamente un vector de estados h, y combinando x y h en una función (fija pero aprendida), producen como salida un vector y. La salida está influenciada no sólo por la entrada x, sino por toda la historia de las entradas que hubo en el pasado (vector h). Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

7 Ejemplo RNN: Aprendiendo el próximo carácter Vocabulario: [h,e,l,o]. Secuencia de entrenamiento: hello Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

RNN (vanilla): inicialización y paso forward Inicialización: Los parámetros de la RNN son 3 matrices W inicializadas en forma random, que afectan a la entrada, el estado oculto, y la salida.

8 RNN (vanilla): inicialización y paso forward Inicialización: Los parámetros de la RNN son 3 matrices W inicializadas en forma random, que afectan a la entrada, el estado oculto, y la salida. El estado oculto h es inicializado con el vector nulo. Paso forward: Primero se actualiza el vector de estados, con el estado anterior y la entrada actual. Luego, el nuevo vector de estados producirá la salida. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

9 RNN (vanilla): paso backward Actualizar las matrices W en base a la función de pérdida, para que puedan producir la salida esperada y ante la entrada x. Esto lo hacemos con backpropagation. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

10 Long Short Term Memory: por qué? Las redes recurrentes normales, van olvidando en su estado la historia más lejana (problema del vanishing gradient). Las LSTM pueden recordar en su estado, historias lejanas. La idea central detrás de las LSTM es una celda de memoria que puede mantener su estado en el tiempo, y compuertas no lineales que permiten regular el flujo de la información por dentro y hacia afuera de la celda. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

11 Long Short Term Memory: esquema El bloque cuadrado indica tiempo (t-1). Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

12 Long Short Term Memory: fórmulas f : forget gate, s: state, g: input gate, h: salida, x: entrada, b: bias, q: output gate. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

13 Long Short Term Memory Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

14 Long Short Term Memory: fórmulas Fórmulas del backpropagation y actualización de los pesos en Greff et al. "LSTM:A Search Space Odyssey", Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

15 CuPy 1 : Just released!!! Librería open-source para matrices acelerado con NVIDIA CUDA. También usa librerías relacionadas con CUDA como cublas, cudnn, curand, cusolver and NCCL para hacer total aprovechamiento de la GPU. 1 Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

LSTM con CuPy 2 "The QRNN provides similar accuracy to the LSTM but can be betwen 2 and 17 times faster than the highly optimized NVIDIA cudnn LSTM

16 LSTM con CuPy 2 "The QRNN provides similar accuracy to the LSTM but can be betwen 2 and 17 times faster than the highly optimized NVIDIA cudnn LSTM implementation depending on the use case" 2 Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

17 Laboratorio: What I cannot create, I do not understand. Richard P. Feynman Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

18 Código Vanilla RNN en numpy (Karpathy) Código vanilla RNN de Karpathy ( Código: min-char-rnn.py: input.txt: Actividad 0: Leer el blog. Actividad 1: Bajar el código, y correrlo con el texto de Shakespeare. Qué observa? Actividad 2: Analizar y entender en detalle el código. Cómo realiza la función de error? Y el backprop? Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

19 Código Vanilla LSTM en numpy (Jayasiri) Código vanilla del LSTM de Jayasiri inspirado en el vanilla de RNN de Karpathy ( Código: numpy_lstm.ipynb: input.txt: Actividad 0: Leer el blog. Actividad 1: Bajar el código, y correrlo con el texto de Shakespeare. Qué observa? Actividad 2: Analizar y entender en detalle el código. Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

20 Bibliografía Fei-Fei, Karpathy, Johnson. CS231n (Convolutional Neural Networks for Visual Recognition), Lecture 10, Stanford University, Goodfellow, Bengio, Courville. Deep Learning, MIT Press, Greff, Srivastava, Koutnık, Steunebrink, Schmidhuber. LSTM: A Search Space Odyssey, IEEE Transactions on neural networks and learning systems, Rosana Matuk (DC-FCEyN-UBA) RNN y LSTM Segundo Cuatrimestre / 20

Documentos relacionados

Introducción. Autoencoders. RBMs. Redes de Convolución. Deep Learning. Eduardo Morales INAOE (INAOE) 1 / 60

Introducción. Autoencoders. RBMs. Redes de Convolución. Deep Learning. Eduardo Morales INAOE (INAOE) 1 / 60 Deep Learning Eduardo Morales INAOE (INAOE) 1 / 60 Contenido 1 2 3 4 (INAOE) 2 / 60 Deep Learning El poder tener una computadora que modele el mundo lo suficientemente bien como para exhibir inteligencia