Deep Learning Seminario Minería de Datos

Transcripción

1 Deep Learning Seminario Minería de Datos Álvaro Riascos Mónica Ribero 2 de mayo de 2017

2 Contenido 1 Introducción 2 Modelo Logit 3 Redes Neuronales 4 Aplicaciones 5 Redes en el contexto de NLP 6 Otras arquitecturas Convolutional Networks Recurrent Networks

3 Introducción

4 Problema Sea ( x 1, y 1 ), ( x 1, y 2 ),..., ( x 1, y n ) una muestra marcada con variables independientes x i = (x i1, x i2,..., x im ) y dependiente y i, i = 1,..., n. Queremos predecir el valor de y i dado x i. Asumimos que existe una función tal que f (x i ) = y i y queremos encontrar su mejor aproximación

5 Problema Regresión x i = (salario, cantidad de personas con las que vive) y i = precio de su vivienda

6 Problema Clasificación x i = información pixeles en imagen de resonancia y i = tiene tumor

7 Problema Clasificación x i = (cuentas de palabras en un documento) y i = sentimiento (positivo, neutro, negativo)

8 Problema Clasificación x i = (calificaciones de un usuario a varios restaurantes) y i = perfil de cliente

9 Modelos Regresión lineal Regresión logística Árboles de decisión Random Forests y Boosting de árboles

10 Modelo Logit

11 Regresión Logística Clasificación En vez de representar el valor de y, representar la Probabilidad de que y perteneza a cierta categoría dado x ŷ i = h θ (x i ) = Pr(y = 1 x) = g(θ t x) = { 1 g(θ t x i ) 0,5 0 g(θ t x i ) < 0, e θt x

12 Regresión Logística Función de costo J(θ) = 1 n + λ 2m n (y i log(h θ (x i ))) + (1 y i )(1 log(h θ (x i )) i=1 m i=1 θ 2 i ˆθ = argmin(j(θ))

13 Desventajas del modelo Logit Problemas de reconocimiento visual pequeños tienen pixeles. Hipótesis no lineales requieren muchas features 2500 features + términos cuadráticos ( n2 2 ) 3,1 millones

14 Redes Neuronales

15 Neurona Unidad que recibe inputs y devuelve un output Por ejemplo una regresión logística

16 Feed Forward Networks Cada neurona 1 Recibe un input x 2 Realiza una transformación lineal (w i x + b i ) 3 Aplica una transformación no lineal g, para obtener out = g(w i x + b i )

17 Redes Neuronales Modelos no paramétricos de Machine Learning compuestos de unidades computacionales (neuronas) Aproximar la función f : F O que relaciona un conjunto de features F R n con un conjunto de outputs O R

18 Redes Neuronales Concatenación de capas de neuronas Capa input Capas ocultas Capa output

19 Capa externa Regresión: Una neurona Clasificación Binaria: Probabilidad de éxito Clasificación k categorías: Probabilidad de pertenecer a cada categoría. Para el entrenamiento, las etiquetas se convierten en vectores: 0 1 y i = 0 0

20 Feed Forward Networks NN MLP2 (x) = y h 1 = g 1 (W 1 x + b 1 ) h 2 = g 2 (W 2 h 1 + b 2 ) y = h 2 W 3 Si las capa j y j + 1 tienen s j y s j+1 neuronas respectivamente, W j+1 R s j+1 s j Si usa un término de sesgo, W j+1 R s j+1 s j +1

21 Funciones de Activación sigmoid(x) = e x

22 Funciones de Activación tanh(x) = e2x 1 e 2x + 1

23 Funciones de Activación ReLU(x) = max(0, x)

24 Función de Costo J(θ) = 1 n + λ 2m n K (y k i i=1 k=1 L 1 s j s j+1 Θ ( l) 2 i,j l=1 i=1 j=1 log(h θ (x i ))) k + (1 y k i )(1 log(h θ (x i )) k ˆθ = argmin(j(θ))

25 Entrenamiento Mejor más neuronas que menos, capturar más no linearidades Evitar overfitting con regularización Escalar las variables Mínimos locales: Hacer varias inicializaciones.

26 Minimización de la función de costo Algoritmo Backpropagation

27 Aplicaciones

28 Carros autónomos

29 Medicina Diagnóstico a partir de imágenes Diagnóstico a partir de lenguaje Genómica

30 Redes en el contexto de NLP

31 Input x En las aplicaciones de NLP, el input x codifica palabras, POS, información lingüistica. Para cada documento se cuenta, en general, con un conjunto de vectores. Se utiliza una función c : F R d c s comunes incluyen concatenación y suma.

32 Embeddings Supervisados: Entrenar redes para contexto particular ( one hot representations ) No supervisados: GloVe, LDA y modelos de tópicos.

33 Otras arquitecturas

34 Convolutional Networks Arquitectura que permite detectar features importantes sin importar la ubicación Ha permitido avances importantes en NLP y procesamiento de imágenes Aplica un filtro (función no lineal aprendida) a cada k ventana de palabras para crear un vector Se hace pooling para combinar estos vectores en uno solo que concentre las características más importantes sin importar la ubicación

35 Convolutional Networks

36 Convolutional Networks Sea x 1, x 2,..., x n una secuencia de palabras con vectores v(x 1 ),..., v(x n ) Para cada ventana i sea w i = [v i+1,..., v i+k ] Convolución: Calcule p i = g(w i W + b) Pooling: Calcule c = [c j ] donde c j = max 1<i m p ij

37 Convolutional Networks Cada dimensión se especializará en una clase de predictores y la operación max escogerá el más importante de cada tipo

38 Convolutional Networks

39 Recurrent Networks Si bien las redes convolucionales tienen en cierta forma el orden, se restringen a patrones locales. Las Redes Neuronales Recurrentes permiten representar inputs de tamaños arbitrarios en un vector de tamaño fijo teniendo en cuenta propiedades estructurales.

40 Recurrent Networks Dados vectores x 1,..., x n y un vector s 0 que será el estado inicial RNN(s 0, x 1:n ) = s 1:n, y 1n s i = R(s i 1, x 1:i ) y i = O(s i )

41 Recurrent Networks Figura: Red Neuronal recurrente

42 Recurrent Networks El output puede ser únicamente el último estado o utilizar también los intermedios Acceptor: Solo se utiliza el último estado para determinar y calcular la función de pérdida a partir de y n (Análisis de sentimiento) Encoder: Creación de features para otra tarea (por ejemplo resumir un documento). Solo se utiliza y n Transducer: Se utilizan todos los estados y outputs. Por ejemplo, encontrar la distribución de la palabra ii a partir de las palabras 1 : (i 1) Encoder - Decoder: Se utiliza un encoder para producir y n que se entrega como input a otra RNN que utiliza las palabras ya traducidas y el útlimo output para decodificar. Muy buenos resultados para traducir (o poner tags a las palabras)

43

44 Recurrent Networks S-RNN Red Recurrente Simple: Muy buenos resultados en sequence tagging y modelaje de lenguaje. s i = g(x i, W x + s i 1 W s + b) y i = O(s i ) = s i

45 Recurrent Networks S-RNN Simple RNN es difícil de entrenar por problema de vanishing gradients Difícil capturar dependencias muy lejanas.

46 Recurrent Networks LSTM Introducir en el estado s celdas de memoria que preserven los gradientes. El acceso a la memoria está controlado por puertas. Estas son funciones con rango en [0, 1] n

47 Recurrent Networks LSTM Long Short Term Memory: s j = R LSTM (s j 1, x j ) = [c j ; h j ] c j = c j 1 f + g i h j = tanh(c j ) o i = σ(x j W xi + h j 1 W hf ) f = σ(x j W xf + h j 1 W hf ) o = σ(x j W xo + h j 1 W ho ) g = tanh(x j W xg + h j 1 W hg ) y j = O(s j ) = h j

48 Recurrent Networks GRU LSTM es efectiva pero complicada y computacionalmente costosa. GRU (Gated Recurrent Unit)

49 Recurrent Networks GRU s j = R GRU (s j 1, x j ) = (1 z) s j 1 + z h z = σ(x j W xz + h j 1 W hz ) r = σ(x j W xr + h j 1 W hr ) h = tanh(x j W xh + (h j 1 r)w hg ) y j = O(s j ) = h j

50