Deep Learning y Big Data

Transcripción

1 y Eduardo Morales, Enrique Sucar INAOE (INAOE) 1 / 40

2 Contenido 1 2 (INAOE) 2 / 40

3 El poder tener una computadora que modele el mundo lo suficientemente bien como para exhibir inteligencia ha sido el foco de investigación en IA desde hace más de medio siglo. La dificultad en poder representar toda la información acerca del mundo de forma utilizable por una computadora, ha orillado a los investigadores a recurrir a algoritmos de aprendizaje para capturar mucha de esta información. Durante mucho tiempo han existido dominios que se han resistido a ser resueltos de manera general; como entender imágenes o lenguaje. (INAOE) 3 / 40

4 Una idea que ha rondado a los investigadores desde hace tiempo es la de descomponer los problemas en sub-problemas a diferentes niveles de abstracción Por ejemplo, en visión podemos pensar en extraer pequeñas variaciones geométricas, como detectores de bordes, a partir de los pixeles. De los bordes podemos pasar a formas locales, de ahí a objetos. Podemos pensar en varias capas intermedias. (INAOE) 4 / 40

5 El foco de aprendizaje profundo o es el de descubrir automáticamente estas abstracciones entre los atributos de bajo nivel y los conceptos de alto nivel. La profundidad de la arquitectura se refiere al número de niveles. (INAOE) 5 / 40

6 La mayoría de los sistemas de aprendizaje tienen arquitecturas poco profundas. Durante decadas los investigadores de redes neuronales quisieron entrenar redes multi-capas profundas con poco éxito. El verdadero cambio vino hasta 2006 con un artículo de Hinton y sus colaboradores en la U. de Toronto. Poco después se desarrollaron muchos otros esquemas con la misma idea general: guiar el aprendizaje por niveles usando aprendizaje no supervisado en cada nivel. (INAOE) 6 / 40

7 (INAOE) 7 / 40

8 Existen 3 clases de arquitecturas de deep learning: Arquitecturas generativas: en general se hace un entrenamiento no supervisado como pre-entrenamiento, donde se aprende de manera greedy capa por capa en forma bottom-up. En esta categoría están los modelos basados en energía, que incluyen los autoencoders y las máquinas de Boltzmann profundas (DBM) Arquitecturas discriminativas: Conditional Random Fields profundos y las redes neuronales convolucionales (Convolutional Neural Network) o CNN Arquitecturas Híbridas: Usan los dos esquemas (INAOE) 8 / 40

9 Autoencoder Cada Autoencoder tiene al menos 3 capas en una red neuronal Capa de entrada: con N nodos Capa oculta: con M < N nodos Capa de salida: con N nodos La idea es entrenar una red que con una capa oculta de menor dimensión que reproduzca la entrada (INAOE) 9 / 40

10 Se puede entrenar usando algunas de las múltiples variantes de backpropagation (gradiente conjugado, steepest descent, etc.) Una vez aprendido, la capa oculta se toma como capa de entrada para el siguiente Autoencoder La última capa se entrena para el problema de clasificación deseado (INAOE) 10 / 40

11 Máquinas de Boltzmann Restringidas (RBM) Una RBM es un tipo de campo aleatorio de Markov que tiene una capa de unidades oculta (típicamente Bernoulli) y una capa de unidades observables (típicamente Bernoulli o Gaussiana). Se puede representar como un grafo bipartita en donde todos los nodos visibles están conectados a todos los nodos ocultas, y no existen conecciones entre nodos de la misma capa. (INAOE) 11 / 40

12 El proceso de apilar capas es el siguiente: 1 Aprender una RBM Gaussiano-Bernoulli (o Bernoulli - Bernoulli para dominios discretos) 2 Usar las probabilidades de activiación de los nodos ocultos, como los datos de entrada de una siguiente capa de RBM Bernoulli - Bernoulli. 3 Seguir así sucesivamente. Si se quiere aplicar a una tarea de clasificación la última capa representa las salidas deseadas y se puede usar backpropagation (INAOE) 12 / 40

13 La distribución conjunta de las unidades visibles (v) y las unidades ocultas (h) dados los parámetros del modelo (θ), p(v, h; θ) se define en términos de una función de energía E(v, h; θ): exp( E(v, h; θ)) p(v, h; θ) = Z donde Z es un factor de normalización o partición: Z = exp( E(v, h; θ)) v h (INAOE) 13 / 40

14 La probabilidad marginal del vector visible se obtiene sumando sobre todos los nodos ocultos: h exp( E(v, h; θ)) p(v; θ) = Z Para una RBM Bernoulli (visible) - Bernoulli (oculta), la función de energía se define como: E(v, h; θ) = I i=1 j=1 J w ij v i h j I b i v i i=1 J a j h j j=1 donde w ij representa la interacción simétrica entre las unidades visibles (v i ) y las ocultas (h j ), b i y a j son sesgos e I y J son el número de unidades visibles y ocultas. (INAOE) 14 / 40

15 Las probabilidades condicionales se pueden calcular como: ( I ) p(h j = 1 v; θ) = σ w ij v i + a j i=1 J p(v i = 1 h; θ) = σ w ij h i + b i j=1 donde σ(x) = 1/(1 + exp(x)) (INAOE) 15 / 40

16 De la misma forma para una RBM Gaussiana (visible) - Bernoulli (oculta) la energía es: E(v, h; θ) = I i=1 j=1 J w ij v i h j 1 2 I (v i b i ) 2 i=1 J a j h j j=1 Las probabilidades condicionales son: ( I ) p(h j = 1 v; θ) = σ w ij v i + a j i=1 J p(v i = 1 h; θ) = N w ij h i + b i, 1 j=1 donde v i sigue una distribución normal con media J j=1 w ijh i + b i y varianza uno. (INAOE) 16 / 40

17 Esto último normalmente se hace para procesar variables contínuas de entrada que se convierten entonces a binarias y que posteriormente se procesan como binarias-binarias en capas superiores. Para aprender los modelos se tienen que ajustar los pesos w ij, lo cual se puede hacer tomando el gradiente del logaritmo de la verosimilitud: w ij = E datos (v i h j ) E modelo (v i h j ) Donde E datos (v i h j ) es valor esperado en el conjunto de entrenamiento y E modelo (v i h j ) definido por el modelo. (INAOE) 17 / 40

18 Este último no se puede calcular por lo que se hacen aproximaciones. Una de ellas es hacer muestreos (Gibbs sampling) siguiente los siguientes pasos: 1 Inicializa v 0 con los datos 2 Muestrea h 0 p(h v 0 ) 3 Muestrea v 1 p(v h 0 ) 4 Muestrea h 1 p(h v 1 ) Esto continua. (v 1, h 1 ) es un estimado de E modelo (v i h j ) = (v, h ) (INAOE) 18 / 40

19 (INAOE) 19 / 40

20 Existen varios métodos de, pero no hay ninguno que domine a los demás. Se requieren algoritmos efectivos y escalables paralelos para poder procesar grandes cantidades de datos. Se requiere experiencia para poder definir los parámetros, número de capas, razón de aprendizaje, número de nodos por capa, etc. Se requiere más teoría (INAOE) 20 / 40

21 El hombre ha registrado información desde sus inicios La tasa actual de crecimiento es sin precedente y no se vislumbra que acabe (INAOE) 21 / 40

22 Algunas áreas/instrumentos científicos han progresado y generan más información (INAOE) 22 / 40

23 Internet/redes sociales: textos/tweets, fotos videos,... La generación de datos se ha vuelto universal/voluntaria de la sociedad (INAOE) 23 / 40

24 Cuántos Datos de Generan? 277,000 tweets por minuto 4 millones búsquedas Google X min. 500 terabytes diarios en Facebook 72 horas de video por min. YouTube 1 millón de transacciones de clientes cada hora en Wallmart 90% de toda la información se ha generado en los últimos 2 años (Mayo, 2013) (INAOE) 24 / 40

25 Hadoop: Código abierto, escrito en Java Utiliza tecnología de Goggle: MapReduce Maneja grandes cantidades de datos con paralelismo Mahout: Algoritmos de aprendizaje usando Hadoop Supercómputo (INAOE) 25 / 40

26 (INAOE) 26 / 40

27 (INAOE) 27 / 40

28 Ejemplo IBM Watson compitió en Jeopardy Ganó a 2 de los jugadores más populares Procesó aprox. 200 millones de texto usando Hadoop (INAOE) 28 / 40

29 Mahout Librería de ML de código abierto escrita en Java Puede llamar a Hadoop y MapReduce Tiene algoritmos para: Recomendaciones, clustering, clasificación (INAOE) 29 / 40

30 Recomendaciones Libros, discos, videos, citas,... Matriz co-ocurrencias por vector preferencias (INAOE) 30 / 40

31 Recomendaciones MapReduce para encontrar matriz y multiplicar Correrlo en la Nube (INAOE) 31 / 40

32 Clustering (INAOE) 32 / 40

33 Clasificación (INAOE) 33 / 40

34 Cuántos ejemplos de entrenamiento? Cómo representarlos? Tiempos de respuesta? Cómo paralelizar/optimizar el proceso? (INAOE) 34 / 40

35 Supercómputo (INAOE) 35 / 40

36 Retos Lidear con fuentes de datos altamente distribuidas Trabajar con datos en diferentes formatos Rastrear el origen/autoría desde generación hasta transformación Validación de datos, integridad y seguridad de los datos (INAOE) 36 / 40

37 Retos Desarrollo de algoritmos que exploten el paralelismo y arquitecturas distribuidas Desarrollo de algoritmos escalables e incrementales, en tiempo real Desarrollar métodos para visualizar muchos datos Descubrir datos y su integración (INAOE) 37 / 40

38 Problemas Sesgos de muestreo y heterogeneidad La mayoría de los sistemas de ML tienen ciertas suposiciones en cuanto a los datos (sesgo, muestreo, estacionario, independencia,...) que ya no se cumplen Cómo controlar el crecimiento exponencial de hipótesis erróneas? (INAOE) 38 / 40

39 Ejemplo (INAOE) 39 / 40

40 Ejemplo (INAOE) 40 / 40