Reconocimiento de rostros con Redes Neuronales Convolucionales

Transcripción

1 Reconocimiento de rostros con Redes Neuronales Convolucionales Redes Neuronales (66.63) FIUBA Mario Azcueta

2 Reconocimiento de rostros DETECTAR un rostro en una escena IDENTIFICAR un rostro en particular (clasificar)

3 Las CNNs se aplicarán al problema de IDENTIFICACIÓN en este caso Se busca un sistema veloz, de identificación en tiempo real

4 Se dispone de: Banco de imágenes de rostros de personas a las cuales se quiere reconocer

5 Se dispone de: Banco de imágenes de rostros de personas a las cuales se quiere reconocer Varias imágenes por persona (aprox 4)

6 Se dispone de: Banco de imágenes de rostros de personas a las cuales se quiere reconocer Varias imágenes por persona (aprox 4) Imágenes normalizadas. Pueden variar pose, iluminación, detalles menores

7 Terminología: Cada persona representa una clase Las imágenes son muestras, que pertenecen a una cierta clase Hay imágenes de entrenamiento y de test La identificación de un rostro constituye un proceso de clasificación

8 Terminología: Clases Muestras de entrenamiento Muestras de test

9 Objetivo de las CNNs Armar un clasificador de rostros que logre generalizar Se entrena a la red con las muestras de entrenamiento Debe identificar a la misma persona, aunque se le muestre una imagen nueva

10 Operación del clasificador 1. Se comprime la imagen (SOM o PCA) 2. Se muestra la imagen comprimida a la CNN 3. La CNN determina a qué clase pertenece

11 Sistema de compresión Se utiliza una red de Kohonen (SOM) tridimensional de 5x5x5 nodos

12 Sistema de compresión Se utiliza una red de Kohonen (SOM) tridimensional de 5x5x5 nodos Función de vecindad Gaussiana

13 Sistema de compresión Se utiliza una red de Kohonen (SOM) tridimensional de 5x5x5 nodos Función de vecindad Gaussiana 10e3 epochs de ordenamiento (desvío fijo, tasa de aprendizaje 0.7)

14 Sistema de compresión Se utiliza una red de Kohonen (SOM) tridimensional de 5x5x5 nodos Función de vecindad Gaussiana 10e3 epochs de ordenamiento (desvío fijo, tasa de aprendizaje 0.7) 5e3 epochs de refinamiento (desvío decreciente, tasa de aprendizaje 0.02)

15 Entrenamiento del SOM 1. Se extraen sucesivas ventanas (frames) de 8x8 píxeles de las imágenes de entrenamiento, con la mitad de solapamiento

16 2. Cada ventana se muestra como vector al SOM 3. Se elije la neurona ganadora, y se actualizan sus pesos y los de la vecindad:

17 Compresión con el SOM Dada una imagen a comprimir: 1. Se extraen las sucesivas ventanas de 8x8

18 Compresión con el SOM Dada una imagen a comprimir: 1. Se extraen las sucesivas ventanas de 8x8 2. Se muestra cada ventana como vector de 64 puntos al SOM. Se elije la neurona ganadora

19 Compresión con el SOM Dada una imagen a comprimir: 1. Se extraen las sucesivas ventanas de 8x8 2. Se muestra cada ventana como vector de 64 puntos al SOM. Se elije la neurona ganadora 3. El vector de 64 puntos queda así reducido a uno de 3 puntos (red 3D), con las coordenadas de la neurona ganadora

20 La imagen original se reduce a 3 matrices de 1/16 el tamaño de la imagen original c/u grayscale, 128x192 grayscale, 3@32x48

21 Se tiene una compresión de 3:16 (aprox 1:5) El SOM actúa como algoritmo de clustering, representando a todas las ventanas extraídas sólo por los vectores más representativos

22 Arquitectura y funcionamiento de CNN

23 Formada por capas y mapas Se suceden capas de convolución (impares) y de submuestreo (pares)

24 Cada círculo es una neurona tipo perceptrón Las neuronas de un mismo mapa comparten todas los mismos pesos Cada neurona tiene como entrada una sección fija de 1 o varios mapas de la capa anterior (campos receptivos). El tamaño de la sección es variable

25 Perceptrones g(h) = tanh(h)

26 Capas de convolución En las capas de convolución, los campos receptivos se mueven de a 1 pixel (tienen solapamiento). Es análogo a una convolución

27 Capas de convolución

28 Capas de submuestreo En las capas de submuestreo, los campos receptivos son de 2x2 y se mueven de a 2 píxeles. Cada perceptrón tiene 4 pesos iguales

29 Capas de submuestreo

30 Tres ideas centrales: Campos receptivos locales (la distribución espacial de la entrada importa) Pesos compartidos Sub-muestreo espacial Estos dos últimos facilitan la generalización (LeCun) El número de mapas es incrementado a la vez que la resolución espacial reducida

31 CNN utilizada

32 Entrenamiento de la CNN Las imágenes de entrenamiento comprimidas se usan para entrenar la CNN. Para cada imagen: 1. Se la normaliza restando la media y dividiendo por el desvío std. Esto previene la saturación de la red

33 2. Se presenta la imagen a la red, y se obtiene la salida. Como se a qué persona corresponde el rostro, conozco la salida deseada. Esto es un vector con '1' en la posición que corresponde a la clase y '-1' en el resto 3. Se calcula el error en la salida, y con este se actualizan los pesos de la CNN utilizando backpropagation

34 Backpropagation Se entrena usando el algoritmo de backpropagation, adaptado a la arquitectura de la CNN Primero, un repaso del algoritmo aplicado a perceptrones multicapa...

35 Imágenes de

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54 El algoritmo se aplica sin modificaciones a la CNN, neurona a neurona Una forma eficiente para implementarlo es mediante convoluciones 2D, como se ve a continuación * Ver Notes on Convolutional Neural Networks, Jack Bouvrie (MIT, 2006)

55 Capas de convolución La salida del mapa 'j' de la capa 'l' es: 'i' indexa los mapas de la capa 'l-1' que toma el mapa j de la capa l

56 Capas de convolución El delta para el mapa 'j' de la capa 'l' se computa como donde esto no es mas que propagar la delta hacia atrás, multiplicando por los pesos y la derivada de la función de activación

57 Capas de convolución Los gradientes resultan los pesos son actualizados restándoles el gradiente y multiplicando por la tasa de aprendizaje () t

58 Capas de submuestreo La salida del mapa 'j' de la capa 'l' es: 'down' suma los elementos de bloques de 2x2 de un mapa, sin solapamiento

59 Capas de submuestreo El delta para el mapa 'j' de la capa 'l' se computa como otra vez, esto no es mas que propagar la delta hacia atrás, multiplicando por los pesos y la derivada de la función de activación

60 Capas de submuestreo Los gradientes resultan los pesos son actualizados restándoles el gradiente y multiplicando por la tasa de aprendizaje () t

61 Tasa de aprendizaje La tasa de aprendizaje then converge" () t es tipo "search

62 Verificación del algoritmo Para verificar la correcta implementación se aproximan los deltas como y se compara con los obtenidos mediante backpropagation. La diferencia debe ser mínima (1e-4 %)

63 Elección de la clase ganadora Se estima la probabilidad a posteriori de la clase ganadora mediante la transformada softmax A () x k es la posición k del vector de salida, dada la imagen de entrada x N es el número total de clases Puede usarse como medida de confianza

64 Simulaciones y resultados Se usaron imágenes de la base de datos FERET 4 imágenes de entrenamiento

65 Simulaciones y resultados Se usaron imágenes de la base de datos FERET 4 imágenes de entrenamiento 4 imágenes de test

66 Simulaciones y resultados Se usaron imágenes de la base de datos FERET 4 imágenes de entrenamiento 4 imágenes de test Número de clases (personas) variable de 10 a 40

67 Simulaciones y resultados Se usaron imágenes de la base de datos FERET 4 imágenes de entrenamiento 4 imágenes de test Número de clases (personas) variable de 10 a 40 10e3 epochs de entrenamiento, con tasa de aprendizaje search then converge

68 Simulaciones y resultados Excepto en los casos donde se aclare, todos los experimentos se realizaron con: 4 imágenes de entrenamiento por clase 4 imágenes de test por clase 20 clases SOM de 3 dimensiones con 5 nodos/dimensión

69

70 Imagen 128x

71 Error según número de clases

72 Error según dimensión SOM

73 Error según imágenes de entrenamiento

74 Medición de confianza

75 Error y tasa de rechazos

76 Otras aplicaciones de las CNN Reconocimiento de caracteres alfanuméricos Reconocimiento de expresiones en rostros Reconocimiento de habla Detección de objetos en general Clasificación de señales de EEG Tracking en secuencias de video

77 Referencias: [1] Hertz, Krogh, Palmer. Introduction to the theory of neural computation. Addison-Wesley, [2] LeCun, Bengio. Convolutional Networks for Images, Speech and Time-Series. The Handbook of Brain Theory and Neural Networks. MIT Press, pp , [3] Lawrence, Giles, Tsoi, Back. Face recognition: A Convolutional Neural Network Approach. IEEE transactions on Neural Networks, Vol. 8, No. 1, January [4] Bouvrie. Notes on Convolutional Neural Networks. Center for Biological and Computational learning, MIT [5] Browne, Ghidary. Convolutional Neural Networks for Image Processing: An Application in Robot Vision. AI 2003: Advances in Artificial Intelligence, pp [6] LeCun, Bottou, Haffner. Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, Vol. 86, No. 11, Nov [7] LeCun, Bottou, Orr, Muller. Efficient BackProp, in: Neural Networks: Tricks of the trade. Springer, [8] Kohonen. Self-Organizing Maps. Springer-Verlag, Berlin, [9] Muhlbaier, Topalis, Polikar. Ensemble Confidence Estimates Posterior Probability. Springer-Verlag, Berlin, [10] Turk, Pentland. Face recognition using eigenfaces. Proc. IEEE Conference on Computer Vision and Pattern Recognition (1991), pp [11] Fukushima, Miyake, Ito. Neocognitron: a neural network model for a mechanism of visual pattern recognition. IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-13(Nb. 3):pp , September/October 1983.