Redes Neuronales Artificiales

Transcripción

1 Redes Neuronales Artificiales Introducción a la Robótica Inteligente Álvaro Gutiérrez de abril de 208 aguti@etsit.upm.es

2

3 Mapas

4 Predicción

5 Robótica M l M r W ij S S 2 S 3 S 4 S 5 S 6 S 7 S 8

6 Neurociencia Copiar Reconocer Aprender Memoria Contar Responder Crear Razonar Memoria

7 Índice Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

8 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

9 Por qué usar ANNs Las redes neuronales son muy utilizadas por sus propiedades: Carácter no lineal. Adaptabilidad. Generalización. Tolerancia a fallos. Descomposición de tareas. Escalabilidad. También cuentan con desventajas. Complejidad en el diseño de la arquitectura. Gran cantidad de parámetros a ajustar. Dificultad para entrenar las redes.

10 Por qué usar ANNs Reconocimiento de patrones: asignación de objetivo a un dato de entrada Reconocimiento de caracteres Reconocimiento de fonemas en voz Toma de decisiones Compresión de imágenes y reducción de dimensionalidad Predicción de series temporales Identificación y control de sistemas...

11 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

12 Neurona Biológica

13 Neurona Biológica

14 Neurona Biológica

15 Neurona Biológica

16 Neurona Biológica

17 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

18 Revisión histórica 936 Alan Turing comienza a estudiar el cerebro humano. 943 McCulloch y Pitts, primeros modelos de neurona. 949 Hebb publica la regla de Hebb para el aprendizaje. 958 Rosemblatt desarrolla el perceptrón simple. 960 Widrow y Hoff desarrollan ADALINE (ADAptative LINear Elements) se frena la investigaicón, al probar la debilidad del perceptrón, Minsky y Papert. Años 80 aparecen redes de Hopfield y el algoritmo backpropagation. Actualidad uso en gran variedad de aplicaciones y areas de conocimiento. Recientemente aparecen modelos computacionales más similares a como el cerebro procesa la información (Neurociencia).

19 VL VR N 6 N 6 2 N 4 N 4 2 N 4 3 N 4 4 N 5 N 5 2 N 5 3 N 5 4 N 0 N 0 2 N 0 3 N 0 4 N N 2... N 8 N 2 N 3 N N 3 8 IR0 IR IR6 IR7 L0 L L7 GM0 BL0 BL BL7 ANN - Representación θ x x2 θ2 w w2 N w2 N2 w22 y y2

20 ANN - Representación Neural Network Design (Ed. 2) Hagan, Demuth, Beale & de Jesús

21 ANN - Una entrada

22 ANN - Una entrada a = f(wp+b) () p, w, b, a R n = (wp+b) Qué es f? Función de Activación/Transferencia (MATLAB: nnd2n)

23 (MATLAB: nnd2n) ANN - f? a = { 0 if n < 0 if n 0 a = n a = +e n

24 ANN - Varias entradas

25 ANN - Varias entradas

26 ANN - Varias entradas (MATLAB: nnd2n2) a = f(wp+b) (2) p, W, b, a R n = (Wp+b)

27 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

28 Sintonización de ANNs Consiste en buscar los parámetros libres de la red (W, b,..). Diversos tipos: Sintonización manual: redes pequeñas Algoritmos de aprendizaje: Los más utilizados. Algoritmos de búsqueda local. Algoritmos genéticos: Algoritmos de búsqueda global. Otras técnicas de optimización...

29 Aprendizaje: Tipos Supervisado. Se dispone de pares de vectores de entrada y salida deseada. El error se establece entre la salida de la red y la salida deseada. Por refuerzo. Es un aprendizaje supervisado donde no se proporciona la salida deseada durante el entrenamiento. Se proporciona una señal de refuerzo para ajustar los parámetros. No supervisado o autoorganizado. Se estima una función de densidad de probalidad para el conjunto de entradas. Se estima la bondad de la salida en función del conjunto de entradas. Los algoritmos más utilizados son los supervisados.

30 Aprendizaje: Operativa 3 fases: Entrenamiento: Se entrena la red neuronal con un subconjunto de los datos disponibles. Se intenta minimizar el error u obtener la mejor solución con los datos de entrenamiento. Prueba: Se prueban los resultados de la red con un subconjunto de los datos que no se han utilizado para el entrenamiento. Operativa: Se comprueba la funcionalidad de la red neuronal con un subconjunto de los datos distintos de los de prueba y entrenamiento.

31 Aprendizaje: Esquema

32 Aprendizaje: Problemas Underfitting: el error del entrenemiento y de prueba son altos. Causas: red simple, insuficiente aprendizaje. Overfitting: el error de entrenemiento es bajo pero el de prueba es alto. Causas: red compleja, no hay suficientes datos para el entrenamiento. Mínimos locales: el entrenamiento alcanza un error mínimo que no es abosoluto. Solución: reinicializar los pesos, utilizar algoritmos de búsqueda globlal,...

33 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

34 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

35 Perceptrón Contexto: McCulloch & Pitts Salida binaria Rosenbaltt Perceptron & Learning Rule Condiciones iniciales aleatorias Convergencia garantizada si la solución existe Minsky & Papert Limitaciones del Perceptron

36 Perceptrón: Notación

37 Perceptrón: Notación a = f(n) n = (Wp+b) (3) p, W, b { R, a {, } if n i < 0 f(n i ) = if n i 0 (MATLAB: hardlim/hardlims)

38 Perceptrón: Notación w, w,2... w,r w 2, w 2,2... w 2,R W = w i = w S, w S,2... w S,R w i, w i,2 w i,r p b p 2 p =. b = b 2. p R b S w T w T 2 w T S. W =. a i = f(w T i p+b i ) (4)

39 Perceptrón: Un ejemplo a = f(wp+b) = f(w T p+b) a = f(w, p + w,2 p 2 + b)

40 Perceptrón: Un ejemplo a = f(wp+b) = f(w T p+b) a = f(w, p + w,2 p 2 + b) W = [ ] b = a = { if ( p + p 2 ) < 0 if ( p + p 2 ) 0 (MATLAB: nnd4db)

41 Perceptrón: Un ejemplo a = f(wp+b) = f(w T p+b) a = f(w, p + w,2 p 2 + b) W = [ ] b = a = { if ( p + p 2 ) < 0 if ( p + p 2 ) 0 (MATLAB: nnd4db)

42 Perceptrón: OR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 =

43 Perceptrón: OR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = p, p 2 {0, } W, b R

44 Perceptrón: OR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = p 2 p, p 2 {0, } W, b R p

45 Perceptrón: OR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = p 2 p, p 2 {0, } W, b R p

46 Perceptrón: OR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = p 2 p, p 2 {0, } W, b R p

47 Perceptrón: AND p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = 0 { [ ] } { [ ] } p 3 =, t 0 3 = 0 p 4 =, t 4 = p 2 p, p 2 {0, } W, b R p

48 Perceptrón: AND p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = 0 { [ ] } { [ ] } p 3 =, t 0 3 = 0 p 4 =, t 4 = p 2 p, p 2 {0, } W, b R p

49 Perceptrón: AND p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = 0 { [ ] } { [ ] } p 3 =, t 0 3 = 0 p 4 =, t 4 = p 2 p, p 2 {0, } W, b R p

50 Perceptrón: Aprendizaje Cómo sintonizamos los pesos?

51 Perceptrón: Aprendizaje Cómo sintonizamos los pesos? Perceptron Learning Rule Aprendizaje supervisado

52 Perceptrón: Aprendizaje Cómo sintonizamos los pesos? Perceptron Learning Rule Aprendizaje supervisado Un ejemplo sencillo { [ ] } { p =, t 2 = p 2 = [ ] } { [ ] } 0, t 2 2 = 0 p 3 =, t 3 = 0

53 Perceptrón: Aprendizaje Asegurar que el problema tiene solución

54 Perceptrón: Aprendizaje Iniciar aleatoriamente el vector de pesos Qué ocurre para p? w T = [ ] { p = [ ] }, t 2 =

55 Perceptrón: Aprendizaje Iniciar aleatoriamente el vector de pesos Qué ocurre para p? a = f(w T p ) = f w T = [ ] { p = [ ] }, t 2 = ( [.0 ] [ ]) 0.8 = f( 0.6) = 0 2

56 Perceptrón: Aprendizaje Iniciar aleatoriamente el vector de pesos Qué ocurre para p? a = f(w T p ) = f w T = [ ] { p = [ ] }, t 2 = ( [.0 ] [ ]) 0.8 = f( 0.6) = 0 2

57 Perceptrón: Aprendizaje Inventemos una regla de actualización w = p

58 Perceptrón: Aprendizaje Inventemos una regla de actualización w = p

59 Perceptrón: Aprendizaje Inventemos una regla de actualización w = p

60 Perceptrón: Aprendizaje Inventemos una regla de actualización w = p No nos vale!!

61 Perceptrón: Aprendizaje Otro intento Si t = y a = 0 w new = w old + p

62 Perceptrón: Aprendizaje Otro intento Si t = y a = 0 w new = w old + p [ ].0 w new = w old + p = [ ] = 2 [ ] 2.0.2

63 Perceptrón: Aprendizaje Otro intento Si t = y a = 0 w new = w old + p [ ].0 w new = w old + p = [ ] = 2 [ ] 2.0.2

64 Perceptrón: Aprendizaje Que ocurre con el resto de entradas/objetivos? w T = [ ] [ ] } {p 2 =, t 2 2 = 0 ( [2.0 a = f(w T p ] [ ]) 2) = f.2 = f(0.4) = 0 2

65 Perceptrón: Aprendizaje Iteremos sobre la idea anterior Si t = y a = 0 w new = w old + p

66 Perceptrón: Aprendizaje Iteremos sobre la idea anterior Si t = y a = 0 w new = w old + p Si t 2 = 0 y a = w new = w old p 2

67 Perceptrón: Aprendizaje Iteremos sobre la idea anterior Si t = y a = 0 w new = w old + p Si t 2 = 0 y a = w new = w old p 2 w new = w old p 2 = [ ] [ ] [ ] 3.0 = 2 0.8

68 Perceptrón: Aprendizaje Que ocurre con p 3? w T = [ ] [ ] } 0 {p 3 =, t 2 = 0 ( [3.0 a = f(w T p ] [ ]) 0 3) = f 0.8 = f(0.8) = 0

69 Perceptrón: Aprendizaje Que ocurre con p 3? w T = [ ] [ ] } 0 {p 3 =, t 2 = 0 ( [3.0 a = f(w T p ] [ ]) 0 3) = f 0.8 = f(0.8) = 0 [ ] [ ] w new = w old p 3 = + = 0.8 [ ]

70 Perceptrón: Aprendizaje Reformulemos nuestra regla w old + p if t = and a = 0 w new = w old p if t = 0 and a = w old if t = a

71 Perceptrón: Aprendizaje Reformulemos nuestra regla w old + p if t = and a = 0 w new = w old p if t = 0 and a = w old if t = a Definamos el error e = t a w old + p if e = w new = w old p if e = w old if e = 0

72 Perceptrón: Aprendizaje Reformulemos nuestra regla w old + p if t = and a = 0 w new = w old p if t = 0 and a = w old if t = a Definamos el error Un paso más allá e = t a w old + p if e = w new = w old p if e = w old if e = 0 w new = w old + ep (5)

73 Perceptrón: Aprendizaje Extendamos al sesgo { w new = w old + ep b new = b old + e

74 Perceptrón: Aprendizaje Extendamos al sesgo { w new = w old + ep b new = b old + e Para S neuronas? { w new i = w old i + e i p b new i = b old i + e i

75 Perceptrón: Aprendizaje Extendamos al sesgo { w new = w old + ep b new = b old + e Para S neuronas? { w new i = w old i + e i p b new i = b old i + e i Notación matricial (MATLAB:nnd4pr) { W new = W old + ep T b new = b old + e (6)

76 Preceptrón: Limitaciones Qué problemas podemos resolver?

77 Preceptrón: Limitaciones Qué problemas podemos resolver? Una neurona puede dividir el espacio en 2 regiones La separabilidad viene determinada por: w T p+b = 0 Separabilidad lineal: Hiperplano

78 Preceptrón: Limitaciones Qué problemas podemos resolver? Una neurona puede dividir el espacio en 2 regiones La separabilidad viene determinada por: w T p+b = 0 Separabilidad lineal: Hiperplano Qué ocurre si los vectores no son separables linealmente?

79 Preceptrón: Limitaciones Qué problemas podemos resolver? Una neurona puede dividir el espacio en 2 regiones La separabilidad viene determinada por: w T p+b = 0 Separabilidad lineal: Hiperplano Qué ocurre si los vectores no son separables linealmente? No es posible utilizar el perceptrón!

80 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

81 ADALINE Contexto: ADALINE: ADAptive LInear NEuron Widrow & Hoff - ADALINE + LMS (Least Mean Square) LMS - Media de mínimos cuadrados Minimiza el Error Cuadrático Medio (MSE) Similar al perceptron - Función activación lineal Perceptron: El hiperplano está cerca de los límites de decisión ADALINE: Minimiza el Error Cuadrático Medio (MSE)

82 ADALINE

83 ADALINE a = f(n) n = (Wp+b) (7) p, W, b, a R f(n i ) = n i a = Wp+b (8) (MATLAB: purelim)

84 ADALINE: Un ejemplo a = f(wp+b) = w T p+b = w,p + w,2 p 2 + b

85 ADALINE: Aprendizaje Cómo sintonizamos los pesos? No podemos utilizar la Perceptron Learning Rule

86 ADALINE: Aprendizaje Cómo sintonizamos los pesos? No podemos utilizar la Perceptron Learning Rule Least Mean Square (LMS) - Descenso de gradiente Aprendizaje supervisado

87 ADALINE: Aprendizaje Cómo sintonizamos los pesos? No podemos utilizar la Perceptron Learning Rule Least Mean Square (LMS) - Descenso de gradiente Aprendizaje supervisado Función objetivo?

88 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

89 Perceptrón multicapa Contexto: Minsky & Papert Limitaciones del Perceptron Werbos Entrenamientos de ANNs con varias capas Rumelhart, Hinton & Williams backpropagation Parker backpropagation Le Cun backpropagation

90 Perceptrón multicapa: MLP a = f (W p+b ) a 2 = f 2 (W 2 a + b 2 ) a 3 = f 3 (W 3 a 2 + b 3 ) a 3 = f 3 (W 3 f 2 (W 2 f (W p+b )+b 2 )+b 3 ) Notación: R S S 2 S 3 R: Número de entradas - S: Número de neuronas en cada capa

91 Perceptrón multicapa: MLP a = f (W p+b ) a 2 = f 2 (W 2 a + b 2 ) a 3 = f 3 (W 3 a 2 + b 3 ) a 3 = f 3 (W 3 f 2 (W 2 f (W p+b )+b 2 )+b 3 ) Notación: R S S 2 S 3 R: Número de entradas - S: Número de neuronas en cada capa

92 MLP: XOR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = 0

93 MLP: XOR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = 0

94 MLP: XOR p p 2 a { [ ] } { [ ] } 0 0 p =, t 0 = 0 p 2 =, t 2 = { [ ] } { [ ] } p 3 =, t 0 3 = p 4 =, t 4 = 0 Red: 2-2-

95 MLP: XOR Red: 2-2-

96 MLP: XOR Red: 2-2-

97 MLP: XOR Red: 2-2-

98 MLP: XOR Red: 2-2-

99 MLP: Aprendizaje Cómo entrenamos redes multicapa?

100 MLP: Aprendizaje Cómo entrenamos redes multicapa? Perceptron Learning Rule?? Least Mean Square??

101 MLP: Aprendizaje Cómo entrenamos redes multicapa? Perceptron Learning Rule?? Least Mean Square?? No son válidos!!! Que ocurre en las capas intermedias??

102 MLP: Aprendizaje Cómo entrenamos redes multicapa? Perceptron Learning Rule?? Least Mean Square?? No son válidos!!! Que ocurre en las capas intermedias?? BackPropagation!

103 BackPropagation - Resumen. Ejecutar la red hacia adelante a 0 = p a m+ = f m+ (W m+ a m + b m+ ) para m = 0,,..., M a = a M (9) 2. Calcular las sensibilidades { s M = 2Ḟ M (n M )(t a) s m = Ḟ m (n m )(W m+ ) T (s m+ ) para m = M,..., 2, (0) 3. Actualizar los pesos y sesgos { W m (k+) = W m (k) αs m (a m ) T b m (k+) = b m (k) αs m () (MATLAB: nndbc)

104 MLP y BackPropagation - Dificultades Entrenamiento incremental o grupal Selección de la arquitectura Capas, neuronas, funciones de activación,... Muchas capas/neuronas Sobre-especialización Pocas capas/neuronas Bajo rendimiento (MATLAB: nndfa, nndgn)

105 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

106 DNN Hemos visto redes neuronales estáticas La salida puede ser calculada con la entrada instantánea Podemos aproximar funciones Qué ocurre con el tiempo? Predicciones temporales, series temporales,..?

107 DNN Hemos visto redes neuronales estáticas La salida puede ser calculada con la entrada instantánea Podemos aproximar funciones Qué ocurre con el tiempo? Predicciones temporales, series temporales,..? En las redes dinámicas, la salida puede depender de: La entrada instantánea La entrada en instantes anteriores La salida en instantes anteriores Los estados en instantes anteriores

108 DNN - Retardo Introduzcamos el operador retardo a(t) = u(t )

109 DNN - Retardo a(t) = iw, (0)p(t)+iw, ()p(t )+iw, (2)p(t 2)

110 DNN - Retardo a(t) = iw, (0)p(t)+iw, ()p(t )+iw, (2)p(t 2) iw, (0) = 3, iw,() = 3, iw,(2) = 3 Señal cuadrada

111 DNN - Retardo a(t) = iw, (0)p(t)+iw, ()p(t )+iw, (2)p(t 2) iw, (0) = 3, iw,() = 3, iw,(2) = 3 Señal cuadrada

112 DNN - Recurrencia a(t) = iw, p(t)+lw, ()a(t )

113 DNN - Recurrencia a(t) = iw, p(t)+lw, ()a(t ) iw, = 2, lw,() = 2 Señal cuadrada

114 DNN - Recurrencia a(t) = iw, p(t)+lw, ()a(t ) iw, = 2, lw,() = 2 Señal cuadrada

115 DNN - Ejemplos Dinámica Filtro FIR (MATLAB: nnd4fir, nnd4iir) Recurrente Filtro IIR

116 DNN - Estructura n m (t) = LW m,l (d)a l (t d)+ IW m,l (d)p l (t d)+b m l L f d DL m,l d I m,l m l I m a m (t) = f m (n m (t))

117 DNN - Aprendizaje No podemos utilizar Backpropagation 2 algoritmos fundamentales: BackPropagation Through Time (BPTT) Se calcula la respuesta para todos los instantes de tiempo Se calcula el gradiente en el último instante de tiempo Real Time Recurrent Learning (RTRL) Se calcula la respuesta en cada instante de tiempo Se calcula el gradiente a la vez que la respuesta Existe una gran variedad de algoritmos

118 Introducción Neurona Biológica Neurona Artificial Sintonización de parámetros 2 Neuronas y Redes Neuronales Perceptrón ADALINE Perceptrón Multicapa y Backpropagation Redes Neuronales Dinámicas 3 Conclusiones

119 Conclusiones Inspiradas en el sistema nervioso. Procesan la información de manera paralela y distribuida. Operaciones en tiempo real para grandes cantidades de datos. Sistemas distribuido con altas capacidades de computo. Reconocimiento de patrones: asignación de objetivo a un dato de entrada Reconocimiento de caracteres Reconocimiento de fonemas en voz Toma de decisiones Compresión de imágenes y reducción de dimensionalidad Predicción de series temporales Identificación y control de sistemas...

120 Conclusiones-Dificultades Datos existentes Número de capas Número de neuronas Funciones de activación Algoritmos de aprendizaje... Mucho por explorar!!

121 Gracias GRACIAS!!

122 Gracias GRACIAS!!