Redes Neuronales Artificiales

Transcripción

1

2

3 Perspectiva histórica 1940s: Hebb, McCulloch and Pitts Mecanismo de aprendizaje en neuronas biológicas. Redes de elementos neuronales pueden hacer cómputo aritmético. 1950s: Rosenblatt, Widrow and Hoff Primeras redes artificiales (RNA) prácticas y reglas de aprendizaje. 1960s: Minsky and Papert. Demostraron limitaciones de las RNA, no se desarrollaron nuevos algoritmos de aprendizaje. Investigaciones en el campo se suspenden. 1970s: Amari, Anderson, Fukushima, Kohonen, Grossberg,... Trabajan en el tema pero a pasos mas lentos. 3

4 1890 William James: Psicólogo. Modelo para explicar como el cerebro realiza asociaciones. Otros científicos al inicio del siglo XX se distinguieron por sus estudios sobre el cerebro: Ramón y Cajal. Charles Sherrington. Iwan Pawlow. Pre-1940: von Hemholtz, Mach, Pavlov, Teorías generales sobre el aprendizaje, visión y condicionamiento sin modelos matemáticos específicos sobre la operación neuronal. 4

5 1949 Donald Hebb: The organization of behavior Karl Lashley: In search of engram 1954 Minsky Neural Nets and the Brain Model Problem. PhD thesis, Princeton University. La primera simulación por ordenador fue desarrollada en la década del Dartmouth Conference. Uno de los principales resultados de esta conferencia fue que la simple regla de aprendizaje desarrollada por Hebb, deducida de los efectos observados en el cuerpo humano, no era aplicable a muchos problemas prácticos. 5

6 1958 Frank Rosenblatt: Modelo del Perceptron 1962 Rosenblatt. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Washington, DC: Spartan Books. 6

7 Historia de RNA 1980s: Grossberg, Hopfield, Kohonen, Rumelhart, Desarrollos importantes causan un resurgimiento de estudios en el campo. 7

8 Historia de RNA S. Ramón y Cajal y los orígenes de la unidad nerviosa: Neurona Catedrático en Valencia 1906 Premio Nobel de Medicina Catedrático en Madrid 8

9 Historia de RNA Algunos resultados de Cajal Doble via visual de la retina de los mamíferos Fases evolutivas de célula psíquica en el embrión de los mamíferos 9

10 Historia de RNA Tipos de neuronas a nivel anatómico (Mira & Delgado, 1995) 10

11 Historia de RNA 1943 artículo sobre el cerebro por Warren S. McCulloch y Walter Pitts: A logical calculus of the ideas immanent in nervous activity. Primer modelo 11

12 Historia de RNA 1969 Marvin Minsky/Seymour Papert: Crítica al Perceptron. Perceptrons: An Essay in Computational Geometry. MIT Press, Cambridge, MA. Esto podría decirse fue el fin de las redes neuronales. Minsky y Papert probaron matemáticamente que el Perceptrón no era capaz de resolver problemas relativamente fáciles (como aprender la función XOR). Concluyeron que, en general, los descubrimientos en redes neuronales no merecían la pena. 12

13 Historia de RNA 13

14 Historia de RNA 1974 Paul Werbos. Desarrolló la idea básica del algoritmo de retropropagación Stephen Grossberg Adaptative Resonance Theory (ART) ART es una arquitectura de red que difiere de todo lo anteriormente inventado. Simula otra habilidad del cerebro: la memoria a largo y a corto plazo Mapas Auto-Organizativos de Kohonen Redes de Hopfield, que implementan el modelo de memoria asociativa 14

15 1985 John Hopfield. Publicó el libro Neural computation of decisión in optimization problems que dió renacimiento de las redes neuronales Rumelhart, McClelland & Hinton crean el grupo PDP. Este grupo de trabajo solucionó los problemas propuestos por Minsky y Papert, gracias al algoritmo de retropropagación. 15

16 16

17 17

18 Ley de Hebb Idea principal sobre la cual se basa esta ley: Cuando un axón de la célula A está suficientemente próximo para excitar a una célula B o toma parte en su disparo de forma persistente, tiene lugar algún proceso de crecimiento o algún cambio metabólico en una de las células, o en las dos, de tal modo que la eficiencia de A, como una de las células que desencadena el disparo de B, se ve invrementada. 18

19 Ley de Hebb Como puede observarse el proceso se basa en la idea del refuerzo de las conexiones (o sinapsis en el modelo biológico) más usadas, favoreciendo la excitación de los circuitos neuronales más probables. Sería un proceso de aprendizaje no supervisado, que refuerza las conexiones más utilizadas. 19

20 Ley de Hebb Implementación: Dada una conexión entre dos neuronas i y j, el peso w ij de la conexión entre esas neuronas: Se verá incrementado siempre que ambas neuronas estén activas al mismo tiempo. Se verá decrementado siempre que ambas neuronas tengan estados contrarios. No se cambiará cuando ambas neuronas estén inactivas. 20

21 RNA - Funcionamiento ENTRADAS X1 CONEXIONES FUNCION DE RED FUNCION DE ACTIVACION X2 X3 W1 W2 W3 ENTRADAS PONDERADAS Σ net(.) act(.) SALIDA 21

22 RNA - Comparación COMPARACIÓN CON LAS REDES NEURALES BIOLÓGICAS Neuronas Redes Neuronales Biológicas Conexiones sinápticas Efectividad de las sinápsis Efecto excitatorio o inhibitorio de una conexión Efecto combinado de las sinápsis Redes Neuronales Artificiales Unidades de proceso Conexiones ponderadas Peso de las conexiones Signo del peso de una conexión Función de propagación o de red Activación -> tasa de disparo Función de activación -> Salida 22

23 RNA - Características APRENDIZAJE INDUCTIVO. GENERALIZACIÓN. ABSTRACCIÓN O TOLERANCIA AL RUIDO. PROCESAMIENTO PARALELO. MEMORIA DISTRIBUIDA. 23

24 RNA - Modo de operación FASE DE APRENDIZAJE. APRENDIZAJE SUPERVISADO. APRENDIZAJE NO SUPERVISADO. APRENDIZAJE REFORZADO. FASE DE APLICACIÓN. FASE DE TEST (OPCIONAL). 24

25 RNA - Modo de operación Aprendizaje Supervisado 1. Aleatorizar los pesos de todas las conexiones. 2. Seleccionar un patrón de entrenamiento 3. Calcular salida. 4. Calcular la discrepancia en la salida. 5. Aplicar la regla de aprendizaje. 6. Volver al paso 2. 25

26 RNA - MODO DE OPERACIÓN Aprendizaje No Supervisado Requiere propagar información (el error) hacia atrás. Requiere un instructor que proporcione la salida. No requiere presentar la salida en los patrones. 26

27 RNA - TIPOS ASOCIADORES DE PATRONES MAPAS DE AUTO- ORGANIZACIÓN MODELOS DE SATISFACCIÓN DE DEMANDA OTRAS REDES ASOCIATIVAS DE PESOS FIJOS Perceptrones Redes de Kohonen Redes de Hopfield Memorias proasociativas Redes de retropropaga ción Arquitecturas ART Máquinas de Boltzmann Redes de Hamming 27

28 Utilizar RNA? Cuándo utilizar una RNA En tareas en las que un ser humano se desenvuelve bien. Cuándo no utilizarla Solución algorítmica es eficiente No se dispone de suficientes patrones-ejemplos 28

29 Problemas que resuelven Ejemplos Conversión de texto escrito a lenguaje hablado. Compresión de imágenes. Reconocimiento de escritura manual (japonesa) Visión artificial en robots industriales (inspección de etiquetas,clasificación de componentes) 29

30 Modelo McCULLOCH-PITTS Modelo de neurona binaria propuesto por McCulloch y Pitts en Calcula la suma ponderada de sus entradas desde otras unidades, y da como salida un uno (1) o un cero (0) dependiendo de si ésta se encuentra por encima o por debajo de un valor denominado umbral. 30

31 Modelo McCULLOCH-PITTS Las ecuaciones que gobiernan el funcionamiento de dicho modelo de neurona son las siguientes: i j n n =f( wn(t)-u ) =1 ij j i 31

32 Modelo McCULLOCH-PITTS n 1 w i1 n 2 w i2 Σ i n j w ij F n i 32

33 Modelo McCULLOCH-PITTS Función de activación u Umbral f(x)= 1 si x >= u 0 si x<u 33

34 Modelo McCULLOCH-PITTS Ejemplo: Σ

35 Función de activación Función umbral Función lineal a trozos Función sigmoide Función Gaussiana 35

36 Función de activación 1-1 Función tangencial 36

37 En RNA Las señales que llegan a la sinapsis son las entradas a la neurona; éstas son ponderadas (atenuadas o amplificadas) a través de un parámetro, denominado peso, asociado a la sinapsis correspondiente. Las señales de entrada pueden excitar o inhibir a la neurona (sinapsis con peso positivo o negativo). Si la suma es igual o mayor que el umbral de la neurona, entonces la neurona se activa (da salida). 37

38 En RNA Las sinapsis son susceptibles a la fatiga, deficiencia de oxígeno y otros agentes externos. La habilidad de ajustar señales es un mecanismo de aprendizaje. El umbral integra la energía de las señales de entrada en el espacio y en el tiempo. 38

39 En RNA Las redes neuronales, inspiradas en el funcionamiento del sistema nervioso, son arreglos de procesadores elementales interconectados entre sí. Cada uno de estos procesadores o neuronas suma las entradas ponderadas y su resultado pasa a través de una función no lineal conocida como función de activación. 39

40 En RNA El conocimiento en una red neuronal está distribuido a lo largo de todo el sistema, debido a esto, se utilizan muchas interconexiones para obtener la solución de un problema en particular. 40

41 En RNA Una red neuronal esta compuesta por un gran número de elementos de procesamiento simples llamados neuronas o nodos. Cada nodo esta conectado a otros nodos por varios enlaces de comunicación directa, cada uno asociado a un peso. Los pesos representan la información utilizada por la red para resolver un problema. 41

42 En RNA Los nodos no tienen una relación biunívoca con las neuronas biológicas reales. Sin embargo, como una neurona biológica, el elemento de procesamiento tiene varias entradas y una sola salida que se aplica a muchos otros nodos. 42

43 En RNA Entre las entradas que recibe el j-ésimo nodo se encuentra la procedente del i-ésimo nodo (x i ). La salida del j-ésimo nodo se denota x j. En la analogía la salida corresponde con la frecuencia de disparo. 43

44 Esquema general Cada conexión con el j-ésimo nodo tiene asociada a él una magnitud, peso o intensidad de conexión. El peso de la conexión que procede del i-ésimo nodo y llega al j-ésimo nodo se denota como w ij. Estos pesos en analogía con la neurona biológica corresponden a la intensidad de las conexiones sinápticas entre neuronas (excitadora o inhibitoria). 44

45 45

46 Cada elemento de procesamiento obtiene un valor de entrada neto basándose en todas las conexiones de entrada. La forma típica es calcular el valor de entrada neto sumando los valores de entrada, ponderados (multiplicados) con sus pesos correspondientes. La entrada neta del j-ésimo nodo se escribe net j = å i x i w ij donde el índice i recorre todas las conexiones que posea el j-ésimo nodo. 46

47 Cada neurona tiene un estado interno llamado activación, la cual es una función de las entradas recibidas. Típicamente una neurona envía su activación como una señal a otras neuronas. Es importante hacer notar que una neurona puede enviar solo una señal a la vez, aunque esta misma se distribuya a otras neuronas. La activación de una neurona está en función de su entrada neta. La forma mas fácil de definir la activación de una neurona es considerar que ésta es binaria 47

48 Las neuronas de una RNA pueden organizarse en estratos o niveles, y dependiendo de la presencia de caminos de retroalimentación se pueden clasificar como recurrentes o no recurrentes. Las RNA no recurrentes y en particular las feedforward han sido ampliamente utilizadas en una variedad de problemas debido a su estabilidad inherente y la simplicidad del algoritmo de entrenamiento de retropropagación del error. 48

49 En las redes neuronales multinivel las neuronas de primer nivel reciben sus entradas directamente del entorno. Las salidas de estas neuronas se conectan a las entradas de las neuronas del segundo nivel, y así sucesivamente, hasta el último nivel, cuyas salidas son entregadas al entorno. 49

50 Todas las neuronas que componen la red se hallan en cierto estado. Puede decirse que hay dos posibles estados de activación: reposo o exitado. Los valores de activación pueden ser continuos o discretos. Al considerar una descripción binaria el estado activo se indicaría por 1, y caracteriza la emisión de un impulso por parte de la neurona, mientras que un estado pasivo se indicaría por 0, y significaría que la neurona está en reposo. 50

51 Generalmente se consideran modelos con un conjunto continuo de estados de activación en lugar de solo dos {0,1}. Se asigna un valor en el intervalo [0,1] o en el intervalo [-1,1]. Generalmente definidos por una función sigmoidal. 51

52 Principales modelos Es posible encontrar problemas en que los pesos se tienen de manera apriori. Debe considerarse esta información para el diseño de la red. Pero estos problemas son mas bien raros ya que en la mayoría de los casos se debe "enseñar" a la red a ejecutar los cálculos por ajustes iterativos de los pesos w ij. El problema principal del trabajo en redes neuronales concierne al problema de programar el aprendizaje: cómo escoger los pesos en las conexiones para que la red realice una tarea específica? 52

53 Características de las RNA Qué son capaces de hacer? Reconocimiento de patrones Síntesis funcional 53

54 Reconocimiento de patrones Clasificación de información según ciertas características. Aplicaciones típicas: Diferenciación de sonidos, Reconocimiento de escritura, Interpretación de encefalogramas, Reconocimiento de la voz Procesamiento de imágenes... 54

55 Síntesis funcional La aproximación de funciones, consiste en establecer relaciones entre varias entradas continuas y una o más salidas continuas. Ejemplos de aplicación: Estimar la demanda de un producto, Filtrar el ruido de una señal, Control de procesos, Simular comportamiento de un sistema dinámico. 55

56 Otras aplicaciones Visión por computador Síntesis de voz Diagnostico médico Conducción automática Exploración petrolera 56

57 Aplicaciones NETtalk. Pretendía entrenar una red para pronunciar texto en inglés. La entrada de la red la constituía una ventana de 7 caracteres que avanzaba a través del texto según era leído. La salida de la red era una serie de fonemas que enviados a un generador hacía que la máquina hablase. 57

58 Aplicaciones Codificación y compresión de datos. Consiste en encontrar un conjunto de símbolos funcionalmente equivalentes a uno dado, pero con una longitud media menor por símbolo. De este modo las RNA son capaces de representar conjuntos aparentemente grandes de información con pocos elementos de representación. 58

59 Aplicaciones Conducción de un vehículo. Se construyó una red que aceptaba la entrada de una cámara situada en el techo de un coche y un detector de distancias. La red debía de guiar el coche a través de una carretera. Después de entrenar la red con 1200 imágenes simulando carreteras, la red era capaz de conducir a través de una carretera a una velocidad de 5km/h. 59

60 Aplicaciones Reconocimiento de caracteres. Las RNA se usan actualmente para el reconocimiento automático de caracteres. Por ejemplo los impresos que se rellenan a mano son pasados por una RNA de este tipo obteniendo el conjunto de caracteres en código ASCII. 60

61 Aplicaciones Reconocimiento del habla. Este es un problema inherentemente complejo, dada las múltiples maneras de hablar de las diferentes personas (acentos, dialectos, velocidad, etc.). Ha sido posible entrenar a RNA para reconocer con éxito un conjunto relativamente reducido de palabras. 61

62 Computación convencional vs. Neurocomputación Neurocomputación Entrenamiento, aprendizaje No se separa la memoria y el procesamiento Paralela (discreto o continuo), asíncrona Com. convencional Programación Memoria y procesamiento separados Secuencial o serial, síncrona 62

63 Neurocomputación Tolerante a fallas Auto-organización Acepta entradas con ruido o difusas Com. convencional No tolerante a fallos Dependiente del software Garbage in - Garbage out (si entra basura, sale basura) 63

64 Estructuras 64

65 Red Neuronal Artificial Neuronas Conexiones 65

66 Redes multicapa Son redes conformadas por una capa de entrada, una o varias ocultas y una de salida, sus conexiones no deben formar ciclos. Pueden utilizar diferentes funciones de activación 66

67 Redes multicapa Neuronas de salida Neuronas ocultas Neuronas de entrada 67

68 Clasificación Según la topología: Redes feedforward Perceptrón simple Perceptrón multicapa Redes con funciones de base radial Redes recurrentes feedback Redes competitivas Red Kohonen Red Hopfield Modelos ART 68

69 Red Feedforward Neuronas de salida Neuronas ocultas Neuronas de entrada 69

70 Red Recurrente 70

71 Algoritmos de aprendizaje Alteran los pesos de la neurona después de la presentación de un patrón. Corrección del error. Corrige el error de la salida Gradiente. Minimiza el error cuadrático medio sobre todos los patrones. 71

72 Tipos de Aprendizaje Supervisado. El algoritmo utiliza un conjunto de ejemplos que la red debe aprender. El entrenamiento se lleva a cabo mediante un proceso iterativo de adaptación de la red neuronal de manera que sus salidas se acerquen cada vez más a las salidas deseadas especificadas en los ejemplos. 72

73 No supervisado. En el algoritmo no se especifican salidas deseadas, el algoritmo trata de encontrar de manera autónoma regularidades en los datos de entrada creando categorías que agrupen a los datos más similares. Con refuerzo. La red aprende a través de un proceso de ensayo y error que maximiza el índice de desempeño denominado señal de error. 73

74 Clasificación Tipo de aprendizaje Regla de aprendizaje Algoritmos mas utilizados Supervisado No supervisado H íbrido Corrección de error B o ltzm an n Hebbian C o m p etitiv o Corrección de error Hebbian C o m p etitiv o Corrección de error y co m p etitiv o Back Propagation A daline y M ad alin e Aprendizaje con m em oria aso ciativ a A lgoritm o de aprendizaje RBF 74

75 Ley de Hebb Implementación: Dada una conexión entre dos neuronas i y j, el peso w ij de la conexión entre esas neuronas: Se verá incrementado siempre que ambas neuronas estén activas al mismo tiempo. Se verá decrementado siempre que ambas neuronas tengan estados contrarios. No se cambiará cuando ambas neuronas estén inactivas. 75

76 Técnica del Gradiente Descendente Calcular el valor de la función en el punto y=f (x 0 ) Calcular el nuevo valor de x i como el valor anterior mas el gradiente de la función. y i+1 = y i + y i 76

77 Técnica del Gradiente Descendente El gradiente de la función se calcula como la derivada parcial de la función con respecto al punto x i. El gradiente es igual a: dy i = -δf / δx i La técnica de gradiente descendente es un procedimiento iterativo que busca minimizar una función moviéndose en la dirección opuesta al gradiente de dicha función. 77

78 Técnica del Gradiente Descendente mínimo local mínimo global 78

79 Tasa de Aprendizaje Determina el tamaño del paso que utiliza el algoritmo, para moverse en el espacio de los pesos. Un valor muy pequeño para este parámetro puede provocar una convergencia muy lenta, así como un valor muy alto puede provocar un comportamiento divergente. 79

80 Momentum El momento, da al algoritmo una especie de inercia que le permite evadir en ciertos casos los mínimos locales. Con este momentum se consigue la convergencia de la red en un número menor de iteraciones. 80

81 81