Objeto de Estudio 4 Redes Neurales. Rafael Vazquez Perez

Transcripción

1 Objeto de Estudio 4 Redes Neurales Rafael Vazquez Perez

2 Temas a Tratar Concepto: Qué es una Red Neuronal Artificial?. Aplicación: Para que son útiles?. Diseño: Como se construyen?. Elemento Básico. La Neurona Artificial. La Estructura de la Red. La Interconexión de los elementos Básicos. Aprendizaje El proceso de entrenamiento. Ejecución. Comportamiento final de la ANN. Ejemplos con Neural Works January 2005 Matthew Casey 2

3 Qué es una Red Neuronal Artificial?. Cuando la unica herramienta de la que se dispone es un martillo, todos los problemas que uno encuentra tienden a parecer clavos Porque no podemos construir una computadora que piense? January 2005 Matthew Casey 3

4 Qué es una Red Neuronal artificial? Porque no se puede esperar que maquinas capaces de realizar 100 millones de operaciones de punto flotante por segundo sean capaces de entender el significado de las formas en imágenes visuales, o incluso distinguir entre distintas clases de objetos similares? January 2005 Matthew Casey 4

5 Qué es una Red Neuronal artificial? Porque no puede esa misma maquina aprender a partir de la experiencia, en lugar de repetir indefinidamente un conjunto explicito de instrucciones generadas por un programador humano? January 2005 Matthew Casey 5

6 Qué es una Red Neuronal artificial? Es un Modelo Matemático-Informático de cómo procesan la información las neuronas biológicas. January 2005 Matthew Casey 6

7 Neurofisiología elemental Es importante conocer los conceptos básicos que nos permitan una mejor comprensión del estudio de las bases neurales de la cognición January 2005 Matthew Casey 7

8 El Cerebro Humano Parte del sistema nervioso central Contiene cerca de neuronas La neurona es la célula activa de la función cerebral Cada neurona se activa aproximadamente cada 5 ms Cada neurona se conecta aproximadamente con otras 10 4 neuronas Dando un total de conexiones January 2005 Matthew Casey 8

9 Neurona biológica Cuerpo de la Celula Neurona Multipolar Dendritas Axon Cytoplasma Membrana Ramas del Axon Botones January 2005 Matthew Casey 9

10 January 2005 Matthew Casey 10

11 Partes principales de una neurona Sinapsis Espacio adyacente entre las neuronas cuyas señales químicas son transmitidas: ENTRADA Dendritas Contactos sinápticos que reciben información de otras neuronas Cuerpo de la célula o soma Centro metabólico de la neurona: PROCESO Axon Es la extensión del cuerpo de la neurona: SALIDA January 2005 Matthew Casey 11

12 Procesamiento Neural Entrada Via synapse Convierte una señal electrica presinaptica (desde un axon) a una señal quimica postsynaptica. La señal es recibida por la dendrita. Plasticidad en el cerebro es el resultado de los cambios a la sinapsis: coneccion fuerte January 2005 Matthew Casey 12

13 Procesamiento Neural Procesamiento Integración de señales postsynapticas Pueden ser inhibitorias o excitatorias El disparo de una neurona esta determinado por una combinación de señales postsynapticas Si la suma de señales excitatorias e inhibitorias es mayor que el threshold (umbral) entonces se genera una action potencial January 2005 Matthew Casey 13

14 Procesamiento Neural Salida Una Acciòn potencial es una señal electrica que es conducida al axon January 2005 Matthew Casey 14

15 Neurotransmisores Acetilcolina Norepinefrina Dopamina Serotonina Na Na Na Sinapsis Campo Electrico K K K January 2005 Matthew Casey 15

16 Modelo de la Neurona Bias wk0 x 1 w k1 Input Signals x 2 wk2 Σ Φ(.) Output y k x m w km Summing Junction Activation Function Synaptic Weights January 2005 Matthew Casey 16

17 Modelo de la Neurona Neurona Artificial Coneccion fuerte: pesos synapticos Pesos de cada entrada Excitatoria: pesos positivos Inhibitoria: pesos negativos Suma: union de las sumas Suma de los pesos de entrada Threshold: funcion de activacion La suma de los pesos exceden al umbral? La señal de salida 0 no se dispara, 1 disparo January 2005 Matthew Casey 17

18 Porque una red neuronal? Ademas de la inspiracion biologica, porque usar redes neurales? Para resolver problemas donde se requiere tener un beneficio de usar una computadora pero donde es impractico programar la respuesta para todas las posibles salida (knowledge engineering bottleneck) Tolerancia al ruido Principios del aprendizaje de maquina January 2005 Matthew Casey 18

19 Ventajas de una red neuronal Aprendizaje adaptativo (entrenamiento) Auto organización (auto organizan la informacion) Tolerancia a Fallos (destruccion parcial de la red) Operación en tiempo real (calculo en paralelo) Facil Inserccion dentro de la tecnologia existente January 2005 Matthew Casey 19

20 Aplicación: Para que son útiles?. Biologia Aprender mas acerca del cerebro Obtencion de modelos de la retina Empresa Identificacion de Candidatos para posiciones especificas Explotacion de bases de datos Optimizacion de plazas y horarios en lineas aereas Reconocimiento de Caracteres Escritos January 2005 Matthew Casey 20

21 Aplicación: Para que son útiles?. Medio Ambiente Analizar Tendencias y Patrones Prevision del Tiempo Finanzas Prevision de la evolucion de los precios Valoracion del riesgo de los creditos Identificacion de Falsificaciones Interpretacion de Firmas January 2005 Matthew Casey 21

22 Para que son útiles?. Manufactura Sistemas de vision artificial Control de produccion en lineas de proceso Inspeccion de la calidad Medicina Analizadores del Habla para la ayuda de audicion de sordos Diagnosticos y tratamiento a partir de sintomas y/o datos analiticos (electrocardiogramas, Encefalogramas, analisis sanguineos) Prediccion de reacciones Adversas a los medicamentos Lectore de rayos X January 2005 Matthew Casey 22

23 Aplicación: Para que son útiles?. Clasificacion de patrones Reconstruccion de patrones January 2005 Matthew Casey 23

24 Diseño: Como se construyen?. La construccion mas simple e inmediata consiste en simular la red en una computadora convencional mediante algun software especifico. January 2005 Matthew Casey 24

25 Elemento Básico. La Neurona Artificial. Bias w k0 x 1 w k1 Input Signals x 2 wk2 Σ Φ(.) Output y k x m w km Summing Junction Activation Function Synaptic Weights January 2005 Matthew Casey 25

26 Elemento Básico. La Neurona Artificial. Entradas x 1, x 2,, x m Codifica la entrada a la red neural Bias w k0 Codifica el valor del umbral Equivale a una entrada constante x 0 = 1 Pesos de conexion/ sinapsis Conexion fuerte a la entrada de la neurona. Negativo es inhibitorio Positivo es excitatorio January 2005 Matthew Casey 26

27 Elemento Básico. La Neurona Artificial. Suma(entrada total) Adicion acumulativa Sin tomar en cuenta el bias Funcion de Activacion Usa la entrada total para determinar cuando se debe disparar la neurona threshold Salida Salida de la funcion de activacion January 2005 Matthew Casey 27

28 Elemento Básico. La Neurona Artificial. FUNCIONES DE ACTIVACION Umbral Fuerte Binario: salidas 0 o 1 Bipolar: salidas 1 o 1 funcion Heaviside / Step / Signum o Piecewise-linear Umbral No lineal Salidas en rangos de valores Binario: salidas [0,1] Bipolar: salidas [-1,1] funcion Logistic Sigmoid or Hyperbolic Tangent January 2005 Matthew Casey 28

29 Funcion Heaviside Binaria Bipolar January 2005 Matthew Casey 29

30 Sigmoide Binary January 2005 Matthew Casey 30

31 Tangente Hyperbolica Bipolar January 2005 Matthew Casey 31

32 La Estructura de la Red. Una red neuronal esta formada por un arreglo de neuronas artificiales individuales. Y hablaremos de su organización en terminos de : Numero de Niveles o capas Numero de neuronas por nivel Patrones de Conexión Flujo de Informacion January 2005 Matthew Casey 32

33 La Interconexión de los elementos Básicos. La conectividad entre los nodos de una red neuronal esta relacionado con la forma en que las salidas de las neuronas estan canalizadas para convertirse en entradas de otras neuronas. Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles precedentes, la red se describe como propagacion hacia adelante. Como se muestra en la siguiente figura January 2005 Matthew Casey 33

34 La Interconexión de los elementos Básicos. I 1 O 1 I 2 O 2 I m O m Nivel de Niveles Nivel de Entrada Ocultos Salida January 2005 Matthew Casey 34

35 La Interconexión de los elementos Básicos. Cuando las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo nivel, incluyendose ellas mismas la red es de propagacion hacia atras January 2005 Matthew Casey 35

36 La Interconexión de los elementos Básicos. January 2005 Matthew Casey 36

37 Capas La distribucion de neuronas dentro de la red se realiza formando niveles o capas de un numero determinado de neuronas cada una. Se pueden distinguir 3 tipos de capas: De entrada.- Es la capa que recibe directamente la informacion proveniente de las fuentes externas a la red January 2005 Matthew Casey 37

38 Capas Ocultas: Son internas a la red y no tienen contacto directo con el entorno exterior. El numero de niveles ocultos puede estar entre cero y un numero elevado. Las neuronas de las capas ocultas pueden estar interconectadas de distintas maneras, lo que determina junjto con su numero, las distintas tipologias de redes neuronales. De Salida.- Transfieren Informacion de la red hacia el exterior. January 2005 Matthew Casey 38

39 Caracteristicas de las redes neurales Topologia.- La topologia o arquitectura de las redes neurales consiste en la organización y disposicion de las neuronas en la red formando capas o agrupaciones de neuronas mas o menos alejadas de la entrada y salida de la red. Los parametros fundamentales de la red son: El numero de capas, el numero de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas. January 2005 Matthew Casey 39

40 Clasificacion de la redes en terminos topologicos. Redes de una Sola Capa o nivel de neuronas. Redes de capas multiples (2 o 3) o Multicapas January 2005 Matthew Casey 40

41 Redes Monocapa Ejemplos tipicos son HOPFIELD y BRAIN- STATE-IN-BOX Conexiones laterales entre las neuronas que pertenecen a la unica capa que constituyen la red January 2005 Matthew Casey 41

42 REDES MULTICAPA Las redes multicapa son aquellas que disponen de conjuntos de neuronas agrupadas en varios (2 o 3) niveles o capas En estos casos, una forma para distinguir la capa a la que pertenece una neurona, consistiria en fijarse en el origen de las señales que recibe a la entrada y el destino de la señal de salida. January 2005 Matthew Casey 42

43 REDES MULTICAPA Ejemplos Tipicos Adaline Perceptron LVQ BAM BOLTZMAN Back-propagation January 2005 Matthew Casey 43

44 Aprendizaje Es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una informacion de entrada. En los sistemas biologicos existe una continua creacion y destruccion de conexiones entre las neuronas. En los modelos de ANN la creacion de una nueva conexión implica que el peso de la misma pasa a tener un valor distinto de cero. January 2005 Matthew Casey 44

45 Aprendizaje Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren modificaciones, por tanto se puede afirmar que este proceso ha terminado (la red ha aprendido) cuando los valores de los pesos permanecen estables o sea: dw = 0 dt January 2005 Matthew Casey 45

46 Aprendizaje Los criterios que determinan como se modifican los valores de los pesos se le conoce como : regla de aprendizaje Existen 2 tipos de reglas Aprendizaje Supervisado Aprendizaje no Supervisado La diferencia fundamental entre ambos tipos estriba en la existencia o no de un agente externo (supervisor) que controle el proceso del aprendizaje January 2005 Matthew Casey 46

47 Redes con aprendizaje supervisado El aprendizaje supervisado se caracteriza porque el proceso de aprendizaje se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro) que determina la respuesta que deberia generar la red a partir de una entrada determinada. January 2005 Matthew Casey 47

48 Redes con aprendizaje supervisado El supervisor comprueba la salida de la red y en caso de que esta no coincida con la deseada se procedera a modificar los pesos de las conexiones con el fin de conseguir que la salida obtenida se aproxime a la deseada. January 2005 Matthew Casey 48

49 Redes con aprendizaje supervisado Existen 3 formas de llevar a cabo este aprendizaje: Aprendizaje por correccion de error Aprendizaje por refuerzo Aprendizaje estocastico January 2005 Matthew Casey 49

50 Aprendizaje por correccion de error Consiste en ajustar los pesos de las conexiones de red en funcion de la diferencia entre los valores deseados y los obtenidos en la salida de la red Una regla o algoritmo simple de aprendizaje por correccion de error podria ser: Δw ji = αy j (d j -y j ) January 2005 Matthew Casey 50

51 Aprendizaje por correccion de error Siendo Δw ji Variacion en el peso de la Conexión entre las neuronas i y j (Δw ji = w ji actual - w ji anterior ) y i valor de la salida de la neurona i dj valor de salida deseado para para la neurona j yj valor de salida obtenido en la neurona j α Factor de aprendizaje ( 0 < α <= 1) January 2005 Matthew Casey 51

52 Aprendizaje por correccion de error Perceptron Widrow y Hoff Error medio January 2005 Matthew Casey 52

53 Redes con aprendizaje no supervisado Este tipo de redes no requiere una influencia externa para ajustar los pesos de las neuronas Este aprendizaje permite la codificacion de los datos de entrada, generando a la salida una version codificada de la entrada con menos bits January 2005 Matthew Casey 53

54 Redes con aprendizaje no supervisado Algoritmos Aprendizaje hebbiano Aprendizaje competitivo y cooperativo January 2005 Matthew Casey 54

55 Aprendizaje hebbiano Este tipo de aprendizaje se basa en el postulado creado por donald hebb en 1949 Cuando un axon de la celda A esta suficientemente cerca como para conseguir excitar a una celda B y repetida o persistentemente toma parte en su activacion, algun proceso de crecimiento o cambio metabolico tiene lugar en una o ambas celdas, de tal forma que la eficiencia de A, cuando la celda a activar es B, aumenta January 2005 Matthew Casey 55

56 Aprendizaje hebbiano Se puede decir por lo tanto que el aprendizaje hebbiano consiste basicamente en el ajuste de los pesos de ls conexiones de acuerdo con la correlacion (multiplicacion en el caso de los valores binarios + 1 y 1) de los valores de activacion (salidas) de las 2 neuronas conectadas January 2005 Matthew Casey 56

57 Aprendizaje hebbiano Δw ji = y i y j January 2005 Matthew Casey 57

58 El Perceptron Este fue el primer modelo de red neuronal artificial desarrollado por rosenblatt en Creado para reconocer patrones sencillos Un perceptron esta formado por varias neuronas lineales para recibir las entradas a la red y una neurona de salida January 2005 Matthew Casey 58

59 El Perceptron La unica neurona de salida del perceptron realiza la suma ponderada de las entradas, resta el umbral y pasa el resultado a una funcion de transferencia tipo escalon. La regla de decision es responder +1 si el patron presentado pertenece a la clase A o -1 si el patron pertenece a la clase B. La salida dependera de la entrada neta y del valor del umbral θ January 2005 Matthew Casey 59

60 El Perceptron X1 X2 w1 w2 A A A A y B B B Xn wn B B El puede clasificar un vector analogico de entrada en 2 clases A y B Y = f [Σw i x i -θ] X2 = (-w 1 /w 2 )x 1 +(θ/w 2 ) January 2005 Matthew Casey 60

61 El Perceptron Ejemplo: se implementara la funcion logica OR con 2 entradas. Valor de umbral = 1 (X 0 ) 1.- Sean los valores iniciales elegidos aleatoriamente W 0 = 1.5 W 1 = 0.5 W2 = 1.5 January 2005 Matthew Casey 61

62 El Perceptron 2.- Se van tomando uno a uno los cuatro patrones de entrada y se aplica el metodo de aprendizaje ENTRADAS SALIDA January 2005 Matthew Casey 62

63 El Perceptron 2.1 Se toma el patron 0 0 Entradas: x 1 =0; x 2 =0; x 0 =1 Pesos: w 1 (t)=0.5;w 2 (t)=1.5;w 0 (t)=1.5 Net i : 0(0.5)+0(1.5)+1(1.5)=1.5 Salida que produce f: 1 (Net i >= 0) Salida que debe de dar (deseada): 0 Error que se comete (deseada obtenida) = 0-1 = -1 January 2005 Matthew Casey 63

64 El Perceptron Pesos Modificados w 1 (t+1)= 0.5+(-1)*0= 0.5 w 2 (t+1)= 1.5+(-1)*0= 1.5 w 0 (t+1)= 1.5+(-1)*1= Se toma el patron de entrada 0 1 Entradas: x 1 =0; x 2 =1; x 0 =1 Pesos: w 1 (t)=0.5;w 2 (t)=1.5;w 0 (t)=0.5 Net i : 0(0.5)+1(1.5)+1(0.5)=2.0 January 2005 Matthew Casey 64

65 El Perceptron Salida que produce f: 1 (Net i >= 0) Salida que debe de dar (deseada): 1 Error que se comete (deseada obtenida) = 1-1 = 0 Se recomienda que el participante al taller haga los otros 2 patrones Debido a que existe un error en el patron 00 se debe repetir el paso 2 January 2005 Matthew Casey 65

66 La red de backpropagation En 1986, Rumelhart, Hinton y Williams basandose en los trabajos de otros investigadores formalizaron un metodo para que una red neuronal aprendiera la asociacion que existe entre los patrones de entrada a la misma y las clases correspondientes. Utilizando mas niveles de neuronas que los que utlizo Rosenblatt para desarrollar el perceptron. Este metodo conocido como backpropagation. January 2005 Matthew Casey 66

67 Ejecución. Comportamiento final de la ANN. Clasificacion de señales electrocardiograficas (ECG) En este ejemplo se muestra una posible utilizaciòn de las redes neurales en la clasificacion de electrocardiogramas con 12 derivaciones. Las señales ECG se obtuvieron de una base de datos de arritmias. January 2005 Matthew Casey 67

68 Ejecución. Comportamiento final de la ANN. January 2005 Matthew Casey 68

69 Ejecución. Comportamiento final de la ANN señales correspondientes a 7 tipos diferentes Normales Hipertrofia Ventricular Izquierda (LVH) Hipertrofia Ventricular derecha (RVH) Hipertrofia biventricular (BVH) Infarto de miocardio anterior (AMI) Infarto de miocardio inferior (IMI) Infarto de miocardio combinado (MIX) January 2005 Matthew Casey 69

70 Ejecución. Comportamiento final de la ANN. De las 3266 señales 2446 fueron elegidas en forma aleatoria para el aprendizaje de la red y el resto 820 para comprobar posteriormente su funcionamiento, analizando el grado de acierto ante unas señales que no se le habian enseñado. January 2005 Matthew Casey 70

71 Ejecución. Comportamiento final de la ANN. La red neural utilizada no trabaja directamente con las señales, sino que previamente se realizaba un preprocesamiento de estas, parametrizando cada señal mediante un conjunto de 39 valores obtenidos por un programa comercial de analisis de ECG; 37 son parametros mas la edad y el sexo January 2005 Matthew Casey 71

72 Ejecución. Comportamiento final de la ANN Por lo que la red tendra 39 neuronas de entrada. El numero de salidas es de 7, una por tipo de señal que se le va a enseñar. La red utilizada es una red de backpropagation de 3 capas. Los mejores resultados se obtuvieron con 7 neuronas en la capa oculta. January 2005 Matthew Casey 72

73 Ejemplos con Neural Works 1.- Instalacion de Neural Works Ejecute e instale el programa PredictDemo 2 Para Probar que quedo bien instalado, inicie excel y debera aparecer la siguiente pantalla January 2005 Matthew Casey 73

74 Ejemplo 2 Abrir Microsoft Excel: 1. From the Predict menu, select New... to create a new model. (Note: to create a new model, there must be an open workbook with an active worksheet that contains the data the tutorial.xls workbook should still be open.) January 2005 Matthew Casey 74

75 Ejemplo 2 2. The New Model dialog box appears. In it, you enable the Model Building Wizard and select the type of model that is appropriate for the problem. First, make sure the Launch the Model Building Wizard check box is selected. January 2005 Matthew Casey 75

76 Ejemplo 2 Then, since the output values for the evaporation data are continuous values,select the To make predictions from data option. 3. Click Next to proceed. January 2005 Matthew Casey 76

77 January 2005 Matthew Casey 77

78 January 2005 Matthew Casey 78

79 January 2005 Matthew Casey 79

80 January 2005 Matthew Casey 80

81 January 2005 Matthew Casey 81

82 January 2005 Matthew Casey 82

83 January 2005 Matthew Casey 83

84 January 2005 Matthew Casey 84

85 Ejercicio Dada una matriz de led s implementar una red neuronal para reconocer digitos January 2005 Matthew Casey 85

86 Ejercicio 1.- Obtenga los patrones para los digitos con ruido. 2.- Construya el modelo de red en neural works 3.- Entrene la red 4.- Pruebe con ejemplos propuestos por usted. January 2005 Matthew Casey 86