Unidad VII Redes Neuronales

Transcripción

1 Unidad VII Redes Neuronales Maestría en Sistemas Computacionales Clave: MPSCO Créditos Sesiones Sábados Rafael Vázquez Pérez

2 Agenda 7.1 Introducción a las Redes Neurales (ANN) 7.2 Tipos de ANN 7.3 Aplicaciones 7.4 Implementación

3 Introducción Durante varias décadas los científicos han perseguido la construcción de algoritmos capaces de procesar información al igual que el cerebro humano En la actualidad existe un gran número de estructuras diferentes de redes de neuronas artificiales. Se caracterizan porque gozan de propiedades como la capacidad de aprendizaje a partir de ejemplos Las redes de neuronas se utilicen para abordar problemas de: Aproximación, Predicción, Clasificación, Agrupación Se aplican a áreas como: reconocimiento de patrones (imagen, voz, caracteres) compresión y análisis de datos robótica medicina...

4 Qué es una Red Neuronal artificial (ANN)? Es un Modelo Matemático-Informático de cómo procesan la información las neuronas biológicas.

5 Es importante conocer los Neurofisiología conceptos básicos que nos permitan una mejor comprensión del estudio de las bases neurales de la cognición Elemental

6 El Cerebro Humano Parte del sistema nervioso central Contiene cerca de 1010 neuronas La neurona es la célula activa de la función cerebral Cada neurona se activa aproximadamente cada 5 ms Cada neurona se conecta aproximadamente con otras 10 4 neuronas Dando un total de 1014 conexiones

7 Neurona Biológica

8 Partes principales de una Neurona Sinapsis Espacio adyacente entre las neuronas cuyas señales químicas son transmitidas Dendritas Contactos sinapticos que reciben información de otras neuronas: ENTRADA Cuerpo de la célula o soma Centro metabólico de la neurona: PROCESO Axón Es la extensión del cuerpo de la neurona: SALIDA

9 Procesamiento Neural

10 NeuroTransmisores - Acetilcolina - Norepinefrina - Dopamina - Serotonina Sinapsis Axón Dendrita

13 NeuroTransmisores - Acetilcolina - Norepinefrina - Dopamina - Serotonina Sinapsis Axón Dendrita 30 mv

32 Abstracción Salida de otra neurona Oposición o Facilidad Entrada Neurona

33 Primer Modelo de la Neurona Artificial Bias wk0 x 1 w k1 Input Signals x 2 wk2 Σ Φ(.) Output y k x m w km Summing Junction Activation Function Synaptic Weights

34 Análisis del modelo de la neurona artificial Bias wk0 Suma: Procesamiento metabólico de las entradas x 1 w k1 Input Signals x 2 wk2 Σ Φ(.) Output y k x m w km Summing Junction Activation Function Synaptic Weights Conección fuerte: Pesos Sinápticos Pesos de cada entrada Excitatoria: pesos positivos Inhibitoria: pesos negativos Threshold: función de activación La suma de los pesos exceden al umbral? La señal de salida 0 no se dispara, 1 disparo

35 Porque una red Neuronal? Inspiración Biológica Para resolver problemas donde se requiere tener un beneficio de usar una computadora pero donde es impráctico programar la respuesta para todas las posibles salida (knowledge engineering bottleneck) Tolerancia al ruido Principios del aprendizaje de maquina

36 Ventajas de las ANN Aprendizaje adaptativo (entrenamiento) Auto organización (auto organizan la información) Tolerancia a Fallos (destrucción parcial de la red) Operación en tiempo real (calculo en paralelo) Fácil inserción dentro de la tecnología existente

37 Aplicaciones de las ANN Biología Aprender mas acerca del cerebro Obtención de modelos de la retina

38 Aplicaciones de las ANN Empresa Identificación de Candidatos para posiciones especificas Explotación de bases de datos Optimización de plazas y horarios en lineas aéreas Reconocimiento de Caracteres Escritos

39 Aplicaciones de las ANN Medio Ambiente Analizar Tendencias y Patrones Previsión del Tiempo

40 Aplicaciones de las ANN Finanzas Previsión de la evolución de los precios Valoración del riesgo de los créditos Identificación de Falsificaciones Interpretación de Firmas

41 Aplicaciones de las ANN Manufactura Sistemas de visión artificial Control de producción en lineas de proceso Inspección de la calidad

42 Aplicaciones de las ANN Medicina Analizadores del Habla para la ayuda de audición de sordos Diagnósticos y tratamiento a partir de síntomas y/o datos analíticos (electrocardiogramas, Encefalogramas, análisis sanguíneos) Predicción de reacciones Adversas a los medicamentos Lectores de rayos X

43 Aplicaciones de las ANN Clasificación de Patrones Reconstrucción de Patrones

44 Elemento básico: La Neurona Artificial Bias w k0 x 1 w k1 Input Signals x 2 wk2 Σ Φ(.) w k0 Output y k x m w km Summing Junction Activation Function Synaptic Weights

45 Elemento básico: La Neurona Artificial Entradas x1, x2,, xm Codifica la entrada a la red neural Bias wk0 Codifica el valor del umbral Equivale a una entrada constante x0 = 1 Pesos de conexión/ sinapsis Conexión fuerte a la entrada de la neurona. Negativo es inhibitorio Positivo es excitatorio

46 Elemento básico: La Neurona Artificial Suma(entrada total) Adición acumulativa Sin tomar en cuenta el bias Función de Activación Usa la entrada total para determinar cuando se debe disparar la neurona (threshold) y = Salida Salida de la función de activación v k = w k 0 x v k 0 + = m j= 1 m j= 0 ϕ w w kj kj x x j j ( ) k v k

47 Funciones de Activación Umbral Fuerte Binario: salidas 0 o 1 Bipolar: salidas 1 o 1 función Heaviside / Step / Signum o Piecewise-linear

48 Funcion Heaviside! $ 1 if v 0 Binaria ϕ( v) = # Bipolar ϕ( v)!" 0 if v < 0 $ 1! = # 0!!" 1 if if if v > 0 v = 0 v < 0

49 Función Sigmoide Binary ϕ ( v) + e av = 1 1

50 Función Tangente Hiperbólica ϕ Bipolar ( v) = tanh( av) e av e av = e av + e av

51 Ejemplo básico x 1 w k1 Bias w k0 Tenemos una Neurona de 2 entradas, con valor de umbral x0=1 y el peso w0=1 x 2 x m wk2 w km Summing Junction Σ Φ(.) Activation Function Los pesos w1=1.14 y w2= 0.45 Output y k La función de activación será Heaviside binaria Debemos calcular la salida Synaptic Weights Para una entrada X1=2 y X2= 5.2

52 Solución Paso 1, Calcular la entrada Neta (en mucha literatura le llaman NET) NET = x 0w0+x1w1+x2w2 NET=(1)(1)+(2)(1.14)+(5.2)(0.45) NET= 5.62 v k = w k 0 x v k 0 + = m j= 1 m j= 0 w w kj kj x x j j y = ϕ ( ) k v k

53 Solución Paso 2 Calcular la salida en base a la función de activación NET=V Binaria ϕ ( v) =! $ 1 #!" 0 if if v v < 0 0 Bipolar Salida = 1

54 Modelo Computacional ANN Una red de neuronas artificiales viene determinada por Conjunto de unidades de proceso o neuronas artificiales Conexiones entre las unidades Regla de propagación, para emitir señales a través de las conexiones Regla de aprendizaje para modificar los pesos de las conexiones Se necesita un conjunto de ejemplos (muestras, datos, patrones) que representen el problema, a partir del cual se realiza el aprendizaje

55 Modelo Computacional ANN Arquitectura de la red: Distribución de las neuronas y conexión entre ellas La estructura básica: Red multicapa Capa de entrada, Capas ocultas y Capa de salida Propagación de la señal hacia delante El valor de la señal se modifica según el peso de la conexión Los pesos se ajustan en la fase de aprendizaje

56 Interconexión de los elementos básicos I 1 O 1 I 2 O 2 I m O m Nivel de Niveles Nivel de Entrada Ocultos Salida

57 Capas La distribución de neuronas dentro de la red se realiza formando niveles o capas de un numero determinado de neuronas cada una. Se pueden distinguir 3 tipos de capas: De entrada.- Es la capa que recibe directamente la información proveniente de las fuentes externas a la red Ocultas: Son internas a la red y no tienen contacto directo con el entorno exterior. El numero de niveles ocultos puede estar entre cero y un numero elevado. Las neuronas de las capas ocultas pueden estar interconectadas de distintas maneras, lo que determina junto con su numero, las distintas tipologías de redes neuronales. De Salida.- Transfieren Información de la red hacia el exterior.

58 Clasificación de la redes en términos topologicos Redes de una Sola Capa o nivel de neuronas. Redes de capas multiples (2 o 3) o Multicapas

59 Redes Monocapa Ejemplos tipicos son HOPFIELD y BRAIN- STATE-IN-BOX Conexiones laterales entre las neuronas que pertenecen a la unica capa que constituyen la red

60 Redes Multicapa Las redes multicapa son aquellas que disponen de conjuntos de neuronas agrupadas en varios (2 o 3) niveles o capas En estos casos, una forma para distinguir la capa a la que pertenece una neurona, consistiría en fijarse en el origen de las señales que recibe a la entrada y el destino de la señal de salida.

61 Redes Multicapa Ejemplos Típicos Adaline Perceptrón LVQ BAM BOLTZMAN Back-propagation

62 Software para implementación Típicos Matlab, Scilab (para entrenamiento y Ejecución) Herramientas Case Neuralworks, Predictdemo (instalación como complementos de excel) (para entrenamiento y ejecución) Lenguajes de Programación con fuerte soporte numérico

63 Modelo Típico orientado al software Matlab o Scilab

64 Modelo Típico orientado al software Matlab o Scilab

65 Aprendizaje El proceso de aprendizaje consiste en Introducir paulatinamente todos los ejemplos de aprendizaje Modificar los pesos siguiendo una ley o ecuación de aprendizaje Cuando se han introducido todos, se comprueba si se cumple cierto criterio de convergencia. Si no se cumple, se repite el proceso.

66 Datos sobre flores de iris Longitud del Sépalo Ancho del Sépalo Longitud del Pétalo Ancho del Pétalo Especie Setosa Versicolor Virginica Versicolor