Redes Neuronales Parte II Facultad de Ciencias Exactas y Tecnología Universidad Nacional de Tucumán Mg. Ing. Gustavo E. Juárez
UNIDAD TEMÁTICA : REDES NEURONALES Introducción. De/iniciones. Topologías típicas. Redes Supervisadas. Modelo Backpropagation Redes No Supervisadas Modelo de Kohonen Implementación en Matlab mediante Toolkit sobre Redes Neuronales. ANFIS.
NEURONAS DEFINICIÓN Las neuronas arti+iciales o procesador elemental es un dispositivo simple de calculo que, a partir de un vector de entrada procedente del exterior o de otras neuronas, proporciona una única respuesta o salida.
REDES NEURONALES ARTIFICIALES DEFINICIONES Las redes neuronales arti/iciales son redes interconectadas masivamente en paralelo y con organización jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico. (Teuvo Kohonen) Modelos matematicos desarrollados para emular el cerebro humano (Chen-1998)
RED NEURONAL ARTIFICIAL CARACTERISTICAS, USOS Y APLICACIONES
REDES NEURONALES ARTIFICIALES CARACTERISTICAS Las características principales que reproducen las redes neuronales arti/iciales se pueden reducir a los siguientes tres conceptos: procesamiento paralelo, distribuido y adaptativo. [Del Brio y Sanz Molina, 2002] Se ajustan o se entrenan, de modo que una entrada particular conduce a una salida de destino especí/ico. Las RNA no ejecutan instrucciones, responden en paralelo a las entradas que se les presenta.
REDES NEURONALES ARTIFICIALES CARACTERISTICAS La red neuronal arti/icial es ajustada, en base a una comparación de la salida de la misma con el de objetivo, hasta la salida de la red sea igual al objetivo. OBJETIVO ENTRADA La Red neuronal Incluyen conexiones (llamados pesos) entre las neuronas SALIDA Compara AJUSTE DE PESOS
REDES NEURONALES ARTIFICIALES CARACTERISTICAS La red neuronal arti/icial es ajustada, en base a una comparación de la salida de la misma con el de objetivo, hasta la salida de la red sea igual al objetivo. El entrenamiento por lotes de una red neuronal se realiza haciendo cambios en los pesos y basados en el sesgo de un conjunto completo de los vectores de entrada. La entrenamiento incremental cambia los pesos y el sesgo (o ganancia) de una red según sea necesario, después de la presentación de cada vector de entrada.
REDES NEURONALES ARTIFICIALES USOS Las redes neuronales han sido entrenadas para realizar funciones complejas en diversos campos, los cuales incluyen: 1. Procesamiento de imágenes y de voz 2. Reconocimiento de patrones 3. Planeamiento 4. Interfaces adaptivas para sistemas Hombre/máquina 5. Predicción 6. Control y optimización 7. Filtrado de señales
REDES NEURONALES ARTIFICIALES APLICACIONES Las aplicaciones mas relevantes son: Aeroespacial Alto rendimiento del piloto automático, simulación de la trayectoria de vuelo, control de la sistemas de aeronaves, mejoras de piloto automático,, detección de aviones Automotor Automóvil sistema de guiado automático, la actividad de garantía de análisis Bancario Comprobar y otra de lectura de documentos, evaluación de solicitud de crédito Comprobación de la tarjeta de crédito Actividad inusual actividad de la tarjeta de crédito del punto que posiblemente podría estar asociado con la pérdida de de una tarjeta de crédito
REDES NEURONALES ARTIFICIALES APLICACIONES Las aplicaciones mas relevantes son: Defensa Seguimiento de objetivos, la discriminación de objetos, reconocimiento facial, procesamiento de sensores, sonar, de radar y la señal de imagen, extracción de características y supresión de ruido. Electrónica Código de predicción de secuencia, diseño integrado chip de circuito, control de procesos, visión arti/icial, síntesis de voz, el modelado no lineal Entretenimiento Animación, efectos especiales, previsiones de mercado Industrial Prediccion de emision de gases en procesos industriales.
NEURONALES ARTIFICIALES Una neurona con una sola entrada escalar, sin y con sesgo se representan: ENTRADA NEURONA SIN SESGO ENTRADA NEURONA CON SESGO θ Funcion Umbral que la neurona debe sobrepasar para activarse La entrada escalar p es un vector que contiene tantos valores como neuronas, se transmite a través de una conexión que multiplica su la fuerza por el peso w escalar para formar el producto wp, de nuevo un escalar. Aquí la entrada ponderada wp es el único argumento de la función de transferencia F, que produce la salida de un escalar. La neurona de la derecha, tiene un sesgo escalar b.
NEURONALES ARTIFICIALES La función de transferencia de la red de entrada n, da un nuevo escalar, redultado de la suma de la entrada ponderada wp y el sesgo b. Esta suma es el argumento de la función de transferencia f, la cual es escogida dependiendo de las especi/icaciones del problema que la neurona resuelva. Aquí f es una función de transferencia, típicamente una función de paso que toma el argumento de n y produce la salida a. Se debe tener en cuenta que w y b son ambos parámetros escalares ajustables de la neurona, de manera de presentar un comportamiento deseado.
RED NEURONAL ARTIFICIAL MODELO, TOPOLOGIA Y FASES
MODELO GENERAL DE UNA NEURONA ARTIFICIAL ENTRADA NEURONA Donde R = número de elementos del Vector de entrada Aquí el vector de entrada p está representado por la barra vertical a la izquierda. Las dimensiones de p se muestra en Rx1, dado que es un vector de elementos de entrada R. Al igual que antes, una constante 1 entra en la neurona como una entrada y se multiplica por un sesgo escalar b. La entrada de red para la función de transferencia f es n, la suma del sesgo o ganancia b y el producto Wp. Esta suma se pasa a la función de transferencia f para obtener una salida de la neurona, que en este caso es un escalar.
TOPOLOGIA DE UNA RED NEURONAL Una vez definida el tipo de neurona que se utilizará en un modelo de redes neuronales artificiales es necesario definir la topología de la misma. La organización y disposición de las neuronas dentro de una red neuronal se denomina topología, y viene dada por el número de capas, la cantidad de neuronas por capa, el grado de conectividad, y el tipo de conexión entre neuronas.
TOPOLOGIA DE UNA RED NEURONAL - CAPAS Las neuronas suelen agruparse en unidades funcionales denominadas capas. Se denomina capa de entrada a aquella que esta compuesta por neuronas de entradas y por lo tanto recibe información procedente desde el exterior. Análogamente, se denomina capa oculta y capa de salida a aquellas capas que están compuestas por neuronas ocultas y de salida respectivamente. Una red neuronal artificial esta compuesta por una o más capas, las cuales se encuentran interconectadas entre sí. Entre un par de neuronas de la red neuronal artificial pueden existir conexiones. Estas conexiones son las sinapsis, tienen asociadas un peso sináptico, y son direccionales.
TOPOLOGIA DE UNA RED NEURONAL - CONEXION Definicion Feedforward (Hacia Adelante) Las redes neuronales con conexión hacia delante (redes feedforward) cuando las conexiones entre las distintas neuronas de la red siguen un único sentido, desde la entrada de la red hacia la salida de la misma. Definicion Feedback (Adelante-Atras) Cuando las conexiones pueden ser tanto hacia delante como hacia atrás hablamos de redes recurrentes (redes feedback).
RED NEURONAL - FASES Durante la operatoria de una red neuronal podemos distinguir claramente dos fases o modos de operación: la fase de aprendizaje o entrenamiento, y la fase de operación o ejecución. Fase de Aprendizaje o Entrenamiento: la red es entrenada para realizar un determinado tipo de procesamiento. Fase de Operacion: Una vez alcanzado un nivel de entrenamiento adecuado, se pasa a la fase de operación, donde la red es utilizada para llevar a cabo la tarea para la cual fue entrenada.
RED NEURONAL - FASES FASE DE APRENDIZAJE O ENTRENAMIENTO Una vez seleccionada el tipo de neurona artificial y determinada su topología es necesario entrenarla para que la red pueda ser utilizada. El proceso de aprendizaje se puede dividir en tres grandes grupos de acuerdo a sus características [Isasi Viñuela y Galván León, 2004]: Aprendizaje supervisado Aprendizaje no supervisado Aprendizaje por refuerzo
RED NEURONAL - FASES FASE DE APRENDIZAJE O ENTRENAMIENTO Aprendizaje supervisado. Aprendizaje no supervisado. Aprendizaje por refuerzo. 1. Se presenta a la red un conjunto de patrones de entrada junto con la salida esperada. 2. Los pesos se van modificando de manera proporcional al error que se produce entre la salida real de la red y la salida esperada.
RED NEURONAL - FASES FASE DE APRENDIZAJE O ENTRENAMIENTO Aprendizaje supervisado. Aprendizaje no supervisado. Aprendizaje por refuerzo. 1. Se presenta a la red un conjunto de patrones de entrada. 2. No hay información disponible sobre la salida esperada. 3. El proceso de entrenamiento en este caso deberá ajustar sus pesos en base a la correlación existente entre los datos de entrada-salida exacta que debe proporcionar la red.
RED NEURONAL - FASES FASE DE APRENDIZAJE O ENTRENAMIENTO Aprendizaje supervisado. Aprendizaje no supervisado. Aprendizaje por refuerzo. Este tipo de aprendizaje se ubica entre medio de los dos anteriores. Se le presenta a la red un conjunto de patrones de entrada y se le indica a la red si la salida obtenida es o no correcta. No se le proporciona el valor de la salida esperada. Este tipo de aprendizaje es muy útil en aquellos casos en que se desconoce cual es la salida exacta que debe proporcionar la red.
RED NEURONAL FASES FASE DE OPERACIÓN Una vez finalizada la fase de aprendizaje, la red puede ser utilizada para realizar la tarea para la que fue entrenada. Una de las principales ventajas que posee este modelo es que la red aprende la relación existente entre los datos, adquiriendo la capacidad de generalizar conceptos. De esta manera, una red neuronal puede tratar con información que no le fue presentada durante de la fase de entrenamiento.
RED NEURONAL ARTIFICIAL PERCEPTRON. MULTICAPA
REDES NEURONALES CON CONEXIÓN HACIA DELANTE Este tipo de redes neuronales artificiales con conexión hacia delante, que se caracteriza por su organización en capas y conexiones estrictamente hacia delante, utilizan algoritmos de entrenamiento del tipo supervisado. Es el más utilizado en aplicaciones prácticas que utilizan redes neuronales, obteniéndose muy buenos resultados fundamentalmente como clasificadores de patrones y estimadores de funciones. Se tipifican en: PERCEPTRON ADALINE/MADALINE PERCEPTRON MULTICAPA
REDES NEURONALES PERCEPTRON Modelo de gran importancia histórica ya que posee un mecanismo de entrenamiento que permite determinar automáticamente los pesos sinápticos que clasifican correctamente a un conjunto de patrones a partir de un conjunto de datos dados. Esta compuesta por dos capas de neuronas, una de entrada y una de salida. La capa de entrada es la que recibe la información proveniente del exterior y la transmite a las neuronas sin realizar ningún tipo de operación sobre la señal de entrada. La función de activación de las neuronas de un perceptrón es del tipo escalón, dando de esta manera sólo salidas binarias. Cada neurona de salida del perceptrón representa a una clase. Una neurona de salida responde con 1 si el vector de entrada pertenece a la clase a la que representa y responde con 0 en caso contrario. La operación de un perceptrón con n neuronas de entrada y m neuronas de salidas puede ser resumida de la siguiente manera:
REDES NEURONALES PERCEPTRON La operación de un perceptrón con n neuronas de entrada y m neuronas de salidas puede ser resumida de la siguiente manera: El algoritmo de entrenamiento perceptrón es un algoritmos por corrección de errores, los cuales ajustan los pesos de manera proporcional a la diferencia entre la salida actual proporcionada por la red y la salida objetivo, con el fin de minimizar el error producido por la red. Este método de entrenamiento converge siempre en un tiempo finito y con independencia de los pesos de partida, siempre que la función a representar sea linealmente separable. El principal problema de este método de entrenamiento es que cuando la función a representar no es linealmente separable el proceso de entrenamiento oscilará y nunca alcanzará la solución.
REDES NEURONALES ADALINE / MADALINE La topología de la red ADALINE es similar a la del perceptrón sólo que en este caso la función de salida de las neuronas es lineal. Dado que las señales de entrada pueden ser continuas, la red ADALINE es un dispositivo de entrada/salida analógica (continua) a diferencia del perceptrón que es un dispositivo entrada/salida digital (binaria). La operación de una red ADALINE con n neuronas de entrada y m neuronas de salidas puede ser resumida de la siguiente manera:
REDES NEURONALES ADALINE / MADALINE La diferencia entre la red ADALINE y el perceptrón consiste en la regla de aprendizaje que utilizan. La red ADALINE implementa como método de aprendizaje la regla de Widrow-Hoff, también conocida como regla LMS (Least Mean Squares, mínimos cuadrados), que realiza una actualización continua de los pesos sinápticos de acuerdo a la contribución de cada neurona sobre el error total de la red.
REDES NEURONALES PERCEPTRON MULTICAPA El perceptrón multicapa es una extensión del perceptrón simple. La topología de un perceptrón multicapa esta definida por un conjunto de capas ocultas, una capa de entrada y una de salida. No existen restricciones sobre la función de activación aunque en general se suelen utilizar funciones sigmoideas. La operación de un perceptrón multicapa con una única capa oculta puede ser resumida de la siguiente manera: Este modelo es el más utilizado en la actualidad. Podemos mencionar algunas áreas de aplicación: Codificación de información Traducción de texto en lenguaje hablado Reconocimiento óptico de caracteres (OCR)
ENTRENAMIENTO DE REDES NEURONALES Partiendo de un conjunto de pesos sinápticos aleatorio, el proceso de aprendizaje busca un conjunto de pesos que permitan a la red desarrollar correctamente una determinada tarea. El proceso de aprendizaje es un proceso iterativo, en el cual se va refinando la solución hasta alcanzar un nivel de operación suficientemente bueno.
ENTRENAMIENTO DE REDES NEURONALES OBJETIVOS El objetivo del método de entrenamiento es encontrar el conjunto de pesos sinápticos que minimizan (o maximizan) la función. El método de optimización proporciona una regla de actualización de los pesos que en función de los patrones de entrada modifica iterativamente los pesos hasta alcanzar el punto óptimo de la red neuronal.
REFERENCIAS Libros Redes Neuronales y Sistemas Difusos / Bonifacio Martin del Brío y Alfredo Sanz Molina. Alfa Omega Rama. Colombia/c.2005 Sitios Webs http://www.youtube.com/watch?v=krabo0gpc5a http://www.youtube.com/watch?v=umbzgseui74 http://www.youtube.com/watch?v=1wgpk2eonz0
Referencias
http://www1.herrera.unt.edu.ar/intar