Resumen. Este trabajo se divide principalmente en 2 partes:

Transcripción

1 DISEÑO DE UNA RED NEURONAL RECURRENTE MEDIANTE LA UTILIZACIÓN DE BLOQUES DSP CON XILINX SYSTEM GENERATOR, IMPLEMENTADA EN TIEMPO REAL EN DISPOSITIVOS RECONFIGURABLES Resumen Juan J. Raygoza P, Susana Ortega C., Alí Piña R., Carlos A. Chirino G. { juan.raygoza, susana.ortega { ali.pina, carlos.chirino En este artículo se realiza la implementación de una red neuronal recurrente tipo Hopfield mediante la versión discreta de ésta, utilizando las características y ventajas de hardware reconfigurable el cual tiene la flexibilidad de ser prototipado por medio de herramientas aceleradoras de sistemas DSPs, En esta caso se utilizó la herramienta Xilinx System Generator que funciona sobre la plataforma Simulink. Permitiendo desarrollar en hardware las características, configuración, aprendizaje y funcionamiento de las redes neuronales recurrentes. Este trabajo se divide principalmente en 2 partes: La primera parte es el desarrollo un sistema de reconocimiento de patrones basado en las fases principales de la red de Hopfield: la fase de almacenamiento y la fase de recuperación aplicando la regla de Hebb para el almacenamiento de patrones. La segunda parte es implementar dicho sistema en un dispositivo reconfigurable FPGA mediante la herramienta Xilinx System Generator, ya que provee una gran abstracción y permite utilizar el extenso bloque grafico de bibliotecas de Simulink en conjunto con las bibliotecas de Xilinx para la construcción de diseños hechos a medida implementados con eficiente desempeño y mínima área. Los bloques del sistema son creados en System Generator para posteriormente descargar el diseño en el soft core embebido MicroBlaze que regula el control de comunicación entre los periféricos (salida de video RGB y cámara VGA). El sistema se implementa en una tarjeta de desarrollo Spartan 3A xc3sd3400a 4fg Introducción. Las Redes Neuronales artificiales se han convertido en una solución común para una gran variedad de problemas en muchos campos, como lo es en reconocimiento de patrones, procesamiento de señales, optimización, predicción, procesamiento de imágenes, entre otros. Muchas de estas soluciones se han implementado en hardware, la solución más frecuente es el entrenamiento dentro de una computadora, sin embargo esta implementación puede resultar costosa y lenta en cuanto a funcionamiento. Existen diferentes hardware dedicados para la implementación de redes neuronales, el primer paso para elegir el hardware idóneo incluye saber el tipo de neurona que utilizaremos, el

2 número de neuronas, la cantidad de entradas y salidas externas, el número de conexiones entre cada neurona, la precisión, la velocidad de desempeño y otras características[1]. El objetivo fundamental de este trabajo es el reconocimiento de patrones proporcionando una categorización de los patrones de entrada, mediante una red neuronal tipo Hopfield utilizando el modelo de memoria asociativa, el cual es capaz de recuperar patrones almacenados a partir de información incompleta e incluso a partir de patrones con ruido aditivo, sustractivo o combinado[2]. La solución a este problema se implemento en hardware, mediante dispositivos reconfigurables FPGAs ya que ofrecen un menor costo, mayor velocidad de procesamiento en paralelo y una gran capacidad de reconfiguración pudiéndose extender a otro tipo de aplicaciones y redes neuronales [3]. 2. Diseño de la red neuronal. La metodología a seguir para el diseño de la red neuronal es la siguiente: primero realizar la fase de aprendizaje fuera de línea. El segundo paso es la fase de recuperación. Una memoria asociativa puede representarse como se observa en la figura 1, donde cada uno de los patrones de entrada forma una asociación con el correspondiente patrón de salida. Figura 1. El patrón de entrada está representado por un vector columna denotado por x y el patrón de salida, por el vector columna denotado por y. En la fase de aprendizaje se calcula la matriz de pesos de orden, se muestra en la siguiente regla para obtener la ij ésima componente de la memoria Hopfield : Donde, es el número de neuronas, representa el elemento de la memoria fundamental, M los vectores fundamentales de la memoria, representando los patrones a ser memorizados por la red, y por último la matriz identidad [4]. Lo cual define la generalización de la regla de Hebb [4]. Específicamente en este diseño consiste de neuronas y pesos sinápticos, con cada patrón conteniendo 120 pixeles. Las entradas aplicadas a la red toman valores de +1 para los pixeles en negro y 1 para los pixeles en blanco. Los 8 patrones de la figura 2 fueron utilizados como memorias

3 fundamentales en la fase de aprendizaje de la red de Hopfield para crear la matriz de pesos sinápticos. Figura 2. Conjunto de patrones. En la figura 3 se observa la matriz de pesos, la cual se obtuvo fuera de línea. Es necesario convertir la matriz de pesos a un vector [:] columna para poder almacenarla en una un bloque de memoria. De igual manera el patrón seleccionado para la recuperación es distorsionado mediante un script de MatLab fuera de línea, al cual se le aplica un error de 0.25 y es exportado a un archivo.jpg. Figura 3. Vector columna de la matriz de pesos.

4 En la fase de recuperación de la red de Hopfield el patrón distorsionado es convertido a un vector [:] columna para que su valor anterior vaya cambiado su estado en el tiempo de modo que cada neurona ajuste su valor de acuerdo con el valor que arroje la comparación de la cantidad Es decir, si en el instante del tiempo es mayor que cero la neurona cambiara su valor a o permanecer en ese estado si es que ya está ahí. De igual manera si es menor que cero la neurona cambiara su valor a 1. Si la salida esta exactamente en cero la neurona permanece en su estado anterior. El estado actualizado es deterministico pero la elección de la neurona a desarrollar la actualización es aleatoria. En la figura 4 se observa el vector de la sumatoria del producto de los pesos por la entrada contra la función signo. Figura 4. Vector columna de la sumatoria contra la función signo. Este diseño se realizó con bloques de Xilinx System Generator[5], por lo que se aprovecha en gran forma el paralelismo inherente en las redes neuronales. En la figura 5 podemos observar las etapas del sistema de la red neuronal de Hopfield:

5 a. Vector columna de pesos y Vector columna del patrón distorsionado. b. Etapa de almacenamiento en memorias. c. Multiplicación de pesos por el patrón distorsionado. d. Sumatoria del producto de pesos por el patrón distorsionado. e. Función de transferencia. f. Salida final de la red neuronal. 3. Implementación. Figura 5. Sistema de la red neurona de Hopfield. Para el procesamiento en tiempo real del diseño realizado en el punto anterior, se utilizó un bloque acelerador de video generado en Xilinx System Generator y exportado como un Pcore a Xilinx System Platform. Este bloque permite procesamiento paralelo de video, con una cámara Micron CMOS incluida en la tarjeta de desarrollo Spartan 3A DSP 3400[6]. Esta cámara produce un intervalo serial de video junto con las señales de control de sincronización horizontal y vertical [7].En la figura 6 se muestra el diagrama a bloques del sistema de la plataforma base con la implementación en de la red neuronal.

6 Figura 6. Cámara y video en paralelo con el procesador Microblaze, periféricos y el sistema de la red neurona de Hopfield. 4. Conclusiones. La implementación de redes neuronales recurrentes en dispositivos reconfigurables FPGAs ofrece una excelente solución a implementaciones en hardware ya que proporcionan un buen desempeño y un mayor procesamiento en paralelo, lo cual es fundamental para este tipo de redes. La herramienta Xilinx System Generator cuenta con todas las características de desarrollo de redes neuronales que MatLab ofrece, además de la ventaja de trabajar con números reales con representación en punto fijo y posee un alto nivel de abstracción en sus bloques. Mientras que el beneficio más importante es la realización de implementaciones en hardware sobre FPGAs, las cuales tienen las características tales como: robustez, velocidad y paralelismo. Así como también el bloque acelerador de video, utilizando sistemas DSPs. 5. Referencias. [1] Artificial Neural Networks: a Review of Commercial Hardware Fernando Morgado, Ana Antunes Engineering Applications of Artificial Intelligence, IFAC, Vol. 17/8, pp , [2] Memoria Asociativa Hopfield Cornelio Yáñez, Juan Díaz No. 52 Serie: VERDE Junio [3] Fpga Implementations Of Neural Networks Amos R., Jagath C. ISBN (e book). Ed. Springer [4] Neural Networks. A Comprehensive Foundation Haykin Simon Edit. Prentice Hall, 1994.

7 [5] Tutorial para el modelado de un bloque acelerador de video utilizando System Generator Juan J. Raygoza, Susana Ortega C., Alí Piña Congreso CONCIBE SCIENCE [6] Spartan 3A DSP FPGA VSK 2006 URL: [7]FMC Video Daughter Board 2006 URL: