Microblaze en diseño digital de altas prestaciones

Transcripción

1 Microblaze en diseño digital de altas prestaciones Moreno V, González I, López-Buedo S, Gómez-Arribas FJ, Aracil J Escuela Politécnica Superior, UAM, Madrid, España, {victor.moreno, ivan.gonzalez, sergio.lopez-buedo, francisco.gomez, javier.aracil}@uam.es Abstract. En este trabajo se describe una metodología para realizar diseño de altas prestaciones basándose en el procesador Microblaze. La motivación se debe a que los entornos de diseño actuales permiten incorporar fácilmente procesadores softcore, controladores de buses y coresip. El objetivo es aprovechar las características de Microblaze y agilizar la integración de los componentes, la depuración de los módulos hardware y el desarrollo del software y/o los drivers necesarios para su utilización. En la mayor parte de los casos el sistema final no tiene por qué integrar todos los componentes del prototipo de partida y se permite eliminar el procesador que se utilizó como base del sistema, si ocupa demasiado espacio o limita el rendimiento exigido en las especificaciones. Sin embargo el papel de Microblaze resulta de gran ayuda en la diferentes etapas de diseño, facilitando la interconexión de módulos, la depuración parcial de las diferentes partes del diseño y si fuera el caso la valoración en términos de rendimiento de la partición realizada con codiseño HW- SW. Concretamente se aplica la metodología para desarrollar una tarjeta de red de aplicación específica, que funcione a 1Gbps, conectada por PCI a un ordenador personal. El driver de la tarjeta debe conseguir marcar las tramas de red con referencias de tiempo con un error inferior a 50 nanosegundos con el fin de realizar medidas muy precisas del tiempo de comunicación en una red Gigabit Ethernet. 1 Introducción La tecnología actual de fabricación de los circuitos reconfigurables FPGA (Field Programmable Gate Array) permite realizar en un solo chip complejos diseños digitales de altas prestaciones. En cada nueva familia de dispositivos los recursos disponibles son más numerosos, integrando memorias y multiplicadores embebidos, y alcanzado frecuencias de funcionamiento cada vez más elevadas. Estas características permiten que el área de aplicación englobe dominios muy dispares con necesidades variadas como por ejemplo el diseño de alta velocidad[1], la optimización de cores aritméticos[2], los coprocesadores criptográficos[3], la utilización de reconfiguración parcial dinámica[4], e incluso se está consolidando el uso de FPGAs en computación de alto rendimiento [5]. En aplicaciones similares con requisitos menores en cuanto a prestaciones, pero con limitaciones de consumo o del coste de producto final, se está potenciando el desarrollo de sistemas embebidos realizados con sistemas reconfigurables, que abarca desde el diseño hardware a medida, hasta el desarrollo de software sobre sistemas operativos para microprocesadores en FPGA. Las posibilidades son enormes, pero en ambas aproximaciones se incrementa la complejidad de los diseños realizados, integrando diseños

2 propios de aplicación especifica con cores IP comercialmente disponibles como netlist o bien descritos en lenguajes de descripción de hardware. Los principales fabricantes de circuitos reconfigurables proporcionan entornos de desarrollo para facilitar la realización de diseños complejos incluso la integración en sistemas con varios procesadores en una sola FPGA. En particular para los dispositivos del fabricante Xilinx es relativamente sencillo desarrollar un sistema embebido basado en el procesador softcore Microblaze (MB). Partiendo de una plataforma soportada por las herramientas del fabricante como puede ser la placa XUP V2P (Xilinx Virtex-II Pro Development System)[6] es relativamente sencillo realizar un sistema completo con unas cuantas pulsaciones de ratón. Por esta razón es bastante habitual afrontar el desarrollo de aplicaciones partiendo de un sistema basado en MB al que se incorporan módulos específicos para cada aplicación. El rendimiento está limitado por las características del procesador softcore, los módulos conectados y por las posibilidades de transferencia del bus de interconexión, determinando si son suficientes para un sistema de altas prestaciones. Aun en el caso de que el procesador embebido previsiblemente no alcance el objetivo final de prestaciones, puede ser muy útil para validar las partes del sistema que se van desarrollando en diferentes etapas del proyecto de diseño. En el prototipo descrito en este artículo se ha utilizado MB como herramienta de apoyo y se propone una metodología que lo incorpora como instrumento de soporte, que facilita la integración de las tareas realizadas por diferentes grupos de trabajo involucrados en el diseño final. En concreto el sistema desarrollado permite medir de manera muy precisa el tiempo empleado en la transmisión de un paquete entre dos nodos de una red de datos Gigabit Ethernet. Las necesidades de procesamiento de los paquetes recibidos a 1Gbps impide que MB realice el intercambio de datos entre los componentes del sistema y sea necesario diseñar módulos específicos para realizarlo. Por ello, en la arquitectura del sistema, el procesador MB no desempeña un papel importante, incluso puede llegar a eliminarse. Sin embargo, como se detalla en el plan de trabajo, MB ha sido utilizado en diferentes etapas facilitando la verificación por partes de los módulos que componen el sistema, y con ello hacer viable el reparto del proceso de desarrollo entre diferentes grupos trabajando concurrentemente. En los apartados sucesivos se detalla el desarrollo de un prototipo del sistema de medida, de acuerdo a la siguiente estructura: En el apartado 2 se justifica su necesidad y se establecen los antecedentes, así como el objetivo que se pretende alcanzar. A continuación, se describen las especificaciones y los requisitos del prototipo, incluida la arquitectura final de la tarjeta de red de propósito específico. Las características de las plataformas de prototipado que han utilizado los diferentes grupos de diseño se pormenorizan en el apartado 4. Posteriormente, se puntualiza la utilización de Microblaze en las diferentes etapas de diseño y se propone una metodología para su utilización en diseños de altas prestaciones. Finalmente se exponen las ventajas y las limitaciones de la metodología propuesta para concluir discutiendo las posibilidades de aplicación en diseño de altas prestaciones.

3 2 Sistema para medir tiempos de transmisión en redes de comunicaciones de alta velocidad En las redes de comunicaciones se busca transmitir la información lo más rápida y eficientemente posible, para ello, es fundamental dimensionar adecuadamente los recursos de la red. Adicionalmente, para decidir el tipo y la calidad de servicio que se puede ofertar en cada momento se necesita conocer la ocupación de los enlaces y es imprescindible disponer de medidas precisas del tiempo de transmisión de paquetes entre nodos de la red. La necesidad de realizar medidas en redes de alta velocidad exige que los equipos de medida sean cada vez mas precisos porque necesita tratar la información lo más rápidamente posible. En este contexto surge la necesidad de desarrollar equipos de medida basados en hardware reconfigurable que mejoren la precisión de los equipos actuales. Como antecedente al prototipo de medida propuesto en este trabajo se parte de un sistema de medida ya desarrollado en nuestro laboratorio por el grupo de redes de comunicaciones. Este prototipo sin hardware a medida, se toma como referencia, e implementa la funcionalidad descrita utilizando un PC (Personal Computer) con sistema operativo Linux y una tarjeta de red convencional. Las referencias de tiempo se obtienen mediante el servicio NTP (Network Time Protocol). El marcado de tramas y el filtrado se realizan aprovechando la funcionalidad que ofrece el sistema operativo. La principal limitación de este equipo de medida es la falta de precisión en la medida de tiempos y la sincronización alcanzable entre los nodos de la red por utilizar el protocolo NTP que a su vez depende de la propia red de comunicaciones. El objetivo es desarrollar un equipo de medida que mejore la sincronización y la precisión en el marcado de las referencias de tiempo. En el equipo de medida mejorado se mantiene la estructura base del equipo, que sigue siendo un PC al que se conecta una tarjeta de red especializada realizada con hardware reconfigurable. Para mejorar la precisión en las referencias de tiempo se desarrolla un módulo de control de tiempo sincronizado por GPS (Global Positioning System) y para lograr el marcado de las tramas en el momento de su recepción se implementa el módulo de emisión/recepción de tramas en hardware reconfigurable. Por otro lado para alcanzar las tasas de transferencias de datos requeridas en redes de alta velocidad, la conexión de la tarjeta específica con funcionalidad de tarjeta de red con el PC se realiza por el Bus PCI ( Peripheral Component Interconnect). Respecto al sistema de referencia descrito como antecedente, el equipo de medida mejorado permite una sincronización más precisa y una resolución en las medidas de tiempo superior en dos ordenes de magnitud. Para el desarrollo de la versión final del sistema no se descarta el diseño de una tarjeta propia con los componentes y el PCB a medida, buscando un compromiso para optimizar rendimiento, portabilidad y coste. Este esfuerzo está justificado porque la mejora mas relevante en el nuevo equipo, se consigue por la sustitución de la tarjeta de red del PC, por una plataforma con hardware reconfigurable basado en FPGA y que se conecta por PCI. Adicionalmente y como tarea no despreciable es necesario el desarrollo de un driver para la tarjeta. Para evitar sobrecostes de licencias se elige que el PC funcione bajo el sistema operativo Linux y que las herramientas para el desarrollo del driver, así como el propio código del driver cumplan con la licencia GNU GPL[7] (General Public License).

4 3 Arquitectura del sistema de medida Cada equipo de medida se compone de un ordenador tipo PC, una plataforma reconfigurable que se conectada al bus PCI del ordenador, y un GPS externo conectado al equipo de medida por una conexión serie RS-232 independiente del puerto serie del PC. Los recursos de la plataforma reconfigurable deben ser suficientes para implementar la funcionalidad de tarjeta de red y se necesitará una o varias FPGAs dependiendo de la familia de dispositivos elegida. Fig. 1. Diagrama de bloques del equipo de medida. La arquitectura del sistema se divide en tres partes que agrupan la funcionalidad básica del sistema: el módulo de tiempos, el subsistema de envío/recepción de tramas y el controlador de bus PCI entre el PC y la tarjeta. En la figura 1 se representa la interconexión de los módulos y como se agrupan por bloques funcionales. Todos estos componentes se implementan en las FPGA y la misión de cada uno de ellos es la siguiente:

5 El módulo de envío/recepción de tramas debe garantizar la transmisión a una velocidad de 1Gbps. Se implementa integrando el core Trimac Ethernet disponible en la librería EDK del fabricante Xilinx. En el prototipo se utiliza una versión limitada en tiempo de ejecución para validar la funcionalidad del diseño. La arquitectura modular permitirá que se pueda reemplazar este core por un desarrollo propio o de terceros independiente del fabricante de FPGAs. El módulo de conexión al bus del ordenador se encarga de controlar la comunicación entre el PC y la tarjeta de red. Dependiendo de la familia de FPGA se desarrollará completamente un controlador para el bus PCI, por ejemplo en dispositivos VirtexII Pro, o en otros casos como en Virtex 5, solo será necesario un envoltorio que realice la interconexión del hardcore PCI disponible en la FPGA. En ambos casos se necesita el driver correspondiente que gestione la comunicación con la tarjeta de red desde el sistema operativo del PC. El módulo de corrección de tiempos debe mantenerse sincronizado en tiempo UTC (Universal Time Coordinated) y básicamente guarda una referencia de tiempos en dos registros, segundos y nanosegundos, más precisa que los timers del PC. En cada ciclo de reloj del sistema se incrementa adecuadamente los registros y cada segundo se utiliza un mecanismo de ajuste para corregir derivas. Para decidir la corrección, se coteja el incremento del contador propio durante cada segundo, con el valor exacto que se debe contar entre dos pulsos de la señal de PPS que se recibe por RS232 desde un GPS externo. Este mecanismo consigue ajustar derivas en la referencia de tiempo y dar una valores de tiempos sincronizados, con precisión de decenas de nanosegundos. Para validar los módulos se han utilizado plataformas de desarrollo comerciales. La finalidad es realizar un prototipo del equipo de medida completamente operativo antes de diseñar una tarjeta propia con los componentes optimizados en un PCB a medida. En el siguiente apartado se describen las plataformas que se han elegido para el desarrollo de cada uno de los módulos. La propia arquitectura del diseño sugiere una distribución del proyecto entre diferentes grupos de trabajo. Por simplicidad se elige un reparto en tres grupos que se correspondan con cada uno de los módulos descritos. Aunque en la figura 1, MicroBlaze solo aparece en uno de los módulos, este procesador softcore desempeña un papel relevante en el desarrollo de los tres. En el apartado 5 de describe el plan de trabajo y la utilidad de MB en cada etapa. 4 Herramientas de diseño y plataformas de prototipado La tecnología FPGA seleccionada es la que ofrece el fabricante Xilinx y consecuentemente se utiliza el entorno de desarrollo de Xilinx ISE y EDK Esta elección está motivada por el equipamiento disponible en nuestro laboratorio, además de justificarse por la experiencia previa con herramientas de diseño de este fabricante.

6 Entre las numerosas plataformas reconfigurables comercialmente disponibles se han elegido tres, en función de las necesidades del módulo que corresponda desarrollar a cada uno de los tres grupos de trabajo. Las características más representativas de las plataformas de prototipado que han sido utilizadas en sucesivas etapas del desarrollo del diseño son: La tarjeta de desarrollo XUP V2P [6] cuenta con un FPGA de la familia Virtex II Pro y está soportada por la herramienta de desarrollo EDK Se ha utilizado para realizar un prototipo parcial con el que verificar la funcionalidad del sistema de medida, en particular un sistema embebido conectado a una red Ethernet a 100 Mbps con el módulo de corrección de tiempo integrado y que utiliza como referencia un GPS externo conectado por RS232. Además de disponer de conexión Ethernet y RS232, y tener soporte en la herramienta EDK, la mayor ventaja de esta plataforma es su bajo coste. Lamentablemente esta lejos de cumplir los requisitos de velocidad y no es fácilmente conectable a un PC. La tarjeta NetFPGA [8] también está basada en una Virtex II de la misma familia que la anterior, aunque la FPGA XC2VP50 es algo mayor. Esta plataforma se desarrolló con la finalidad de implementar routers y switches [9] para redes de alta velocidad y se conecta a un PC por el Bus PCI. Estas características de la NetFPGA permiten desarrollar un prototipo completamente funcional del sistema de medida. Con esta plataforma se proporciona un controlador PCI configurable en una FPGA auxiliar, lo que supone una gran ventaja ya que se puede adaptar el driver de referencia para controlar desde el PC el intercambio de datos por el bus PCI. Una contrariedad ha sido la necesidad de diseñar una tarjeta propia que se conecta al bus de expansión de la NetFPGA para disponer de un puerto serie. La tarjeta de desarrollo Avnet Virtex-5 SX95T [10] es ideal para desarrollo de prototipos de propósito general que necesiten comunicación por Bus PCI Express. La tecnología Virtex 5 ya incorpora en HW el controlador PCI Express. Adicionalmente, dispone de conexiones de mayor velocidad, lo que permite empezar a evaluar la posibilidad de mejorar el diseño propuesto para redes de comunicación a 10 Gbps. Las tarjetas mas simples no alcanzan todos lo requisitos del sistema de medida, y la más compleja dispone de elementos adicionales que no son estrictamente necesarios y encarecen su precio. Por esa razón para el equipo final será conveniente disponer de una tarjeta propia que integre solo los componentes imprescindibles para cada módulo. 5 Plan de trabajo y metodología de diseño Para llevar a cabo el desarrollo del sistema de medida se han formado varios equipos de trabajo con el objetivo de realizar concurrentemente la mayor cantidad de tareas. Las etapas de diseño se basan en una metodología que se caracteriza por validar cada etapa del diseño con un prototipo parcial, implementado en las plataformas FPGAs descritas anteriormente, que realice una parte de la funcionalidad del sistema de medida. En cada una de las etapas se ha utilizado directa o indirectamente el procesador softcore MicroBlaze y con ello se ha facilitado enormemente la verificación por fases del funcionamiento de

7 cada módulo. El desarrollo, aunque ha sido gradual, ha permitido realizar buena parte del trabajo en paralelo distribuyéndolo entre los equipos de desarrollo. En el plan de trabajos se han diferenciando las siguientes etapas: Etapa 1-Equipo A: En esta etapa se ha diseñado el sistema embebido representado en la figura 2, que integra el softcore MB, el core Ethernet y memoria conectados por PLB. El prototipo resultante de esta etapa es realizable en la plataforma XUP y sirve para validar el funcionamiento de envío/recepción de tramas en una red Ethernet de 100Mbps. En esta etapa, MB ha servido para validar el correcto funcionamiento de los componentes de envío/recepción de tramas. Fig. 2. Microblaze con conexión a una red de 100Mbps. Etapa 1 Equipo B: Este equipo ha desarrollado la parte sistema, representada en la figura 3, capaz de sincronizar los equipos de medida a través de un puerto serie con un GPS externo mediante mensajes del protocolo NMEA (Nacional Marine Electronics Association). A través del puerto serie, se recibe una señal PPS (Pulse Per Second) que se utiliza para realizar correcciones sobre las marcas de tiempo internas. En este punto, MB se ha utilizado para poder visualizar desde una terminal serie externo la correcta sincronización del dispositivo. Además, en el propio MB se ejecuta el algoritmo de corrección de temporización para ajustar las derivas. Dicho algoritmo podría integrarse en un módulo hardware separado, pero se decide mantenerlo en MB, tanto en esta etapa como en el diseño final, para que se pueda adaptar por programa el algoritmo de corrección, además de disponer de un mecanismo de depuración a través del terminal serie. Fig. 3. Módulo de control de tiempos.

8 Etapa 1 Equipo C: Utilizando la placa de desarrollo NetFPGA, se programa un driver en Linux que sea capaz de reconocer la tarjeta conectada a través de un bus PCI, e interactuar con ella mediante lecturas/escrituras en memoria. El módulo desarrollado consta de los bloques que se muestran en la figura 4. En la plataforma NetFPGA se aprovecha el core PCI disponible en la FPGA auxiliar y se crea una nuevo core que actúa como puente (bridge PCI2PLB) entre la interfaz PCI que ofrece la NetFPGA y el bus PLB (Processor Local Bus), de modo que sea posible acceder a la memoria desde el PC. El procesador MB se ha usado para verificar la comunicación PC-FPGA, operando sobre datos escritos desde el PC en posiciones de memoria determinadas cuyos resultados son posteriormente leídos. Fig. 4. Diagrama de bloques del sistema utilizado para validar del desarrollo del módulo que conecta los buses PCI y PLB. Etapa 2 Equipo A: En esta etapa se desarrolla una versión FSL (Fast Simples Link) del core Ethernet, como se especifica en la figura 5. Esto permite a MB recibir/enviar las tramas a una mayor velocidad. Adicionalmente, las FIFOs del FSL sirven como almacenamiento temporal de las tramas que van llegando. La posibilidad de dimensionar las FIFOs que ofrece el core FSL se aprovecha para ajustar el rendimiento deseado. Para este nuevo core se realiza un programa que envía/recibe tramas en crudo ya que no disponemos como antes de un driver en EDK para el core conectado por FSL. En conjunto el papel de MB es el de un bridge FSL2PLB, ya que MB tiene como tarea almacenar en memoria las tramas que van llegando. El prototipo resultante de esta etapa se ha probado en la plataforma NETFPGA conectada a una red de 1Gbps. Fig. 5. Módulo de envío/recepción a 1Gbps conectado a Microblaze por FSL.

9 Etapa 3: Se unifica el trabajo realizado por tres equipos, elaborando un único diseño, con la arquitectura representada en la figura 1, que realiza el control sobre las marca de tiempos y recibe/envía tramas a través de la red. En este punto, el módulo de gestión de tiempos genera marcas de tiempo que se asocian a cada trama en el momento en que son recibidas por el medio físico Ethernet. El driver desarrollado se encarga de que dichas marcas de tiempo se propaguen a través del stack de Linux con su trama correspondiente. En esta etapa, el procesador solo se mantiene en la estructura del diseño para controlar el módulo de corrección de tiempos basado en GPS. Al eliminar MB de la parte encargada de la recepción de tramas, es necesario desarrollar una versión del core Ethernet con capacidad para acceder directamente a la memoria de almacenamiento de tramas, o lo que es lo mismo, hay que añadir una interfaz maestro del bus PLB. Adicionalmente, se sustituye la interfaz FSL por FIFOS a medida. Finalizada esta etapa, se dispone de un prototipo del sistema de medida con hardware específico para realizar el marcado de tramas y la corrección de tiempos con una precisión de tiempos muy superior al sistema de referencia inicial. Como trabajo futuro que en parte ya se está realizando, se ha propuesto un nuevo conjunto de etapas para añadir mayor funcionalidad y permitir funcionamiento a mayores tasas de transferencia: Etapa 4: Añadir mejoras adicionales como el filtrado HW en el core Ethernet. Etapa 5: Integrar el diseño en la plataforma con conexión PCI-Express. En esta etapa se utiliza la tarjeta de Avnet y requiere de un nuevo driver. Etapa 6: Integrar el diseño en un tarjeta propia con mas recursos que los disponibles en las plataformas comerciales, y que se está desarrollando en paralelo. Incluye una FPGA Virtex 5, memoria DDR2 y conectividad mediante PCI- Express x8. 6 Conclusiones Se ha desarrollado un sistema para medir los tiempos de transmisión de paquetes en una red que opera a 1Gbps. El trabajo mas exigente ha sido implementar en FPGA una tarjeta de red de altas prestaciones que se conecte por PCI a un ordenador personal, junto con su driver correspondiente, que marque las tramas de red con referencias de tiempo muy precisas, garantizando la sincronización con otros equipos de medida en cualquier nodo de la red. En el estado actual del proyecto, se dispone de un equipo de medida de tiempos completamente operativo desarrollado utilizando la plataforma NetFPGA y esta versión del sistema se ha desplegado en varios nodos para realizar medidas dentro del proyecto Europeo OneLab[11]. Por otro lado, el prototipo que se está desarrollando sobre la plataforma Virtex 5 ya está siendo mejorado para operar en redes de 10Gbps. En el prototipo final se emplea de manera auxiliar el procesador MB, pero el plan de trabajo se ha basado en la utilización de MB para validar gradualmente la funcionalidad de prototipos parciales que incorporan paulatinamente la complejidad necesaria en un diseño digital de altas prestaciones. Esta metodología ha facilitado la integración final de las tareas

10 desempeñadas concurrentemente por los distintos equipos de trabajo. Por otro lado, la utilización de plataformas comerciales para la realización de los prototipos parciales ha permitido realizar y probar en paralelo, una buena parte de las etapas planificadas. La utilización en la realización de estos prototipos del entorno de desarrollo asociado a MB, ha disminuido notablemente el tiempo total de desarrollo. A partir de la experiencia obtenida con este trabajo se ha justificado la utilidad de MB en el conjunto del desarrollo, aunque en el prototipo final del sistema de medida la funcionalidad de MicroBlaze es muy reducida. El procesador ha desempeñado un papel muy relevante en a lo largo de las distintas etapas de diseño como herramienta de verificación y depuración. En definitiva se ha comprobado la utilidad de MicroBlaze en un diseño de altas prestaciones que no necesita MicroBlaze. Referencias 1. Kachris C., Wong S., Vassiliadis S.: Design and performance evaluation of an adaptive FPGA for network applications, Microelectron. Journal. doi: /j.mejo , July Kadlec J., Bartosinski R., Danek M.: Accelerating Microblaze Floating Point Operations. Proceedings of the FPL 2007 International Conference on Field Programmable Logic and Applications. DOI: /FPL , Aug Gonzalez I., Gomez-Arribas FJ.: Ciphering algorithms in MicroBlaze-based embedded systems. IEE Proc.-Comput. Digit. Tech., Vol. 153, No. 2, March 2006, Gonzalez I, Lopez- Buedo S., Gomez-Arribas FJ.: Implementation of Secure Applications in Self-Reconfigurable Systems, Microprocessors and Microsystems, Vol 32/1, 2007, El-Ghazawi, E. El-Araby, M. Huang, K. Gaj, V.V.Kindratenko, and D. Buell, The Promise of High-PerformanceReconfigurable Computing, Computer, Volume 41, Issue 2, IEEE Computer Society Press Los Alamitos, CA, USA, February 2008, pp La tarjeta de desarrollo XUP V2P (Xilinx University Program Virtex-II Pro Development System) 7. Licencias GNU GPL NetFPGA Team. NetFPGA website Naous J., Gibb G., Bolouki S., McKeown N.. NetFPGA: reusable router architecture for experimental research. In PRESTO 08: Proceedings of the ACM workshop on Programmable routers for extensible services of tomorrow, New York, NY, USA, ACM Avnet Virtex-5 SX95T Development Board PCIe Reference Design Onelab: Open federated laboratory to support network research for the future internet.