Requisitos Técnicos de Cluster Heterogéneo.

Requisitos Técnicos de Cluster Heterogéneo. Expediente CONSU02010018OP de suministro de un sistema de computación heterogéneo con procesadores gráficos y de propósito general para investigación para el BSC-CNS. Por cada entrada con requisitos de las tablas siguientes se han clasificado como: R Representa que lo anunciado es un requerimiento que se debe cumplir en la solución presentada D Representa un requerimiento deseable a tener, se valorarán positivamente aquellas soluciones que lo incorporen 1/12

Introducción Este documento describe las características técnicas del equipamiento informático para la adquisición de un cluster de memoria distribuida equipado con aceleradoras gráficas (Graphical Processor Units GPU) con soporte CUDA. En el siguiente esquema se describen los diversos componentes y redes internas que se requieren del cluster: Internet Cluster CUDA enabled BSC GPFS backbone network Switch 1/10 Gb Red datos GPFS Login Login CUDA enabled CUDA enabled Switch Red IB QDR Nodo cómputo CUDA enabled Switch Red Interna Cluster Nodo cómputo CUDA enabled BSC sysadmin LAN Servidores Servidores gestión gestión cluster cluster 2/12

El cluster de memoria distribuida estará formado por tres tipos de máquinas: - 2 nodos que funcionarán como máquinas de login del cluster, dichas máquinas deberán tener las mismas características que los nodos de cómputo. - Servidores de administración (mínimo 2) necesarios para la gestión del cluster - Resto de nodos que serán los nodos de computación del cluster con aceleradoras gráficas Dentro del cluster se definirán 3 redes disjuntas: - Red interna cluster del cluster (tecnología 1 Gbit cobre): o En esta red es por donde se comunicaran los nodos del cluster y donde también estarán conectados cualquier interfaz de gestión de los componentes del cluster (switches, los propios nodos mediante IPMI, etc.) - Red interna de alto rendimiento (tecnología InfiniBand QDR) - Red de datos GPFS (tecnología 1 Gbit cobre /10 Gbit fibra): o Esta red se deberá conectar a la red de GPFS del BSC para poder montar el storage GPFS del BSC tanto en los logins como en los nodos de cómputo del cluster. Por otra parte el cluster se deberá poder conectar a las redes externas definidas en el esquema inicial: - Logins hacía Internet mediante Gigabit Ethernet - Servidores de gestión a la VLAN de los administradores de sistemas del BSC - Red de datos GPFS a la red de storage de GPFS del BSC Todo equipo se deberá entregar llaves en mano, completamente instalado, conectado y listo para empezar a utilizarlo e integrado en la infraestructura definida del BSC. Pasamos a continuación en la descripción más detallada de cada componente: 3/12

1. Hardware 1.1 Nodos Ref R1.1 Cluster formado por un mínimo de 120 nodos de cómputo + 2 nodos de login con los siguientes requisitos mínimos: - 2 Procesadores x86_64 con 6 cores cada uno (12 cores en total), con una frecuencia mínima de 2,66 GHz - Intel QPI 6,4GT/s - 2 GB memoria principal por core tecnología DDR3 @ 1333MHz - 2 tarjetas NVIDIA M2070 (PCIe x16 Gen2). Se considera M2070 ya que este es el componente más actual. En caso de existir al tiempo de entrega de material componente más reciente, se debe instalar dicho componente. - 250 GB SATAII 7200 rpm R1.2 Cada nodo de cómputo deberá tener las siguientes interfaces de red para conectarse con el resto de componentes del cluster: - Tarjeta IB QDR (40 Gbit/s) - Mínimo de 2 interfaces Gigabit Ethernet (1 red interna y 1 red GPFS) - Interfaz Ethernet de gestión out-of-line, dicha interfaz deberá soportar el Standard IPMIv.2.0 R1.3 Cada nodo de cómputo deberá de ofrecer los siguientes buses y anchos de banda para conectar los diversos componentes: - 2 x Interfaz PCI-Express x16 Gen.2 (8 GB/s) (Una para cada NVIDIA M2070 o el instalado superior) - 1 x Interfaz PCI-Express x8 Gen.2 (4 GB/s) (para la tarjeta IB QDR) R1.4 Se requiere un esquema de bloques del nodo ofertado con los anchos de banda entre los diferentes componentes de un nodo (máximo y útiles): procesadores, memoria, diversos buses PCI-Express, cualquier componente I/O. Dicho esquema será valorado. D1.5 Se valorará mejora de cualquiera de los valores mínimos antes mencionados, tanto en número de nodos como mejoras técnicas por nodo. D1.6 Se valorará que las tarjetas IB-QDR de los nodos dispongan de tecnologías optimizadas para tecnologías GPU en conjunto con Infiniband. Como por ejemplo, NVIDIA GPU Direct. R1.8 Mínimo de 14 TeraFlops pico de rendimiento en potencia de cálculo en la parte x86_64 del cluster sin contar los logins ni los servidores de gestión del cluster D1.9 Se valorará la potencia de cálculo extra ofertada en TeraFlops en la parte x86_64 R1.10 Mínimo de 115 TeraFlops pico de rendimiento contando sólo la parte de GPU del cluster sin contar los logins D1.11 Se valorará la potencia de cálculo extra ofertada en TeraFlops en la parte GPU del cluster 4/12

Ref R1.12 Los nodos del cluster (cómputo y login) deberán disponer de un sistema de administración remoto (out-of-band), el cual debería permitir como mínimo: poder realizar el power on/off, coger la consola, monitorización del entorno (Temperatura, ), generación de alarmas, etc. R1.13 El cluster deberá incluir todos aquellos servidores (2 mínimo) para la gestión del cluster. Entre otras cosas este hardware deberá hacerse responsable de la gestión de imágenes de sistema operativo, servicios básicos para el cluster como DHCP, NTP, DNS, ; el sistema de colas, etc. Estos servidores deberán de disponer del hardware necesario para realizar esas tareas a nivel de disco duro, interfaces de red, etc. En la documentación se deberá especificar las características de estos servidores y será valorado. R1.14 Se requiere que se rellene la siguiente tabla (Tabla 1- hardware Nodos), en ella se especifican los valores mínimos a cumplir, y se deberá indicar los valores ofertados. D1.15 Se valorará la mejora en cualquiera de las entradas con valor mínimo. Y en las entradas que no haya valor mínimo se compararán los valores ofertados por cada solución. D1.16 Se valorará un plan de actualización de equipo en cuanto a modelo de nuevos componentes NVIDIA, de forma que en la aparición de nuevos diseños puedan sustituirse algunos de los ya instalados por otros nuevos, ya fuera total o parcialmente, durante el período de garantía. 5/12

Tabla 1 hardware Nodos Concepto Valor mínimo Valor ofertado Caractertísticas de nodo de cómputo Número procesadores por nodo 2 Modelo procesador Cores por procesador ofertado 6 Frecuencia funcionamiento de cada core 2,6 GHz Cantidad de memoria RAM por core 2 GB por core ofertada Tecnología memoria y frecuencia de DDR3 @1333 MHz acceso Capacidad disco duro interno 250 GB Tecnología disco duro interno SATA2 RPM disco duro interno 7200 Número de interfaces 10GE incorporadas 0 por servidor Interfaces Ethernet de gestión out-of-line 1 Número de interfaces 1 GE incorporadas 2 por servidor Número de interfaces IB QDR 1 Tarjetas NVIDIA M2070, o superior, por 2 nodo, o el superior disponible en el momento de entrega Slots PCIe x16 Gen2 2 Slots PCIe x8 Gen2 1 GFlops parte x86_64 por nodo 116 GFlops parte GPU por nodo 958 Características globales cluster cómputo (sin contar los logins) Número total de nodos cómputo ofertados 120 Número total de tarjetas NVIDIA 240 TFlops total parte x86_64 14 TFlops total parte GPU 115 6/12

1.2. Switches y Redes Ref R1.20 Se deberán de proveer de esquemas de conexionado de cada una de las redes que conforman el cluster. R1.21 Se requiere que se rellene la tabla (Tabla 2- hardware Switches), en ella se especifican los valores mínimos a cumplir, y se deberá indicar los valores ofertados. D1.22 Se valorará la mejora en cualquiera de las entradas con valor mínimo. Y en las entradas que no haya valor mínimo se compararán los valores ofertados por cada solución. Ref Red Interna cluster R1.23 Se deberá proveer del hardware necesario (switches, cables, etc.) para poder establecer la red interna del cluster con tecnología Gigabit Ethernet. R1.24 Requerimientos de funcionalidades: - Filtrado y políticas de nivel 2 - Listas de control de acceso - SSHv2 - Soporte VLAN Privadas - Soporte 802.1Q - Gestión completa a través de SNMPv1,2 y 3 - Protección de bucles de Spanning-tree - Soporte al menos de 256 VLANs simultáneas - Soporte de redundancia de enlaces (Duplicación de enlaces hacia los distintos elementos de red) protocolos a usar (LACP) - Capacidad de filtrado de BPDUs de STP R1.25 En dicha red se deberá conectar: - Por cada nodo de cómputo y login: 2 interfaces Gigabit Ethernet (1 de cluster y otra para la gestión out-of-line) - Una interfaz por cada servidor de gestión del cluster - Cualquier otra interfaz de gestión del resto de componentes del cluster (racks, switches, etc.) R1.26 Se debe contemplar que un 5% de los puertos ofertados deben estar libres para futuras ampliaciones con su GBIC correspondiente en el caso que sea necesario. Red IB-QDR R1.28 Se deberá proveer del hardware necesario (switches, cables, etc.) para poder establecer la red interna de alto rendimiento basada en Infiniband QDR (40 Gbit/s). R1.29 Dicha red se permite que sea bloqueante hasta un máximo de un 20% de los 7/12

Ref links. Deberán estar conectados a ella todos los nodos de cómputo y los logins. D1.30 Se valorará un valor de bloqueo en la red IB QDR por debajo del requerido R1.31 Se debe contemplar que un 5% de los puertos ofertados deben estar libres para futuras ampliaciones correspondiente en el caso que sea necesario. D1.32 Se valorará que los switches IB-QDR dispongan de tecnologías optimizadas para tecnologías GPU. Como por ejemplo, NVIDIA GPU Direct. D1.33 Se valorará el mínimo número de switches utilizados para formar esta red Red de datos GPFS R1.34 Se deberá proveer del hardware necesario (switches, cables, etc.) para poder establecer la red interna de datos GPFS con tecnología 1/10 Gigabit Ethernet. R1.35 Requerimientos de funcionalidades: - Filtrado y políticas de nivel 2 - Listas de control de acceso - SSHv2 - Soporte VLAN Privadas - Soporte 802.1Q - Gestión completa a través de SNMPv1,2 y 3 - Protección de bucles de Spanning-tree - Soporte al menos de 256 VLANs simultáneas - Soporte de redundancia de enlaces (Duplicación de enlaces hacia los distintos elementos de red) protocolos a usar (LACP) - Capacidad de filtrado de BPDUs de STP R1.36 Dicha red por un lado conectará a todos los nodos de cómputo y logins mediante 1 link Gigabit Ethernet a cada uno. Por otro lado, se deberá conectar mediante links de fibra de 10 Gigabit Ethernet LC Short Range hacia el switch de backbone de GPFS del BSC. Se deberán de proveer aproximadamente tantos links de 10 Gbits para absorber el ancho de banda producido por los links Gigabit de los nodos de cómputo y logins. R1.37 Todos los puertos proporcionados (Gigabit y 10 Gigabit) deberían ser line-rate (sin sobre-suscripción). R1.38 Se debe contemplar que un 5% de los puertos ofertados deben estar libres para futuras ampliaciones con su GBIC correspondiente en el caso que sea necesario. D1.39 Se valorará el mínimo número de switches utilizados para formar esta red R1.41 Se deberá incluir en el hardware proporcionado una ampliación para el switch Force10 E1200i del BSC para poder conectar esta red a la infraestructura GPFS del centro. Para ello se deberá proveer de una/s tarjeta LC-EH-10GE-40S y los GBIC s 10GE-GP10GSFP-1S necesarios para el conexionado de esta red. D1.42 En el caso que cuando salga este concurso exista una tarjeta con una mayor densidad de puertos 10GE o la posibilidad de proveer rendimiento line-rate para todos los 40 puertos se valorará muy positivamente la inclusión de esa 8/12

Ref tarjeta. Tabla 2 hardware Switches y Redes Concepto Valor mínimo Valor ofertado Red Interna cluster Número de switches proporcionados 1 Marca switch Modelo switch Número de puertos por switch Número de puertos libres Red IB- QDR Número de switches proporcionados 1 Marca switch Modelo switch Bloqueo máximo de la red IB-QDR 20 Red datos GPFS Número de switches proporcionados 1 Marca switch Modelo switch Número total de puertos Gigabit Ethernet 122 Puertos libres Gigabit Ethernet Número puertos 10 GE ofertados 12 Número GBICs 10 GE ofertados 12 Número puertos 10 GE libres Número GBICs 10 GE libres Ampliación Force10 E1200i Linecards LC-EH-10GE-40S 1 proporcionadas Sobre-suscripción linecard 4:1 Puertos 10GE en total ofrecidos 40 GBICs 10GE-GP10GSFP-1S 10GE- 12 ofrecidos Puertos libres 10 GE GBICs libres 10 GE 9/12

Ref Requerimientos operacionales 2. Operacional R2.1 Los racks deberán venir incluidos con la solución y deberán venir con las PDU s adecuadas para conectar todos los equipos de la solución. (Todos los valores mencionados en este apartado son tomando como referencia un rack Standard de 42U de 19. Para soluciones con otro tipo de rack, se debe especificar los valores en relación con el espacio ocupado comparado con un rack Standard de 42U de 19 ) R2.2 Cada rack no podrá pesar más de 1,3 toneladas. Los racks deberán ser de color negro y no podrán llevar ningún distintivo de marca a excepción de la puerta frontal, la puerta frontal debería ser extraíble. D2.3 Se valorará el uso mínimo de racks contando la solución mínima demandada. R2.4 Se deberá presentar en la documentación un esquema con la ocupación de los racks de los diversos equipos presentados en la solución. En ella se deberá claramente especificar el hardware ofertado para cumplir los requerimientos mínimos y las ampliaciones indicadas y el espacio ocupado, como las U s que ocupa cada componente de la solución. R2.5 Cada uno de los racks deberá tener un consumo máximo de 28 Kw. por rack con todos los componentes funcionando. R2.6 Los racks deberán de incorporar refrigeración líquida de puertas traseras que eliminen en un mínimo del 85% del calor generado. Un valor superior al 85% será valorado positivamente. D2.7 Se valorará positivamente el mínimo consumo eléctrico. Indicar el consumo de la solución completa y por componentes en las siguientes situaciones: - Valor máximo de consumo - Solución arrancada pero en estado Idle - Solución ejecutando Linpack R2.8 La solución deberá incorporar monitorización de todo el sistema para detectar: - El buen estado del sistema - Rendimiento o carga de funcionamiento - Alarmas y avisos por email y otros métodos de cualquier eventualidad / problema R2.9 La máquina deberá disponer de un sistema de monitorización de la temperatura de tal manera que provoque la parada controlada del sistema en caso de temperatura muy alta. D2.10 Se valorará que los nodos de cómputo y resto de componentes de la solución dispongan de fuentes de alimentación redundadas R2.11 La solución deberá incluir el montaje en racks de toda la solución como la instalación en el lugar donde estime el BSC, además de la recogida de todos los materiales sobrantes de la instalación. 10/12

3. Software Ref R3.1 El sistema operativo deberá ser UNIX like y compatible con el X/Open Standard POSIX 1003 (IS/IEC 9945). Se valorará que la selección de sistema operativo sea Linux. R3.2 Se deberá aportar también todo el software necesario para la gestión de todos los componentes que formen la solución: Switches, etc. R3.3 El cluster deberá incorporar un software de clustering que permita: - Una única imagen de sistema operativo para los nodos de computación que pueda ser mantenida y que los cambios se distribuyan de forma automática o semi-automática a todo el cluster. - Arranque y parada de los nodos de computo - Obtención de información de los nodos del cluster: Consola, temperatura, configuración de dispositivo de boot, etc. - Añadido, eliminación o sustitución de nodos del cluster D3.4 Se valorará que la solución de clustering soporte o sea una solución 'Diskless nodes', donde el sistema operativo no reside en la máquina local de cada nodo del cluster, sino que en un disco de los servidores de gestión del cluster. R3.5 Con el sistema operativo se debe incluir todo el entorno de programación para la arquitectura de la máquina, como mínimo deberá incluir C, C++, Java, Fortran, OpenCL y CUDA. A parte del entorno de programación Open-Source proporcionado, se deberá de proporcionar el entorno de programación específico para la arquitectura proporcionada (tanto Intel como para las aceleradoras): - Intel Compilers, NVIDIA CUDA toolkit para C y Fortran (de PGI) como mínimo R3.6 Se deberán de proporcionar las librerías numéricas proporcionadas por el fabricante de los procesadores como para las aceleradoras debidamente optimizadas para dicha arquitectura. (Intel MKL y NVIDIA CUDA toolkit) R3.7 También se deberá proporcionar los compiladores, librerías y/o las herramientas necesarias para el uso paralelo de la arquitectura mediante paradigmas estándares como OpenMP ó MPI. Para OpenMP deberá soportar la versión 2.5 estándar. Por otro lado, se deberá soportar completamente el estándar MPI versión 1.2 para la red de interconexión del cluster en este caso IB QDR. D3.8 Se valorará el soporte de MPI versión 2.1 (excluyendo el tratamiento dinámico de procesos) R3.9 Se deberá incluir un software de sistema de colas que permita el envío de trabajos batch a la máquina R3.10 Se deberán incluir el software y las licencias de GPFS cliente para todos los nodos de cómputo y logins ofertados D3.11 Se valorará la inclusión de herramientas de profiling y debugging de aplicativos secuenciales y paralelos especializados en GPU s de NVIDIA 11/12

4. Mantenimiento y soporte Esta parte describe los requerimientos y ampliaciones referidos al mantenimiento y soporte de la solución a nivel global. Ref R4.1 Garantía y soporte de 3 años en todos los componentes (hardware y software), con una respuesta en 4 horas dentro de las horas de oficina (08:00 17:00) y con un servicio de soporte de Next Business Day. D4.2 Se valorará la extensión de la garantía / mantenimiento tanto en años de duración como cobertura y tiempo de respuesta dentro del horario de oficina. R4.3 El proyecto de instalación incluirá la comprobación del buen funcionamiento, integración y óptimo rendimiento de la solución. R4.4 Se exigirá un trabajo en equipo con el equipo de sistemas del BSC, para la coordinación en la instalación, configuración del cluster y solución de cualquier problema de incompatibilidad que surja o implementación de la solución. R4.5 Se proporcionará (dentro de período de garantía): - Acceso a todos los software upgrade (incluyendo sistemas operativos, clientes GPFS y firmware) de todos los componentes de la solución - Punto único de suporte para el aviso de problemas e incidencias de cualquier componente que componga la solución R4.6 Se exigirá soporte pro-activo, notificando y recomendado subidas de versión tanto de software como de firmware de cualquier componente de la solución. R4.7 Se deberá entregar al final de la instalación una documentación digital en la que se describa: - general de los componentes de la solución - Esquema de conexionado e IPs - Valores de configuración empleados - Explicación del proceso de instalación y tareas realizadas - Explicación procedimientos para: Puesta en marcha, y disaster recovery R4.8 Toda la instalación y desarrollo del proyecto se deberá hacer on-site en las instalaciones del BSC bajo la supervisión del grupo de sistemas del BSC. En ningún caso se permitirá el acceso externo o remoto para la configuración o instalación de la solución presentada. R4.9 Se deberá demostrar el rendimiento de la solución con aplicaciones paralelas adaptadas y optimizadas a CUDA como Linpack. Se deberá aportar código, compilación y experiencia en ejecución. R4.10 Se deberán ofrecer formación durante la instalación de la solución, que cubran: - Conceptos básicos - Administración básica y procedimientos básicos de configuración - Compilación y utilización de las aceleradoras gráficas CUDA - Optimización de la solución - Solución de problemas 12/12