PPTSU DESCRIPCIÓN Y CARACTERÍSTICAS TÉCNICAS:

PLIEGO DE PRESCRIPCIONES TÉCNICAS PARA LA CONTRATACIÓN DEL SUMINSITRO E INSTALACIÓN DE UN SISTEMA DE COMPUTACIÓN Y ALMACENAMIENTO DE ALTAS PRESTACIONES Y DEL EQUIPAMIENTO AUXILIAR DE ALIMENTACIÓN, REFRIGERACIÓN Y MONITORIZACIÓN PARA EL CAMPUS DE EXCELENCIA DE LA UNIVERSIDAD DE CANTABRIA OBJETO: Suministro e instalación de un sistema de computación y almacenamiento de altas prestaciones y del equipamiento auxiliar de alimentación, refrigeración y monitorización. DESCRIPCIÓN Y CARACTERÍSTICAS TÉCNICAS: El objeto del contrato es el suministro e instalación de un sistema de computación y almacenamiento de altas prestaciones, basado en clusters de servidores con arquitectura mixta integrando nodos con procesadores tipo POWER y nodos con procesadores tipo XEON, interconectados mediante una red de alto rendimiento y muy baja latencia, con una capacidad agregada de cálculo superior a los 50 Teraflops, y con una capacidad de almacenamiento neta de 100 Terabytes. Además incluirá el correspondiente equipamiento auxiliar de alimentación, refrigeración y monitorización. El sistema se compondrá de dos equipos de características similares pero diferente dimensión. El primer equipo se instalará cómo nodo de supercomputación de la Universidad de Cantabria dentro de la Red Española de Supercomputación, en un emplazamiento a determinar en el Parque Científico-Tecnológico de Cantabria, PCTCAN. Se entregará inicialmente en la sede actual del nodo de supercomputación, en el edificio del Instituto de Física de Cantabria, para la comprobación y pre-configuración de los diferentes componentes, y deberá trasladarse posteriormente hasta la sede definitiva en el PCTCAN. Igualmente el segundo equipo se instalará en el PCTCAN, cómo sistema principal de cálculo del Instituto de Hidraulica Ambiental (IH), ubicandose en una sala específica en el edificio de dicho instituto. Los equipos incluirán en ambos casos los siguientes componentes: 1-Sistema de cálculo 2-Red de interconexión 3-Sistema de almacenamiento 4-Sistema de gestión 5-Armarios/racks de instalacion 6-Sistema de alimentación eléctrica 7-Sistema de refrigeración 8-Sistema de monitorización 9-Servicios de instalacion 10-Formación EQUIPO 1 (NODO DE LA RED ESPAÑOLA DE SUPERCOMPUTACIÓN): 1-Sistema de cálculo

Los nodos de cálculo incorporarán procesadores XEON o POWER y serán en ambos casos servidores en formato tipo blade ( cuchilla ), instalados en blade centers, de manera que sean gestionables de forma unificada, compartan fuentes de alimentación, e integren la conexión a red a través de los mismos. Los bladecenters permitirán integrar tanto nodos con procesadores de tipo XEON cómo nodos con procesador POWER. El sistema incluirá nodos con doble procesador XEON con un mínimo de 6 cores, 2MB de memoria cache por core, a una frecuencia superior a 3 GHz, y nodos con doble procesador POWER, con un minimo de 8 cores, 4MB de memoria cache por core a una frecuencia superior a 2,4 GHz. Cada nodo contará con memoria RAM de al menos 4 GB por core, en formato dimm de 8 GB, y disco SAS de capacidad superior a 300GB. Todos los nodos contarán con conexión de red de altas prestaciones Infiniband QDR. Cada nodo de cálculo deberá tener un rendimiento superior a 390 SpecInt_rate y 260 SpecFp_rate. La potencia agregada de los nodos con procesador POWER deberá ser superior a los 2,5 Tflops y la de los nodos con procesador XEON superior a los 25 Tflops. Los nodos de cálculo con procesador XEON podrán ser por ejemplo del tipo HS22 con 2 procesadores X5675 a 3,06 GHz, o equivalentes. Los nodos de cálculo con procesador POWER podrán ser por ejemplo del tipo PS703, con 2 procesadores POWER7 a 2,46 GHz o equivalentes. Los bladecenters con capacidad para alojar indistintamente ambos tipos de nodos podrán ser del tipo Bladecenter H o equivalentes, con capacidad para 14 nodos. La solución propuesta podría incluir por tanto un total de 13 bladecenters. Los bladecenters correspondientes se instalarán en racks de 42U de capacidad y tamaño estándar. Cada bladecenter incorporará módulo de switch Infiniband QDR, además de asegurar la conectividad Gigabit de cada uno de los nodos (ver apartado de red). Todos los bladecenters incorporarán fuentes de alimentación redundantes en nivel N+1 o mejor. El sistema de cálculo incluirá además 5 nodos con procesadores XEON, con las mismas características en cuanto a memoria, disco y conexión de red que los anteriores, incorporando además cada uno de ellos dos tarjetas GPU tipo M2090 de nvidia (con 512 cores y un rendimiento individual de 665 Gflops en doble precisión). El sistema de cálculo ocupará un máximo de 4 racks de 42U y su consumo total deberá ser inferior a 60KW con todos los nodos operando a pleno rendimiento. 2-Red de interconexión El sistema operará sobre una red de alto rendimiento Infiniband QDR non-blocking. Para ello incluirá un switch IB QDR que permita conectar todos los nodos de cálculo y almacenamiento del sistema. El sistema dispondrá además de una red adicional Gigabit que interconecte todos los bladecenters, de modo que se puedan conectar al switch existente que configura un backbone 10G. 3-Sistema de almacenamiento El sistema incluirá cuatro servidores que permitan conectar el sistema de almacenamiento existente basado en cabinas de disco conectadas por fibra y protocolo FC y organizado bajo el sistema de ficheros paralelos GPFS. Estos servidores incluirán por tanto tarjeta IB QDR y doble tarjeta FC para conectar al sistema SAN de conexión dual existente. Contarán con procesador XEON, 32 GB de RAM (en dimms de 8GB), doble disco SAS de 146 GB y alimentación redundante. La solución deberá incluir las correspondientes licencias de uso del sistema de ficheros GPFS.

4-Sistema de gestión El sistema contará con una red de gestión que conecte todos los elementos del sistema. Los nodos deberán poder ser administrados via IPMI 2.0. Así mismo todos los nodos deberán contar con un sistema remoto de administración de tipo out-of-band. El sistema incluirá una consola integrable en rack y un servidor dedicado a la instalación y gestión de los nodos. El sistema será compatible con el software de gestión existente en la Red Española de Supercomputación. El sistema deberá admitir la instalación de distribuciones open del SO Linux 64 bits compatibles con las distribuciones RedHat y SuSe. Además los nodos del sistema deberán admitir opciones de virtualización. El sistema deberá además incluir un servidor de login de usuarios, que permita a estos enviar sus aplicaciones al sistema de gestión de colas. 5-Armarios/racks de instalación Los componentes se integrarán en armarios tipo "rack" estandard, con una altura de 42U. Se suministrá un numero par de racks que permita su disposicion de forma que se pueda habilitar un sistema de pasillo caliente (ver refrigeracion). 6-Sistema de alimentación eléctrica de los equipos La acometida electrica para los equipos se canalizará por la parte superior de la sala, mediante rejilla metálica con conexion a tierra, independiente de la rejilla de cableado para datos. La solucion ofertada deberá incluir un software de configuración gratuito que permita estimar los consumos eléctricos y la configuración de unidades de distribucion electrica (PDU) requeridas en cada armario. El sistema de alimentación eléctrica no debera penalizar el PUE del sistema en un factor superior al 10%. 7-Sistema de refrigeración de los equipos Los equipos de refrigeración se ubicarán de forma que se pueda completar un sistema de cerramiento de pasillo caliente, y de forma que no limite su ampliación. Recogerán el aire caliente de dicho pasillo, lo filtrarán y enfriarán, y lo reenviarán a los sistemas de computación. La disposición del pasillo caliente y de los equipos de refrigeración debe permitir la posibilidad de expulsión directa del aire caliente al exterior o de intercambio con el aire frío del exterior, en una proporción de mezcla regulable. El sistema de refrigeración no deberá penalizar el PUE del sistema en un factor superior al 25%. El equipo principal de refrigeración podrá ser por ejemplo de tipo AFC o equivalente. Se incluirá la instalación de dicho equipo. 8-Sistema de monitorización de los equipo Toda la infraestructura descrita estará monitorizada mediante una solución existente por lo que todos los componentes del sistema deben facilitar funcionalidades para hacer posible dicha monitorización. Se suministrarán las licencias necesarias para dicha monitorización si fueran necesarias, y se utilizará una red privada para integrar la información de todos estos dispositivos. 9-Servicios de Instalación Se realizará un trabajo en equipo con el personal del servicio de supercomputación de la UC para la coordinación en la instalación, configuración y resolución de problemas de incompatibilidad que

surjan en la implementación. Se deberá incluir un plan y equipo de proyecto 10-Formación y Asistencia en el despliegue Se deberá facilitar un servicio de soporte avanzado para responder a las preguntas que puedan aparecer sobre administración y procedimientos de configuración EQUIPO 2 (SISTEMA DE COMPUTACIÓN DE ALTAS PRESTACIONES DEL IH): 1-Sistema de cálculo Los nodos de cálculo incorporarán procesadores XEON o POWER y serán en ambos casos servidores en formato tipo blade ( cuchilla ), instalados en blade centers, de manera que sean gestionables de forma unificada, compartan fuentes de alimentación, e integren la conexión a red a través de los mismos. Los bladecenters permitirán integrar tanto nodos con procesadores de tipo XEON como nodos con procesador POWER. El sistema incluirá nodos con doble procesador XEON con un mínimo de 6 cores, 2MB de memoria cache por core, a una frecuencia superior a 3 GHz, y nodos con doble procesador POWER, con un minimo de 8 cores, 4MB de memoria cache por core a una frecuencia superior a 2,4 GHz. Cada nodo contará con memoria RAM de al menos 4 GB por core, en formato dimm de 8 GB, y disco SAS de capacidad superior a 300GB. Todos los nodos contarán con conexión de red de altas prestaciones Infiniband QDR. Cada nodo de cálculo deberá tener un rendimiento superior a 390 SpecInt_rate y 260 SpecFp_rate. La potencia agregada de los nodos con procesador POWER deberá ser superior a los 1,5 Tflops y la de los nodos con procesador XEON superior a los 14 Tflops. Los nodos de cálculo con procesador XEON podrán ser por ejemplo del tipo HS22 con 2 procesadores X5675 a 3,06 GHz, o equivalentes. Los nodos de cálculo con procesador POWER podrán ser por ejemplo del tipo PS703, con 2 procesadores POWER7 a 2,46 GHz o equivalentes. Los bladecenters con capacidad para alojar indistintamente ambos tipos de nodos podrán ser del tipo Bladecenter H o equivalentes, con capacidad para 14 nodos. La solución propuesta podría incluir por tanto un total de 7 bladecenters. Los bladecenters correspondientes se instalarán en racks de 42U de capacidad y tamaño estándar. Cada bladecenter incorporará módulo de switch Infiniband QDR, además de asegurar la conectividad Gigabit de cada uno de los nodos (ver apartado de red). Todos los bladecenters incorporarán fuentes de alimentación redundantes en nivel N+1 o mejor. El sistema de cálculo incluirá además 2 nodos con procesadores XEON, con las mismas características en cuanto a memoria, disco y conexión de red que los anteriores, incorporando además cada uno de ellos dos tarjetas GPU tipo M2090 de nvidia (con 512 cores y un rendimiento individual de 665 Gflops en doble precisión). El sistema de cálculo ocupará un máximo de 3 racks de 42U y su consumo total deberá ser inferior a 40KW con todos los nodos operando a pleno rendimiento.

2-Red de interconexión El sistema operará sobre una red de alto rendimiento Infiniband QDR non-blocking. Para ello incluirá un switch IB QDR que permita conectar todos los nodos de cálculo y almacenamiento del sistema. El sistema dispondrá además de una red adicional Gigabit que interconecte todos los bladecenters y demas nodos. 3-Sistema de almacenamiento El sistema de almacenamiento incluirá un sistema basado en disco estará complementado por un sistema de copia en cinta. El sistema basado en disco incluirá un sistema de ficheros paralelo accesible globalmente, como GPFS, desde cualquier nodo y sistema operativo. El sistema deberá permitir la configuración de dos areas de trabajo diferenciadas, una de usuarios y otra de uso temporal (scratch). El sistema estará basado en discos Nearline-SAS, y la capacidad raw total del sistema será de 140 TB, y de 100TB en modo RAID-6 a configurar. La cabina con doble controladora contará con interfaz múltiple para conectar dos servidores del sistema de ficheros GPFS. A su vez dichos servidores contarán con interfaz IB QDR para conexión a la red IB, y una tarjeta 10GB para conexión del sistema de almacenamiento al exterior. El sistema garantizará un rendimiento mínimo de 1650MB/s en lectura y escritura. La configuración del sistema se podrá realizar desde una consola de administración, y permitirá administrar cuotas balanceo, opciones de backup y migración, sobre un espacio global de nombres único. El sistema podrá estar basado por ejemplo en una cabina controladora DS3512 y 5 cabinas de expansión EXP3512, con interfaz doble FC, o equivalente, conectada de modo redundante a dos servidores GPFS cómo por ejemplo los sistemas X3650 o equivalentes. El sistema de copia en cinta estará basado en LTO5, y permitirá la copia automatizada de hasta 48 cintas, incluidas en la solución junto con 2 cintas limpiadoras. Podrá estar basado por ejemplo en un sistema TS3200 o equivalente. Se incluirá un software de gestión del almacenamiento, cómo puede ser TSM o equivalente, que permita automatizar las copias de seguridad. 4-Sistema de gestión El sistema contará con una red de gestión que conecte todos los elementos del sistema. Los nodos deberán poder ser administrados via IPMI 2.0. Así mismo todos los nodos deberán contar con un sistema remoto de administración de tipo out-of-band. El sistema incluirá una consola integrable en rack y un servidor dedicado a la instalación y gestión de los nodos. El sistema incluirá sistema operativo Linux con soporte del fabricante, y futuras actualizaciones. Igualmente se incluirán los compiladores recomendados por el fabricante, librerías matemáticas y de MPI y OpenMP. También se incluirá un gestor de cola de ejecución en el cluster. Igualmente incluirá herramientas de gestión de tareas del cluster, tales como gestión de firmware, de imágenes, etc. El sistema deberá además incluir un servidor de login de usuarios, que permita a estos enviar sus aplicaciones al sistema de gestión de colas.

5-Armarios/racks de instalación Se dispone de un espacio de 7x7 metros para situar el clúster en una sala (sala CPD). La sala cuenta con suelo anti-estático y una acometida eléctrica trifásica de potencia 250KW. La puerta de acceso al distribuidor que conduce a esa sala, tiene unas dimensiones de 1,55 metros de anchura x 2,05 m. de altura. Asi mismo las piezas a transportar no podrán pesar más de 1.500 Kg, límite máximo del montacargas disponible. Los equipos vendrán instalados en armarios tipo "rack" estandard, con una altura de 42U. 6-Sistema de alimentación eléctrica de los equipos La acometida eléctrica para los equipos se canalizará por la parte superior de la sala, mediante rejilla metálica con conexión a tierra, independiente de la rejilla de cableado para datos. La solución ofertada deberá incluir un software de configuración gratuito que permita estimar los consumos eléctricos y la configuración de unidades de distribución eléctrica (PDU) requeridas en cada armario. Dichas unidades, trifásicas y monitorizables por red, se conectarán a un sistema de alimentación ininterrumpida (SAI) dimensionado de forma que permita futuras ampliaciones (al menos 100 KVAs), configurado por varias unidades en disposición redundante N+1 con un rendimiento de 97% y una autonomía de al menos 15 minutos. Deberá ser compatible con el grupo electrógeno existente, que deberá conectarse a este sistema para entrar en funcionamiento cuando la duración de la interrupción del suministro eléctrico lo requiera. El sistema de alimentación eléctrica no deberá penalizar el PUE del sistema en un factor superior al 10%. 7-Sistema de refrigeración de los equipos Se suministrará una solución completa de refrigeración con capacidad de 50KW y preferentemente basada en puerta fria trasera en racks, incluyendo si es necesario una unidad especial de agua refrigerada (chilled water) o un unidad de adaptación al suministro existente en el edificio. El sistema de refrigeración no deberá penalizar el PUE del sistema en un factor superior al 35%. El sistema incluirá los siguientes elementos o sus equivalentes y su instalación: -CDU CoolTrans -Hose kits de conexión hidráulica Coolcentric -Conectores Coolcentric hembra -Conexionado hidráulico de la instalación -Latiguillos flexibles -Circuito primario y valvulería -Circuito secundario y valvulería incluyendo grupos de valvulas 8 conectores rápidos -Línea de alimentación a Cool Trans desde cuadro de fuerza. 8-Sistema de monitorización de los equipos El sistema completo descrito (equipos, alimentación eléctrica,refrigeración, alarmas) deberá poder ser gestionado mediante una aplicación central que permita su monitorización y control. Los datos de este sistema se recogerán mediante una red separada y dedicada. 9- Servicios de Instalación Se exigirá un trabajo en equipo con el equipo de sistemas del Instituto de Hidráulica para la coordinación en la instalación, configuración y resolución de problemas de incompatibilidad que surja en la implementación. Se deberá incluir un plan y equipo de proyecto.

Se deberá entregar una solución llave en mano, por lo que se incluirán los siguientes servicios: -Planificación -Preconfiguración: despliegue de microcódigos, switches de gestión y configuración -Almacenamiento: Puesta en marcha de la unidad DS3512 o equivalente con unidad de expansión. Puesta en marcha de librería TS3200 o equivalente con 2 drives LTO5. Instalación y configuración de software de gestión de almacenamiento como TSM o equivalente. -Despliegue del cluster: Instalación de Linux en nodos de gestión. Instalación y configuración de xcat o software equivalente. Instalación y configuración de sistema paralelo de ficheros GPFS. Instalación y configuración del balanceador de carga compatible con el de la Red Española de Supercomputación, RES (Moab). Instalación de compiladores (Intel cluster suite). -Despliegue de Linux en nodos de cómputo, incluyendo tunning. -Instalación de software extra de gestión como System Director y Active Energy Manager. -Soporte Post-implantación. 10- Formación Se deberá incluir un plan de formación de 25 horas (5 horas diarias durante 5 días laborables), para las personas que designe el Instituto de Hidráulica Ambiental sobre: - Conceptos básicos - Herramienta de gestión - Administración y procedimientos de configuración - Solución de problemas GARANTÍA Durante el periodo de garantía establecido se requiere un servicio con tiempo de respuesta máxima de 24 horas en periodo laborable (conocido cómo next business day) MEJORAS TÉCNICAS POSIBLES El pliego técnico está basado en soluciones disponibles en el momento de su elaboración. Dada la rápida evolución de los sistemas, y teniendo en cuenta las necesidades expresadas en la memoria y el condicionante principal de consumo energético, se valorarán positivamente las siguientes mejoras técnicas si son posibles en el momento de cerrar el contrato: -mayor capacidad de cálculo sin aumento del gasto energético, empleando procesadores de nueva generación compatibles con las arquitecturas XEON y POWER, con mejor rendimiento en flops y/o specint/specfp. -mejora de la capacidad de memoria RAM en alguno de los nodos XEON o POWER para alcanzar configuraciones con RAM entre 256 GB 1 TB que permitan ejecutar aplicaciones especiales. -extensión de la garantía de todo el equipo o parcialmente a 4 o 5 años. PRESUPUESTO BASE DE LICITACIÓN, IVA INCLUIDO: 2.265.600,00 euros (UFG84: 1.298.000,00, UFG56: 967.600,00 ) FINANCIACIÓN: Programa Operativo de I+D+i por y para el beneficio de las empresas (Fondo Tecnológico) del Fondo Europeo de Desarrollo Regional (FEDER).