Laboratorio Nacional de Cómputo de Alto Desempeño: Fortalecimiento de la Infraestructura 2015

Transcripción

1 Anexo A. Partida 3 Laboratorio Nacional de Cómputo de Alto Desempeño: Fortalecimiento de la Infraestructura 2015 CLUSTER LANCAD3 El bien a adquirir se describe a continuación y consiste en cúmulo de supercómputo de alto desempeño con nodos y switches de comunicación, el cual deberá ser entregado en el edificio DGTIC. Dirección: Universidad Nacional Autónoma de México, circuito exterior s/n Ciudad Universitaria, Del. Coyoacán. México D. F. 1 Descripción y características técnicas El cluster de cómputo de alto rendimiento LANCAD3 se conformará por al menos 56 nodos de cómputo, dos switches Infiniband, 1 red de administración, 1 red IPMI, y todos los elementos adicionales necesarios para su implementación. A continuación se describen las características técnicas de los componentes de este cluster. 1.1 Nodos de cómputo Placa base (Motherboard) La placa base de los nodos de cómputo debe tener las siguientes características: A. Dos procesadores con las características descritas en el punto B. Capacidad para alojar al menos 512 GB de memoria RAM DDR4 de 2133MHz. C. Dos puertos GbE. D. Una tarjeta Infiniband que provea al menos un puerto activo FDR de 56Gbps. E. Las tarjetas de comunicaciones y el slot en la Motherboard deberán ser PCIe versión 3.0 (PCIe v3.0) Procesadores Los procesadores de los nodos de cómputo deben cumplir con las siguientes características: UAM.JA.IZT.LP ANEXO A-PARTIDA 3-UNAM. Página 1 de 5.

2 A. Arquitectura de 64 bits. B. Frecuencia de reloj de 2600 MHz. C. Diez núcleos de procesamiento por procesador. D. Consumo de energía de 105W. E. Manejo de memoria RAM DDR MHz. F. Cache L3 de 25M Memoria RAM La memoria RAM de los nodos de cómputo deberá cumplir con las siguientes características: A. Tecnología DDR4. B. La frecuencia del bus de comunicaciones debe ser de 2133 MHz o superior. C. Protección ante errores con Advanced ECC. D. Cada nodo de cómputo debe contar con al menos 128GB en RAM, en módulos de 8 Gigabytes. E. Se debe garantizar que las características eléctricas y la densidad de la memoria RAM conserven el máximo desempeño del procesador Almacenamiento Local Los nodos de cómputo deben tener ya sea un disco duro de al menos 1 Terabyte de capacidad en tecnología NL-SAS de 7,200 RPM o bien un dispositivo de almacenamiento de estado sólido de al menos 256 Gigabytes Módulo IPMI o equivalente Los nodos de cómputo deben contar con un módulo IPMI (Intelligent Platform Management Interface) versión 2.0 o una tecnología similar Especificaciones físicas y eléctricas Los nodos de cómputo deben cumplir con las siguientes características físicas y eléctricas A. Su Factor de Forma debe ser tal que se puedan instalar al menos 4 nodos en 2 Unidades de Rack. B. El chasis que contenga a los nodos debe contar con fuentes redundantes, de modo que ante la falla de una fuente ningún nodo debe interrumpir su operación. C. El chasis debe permitir que la operación de los nodos sea independiente, es decir, el apagado y remoción de un nodo no afecte la operación de ninguno de los demás nodos en el chasis. D. Las fuentes de poder deben ser VAC, frecuencia Hz, autorregulables y con detección automática de voltaje de entrada. Además, deben ser hot-plug. UAM.JA.IZT.LP ANEXO A-PARTIDA 3-UNAM. Página 2 de 5.

3 1.2 Switches Infiniband El cluster LANCAD3 utilizará la tecnología Infiniband FDR de 56 Gbps para la comunicación de datos entre los nodos. Por tal, se debe incluir dos switches Infiniband, asegurando que las tarjetas Infiniband de los nodos son compatibles con estos switches, y funcionan a una velocidad de 56 Gbps. También deben incluirse 72 cables infiniband. Las características técnicas se describen a continuación. A. Switches de 36 puertos, no administrables B. Conectividad Full Nonblocking. C. Servicio de opensmd para visualización de toda la red infiniband. D. Factor de forma de una unidad de rack. E. Fuentes de poder redundantes 1+1. F. Latencia puerto a puerto no mayor a 200 ns G. Adicional al software de MLNX-OS del switch infiniband, se necesitará el licenciamiento estándar del software Unified Fabric Manager (UFM) para la administración de toda la red infiniband. H. Cada switch Infiniband debe ir acompañado de 32 cables de 3 metros y 4 cables de 10 metros. 1.3 Redes adicionales Red de administración El cluster LANCAD3 deberá incluir una red ethernet para tareas de administración de los nodos, tales como instalación de sistema operativo y configuración remota. Esta red debe tener una velocidad de 1Gbps Red de Consolas El cluster LANCAD3 deberá incluir una red ethernet que integre a los módulos IPMI de los nodos, con el fin de realizar tareas como apagado/encendido remotos, acceso remoto a consolas y monitoreo de sensores. 2 Implementación El cluster LANCAD3 deberá ser implementado en la Sala de Supercómputo de la DGTIC, UNAM. La implementación incluye la instalación física de los nodos; el cableado eléctrico, el cableado de las redes Infiniband, Administración e IPMI; la instalación y configuración de software; la configuración de redes Infiniband, Administración, IPMI. UAM.JA.IZT.LP ANEXO A-PARTIDA 3-UNAM. Página 3 de 5.

4 A continuación se describen las especificaciones y lineamientos para la implementación. 2.1 Instalación física y cableado Todos los componentes deberán ser instalados en 1 (un) rack de 42 U de altura El rack deberá incluir al menos dos PDUs, monitoreables mediante una interfaz ethernet Las fuentes redundantes de todos los componentes deberán estar conectadas a diferentes PDUs Todos los cables deberán estar debidamente etiquetados en ambos extremos. 2.2 Instalación y configuración de software y redes Los nodos deberán ser instalados con sistema operativo Red Hat o CentOS, con la última versión compatible con el hardware propuesto, ya sea de la rama 6 o de la rama 7 de ambas distribuciones. En el caso de Red Hat, la UNAM puede proporcionar las licencias respectivas Todos los nodos deberán estar integrados en una sola red Infiniband. Se conecterán 28 a cada switch, y existirán 8 conexiones entre switches Todos los nodos deberán estar integrados en una sola red de administración Todos los nodos deberán estar integrados en una sola red IPMI. 3 Verificación Se realizarán las siguientes pruebas para confirmar el funcionamiento correcto del Cluster LANCAD3: 3.1 Red IPMI. A. Apagado/encendido de todos los nodos. B. Lectura remota de sensores de todos los nodos. 3.2 Red Administración A. Conexiones TCP y UDP desde y hacia todos los nodos, mediante herramientas como ping y ssh. 3.3 Rendimiento HPL Se realizarán pruebas con el software HPL (High Performance Linpack) para verificar que todos los nodos y la red Infiniband funcionan a su máxima capacidad. La UNAM será la encargada de compilar y ejecutar las pruebas. La compilación se realizará usando el software Intel Parallel Studio XE 2015 Update1, que incluye compiladores, biblioteca UAM.JA.IZT.LP ANEXO A-PARTIDA 3-UNAM. Página 4 de 5.

5 BLAS y biblioteca MPI. 3.4 Pruebas de estabilidad Se ejecutarán diferente aplicaciones demandantes de recursos de procesamiento y comunicaciones, de forma continua durante 48 horas. La prueba terminará si estas 48 horas transcurren sin fallas de las aplicaciones debidos al hardware del equipo. En caso de existir una falla, la prueba reiniciará. 4 Condiciones y consideraciones adicionales 4.1 En el caso de que algún componente requiera una licencia de software para su funcionamiento, ésta deberá estar incluida por un término de 5 años. 4.3 Se deberá entregar una bitácora con los registros de todas las actividades del proceso de implementación. 5 Garantías y servicios. 5.1 Todos los componentes deberán contar con una garantía de 3 años. 5.2 El ofertante deberá incluir un servicio de mantenimiento por 1 año, que incluya lo siguiente: A. Cobertura 5x8 B. Respuesta y diagnóstico el mismo día. C. Reemplazo de partes en los 5 días hábiles siguientes, en el caso de nodos, y 2 días hábiles siguientes, en el caso de switches. 6 Valores agregados Serán aquellos componentes (Hardware y/o Software) adicionales a los descritos en este anexo técnico, que genere valor a LANCAD en pro de la docencia e investigación, los cuales se propondrán por escrito y como parte de la propuesta ofertada en las partidas correspondientes. Los valores agregados formarán parte de los criterios de evaluación. UAM.JA.IZT.LP ANEXO A-PARTIDA 3-UNAM. Página 5 de 5.