CLUSTER HÍBRIDO DE SUPERCÓMPUTO XIUHCOATL

Transcripción

1 CLUSTER HÍBRIDO DE SUPERCÓMPUTO XIUHCOATL

2 XIUHCOATL AGENDA INTRODUCCIÓN SUPERCÓMPUTO Top500 SUPERCÓMPUTO EN MÉXICO XIUHCOATL LANCAD

3 INTRODUCCIÓN

4 Supercómputo Definición El supercómputo (HPC) es la herramienta de cálculo mas avanzada grande y rápida hasta este momento, permite estudiar problemas de gran magnitud utilizando modelos computacionales. Cuando se tiene la necesidad de realizar cálculos numéricos e iterativos de manera intensiva, utilizado una PC esto podría tardar meses, años o mas tiempo en obtener algún resultado. En un principio las supercomputadoras eran monolíticas y de alto coste La tendencia actual en las supercomputadoras apuesta por el cómputo distribuido y tecnologías emergentes usando cientos/miles de servidores para obtener grandes desempeños a un costo mas asequible de adquisición, operación y mantenimiento.

5 Supercómputo Un poco de Historia NOMBRE AÑO Y LUGAR USO CARACTERÍSTICAS FÍSICAS CARACTERÍSTICAS LÓGICAS Colossus ó Mark I 1944, Bletchley Park, Londres. Descifrar mensajes, interceptados en comunicaciones de la Alemania Nazi tubos de vacío Uso de cinta de papel para el ingreso de datos. Procesaba 5000 caracteres por segundo Utilizaba valores booleanos Contraparte de la máquina de Lorenz ENIAC 1946, Universidad de Pennsylvania Calculo de trayectoria de nuevos cañones y misiles. 18,000 tubos de vacío Reconexión de cables para realizar nuevos cálculos. Resolvía 5000 operaciones aritméticas básicas/segundo. Sistema de numeración decimal. EDVAC 1951 Universidad de Pennsylvania Resolución de problemas navales en laboratorio militar. 6,000 tubos de vacio 12,000 diodos Lector-grabador de cinta magnética. Unidad de control y memoria Basada en sistema de numeración base 2 El primer programa almacenado en memoria UNIVAC 1951, Oficina de Censos de los EUA Censo de los EUA, en 1951 Predicción (elección presidencial 1952) Diseñada (administración /negocios) 5000 tubos de vacío Sin interfaz para leer y escribir en tarjetas perforadas Lector de cinta magnética 1000 cálculos por segundo 100,000 sumas por segundo CRAY-I 1976, Laboratorio Nacional de Los Álamos, Nuevo México Industria, ciencia y tecnología Arquitectura de 64 bits Utilizó circuitos integrados Procesadores vectoriales a 80 MHz Sistema de refrigeración por freón 100 Mflops (80 X 106) Intel IPSC/ Industria, ciencia y tecnología 64 nodos RX Transferencia de datos entre nodos de 2.8 MB 12 GB de Disco duro local Conexiones Ethernet a estación de trabajo SUN-670 MP 40 Mflops (80 X 10 a la 6 flops), por nodo Más de 2.5 Gflops en conjunto Programación con C y Fortran IBM SP Industria, ciencia y tecnología 24 nodos (120 MHz C/U) 128 MB de Memoria RAM 40 GB de disco duro Conexión a una estación de trabajo PowerPC RS/ Mflops (80 X 10 a la 6 flops), por nodo 12 Gflops en conjunto Programación con C, C++ y Fortran 77/90

6 Supercómputo Para qué sirve? Resolver problemas complejos del mundo real, de la ciencia y de la ingeniería en todas sus ramas, usando modelos computacionales (experimentación numérica), a lo cual se le considera otra rama para aprender y obtener información nueva, sumándose a las metodologías tradicionales de la teoría y la experimentación. El uso de supercómputo ha creado nuevas líneas de investigación científica en áreas ya establecidas como son la Astronomía, Ciencias de la atmósfera, Ciencias nucleares, Física, Geofísica, Geografía, Ingeniería, Medicina, Química, entre otras. Cálculos numéricos de enormes cantidades de datos. Reconocimiento de imágenes. Gráficas computacionales, rendering, texturización. Modelación de redes. Análisis de datos (medicina, farmacología, genómica, bio-informática, etc ) Desarrollo de nuevas medicinas y vacunas. Modelación de comportamientos biológicos de poblaciones. Simulación de reacciones atómicas y explosiones. Simulaciones de modelos mecánicos, físicos, químicos por ejemplo: Huracanes Tormentas. Flujos hidráulicos. Fenómenos de transporte. Comportamiento molecular. Diseño aeroespacial. Industria automotriz. Diseño de nuevos materiales. Pronóstico del clima y predicción de los cambios climáticos globales.

7 Supercómputo Arquitecturas mas usadas ARQUITECTURA MPP Clúster SMP Constellations DESCRIPCIÓN Massive Paralell Processor es un solo equipo con muchos procesadores conectados. Características similares a las arquitecturas clúster Se han especializado en la interconexión de redes de CPUs. Tienden a ser más GRANDES que los clúster Cada CPU contiene su propia memoria y copia del sistema operativo y de las aplicaciones Cada subsistema se comunica con los demás con una conexión de alta velocidad. Conjuntos o cúmulo de computadoras. Pueden ser construidos mediante la utilización de hardware común. Se comportan como si fuesen una única computadora. Debe utilizarse redes de alta velocidad y baja latencia. Multiprocesamiento simétrico (Dos o más procesadores idénticos están conectados). Comparten el acceso a la memoria principal y están controladas por una única instancia de S.O.. Los sistemas multiprocesador más común hoy en día utilizan una arquitectura SMP. En los procesadores multi-core, la arquitectura SMP aplica a los núcleos/cores (procesadores separados). Es un clúster de SMPs (También llamados CLUMP o máquinas jerárquicas). Cada nodo de este clúster está compuesto por un SMP. Tiene microprocesadores independientes y usan un bus compartido para comunicase con la memoria. Dicho bus debe ser arbitrado para que solamente un microprocesador lo use en cada instante de tiempo. En esta arquitectura se tiende a gastar un tiempo considerable esperando a obtener los datos desde la memoria ya que no es el único en espera.

8 Supercómputo Arquitectura tipo Clúster (BEOWULF) Los investigadores de la NASA Thomas Sterling y Don Becker, son quienes utilizando computadoras caseras, desarrollaron una clase de supercómputadora (Cluster). Beowulf, es el nombre de un héroe de un poema épico anglosajón, de gran fuerza y valor quien derrotó a un poderoso monstruo llamado Grendel

9 Supercómputo Elementos básicos de un clúster 1. Nodo maestro. 2. Cientos/Miles de Nodos esclavos/cómputo. 3. Conexión de red alta velocidad. 4. Sistema de archivos paralelo. 5. Sistema operativo, multitarea y multiusuario. 6. Ambientes de Programación Paralela: Soporte para el desarrollo de software que trabaje con recursos paralelos y/o distribuidos. 7. Software administrador de los recursos del clúster, 8. Usuarios. 9. Administrador del Cluster.

10 Top500 Introducción y Definiciones Qué es la Lista Top500? Origen Desde Junio de 1993 se publica una lista semestral de las 500 supercomputadoras con el índice de rendimiento más alto obtenido utilizando un benchmark de solución de ecuaciones lineales llamado LINPACK. Objetivo El principal objetivo es proporcionar un ranking de sistemas de propósito general que estén en uso común para aplicaciones high end. Actualización Las listas son publicadas en eventos de supercómputo en los meses de Junio y Noviembre de cada año. Sitio Web: Megaflops Gigaflops Teraflops Petaflops Exaflops Flops=Operaciones de punto flotante por segundo High Performance Computing Linpack Benchmark. Rendimiento máximo alcanzado bajo prueba de Linpack. Rendimiento teórico. Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión 64bits, en computadoras de memoria distribuida. PROCESADOR #C VR (GHz) #OpPf=[Número de Operaciones de Punto Flotante DP] R T =(#C)*(VR)*(#OpPF) Westmere Interlagos 16 2,2 4 SandyBridge 8 2,6 8

11 Top500 Introducción y Definiciones Qué es la Lista Top500? Origen Desde Junio de 1993 se publica una lista semestral de las 500 supercomputadoras con el índice de rendimiento más alto obtenido utilizando un benchmark de solución de ecuaciones lineales llamado LINPACK. Objetivo El principal objetivo es proporcionar un ranking de sistemas de propósito general que estén en uso común para aplicaciones high end. Actualización Las listas son publicadas en eventos de supercómputo en los meses de Junio y Noviembre de cada año. Sitio Web: Megaflops Gigaflops Teraflops Petaflops Exaflops Flops=Operaciones de punto flotante por segundo High Performance Computing Linpack Benchmark. Rendimiento máximo alcanzado bajo prueba de Linpack. Rendimiento teórico. Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión 64bits, en computadoras de memoria distribuida. PROCESADOR #C VR (GHz) #OpPf=[Número de Operaciones de Punto Flotante DP] R T =(#C)*(VR)*(#OpPF) Westmere GF Interlagos 16 2, GF SandyBridge 8 2, ,4 GF

12 Top500 Tendencias: Arquitectura/Fabricantes LAS ARQUITECTURAS DOMINANTES SON CLÚSTER Y MPP. IBM Y HP DOMINAN EL MERCADO DE LAS SUPERCOMPUTADORAS

13 Top500 Sistemas Operativos Desde 2003 las supercomputadoras han incrementado el uso de Linux como S.O.

14 Top500 Las primeras 10 del mundo TOP500 LIST NOVIEMBRE 2012

15 Top500 Performance #1 vs #500 (TF) TOP500 NOV-2011 (1 & 500) LA ENTRADA AL TOP 500 CERRÓ EN EN NOVIEMBRE DEL TOP500 JUNE-2012 (1 & 500) LA ENTRADA AL TOP 500 CERRÓ EN PARA JUNIO DEL 2011 (20% DE AUMENTO DEL ANTERIOR) TOP500 NOV-2012 (1 & 500) LA ENTRADA AL TOP 500 CERRÓ EN 76.4 PARA NOVIEMBRE DEL 2012 (25% DE AUMENTO DEL ANTERIOR)

16 Supercómputo en México Quién lo usa?

17 01/06/ /11/ /06/ /11/ /06/ /11/ /06/ /06/ /11/ /06/ /11/ /06/ /11/ /06/ /11/ /06/ /11/ /06/ /11/ /06/ /11/ /06/ /11/ /06/ /11/ /11/ /06/ /11/2008 "01/06/2009" Supercómputo en México Historico de México en el top UNAM Pemex Gas UNAM UNAM UNAM UNAM UNAM Telcel Radiomovil Dipsa Banco Internacional IMP UNAM Telcel Radiomovil Dipsa México en el Top500 Gedas N.A. (VW) UAM IMP Geoscience (D) Telcel Radiomovil Dipsa UNAM Telcel Radiomovil Dipsa Pemex Gas UAM Geoscience (D) Telcel Radiomovil Dipsa SAT/ISOSA Telcel Radiomovil Dipsa Geoscience (D) UNAM Geoscience (D) Geoscience (D) 0 México había figurado en el top500 cada año desde 1993 hasta el año 2009

18 Supercomputo en México México reaparece en el top500 NOV-2012

19 XIUHCOATL

20 CLUSTER HIBRIDO DE SUPERCÓMPUTO XIUHCOATL (Serpiente de Fuego)

21 Xiuhcoatl Distribución LFS (OSS) LFS (OSS) LFS (MDS/OSS) N.C.G N.M. N.L. SW InfiniBand N.C.A. N.C.A. N.C.I. N.C.I. N.C.I. STORAGE GPU NET PROCESAMIENTO ABREVIATURA N.C.I. N.C.G N.M. SIGNIFICADO NODO DE COMPUTO INTEL NODO DE COMPUTO GPGPU NODO MAESTRO (INTEL) ABREVIATURA N.C.A LSF OSS SIGNIFICADO NODO DE COMPUTO AMD LUSTRE FILE SYSTEM (INTEL) OBJECT STORAGE SERVER (INTEL) N.L. NODO DE LOGIN (INTEL) MDS META DATA SERVER (INTEL)

22 XIUHCOAT Tecnologías COMPILADORES GNU (gcc, fortran) Intel Clúster Studio XE 2012 Open64 ACML (AMD) CUDA SDK 4.1. SISTEMA OPERATIVO Linux x86_64 CentOS ver HARDWARE SISTEMA DE ALMACENAMIENTO GPGPU COMUNICACIONES CPU Sistemas de 40 TB y 20TB (Usables) Basado en Lustre File System Discos duros de 600GB, SAS 2.0 de RPM en RAID 6. Capacidad de crecimiento de hasta ~120TB. 10 WS INTEL 120 Cores. 20 Tarjetas NVIDIA (Fermi 2070/2075) Capacidad de crecimiento de 20 Tarjetas más. Red Gigabit Ethernet (Administración shell). Red Gigabit Ethernet (Administración de Escritorio remoto). Red InfiniBand 40Gb/s (Full-non-Blocking) 3480 Cores *AMD (Interlagos 6274) (2304) *INTEL (Xeon Processor X5675) (1056)

23 XIUHCOATL Laboratorio de visualización FUNCIONES El servicio se presta a los investigadores que tengan la necesidad de visualizar modelos, con la capacidad de poder visualizar los con una resolución de hasta 98.3Mpixeles.

24 XIUHCOATL Capacidad de cómputo

25 XIUHCOATL Oferta de Servicios ACADEMICO Cómputo en Paralelo Administración Seguridad Soporte Capacitación en Supercómputo GUBERNAMENTAL Hospedaje de Aplicaciones. Almacenamiento de Datos. Desarrollo de Aplicaciones Capacitación Virtual. Cloud. EMPRESARIAL Renta de Servidores Desarrollo de Aplicaciones Capacitación Virtual. Cloud.

26 XIUHCOATL NO TODO SON COMPUTADORAS PROBLEMAS Factibles de solución utilizando supercómputo. Creación y/o utilización de Modelos USUARIOS Investigadores/usuarios con necesidad de usar poder de computo intensivo. APLICACIONES Compiladores. Librerías/Bibliotecas. Aplicaciones escritas en para su uso en clúster que resuelven ciertos problemas. INFRAESTRUCTURA DE SOPORTE GRUPO DE TRABAJO Suministro de Energía Energía de Respaldo UPS Disipación de calor Redundancias Administradores de Clúster, Administradores del Sistema almacenamiento, Administradores de seguridad, Desarrolladores de aplicaciones paralelas etc.

27 XIUHCOATL Infraestructura del SITE en la CGSTIC CONCEPTO CGSTIC ÁREA DEL CENTRO DE DATOS (SITE, CUARTO DE UPS Y CENTRO DE OPERACIONES). 140 m 2 PLANTA DE EMERGENCIA ELÉCTRICA. CAPACIDAD DE ENFRIAMIENTO Y HUMIDIFICACIÓN. CAPACIDAD DE SUMINISTRO DE ENERGÍA REGULADA (UPS). EQUIPOS DE AIRE ACONDICIONADO DE CONFORT (MINISPLIT) PARA CUARTOS DE UPS. SISTEMA DE DETECCIÓN Y DE EXTINCIÓN DE INCENDIOS. SISTEMA DE TIERRA FÍSICA. PROTECCIÓN CONTRA DESCARGAS AMBIENTALES. ( ) KW 50 TR (4 SISTEMAS) 286 KVA (8 EQUIPOS) 3 TON GAS FM-200 (10 SENSORES) 100 AMP DIPOLO (50 M RADIO) CIRCUITOS ELÉCTRICOS 120 VAC. 60 CIRCUITOS ELÉCTRICOS 220 VAC. 24 CUARTO DE CONTROL. 22m 2 DISPLAY DE 4 PANTALLAS DE 24 PARA MONITOREO. 1 SWITCH ADMINISTRATIVO GIGA BIT ETHERNET EN CUARTO DE CONTROL. 48 PUERTOS

28 LANCAD Objetivo General El Laboratorio Nacional de cómputo de alto desempeño permite resolver en primera instancia los problemas científicos más demandantes mediante una GRID de capacidades excepcionales en la zona metropolitana de la Ciudad de México conformada por las tres instituciones académicas de mayor importancia en el cómputo científico de alto desempeño.

29 LANCAD Tendido de Red de FO dentro del Metro DISTANCIAS Y EMPALMES DISTANCIAS SIN INTEGRAR LA ULTIMA MILLA» DISTANCIA FUSION MECANICO UNAM UAM-I 34,325m 21 2 UNAM CINVESTAV 27,544m 20 1 CINVESTAV UAM-I 31,588m 20 2 DISTANCIAS INTEGRANDO LA ULTIMA MILLA» DISTANCIA FUSION MECANICO UNAM UAM-I 39,325m 21 2 UNAM CINVESTAV 32,544m 20 1 CINVESTAV UAM-I 36,588m 20 2 Fusión Empalme por fusión Mecánico Empalme mecánico en patch panel Rack con empalme por fusión Rack con empalme mecánico Longitud total de la red de fibra óptica km

30 LANCAD Equipo Activo (Red de FO)

31 NODO ROBUSTO LANCAD Clúster académicos CLÚSTER TECNOLOGÍA CINVESTAV Xiuhcóatl HIBRIDA CORES CPU CUDA CORES 3480 (CPU) [2304 (AMD)] [1176 (INTEL) ] 8960 (GPGPU-FERMI) [20 Tarjetas] PERFORMANCE REAL (CPU) TF PERFORMANCE TEÓRICO AMD (20.28 TF) INTEL (13.08 TF) GPU (10.3 TF) Total 43.65TF UAM Aitzaloa INTEL 2160 CPU TF TF UNAM Miztli INTEL 5616CPU 92.3 TF 116.8TF 1 TERAFLOP = operaciones de punto flotante por segundo LAS 3 INSTITUCIONES INTEGRANTES DEL PROYECTO LANCAD, CONFORMAN UNA GRID DE CÓMPUTO DE ALTO DESEMPEÑO, COMPARTIENDO EN PRINCIPIO CADA INSTITUCIÓN 1000 CORES DE PROCESAMIENTO SOBRE UNA RED DE FIBRA ÓPTICA DE 10GB/S.

32 LANCAD Nodo Cinvestav: Misión Ofrecer y desarrollar servicios de cómputo de alto desempeño a las comunidades de usuarios de Supercómputo del CINVESTAV, UNAM, UAM y en general al sector empresarial y gobierno; con el fin de impulsar el desarrollo científico, la formación de recursos humanos especializados en cómputo de alto desempeño, así como el desarrollo tecnológico en la realización de proyectos de alto impacto social y económico.

33 XIUHCOATL Contactos Héctor Oliver Administrador de la infraestructura de Supercómputo en la CGSTIC. Cluster Híbrido de Supercómputo XIUHCOATL

34 CLUSTER HÍBRIDO DE SUPERCÓMPUTO XIUHCOATL