Computación de Altas Prestaciones Sin miedo, es más fácil de lo que parece Alex Ramírez Arquitecturas Heterogeneas Barcelona Supercomputing Centrer
Supercomputadores 2
Qué es un supercomputador? Top500 (www.top500.org) Ranking de los 500 computadores mas rápidos Rendimiento evaluado en una sola aplicación High Performance Linpack (HPL) Rendimiento en TFLOPS (10^12 ops coma flotante / segundo) La lista se actualiza dos veces al año Junio, anunciada en ISC (Europa) Noviembre, anunciada en Suercomputing (USA) Limitaciones importantes Solo lista los computadores que envian sus resultados Los computadores privados, o confidenciales, no aparecen en la lista Mantiene una gran cantidad de datos históricos y estadísticas 3
Proyecciones de rendimiento del Top500 El rendimiento de los sistemas HPC se duplica cada año x1000 cada 10-12 años Más rápido que la Ley de Moore 4
Pero de verdad necesito un supercomputador?? No todos los problemas requieren 1018 FLOPS La tecnologia de supercomputación no tiene porque aplicarse a escala completa Versiones reducidas de los supercomputadores se usan en todas partes Servidores HPC Ordenadores personales Dispositivos móviles 5
HPC está presente en todos los ámbitos Bio-sciences Geo-sciences Genoma humano Investigación farmacos Detección de enfermedades Estudios de infección Diseño asistido por ordenador Defensa Energía Automoviles, aviones, cohetes Estructuras, mecánica, Gestión de la red eléctrica Ingenieria química Transporte y logística Diseño molecular Planificación de rutas Resolución de incidencias Contenidos digitales Gráficos por computador Digitalización de medios Académico Investigación básica y aplicada Análisis financiero Diseño electrónico automatizado Petroleo y gas Modelado de reservas Modelos climáticos Predicción meteorológica... 6
Computar es una ventaja competitiva Formula 1 Calcular el momento óptimo para el cambio de neumáticos Estado y temperatura del neumatico Peso del coche Situación del tráfico A la entrada A la salida Sector financiero Análisis de riesgos 7
Estamos en una era de commodity computing Los ordenadores personales (incluso los móviles y tablets) ya incorporan tecnologia HPC Multi-core Múltiples procesadores en un chip Unidades de coma flotante, unidades de proceso vectorial (SIMD) Memorias de alta frecuencia Existe software Open Source para gestión de HPC SO, compilador, librerias (bibliotecas) Servidores web, bases de datos... Gran cantidad de opciones disponibles Espacio de diseño amplio Muchas oportunidades de optimización y personalización Rendimiento / es un criterio fundamental en el mercado HPC actual 8
Componentes de un cluster HPC Nodos de cálculo Master (log-in) (cálculo) Interconexión Tráfico de datos 10-40 GbE, Infiniband Sistema de ficheros + administración (job control) 1 GbE Almacenamiento Master 9 Storage Storage
Modos de uso en HPC: Throughput computing Gran cantidad de ejecuciones (independientes) a realizar Distribuir tareas a nodos del cluster N ejecuciones, M veces más rápido Master 10 Storage Storage
Modos de uso en HPC: Ejecución paralela Una unica ejecución de gran complejidad Dividida en partes interdependeintes Distribuir tareas a nodos del cluster Comunicar las dependencias por la red de datos 1 ejecución ~ M veces más rápido Master 11 Storage Storage
Componentes de un cluster: Procesador Frecuencia de reloj A mayor velocidad de CPU, mayor consumo Relación exponencial DVFS Turbo-mode Multi-core Multiples procesadores en un solo chip Memoria compartida Mayor capacidad de cálculo sin aumentar la frecuéncia Relación lineal 12
Componentes de un cluster: nodo Sockets Multiples chips Multi-core a su vez Canales de memoria Aceleradores GPU Interficies de red Almacenamiento 13
Componentes de un cluster: Almacenaje Rack 19 de anchura 42U (1.75 c.u.) de altura Bastidores Según su altura: 1U, 2U, Blades Bladecenter (7U) 16-18 blades 14
Componentes de un cluster Interconexión Almacenamiento Ethernet 100 Mbit, 1 GbE 10 GbE, 40 GbE Infiniband SDR, DDR, QDR, FDR 1x, 4x, 12x 4x QDR ~ 40 Gb/s Myrinet Master Local al nodo Datos temporales Checkpointing Sistema de ficheros paralelo NFS GPFS Lustre 15 Storage Storage
Refrigeración e infraestructura Refrigeración por aire, 45% cost Refrigeración por agua (puerta trasera), 33% cost Refrigeración directa por agua, 9% cost 16 (1.9 PUE) (1.5 PUE) (1.1 PUE)
Software Sistema operativo Linux RedHat, SUSE, Ubuntu Systemware MPI Gestión del cluster Gestión de colas Monitorización de rendimiento Monitorización de energia 17
Como empezar en HPC Personal Administración de sistemas Software Linux ISV Hardware Escalabilidad Mantenimeinto Coste de operación Soporte Hardware Software 18
Algunos consejos básicos Es necesario tener un plan de ruta Y aún más tener un objetivo a cumplir Probar antes de comprar Los proveederos disponen de sistemas de prueba (acceso remoto) Comprobar el rendimiento (y escalabilidad) de nuestras aplicaciones Soporte Los componentes fallan El software falla Entregado en casa vs. Ikea En sistema HPC es más barato si lo montas en casa Pero luego quien se hace cargo de los problemas? 19
Mensajes finales HPC es una ventaja competitiva Quien mejor computa, mejor compite Muchas opciones disponibles Búsqueda de soluciones óptimas (, Watt, Area, ) Probar antes de comprar Planificar, y ceñirse al objetivo Personal Software Hardware Unirse a la comunidad HPC Exhibits Forums Have fun! 20