Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO. Índice

Transcripción

1 Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO 1 Índice 1. Necesidades de cómputo. Exascale. Arquitecturas de altas prestaciones. Top 500. Green Memoria compartida 1. soporte para programación paralela 2. coherencia de cachés: repaso y directorios 3. modelo de coherencia de memoria (introd.) 3. Memoria distribuida, clusters y cloud 4. Coprocesadores (GPUs y MIC) 2 Page 1

2 3 MP de memoria distribuida Definición: MP de memoria distribuida (Distributed Memory MP): un procesador no puede acceder a la memoria de otro procesador. También llamados multicomputadores Cada procesador: propio mapa de direcciones: las direcciones que genera accederán a su memoria local Los procesos que se ejecutan en procesadores distintos sólo se pueden comunicar mediante el paso de mensajes Red de interconexión no es nunca un bus: hipercubos, mallas 2-D y 3-D, toros, etc. Ventajas: Escalabilidad : pero no más que los NUMAs, ni los clusters!?: han caído prácticamente en desuso en HPC: Intel Paragon o el Meiko CS-2: instalaciones con varios años. El único sistema que sobrevivió con cierto éxito fue el IBM SP 2 / RS6000 MP de memoria distribuida Escalabilidad Redes de Interconexión Límite de los buses: ancho de banda limitado: un único conjunto común de alambres Cómo conseguir escalabilidad en la red de comunicación? Conjunto de caminos ( alambres ) independientes: switches entre ellos S S S S P M M P M M P M M P M M 4 Page 2

3 MP de memoria distribuida Estructura de los switch: Input Ports Receiver Input Buffer Output Buffer Transmiter Output Ports Cross-bar Control Routing, Scheduling 5 MP de memoria distribuida Estructura de los paquetes: Cabecera: Control y Routing Secuencia completa de caracteres que se transmiten 6 Page 3

4 MP de memoria distribuida La comunicación viene determinada por tres elementos principales: La topología de la red La técnica de conmutación (switching) El protocolo de encaminamiento (routing) 1. Topología Ejemplos: array lineal, anillos, estrellas, árboles, mallas 2-D cubo 3-D, hipercubos NEW!!! Tecnología heredada reciente y parcialmente en los sistemas Intel-MIC: anillo bidireccional, toro 3D (proyecto DEEP Europe) 7 MP de memoria distribuida Topología: ejemplos 8 Page 4

5 DEEP Europe: Hw Architecture 9 MP de memoria distribuida 2. Técnicas de conmutación Modo en que los mensajes se retiran del buffer de entrada y se llevan al de salida Principales modalidades: evolución» Store-and-forward o conmutación de paquetes» Conmutación de circuitos: fase de establecimiento; no empaquetado, único mensaje; enlaces dedicados (un solo mensaje)» Wormhole: mensaje descompuesto en flits (flow control digits), varias versiones del mismo mensaje ( flitseado ): evitar conflictos, una misma línea compartida por varios mensajes (sus flits) a la vez 3. Encaminamiento (routing) Búsqueda del camino entre el origen y el destino Modalidades:» Determinista / Adaptativo» Minimal / No minimal 10 Page 5

6 MP de memoria distribuida Organización de cada nodo: Elementos: P: Procesador de cómputo (el de siempre) + M: Memoria PC: Procesador de comunicación: mensajes S: Switch Evolución: generaciones: 1ª: n*(p+m+pc+s);2ª: n*(s+(p+m+pc)) / Conm Central.+ n*(p+m+pc);3ª: n*((s)+(p)+(m)+(pc)) M P+M CP S S P+M CP S CP P 11 Clusters Qué es un cluster: A cluster is a type of parallel or distributed processing system, which consists of a collection of interconnected stand-alone/complete computers cooperatively working together th as a single, integrated t computing resource. [Buyya98] 12 Page 6

7 Evolución de la HPC [metáfora de Buyya] 1984: Mainframe Mini Computer Workstation PC Vector Supercomputer 13 Evolución de la HPC [metáfora de Buyya] 1994: (hitting wall soon) Mini Computer Mainframe (future is bleak) Workstation PC Vector Supercomputer MPP 14 Page 7

8 Evolución de la HPC [metáfora de Buyya] El presente y el futuro!: 15 Clusters 16 Page 8

9 Clusters Protocolos tradicionales ( pesados ): TCP/IP Protocolos especiales ( ligeros ): Active Messages (U. Berkeley) VMMC (Virtual-Memory Mapped Communication) U-net (U. Cornell) XTP (U. Virginia) etc. 17 Clusters Qué es el middleware (*) de un cluster: Interfase entre las aplicaciones y el Hw con su S.O.. Capas de middleware: SSI (Single System Image) SA (System Availability):»detección y recuperación frente a errores»tolerancia a fallos (*) Capa superior al underware o S.O. 18 Page 9

10 Clusters Concepto: Single System Image (SSI) es la ilusión que presenta una conjunto de recursos como uno solo y más potente. SSI hace aparecer al cluster como una máquina única para el usuario y sus aplicaciones. Un cluster sin SSI no es un cluster! 19 Clusters Ventajas del empleo de SSI: Se pueden usar los recursos del sistema de manera transparente Migración de procesos y equilibrado de carga entre los nodos Mejora la fiabilidad y disponibilidad de recursos Mejora el tiempo medio de respuesta y el rendimiento i Simplifica la gestión del sistema Proporciona independencia del Hw 20 Page 10

11 (HPC in the) Cloud Idea: pej p.ej. Cloud computing is Internet-based computing, whereby shared resources, software and information are provided to computers and other devices on-demand, like the electricity grid Wikipedia: p p g Noticias: HPC in the cloud Adecuación de cloud: When is the Cloud Right for HPC? 21 (HPC in the) Cloud Capas: Software (SaaS): p.ej., j, Google Apps, Microsoft Office 365 Plataforma (PaaS): p.ej., Google App Engine, Windows Azure Cloud Services Infrastructure (IaaS): p.ej, Amazon EC2, Azure Services Platform, Google Compute Engine 22 Page 11

12 Índice 1. Necesidades de cómputo. Exascale. Arquitecturas de altas prestaciones. Top 500. Green Memoria compartida 1. soporte para programación paralela 2. coherencia de cachés: repaso y directorios 3. modelo de coherencia de memoria (introd.) 3. Memoria distribuida, clusters y cloud 4. Coprocesadores (GPUs y MIC) 23 GPUs Las tarjetas gráficas o GPUs (Graphics Processing Units) ha evolucionado mucho en los últimos años por el desarrollo de los videojuegos Disponen de una gran capacidad de cómputo y un ancho de banda también elevado. La idea es aprovechar esa potencia para aplicaciones de propósito general (una imagen es una matriz de números) Pero trabaja en modo vectorial (SIMD)!! Y cambia el hardware tanto cores como memoria 24 Page 12

13 Rendimiento GPUs 25 Ancho de banda GPUs 26 Page 13

14 Programación GPUs Dos alternativas: OpenCL: Código abierto, liderado por AMD-ATI CUDA: Propietario, liderado por Nvidia Ha triunfado CUDA. Nvidia ha invertido mucho tiempo y esfuerzo en software de calidad y en dar soporte a los usuarios. Es de alto nivel CUDA: Compute Unified Device Architecture Software: C con extensiones para las GPUs Driver GPU con un API para manejar la GPU Hardware: Multitud de núcleos agrupados en multiprocesadores, s más una jerarquía de memoria 27 Computación heterogénea Host (anfitrión): CPU y memoria placa base (DDR3) Device (dispositivo): GPU y memoria vídeo (GDDR5) 28 Page 14

15 Computación heterogénea La GPU actúa de coprocesador Cuando la CPU encuentra mucho trabajo lo delega a la GPU y recoge el resultado 29 Generaciones CUDA 30 Page 15

16 Arquitectura GPU N multiprocesadores con M cores Cada Multiprocesador tiene su banco de registros, memoria compartida (rápida) y memorias caches (constantes y textura: lectura) 31 Primera arquitectura Cuatro versiones: (compute capability) Un planificador, pocos cores. Sin caches L1 y L2 2 SFU. Sin soporte a DP (sólo 1.3 y uno de DP) 32 Page 16

17 Segunda arq.: Fermi: Memoria ECC y L2 (768KB) y L1 L1+Shared: 64KB (16+48 o 48+16) L2 compartida entre los SM Shared no integrada en la jerarquía ( shared ) GPUDirect: entre GPUs PCI express 2.0 Soporte para IEEE 754 SP y DP 33 Segunda arq.: Fermi: MP 34 Doble planificador (instr. de dos warps) Ejecución concurrente de kernels Rápido cambio de contexto para ocultar latencia 512 cores (32x16) 512 de int 512 de fp de fp64, 16 ld/st y 4 SFU Page 17

18 Tercera generación: Kepler Paralelismo dinámico, puede lanzar kernels Hyper-Q: múltiples l streams en paralelo GPUDirect (RDMA) Sin intervenir memoria Host Multiprocesador SMX: L2 de 1,5MB y más rápida Nueva caché de datos de lectura (48KB) (se usa con const restrict ) 35 SMX de Kepler 192 cores: 192 de int 192 de fp32 64 de fp64 32 SFU: special function units (log, sqrt,...) 32 de load/store 512 unidades!! 36 Page 18

19 SMX de Kepler Cada SMX Kepler tiene 4 planificadores, cada uno lee instrucciones de dos en dos Usa otros warp para ocultar latencias Necesita MUCHO paralelismo 37 Máximo rendimiento Según el CC (Compute Capability) de cada GPU las prestaciones varían mucho 38 Page 19

20 Paralelismo dinámico 39 Hyper-Q 40 Page 20

21 Hyper-Q 41 GPUDirect: RDMA 42 Page 21

22 Cómo influye al programar? 3bx512tx32r 2bx1024tx12r Mirar: Registros Shared 43 Xeon Phi Tecnología llamada MIC, Many Integrated cores, por Intel Funciona como un coprocesador Ofrece un entorno similar al ya conocido, frente a las GPUs, que cambia bastante la arquitectura Linux, misma jerarquía de memoria, coma flotante IEEE 754, todo como el intel Xeon Mismos lenguajes Se conecta ct al host por el bus PCI Express Varios en una máquina 44 Page 22

23 Xeon Phi Puede funcionar en modo coprocesador (ejecuta rutinas pesadas que le pasa el host) o en modo autónomo, toda la aplicación Se puede comunicar con otros Xeon Phi locales (por el PCIe) o remotos (por la red) sin intervención del host. Se usa MPI Otros nombres: MIC (Many Integrated cores) o KNC (Knights Corner) Próxima generación a la vista: Knights Landing 45 Xeon Phi 46 Page 23

24 Xeon Phi 47 Xeon Phi 60 o 61 cores, con 6 u 8 GB de memoria, 30 MB de cache, hasta 320 GB/s (180 real) 4 hilos 1 Tflops en doble precisión!!! Consumo 300w Ejecuta su propio sistema operativo Entorno de programación conocido y amigable Mucho software y herramientas ya disponibles (Vtune, compiladores, bibliotecas,..) Idea: Reusar en vez de recodificar Su mercado natural es la HPC, en competencia con las Tesla de Nvidia, de prestaciones similares Page 24

25 Xeon Phi vs Tesla Kepler Rend. DP Rend. SP Cores GB Mem. Ancho Banda Consumo Xeon Phi 1073 Gflops 2147 Gflops 61 8 GB 352 GB/s 300 w Tesla 1310 Gflops 3950 Gflops GB 250 GB/s 235 w K20X Tesla K Gflops 3520 Gflops GB 208 GB/s 225 w Tesla K Gflops 4580 Gflops GB 320 GB/s 225 w Básico: GPU y MIC son muy rápidos en tareas paralelas sobre datos y lentos en otras tareas Xeon Phi: Arquitectura Cores, cachés, controladores de memoria (MC) cliente PCIe y anillo de interconexión doble. 50 Page 25

26 Xeon Phi: Cores Cada core tiene dos pipeline (vectorial, 4 ciclos, y escalar) y soporta 4 hilos (SMT, round-robin) Lee E+E o E+V. No puede leer Instr. seguidas de un hilo. Ejecuta en orden (penaliza latencias) U. vectorial de 512 bits. 32 Regs. Instr. SIMD Hereda de MMX(64b) SSE2(128b) y AVX(256b) Ejecuta 16 instrucciones SP o 8 de DP por ciclo Con FMA (Fused Multiply-Add) 32 SP o 16 DP Incluye instrucciones scatter o gather (lentas) para patrones de accesos irregulares Una unidad matemática extendida para log, exp o sqrt vectoriales, a base de polinomios 51 Xeon Phi: Cores 52 Page 26

27 Xeon Phi: Memoria Cache L1 (32+32KB) de datos y de instr. 1 ciclo Caches L2 unificada (512KB) independientes y coherentes, usando directorios. > 15 ciclos Asociativas a 8, 64 B de bloque TLB1-i, TLB1-d y TLB2, 4 niveles de TP, 4-way Un fallo de cache genera una petición a través del anillo para el directorio, i TD, para buscar en otras caches L2 Aunque no lo dicen, parece un directorio fullmap y asociativo, sólo bloques de cache L2 53 Xeon Phi: Memoria Las direcciones se distribuyen uniformemente entre los TD (evita cuellos de botella). Si en está en otra L2 se manda al core que solicitó itó el dato Si no está en ninguna cache (no está en el TD) se piden a los MC, que están simétricamente repartidos por el anillo. Las direcciones también se distribuyen uniformemente entre los MC Cada petición a memoria GDDR son dos peticiones (TD y MC) y dos respuestas en el anillo. Se DUPLICAN ciertos buses 54 Page 27

28 Xeon Phi: Memoria El directorio (TD) indica en que cachés L2 está cada bloque y su estado 55 Xeon Phi: Interconexión El anillo de interconexión es bidirreccional, con tres anillos independientes en cada dirección Datos (de 512 bits de ancho), direcciones y AK AD (Direcciones + read/write) y AK (control del flujo y coherencia) duplicados. 56 Page 28

29 Xeon Phi: Rendimiento Para obtener un buen rendimiento: Usar la vectorización lo más posible Buen uso de la jerarquía de memoria (cachés) Alto nivel de paralelismo, mínimo 120 hilos, mejor 240 hilos simultáneos. No es hyper-threading, es multithreading, por lo que los usa para solapar accesos a memoria y cómputo Clave: Rendimiento vectorial 5x, rendimiento escalar 1/10 del Xeon Por temas de consumo se apagan los cores y cachés no usados. s 57 Xeon Phi: Rendimiento 58 Page 29