Innovaciones y futuro de la GPU. Contenidos de la charla [30 diapositivas] Estados Unidos construirá dos supercomputadores insignia

Transcripción

1 Innovaciones y futuro de la GPU Curso de Verano de la UMA Programación de GPUs con CUDA Contenidos de la charla [30 diapositivas] Málaga, del 15 al de Julio, Proyectos con Volta [3] El nuevo hardware [7] Un desarrollo prometedor de Stacked DRAM: HMC [7] Mejoras del HMC 1.0 respecto a la DRAM actual [5] HBM (High Bandwidth Memory) [1] Impacto sobre las GPUs mediante el modelo roofline [3] Conclusiones y referencias [3] Manuel Ujaldón Profesor Universidad de Málaga Conjoint Senior Univ. de Newcastle (Australia) CUDA Nvidia Estados Unidos construirá dos supercomputadores insignia SUMMIT PFLOPS de rendimiento pico SIERRA > 100 PFLOPS PFLOPS de rendimiento pico CPU: IBM POWER9 + GPU: NVIDIA Volta Interconexión de alta velocidad NVLink >0 TFLOPS/Nodo >3,00 Nodos 017 I. Proyectos con Volta Paso adelante esencial en la ruta hacia Exascale

2 Sólo nodos de Summit entrarían en el Top500 de los supercomputadores Consumo similar a Titan 5-10x más rápido 5 veces más pequeño Sistemas acelerados en ruta hacia Exascale Rendimiento pico comparado con el supercomputador Jaguar La potencia de Summit 150 PF = 3M Laptops Un portátil por cada hogar andaluz Rendimiento pico de los supercomputadores: x SUPERCOMPUTADOR EXASCALE 33x n ció ec oy Pr SUMMIT 5x 113x TITAN JAGUAR 1x * Proyección basada en los 3 supercomputadores 5 6 II. El nuevo hardware GFLOPS en doble precisión por cada vatio consumido Hoja de ruta de las GPUs de Nvidia [GTC 1] Pascal 0 Memoria 3D NVLink 1 1 Maxwell 1 Memoria unificada DX1 10 Kepler Paralelismo dinámico 6 Tesla Fermi FP CUDA

3 La tarjeta gráfica de 01: GPU Kepler con memoria de vídeo GDDR5 La tarjeta gráfica de 0/17: GPU Pascal con memoria Stacked (3D) DRAM 9 Nvidia ya ha fabricado un prototipo de Pascal 10 Pascal: Multiprocesadores SXM mm 7. m m SMX.0*: 3 veces mejores prestaciones en densidad de circuitos 11 (* Nombre provisional para márketing). 1

4 Desarrollos comerciales: Prototipos de Micron (arriba) y productos de Viking (abajo) Aspectos preliminares Nuestro estudio 3D no está relacionado con los transistores tri-gate de Intel (aunque ambos son compatibles). Nuestros chips 3D son también compatibles con las tecnologías D existentes (no sacrificamos nada de lo ya logrado en otras memorias). Nos centramos en el procesador, y sobre todo, la memoria (pero la fabricación 3D puede aplicarse a CPU-GPU, SRAMDRAM, ASIC, DSP,..., casi a cualquier cosa!). El disipador de calor permanece en los niveles externos (los internos serán probablemente ocupados por las celdas de memoria, por una vez la tecnología favorece a SDRAMDRAM) Novedades de Nvidia en el GTC 1 Integración chip-en-oblea 3D. Multiplicidad en ancho de banda. Capacidad.5x. Eficiencia energética x. III. Un desarrollo prometedor de 3D DRAM: HMC 15

5 Hybrid Memory Cube Consortium (HMCC) Miembros desarrolladores del HMCC (a fecha Julio de 013) Logros y objetivos del HMCC Primeros artículos publicados sobre Stacked DRAM (basados en proyectos de investigación) Primer desarrollo comercial de la tecnología, a cargo de Tezzaron Semiconductors Micron Technologies y Samsung Electronics lanzan el HMCC Nvidia adopta Stacked DRAM para su GPU Pascal Fecha Enero de 005 Octubre de 011 Marzo de 013 Disponible la especificación HMC 1.0 Primeras muestras de producción basadas en el estándar Configuración.5 disponible Abril de 013 Mediados de 01 Finales de 01 Fundadores del consorcio 17 1 Adopción por un amplio número de compañías del sector La iniciativa HMC se orientó inicialmente a HPC y redes, pero también tiene su utilidad para tecnología móvil y como alternativa a DDR. HMC se encuentra ligada a las CPUs, GPUs y ASICs en configuraciones punto a punto, donde el rendimiento de HMC ofrece el ancho de banda de la memoria óptica. 19 El Hybrid Memory Cube a grandes rasgos La hoja de ruta de la DRAM tiene limitaciones en ancho de banda y eficiencia energética. Micron introduce una nueva clase de memoria: Hybrid Memory Cube. Combinación peculiar de DRAMs sobre lógica adicional. Aspectos clave de lógica diseñado por Micron. Enlace de alta velocidad con la CPU. Conexión a DRAM Through Silicon Via masivamente paralela. Aproximación revolucionaria para flanquear el Memory Wall Prototipos finalizados en silicio HOY Eminentemente orientados a HPC y redes, aunque eventualmente pueden dirigirse productos a la computación doméstica Rendimiento sin precedentes Hasta 15 veces superior en ancho de banda a un módulo DDR3 [pero sólo x vs. GDDR5 unidireccionalmente]. Consumo energético por bit inferior en un 70% a las tecnologías actuales[medido en número de señales activas, el ahorro energético sale del 50%]. Ocupa un 90% menos de espacio que los módulos RDIMM actuales [se ahorra hasta el 95%, y midiendo el área de los módulos, superior al de los zócalos]. 0

6 La integración en silicio Cómo revierte todo esto en un chip DRAM? Duplicando su velocidad (*), con 3 responsables básicos: Las celdas de DRAM se organizan en torres gemelas (vaults), que suscriben el entrelazado matricial de los chips de memoria DRAM coetánea. El controlador DRAM se sitúa en la capa inferior, y las matrices de celdas en las capas superiores. y datos se conectan con vías TSV (through-silicon vias) verticales, con surcos esculpidos en silicio de entre y 50 micras (según el fabricante), y cuya latencia vertical es de sólo 1 picosg. para recorrer la altura de 0 capas. Las conexiones más cortas entre el controlador de memoria y las matrices de celdas DRAM mejora un tercio la velocidad. La expansión del bus hasta los 51 bits gracias a la mayor densidad de las conexiones revierte en otro tercio de mejora. La menor latencia gracias a las conexiones TSV más rápidas y los mayores entrelazados en una geometría 3D mejoran el otro tercio. Chips DRAM (celdas) 3D DRAM (celdas) Respuesta Menor latencia de memoria Envío de dirección Recepción de datos de memoria 1 Envío de dirección Recepción de datos Mayor ancho de banda (*) Estimaciones aproximadas, basadas en simulaciones de G. Loh [ISCA'0] que demostraron mejoras de.17x. Integración junto al procesador en estructuras 3D (HMC 1.0) Paso 5: Se incorporan los buses que conectan el chip de memoria 3D con el procesador. del interfaz del interfaz Red de interconexión del interfaz del interfaz Los chips DRAM dedican el 7% del área de silicio a las matrices de celdas. DRAM7 DRAM6 DRAM5 DRAM DRAM3 DRAM DRAM1 DRAM0 Lógica de control Control de la memoria Tecnología 3D para la memoria DRAM Lógica de base Paso : Situamos la lógica común en la base Control de torre Paso 3: Apilamos las capas DRAM Control de torre Paso : Trazamos las TSVs Control de torre Control de torre Paso 1: Particionamos la matriz de celdas en (futuras torres) Enlaces al procesador, que puede ser otro chip 3D, pero más heterogéneo: - Base: CPU y GPU. - Capas: Caché (SRAM). Un multi-core usa >50% del área en SRAM. Y sus transistores conmutan más lentos a voltajes más bajos. Las cachés se entralazarán y apilarán siguiendo a la DRAM. Tecnología 3D para el procesador SRAM7 SRAM6 SRAM5 SRAM SRAM3 SRAM SRAM1 SRAM0 CPU+GPU 3 IV. Mejoras del HMC 1.0 respecto a la DRAM actual

7 HMC soporta stacked DRAM en dos configuraciones diferentes: Cercana y lejana Memoria cercana: Memoria cercana Memoria lejana: Todos los enlaces son directos entre el procesador y la capa de lógica HMC de la base. Maximiza el ancho de banda por cada GB. de capacidad. Orientado a sistemas como: Servidores y HPC. Plataformas híbridas CPU/GPU. Gráficos profesionales. Redes. Equipos de testeo. 5 Una comparativa en ancho de banda con las tecnologías existentes en la actualidad Memoria lejana Algunos enlaces conectan al host, otros a módulos HMCs hermanos. Escalable para cumplir con los requerimientos del sistema. Se puede fabricar en módulos (a insertar en zócalos como DDR) o en chips de soldadura directa (como la memoria de vídeo). Interfaces futuros considerados: Eléctricos de alta velocidad (SERDES). Ópticos. Cualquiera adecuado para otras tareas. 6 En un PC con memoria de cuádruple canal (56 bits): [013] Una CPU con DDR3 a GHz (x 000 MHz): 1 Gbytes/s. [01] Una CPU con HMC 1.0 (primera generación): 30 Gbytes/s. [015] Una CPU con HMC.0 (segunda generación): Gbytes/s. En una tarjeta gráfica con un bus de 3 bits: [013] Una GPU con GDDR5 a 7 GHz (x 3500 MHz): 336 Gbytes/s. [01] Una GPU con 1 chips de 3 bits integrados con near-mem. HMC 1.0 llegaría a 0 Gbytes/s. (6 canales HMC 1.0 de 0 GB/s.). [015] Una GPU con HMC.0 (11 GB/s.) lograría 67 Gbytes/s., lo que duplica el ancho de banda frente a la tecnología GDDR5 más avanzada de finales de (*) Tomando las estimaciones de ancho de banda dadas por el HMCC 1.0 y.0 (0 y GB/s., respectivamente, por cada enlace de bits en cada sentido de la transmisión). Nvidia ya anunció en GTC'13 anchos de banda de 1 TB/s. para Pascal.

8 Lo que cuesta a cada tecnología alcanzar 0 GB/s. Circuitería necesaria DDR3L-00 DDR-300 Stacked DRAM HMC 1.0 Ancho de banda unidirecc. (GB/s.) 1. por módulo 5.6 por módulo 0 por enlace de bits Items necesarios para 0 GB/s. Actividad eléctrica 50 módulos 5 módulos 3 enlaces ( chips 3D) DDR3L-00 DDR-300 Stacked DRAM HMC 1.0 Líneas eléctricas activas necesarias 13 por módulo 1 por módulo Número total de líneas activas Consumo energético Vatios (W.) Consumo total para 0 GB/s. Espacio ocupado en placa base Área del módulo (ancho x alto) Area total ocupada para 0 GB/s. 70 por chip (ahorro el 70%) DDR3L-00 DDR-300 Stacked DRAM HMC por módulo. por módulo 5 por enlace 310 W. 10 W. 0 W. (ahorro el 50%) DDR3L-00 DDR mm. x 10 mm. = 50 mm 5 cm 1.5 cm Stacked DRAM HMC 1.0 V. High Bandwidth Memory (HBM) 109 mm por chip 3.5 cm (ahorro 95%) 9 HBM (High Bandwidth Memory) versus DDR3 and GDDR5 HBM1 de capas HBM de capas DDR3 GDDR5 Pines de datos por chip 3 por chip Prebúsqueda (por cada pin) bytes 3 bytes 3 bytes bytes 1. GB/s (1. Gbps/pin) GB/s (7 Gbps/pin) 1 GB/s (1 Gbps/pin) 56 GB/s ( Gbps/pin) 1.v. 1.v. Granularidad de acceso Ancho de banda máximo Voltaje 1.5v., 1.35v. 1.6v., 1.5v., 1.35v. 10 (1 bytes) 10 (1 bytes) VI. Impacto sobre las GPUs 31

9 17,6 (DP) 0,35 AMD Souther Islands Radeon HD (DP) 0,5 Intel Sandy Bridge Xeon E , 3, (DP) 0,11 Intel MIC Xeon Phi (DP) 0,9 Fermi GF110 Tesla M090 ( SMs) (DP) 1331 (SP) 0,66 0,133 Kepler GK110 Tesla K0X (1 SMXs) (DP) 3950 (SP) 0,190 0,063 Pascal GPU con Stacked 3D DRAM (DP) 1000 (SP) 0,56 0,05 Nvidia Nvidia El modelo Roofline: Análisis de códigos. Hardware vs. Software Tesla K0X: 1310 GFLOPS en doble precisión / x z MH / GD 1/ 5 3 1/ bit 1 C EC s( f) of Códigos saturados en memoria 3 (memory bound kernels) 19 La gráfica sitúa a Xeon Phi 5 un 30% más lenta que K0X, pero en nuestras ejecuciones, K0X is: 50% más rápida en DP. 70% más rápida en SP. Códigos saturados en computación (compute bound kernels) Pascal S ed ck ta : AM DR 1 TB /s Kepler Xeon Phi Radeon Fermi. Xeon 1 3 1/ 0 FLOP/byte (intensidad operacional) = GFLOP/s / GB/s escala log/log 376 1/ 1/ 1/ 1 Opteron MxM (DGEMM en BLAS) 59,7 Opteron Zona de equilibrio Byte/ FLOP Bulldozer Nvidia 096 GFLOP/s. AMD 3 19 GB/s. FFT 3D Modelo Stencil 376 Microarquit. SpMxV Marca GFLOP/s (rendimiento en doble precisión) GFLOP/s (rendimiento en doble precisión) Plataformas a comparar 3 Procesador GB/s. GFLOP/s. B/FLOP Opteron (DP) 0,35 Radeon 1010 (DP) 0, (DP) 0,11 Xeon Phi (DP) 0,9 Fermi (DP) 1331 (SP) 0,66 0,133 Kepler (DP) 3950 (SP) 0,190 0, (DP) (SP) 0,56 0,05 Xeon 1 FLOP/byte (intensidad operacional) 56 Pascal A pesar de todos los esfuerzos de programación, el 70% de los códigos científicos siguen siendo memory-bound (1 de 31 en benchmark Parboil) Pascal Kepler / 1/ 1/ 1/ 1 FMM ML PP FMM ML (Esférico) 1 FMM ML (Cartesiano) 56 Stencil GFLOP/s (rendimiento en doble precisión) El modelo Roofline: Evolución del software. Caso estudio: FMM (Fast Multipole Method) 3 1 FLOP/byte (intensidad operacional) VII. Conclusiones y bibliografía

10 Conclusiones Para más información La mayoría de códigos acelerados en GPU tienen su limitador de rendimiento en el acceso a memoria y han evolucionado protegiéndose frente a ella. Aparece la integración 3D que favorece sobre todo a la memoria, permitiéndole: Reducir la latencia de su estructura de celdas, que llevaba dos décadas estancada. Mejorar la saga DDR#, aumentando: Capacidad (3D), comunicaciones (TSVs) y entrelazado (torres). La próxima generación de chips 3D será más heterogénea, para migrar hacia el SoC (System-on-Chip) integrando ya juntos todos los protagonistas: CPU, GPU, SRAM y DRAM. 37 El consorcio Hybrid Memory Cube: (especificación 1.0 disponible). Un completo índice de empresas ligadas a la memoria 3D (productos, materiales, equipos, investigación, etc): Las especificaciones del módulo de memoria 3D DRAM de Viking Technology, ya disponible comercialmente: El modelo Roofline, una delicia de artículo: S. Williams, A. Waterman, D. Patterson. "Roofline: An Insightful Visual Performance Model for Multicore Architectures". Communications of the ACM, Abril, Agradecimientos Muchas gracias por vuestra atención A los ingenieros de Nvidia, por compartir ideas, material, diagramas, presentaciones. Y a la firma, por su financiación. A Lorena Barba (CUDA Fellow), por su gran aportación al modelo Roofline y su aplicación al algoritmo FMM. A Scott Stevens y Susan Platt (Micron) por el acceso a material técnico del HMCC, incorporado a esta presentación bajo su explícito permiso. Siempre a vuestra disposición en el Dpto. de Arquitectura de Computadores de la Universidad de Málaga: ujaldon@uma.es Teléfono: Página Web: