Kepler. 1. Presentación de la arquitectura. Contenidos de la charla. Kepler, Johannes ( )

Transcripción

1 Contenidos de la charla Manuel Ujaldón Nvidia CUDA Fellow Dpto. Arquitectura de Computadores Universidad de Málaga 1. Presentación de la arquitectura [7 diapositivas] 2. La memoria y el transporte de datos [9] 3. Los cores [8] 4. Desplegando todo el paralelismo en [12] 5. Mejoras funcionales [7] 1. Paralelismo dinámico. 2. Hyper-Q. 6. Optimizaciones futuras [material no impreso] 1. Vectorización: El tamaño del warp. 2. Stacked-DRAM: Memoria apilada sobre el procesador Presentación de la arquitectura 3, Johannes ( ) Autor de las leyes del movimiento planetario. Primera ley: Las órbitas de los planetas son planas. El sol está en el plano de la órbita. La trayectoria del planeta respecto del sol es una elipse en la que el sol ocupa uno de los fotos. Segunda ley: El radio vector que une al sol y el planeta barre áreas iguales en tiempos iguales. Un planeta se mueve más rápidamente en su perihelio que en su afelio, y mientras más excéntrica sea su órbita, mayor será la diferencia de velocidad entre sus extremos. Tercera ley: Los cuadrados de los períodos de revolución en torno al sol son proporcionales a los cubos de los semiejes mayores de las órbitas. La velocidad media con que un planeta recorre su órbita disminuye a medida que el planeta está más lejos del sol. La influencia que el sol ejerce sobre los planetas disminuye con la distancia. 4

2 Nuestra también tiene tres leyes Y tres innovaciones principales SMX: Un multiprocesador con más recursos y menos consumo. Paralelismo dinámico: La GPU es más autónoma, puede lanzar kernels CUDA. Consumo Rendimiento Programabilidad Hyper-Q: Múltiples kernels pueden compartir los SMX. 5 6 Modelos comerciales de : GeForce y Tesla frente a frente Resumen de sus rasgos más sobresalientes Fabricación: 7100 Mt. integrados a 28 nm. por TSMC. Arquitectura: Entre 7 y 15 multiprocesadores SMX, dotados de 192 cores cada uno. GeForce GTX Titan Modelos más populares: K20 (con 13 SMX), K20X (14), K40 (15). Diseñada para jugar: Aritmética: Más de 1 TeraFLOP en punto flotante de doble precisión (formato IEEE-754 de 64 bits). Orientada a HPC: El precio es prioritario (<500 ). Fiabilidad (tres años de garantía). Gran disponibilidad/popularidad. Pensada para conectar en clusters. Poca memoria de vídeo (1-2 GB.). Más memoria de vídeo (6-12 GB.). Relojes un poco más rápidos. Ejecución sin descanso (24/7). Hyper-Q sólo para streams CUDA. Hyper-Q para procesos MPI. Perfecta para desarrollar código GPUDirect (RDMA) y otras que luego pueda disfrutar Tesla. coberturas para clusters de GPUs. Los valores concretos dependen de la frecuencia de cada modelo. Con sólo 10 racks de servidores, podemos alcanzar 1 PetaFLOP. Principales innovaciones en el diseño de los cores: Paralelismo dinámico. Planificación de hilos (Hyper-Q). 7 8

3 GK110: Disposición física de las UFs para la Tesla K40 dotada de 15 SMXs. Detalle de los multiprocesadores SMX Planificación y emisión de instrucciones en warps Front-end Ejecución de instrucciones. 512 unidades funcionales: para aritmética entera para aritmética s.p para aritmética d.p para carga/almacen para SFUs (log,sqrt, ) Back-end Interfaz Acceso a memoria 9 10 La memoria en las Teslas: Fermi vs. 2. La memoria y el transporte de datos Tarjeta gráfica Tesla Registros de 32 bits / multiprocesador M2075 M2090 K20 K20X K Tamaño caché L1 + mem. compartida 64 KB. 64 KB. 64 KB. 64 KB. 64 KB. Anchura de los 32 bancos de m.c. 32 bits 32 bits 64 bits 64 bits 64 bits Frecuencia de SRAM (la de la GPU) 575 MHz 650 MHz 706 MHz 732 MHz 745, 810, 875 Ancho de banda L1 y mem. compartida 73.6 GB/s GB/s GB/s GB/s GB/s. Tamaño de la caché L2 Ancho de banda L2 (bytes por ciclo) 768 KB MB. 1.5 MB MB L2 en ops. atómicas (dir. compartida) 1/9 por clk 1/9 por clk 1 por clk 1 por clk 1 per clk L2 en ops. atómicas (dirs. separadas) 24 por clk 24 por clk 64 por clk 64 por clk 64 per clk Anchura del bus de memoria DRAM 384 bits 384 bits 320 bits 384 bits 384 bits Frecuencia de la memoria (MHz) 2x x x x x 3000 Ancho de banda DRAM (no ECC) Tamaño DRAM (todas GDDR5) Bus externo de conexión con la CPU KB. 144 GB/s. 177 GB/s. 208 GB/s. 250 GB/s. 288 GB/s. 6 GB. 6 GB. 5 GB. 6 GB. 12 GB. PCI-e 2.0 PCI-e 2.0 PCI-e 3.0 PCI-e 3.0 PCI-e

4 Diferencias en la jerarquía de memoria: Fermi vs. Motivación para usar la nueva caché de datos 48 Kbytes extra para expandir el tamaño de la caché L1. Posee el mayor ancho de banda en caso de fallo a caché. Usa la caché de texturas, pero de forma transparente al programador, y elimina el tiempo de configuración de ésta. Permite que una dirección global pueda buscarse y ubicarse en esta caché, utilizando para ello un camino separado del que accede a caché L1 y memoria compartida. Es flexible, no requiere que los accesos estén alineados. Gestionada automáticamente por el compilador Cómo utilizar la nueva caché de datos Comparativa con la memoria de constantes Declarar los punteros con el prefijo "const restrict ". El compilador automáticamente mapeará la carga de esos valores en la caché para usar el nuevo camino de datos a través de la memoria de texturas. A comparar Memoria de constantes Caché de datos de sólo lectura Disponibilidad Desde CUDA Compute Capability 1.0 A partir de CCC 3.5 (aunque desde CCC 1.0 se podía usar la memoria de texturas manualmente) global void saxpy(float x, float y, const float * restrict input, float * output) { size_t offset = threadidx.x + (blockidx.x * blockdim.x); Tamaño Implementación hardware Acceso Mejor rasgo 64 Kbytes 48 Kbytes Una partición de la memoria global (DRAM) A través de una caché de 8 Kbytes que posee cada multiprocesador SM(X) Latencia muy baja Caché de texturas que expande la L1 (SRAM) Mediante un camino aparte en el cauce de segmentación gráfico Gran ancho de banda } // El compilador utilizará la nueva caché para "input" output[offset] = (input[offset] * x) + y; 15 Peor rasgo Mejor escenario de uso Menor ancho de banda Acceso con el mismo coeficiente (sin usar threadidx) a un pequeño conjunto de datos de sólo lectura Mayor latencia Cuando el kernel es memory-bound, aún después de haber saturado el ancho de banda con memoria compartida 16

5 Comunicación entre las memorias de las GPU En Fermi se puso en marcha GPU Direct 1.0 para permitir la comunicación entre CPUs a través de una red. + CUDA 5 soportan GPUDirect-RDMA [Remote Direct Memory Access] Esto permite una transferencia más directa entre GPUs. Normalmente, el enlace es PCI-express o InfiniBand. Receptor Transmisor GPUDirect-RDMA en Maxwell Resultados preliminares de GPUDirect-RDMA (mejoran con CUDA 6.0 & OpenMPI) La situación será más compleja en la próxima generación de GPUs, pues tendrán un espacio de memoria unificado con la CPU. Latencia GPU-GPU (microsegundos) Tiempo de ejecución total (segundos) Tamaño del mensaje (bytes) Número lateral Latencia inter-nodo usando: Mejor escalado en MPI: GPUs Tesla K40m (no GeForces). Código: HSG (bioinformática). Librería MPI MVAPICH2. 2 nodos de GPU. 19 ConnectX-3, IVB 3GHz. 4 procesos MPI por nodo. 20

6 Un breve recordatorio de CUDA 3. Los cores GPU Multiprocesador N Hilo Multiprocesador 2 Multiprocesador 1 Bloque de hilos Registros Procesador 1 Memoria compartida Registros Procesador 2 Registros Procesador M Memoria global Unidad de Control SIMD Caché para constantes Caché para texturas Memoria integrada en la GPU Memoria externa a la GPU (incluida dentro de la tarjeta gráfica) Malla 0 (grid) Malla 1 (grid) y de cómo va escalando la arquitectura en perspectiva: Recursos hardware y rendimiento pico Arquitectura Tesla G80 Tesla GT200 Fermi GF100 Fermi GF104 GK104 GK110 Tarjeta Tesla (modelo comercial) Modelo GeForce similar en cores Generación de GPU (y CCC) M2075 M2090 K20 K20X K40 GTX 470 GTX GTX Titan - Fermi GF100 (2.0) GK110 (3.5) Marco temporal CUDA Compute Capability (CCC) N (multiprocs.) Multiprocesadores x (cores/multipr.) Número total de cores Tipo de multiprocesador Distancia de integración de los trans. Frecuencia de la GPU (para gráficos) Frecuencia de los cores (para GPGPU) 14 x x x x x SM SMX con paralelismo dinámico y HyperQ 40 nm. 40 nm. 28 nm. 28 nm. 28 nm. 575 MHz 650 MHz 706 MHz 732 MHz 745,810,875 MHz 1150 MHz 1300 MHz 706 MHz 732 MHz 745,810,875 MHz M (cores/multip.) Número de cores Número de cores para simple precisión GFLOPS (pico en simple precisión) Número de cores para doble precisión GFLOPS (pico en doble precisión)

7 GPU Boost Permite acelerar hasta un 17% el reloj de la GPU si el consumo de una aplicación es bajo. Se retornará al reloj base si se exceden 235 W. Se puede configurar un modo persistente de vigencia permanente de un reloj, y otro para ejecuciones puntuales. Consumo sin apurar Maximiza los relojes gráficos sin salirse de los márgenes de consumo oficiales Rendimiento Board Power (Watts) Cada aplicación tiene un comportamiento distinto en relación al consumo Consumo medio en vatios sobre la K20X: Avg GPU Power in Watts for Real Applications on K20X AMBER ANSYS Black ScholesChroma GROMACS GTC LAMMPS LSMS NAMD Nbody QMCPACK RTM SPECFEM3D Reloj base Reloj a máxima frecuencia 745 MHz 810 MHz 875 MHz Aquellas aplicaciones que menos consumen pueden beneficiarse de un reloj más elevado Para la K40 se definen tres saltos de frecuencia, con incrementos del 8.7%. Comparativa de implementaciones Resulta mejor un régimen estacionario para la frecuencia desde el punto de vista del estrés térmico y la fiabilidad. Reloj acelerado #2 875 MHz Otros fabricantes Tesla K40 Reloj acelerado #1 Reloj base 810 MHz 745 MHz Reloj de la GPU Boost Clock # 2 Boost Clock # 1 Base Clock # 1 235W 235W 235W Conmutación automática de reloj Relojes deterministas Consumo máximo. Referencia (peor caso). Consumo moderado. Ej: AMBER Consumo bajo. Ej: ANSYS Fluent 27 28

8 Lista de comandos GPU Boost Comando nvidia-smi -q -d SUPPORTED_CLOCKS nvidia-smi -ac <MEM clock, Graphics clock> nvidia-smi -pm 1 nvidia-smi -pm 0 nvidia-smi -q -d CLOCK Efecto Muestra los relojes que soporta nuestra GPU Activa uno de los relojes soportados Habilita el modo persistente (el reloj sigue vigente tras el apagado) Modo no persistente: El reloj vuelve a su configuración base tras apagar la máquina Consulta el reloj en uso 4. Desplegando todo el paralelismo en nvidia-smi -rac Inicializa los relojes en su configuración base nvidia-smi -acp 0 Permite cambiar los relojes a los usuarios que no son root Del multiprocesador SM de Fermi GF100 al multiprocesador SMX de GK110 Comparación entre la emisión y ejecución de instrucciones (front-end vs. back-end) Búsqueda y emisión (front-end) Ejecución en SM-SMX (back-end) Fermi (GF100) Puede emitir 2 warps, 1 instr. cada uno. Total: Máx. 2 warps por ciclo. Warps activos: 48 en cada SM, seleccionados de entre 8 bloques máx. En GTX580: 16*48= 768 warps activos. 32 cores (1 warp) para "int" y "float". 16 cores para "double" (1/2 warp). 16 unids. de carga/almacen. (1/2 warp). 4 unids. de funcs. especiales (1/8 warp). Total: Hasta 5 warps concurrentes. (GK110) Puede emitir 4 warps, 2 instrs. cada uno. Total: Máx. 8 warps por ciclo. Warps activos: 64 en cada SMX, seleccionados de entre 16 bloques máx. En K40: 15 * 64 = 960 warps activos. 192 cores (6 warps) para "int" y "float". 64 cores para "double" (2 warps). 32 unids. de carga/almacen. (1 warp). 32 unids. de funcs. especiales (1 warp). Total: Hasta 16 warps concurrentes. 31 En, cada SMX puede emitir 8 warp-instrucciones por ciclo, pero debido a limitaciones por recursos y dependencias: 7 es el pico sostenible. 4-5 es una buena cantidad para códigos limitados por instrucción. <4 en códigos limitados por memoria o latencia. 32

9 Mejoras en concurrencia y paralelismo Gigathread, o cómo el programa es devorado por el procesador Generación de GPU Modelo hardware CUDA Compute Capability (CCC) Número de hilos / warp (tamaño del warp) Máximo número de warps / Multiprocesador Máximo número de bloques / Multiprocesador Máximo número de hilos / Bloque Máximo número de hilos / Multiprocesador Fermi GF100 GF104 GK104 GK Cada malla (grid) contiene un número de bloques, que son asignados a los SMXs (hasta 16 en, 8 en Fermi). Los bloques se dividen en warps o grupos de 32 hilos. Los warps se ejecutan para cada instrucción de los hilos (hasta 64 warps activos en, 48 en Fermi). Ejemplo: Mejoras cruciales para ocultar latencias Máx. concurrencia en cada SMX Expresar todo el paralelismo posible: Los SMX son más anchos que los SM Tetris (baldosa = warp_instr.): - Emite 4 warp_instrs. - Ejecuta hasta 10 warps = 320 hilos. - Warp_instrs. son simétricos y se ejecutan todos en 1 ciclo. Correspondencia de colores: para instrucciones int. para instrs. float. double. Emite 4 warp_instrs. load/store. log/sqrt. El jugador planifica los warps! Ejecuta hasta 10 warp_instrs. instr. warp G80: Tarda 4 ciclos en ejecutar cada warp_instrs. G80: 16 U.F. Ejemplo: Kernel con bloques de 384 hilos (12 warps). Fermi: - Emite 2. - Ejecuta hasta 5. SM en Fermi: 100 U.F. paralelas. Bloque 0: Bloque 1: sub fmadd fdiv64 load sqrt : - Emite 4 warps x 2 instrs. - Ejecuta hasta 16 warp_instrs. (512 unidades funcionales). SMX en : 512 U.F. paralelas. 35 Paralelismo en SMX: A nivel de hilo (TLP) y a nivel de instrucción (ILP) Incrementar paralelismo verticalmente con ILP: Si tenemos instrucciones más independ. Incrementar el paralelismo horizontalmente a través del TLP: Más warps concurrentes (bloques más grandes y/o más bloques activos en cada SMX). Los SMX pueden potenciar el ILP disponible de forma intercambiable con el TLP: Es mucho mejor que Fermi para esto. Algunas veces es más fácil incrementar el ILP que el TLP (por ejemplo, desenrrollar un lazo en un pequeño factor): El número de hilos puede estar limitado por el algoritmo o los límites HW. Necesitamos el ILP para lograr un elevado IPC (Instrs. Per Cycle). 36

10 En las GPUs concurren todas las formas de paralelismo. Para la K40: Cómo trabaja el front-end de la GPU: Emisión y planificación de warps 1: De tareas (TLP) 2: De instrs. (ILP) SMX 0 SMX 15 3: De datos (SIMD) 4: Vectorial (warp = 32) Imaginar un tetris 3D con 15 cubiletes y fichas cayendo simultáneamente en todos ellos, porque así funciona la K SM (Fermi) SMX () 38 Cómo trabaja el back-end de la GPU: Ocupación de las Unidades Funcionales Puntualizaciones al modelo tetris SM (Fermi) SMX () 39 En Fermi, los tiles rojos no pueden combinarse con otros colores (las instrucciones de punto flotante en doble precisión no pueden emitirse emparejadas con otras). En, no se pueden tomar 8 warp_instrs. en vertical, deben ser de anchura 2 como mínimo (cada uno de los 4 planificadores de warps toma 2 instrucciones consecutivas). Las instrucciones tienen distinta latencia, así que las que consuman más de un ciclo (como los operandos en doble precisión) deben expandirse verticalmente en proporción. El programa suele tener más presencia de cálculos enteros que del resto, por lo que en la práctica hay más presencia de fichas amarillas que en el ejemplo mostrado. 40

11 Caso estudio: Polinomios de Zernike Utilizar el CUDA Visual Profiler para conocer qué tal se adapta nuestra aplicación Recursos GPU ALU FPU 32 bits FPU 64 bits Carga/ almacen. SFU Fermi Kernel de los polinomios de Zernike Mejor 32% 32% 16% 16% 4% 37.5% 37.5% 12.5% 6.25% 6.25% 54% 21% 0% 25% 0% Fermi Fermi Fermi Fermi se encuentra más equilibrada para este caso. La distribución de recursos en mejora la ejecución de la aritmética entera, pero empeora la de punto flotante y carga/almacenamiento. El resto no se utilizan Principales mejoras hardware 5. Mejoras funcionales: Paralelismo dinámico y Hyper-Q Computación a gran escala (grandes tamaños de problema) Generación de GPU Modelo hardware Compute Capability (CCC) Fermi GF100 GF104 GK104 GK110 Limitación Impacto Máxima dimensión X de la malla 2^16-1 2^16-1 2^32-1 2^32-1 Software Tamaño del problema Novedades funcionales: 43 Generación de GPU Modelo hardware Compute Capability (CCC) Paralelismo dinámico Hyper-Q Fermi GF100 GF104 GK104 GK110 Limitación Impacto No No No Sí Hardware No No No Sí Hardware Estructura del problema Planificación de hilos 44

12 Qué es el paralelismo dinámico? La habilidad para lanzar nuevos procesos (mallas de bloques de hilos) desde la GPU de forma: Dinámica: Basándonos en datos obtenidos en tiempo de ejecución. Simultánea: Desde múltiples hilos a la vez. Independiente: Cada hilo puede lanzar una malla diferente. Así se hacían las cosas en la era pre-: La GPU era un mero esclavo del host o CPU Gran ancho de banda en las comunicaciones: Externas: Superior a 10 GB/s (PCI-express 3). Internas: Superior a 100 GB/s (memoria de vídeo GDDR5 y anchura de bus en torno a 384 bits, que es como un séxtuple canal en CPU). Función Lib Lib Función Función CPU GPU CPU GPU Fermi: Sólo la CPU puede generar trabajo en GPU. : La GPU puede generar trabajo por sí sola. Init Alloc GPU CPU Operación 1 Operación 2 Operación Y así se pueden hacer con : Las GPUs lanzan sus propios kernels Antes la GPU era un co-procesador Con, la GPU is más autónoma: Entra en escena el paralelismo dinámico CPU GPU CPU GPU El comportamiento de los warps nos enseña que la GPU no es un procesador regular Factores impredecibles en tiempo de ejecución dificultan un reparto equilibrado de la carga computacional entre los multiprocesadores. Aquí vemos un ejemplo de la varianza existente entre los 8 últimos warps ejecutados en cada SM: Ahora los programas van más rápido y se expresan de una forma más natural

13 % utilización de la GPU % utilización de la GPU Hyper-Q Sin Hyper-Q: Multiproceso por división temporal 100 En Fermi, diversos procesos de CPU ya podían enviar sus mallas de bloques de hilos sobre una misma GPU, pero un kernel no podía comenzar hasta que no acabase el anterior. En, pueden ejecutarse simultáneamente hasta 32 kernels procedentes de: Varios procesos de MPI, hilos de CPU o streams de CUDA. Esto incrementa el porcentaje de ocupación temporal de la GPU. FERMI 1 sola tarea MPI activa KEPLER 32 tareas MPI simultáneas A B C D E 50 0 A B C D E F Tiempo Con Hyper-Q: Multiproceso simultáneo C B E A D C D C F B F 49 F 0 F E A B A E D Tiempo ganado Procesos en CPU mapeados sobre GPU 50 0 Síntesis final Bibliografía recomendada simboliza la generación de GPUs de Nvidia para , más adecuada para miles de cores. Habilita todas las formas de paralelismo a gran escala: De tareas, de instrucciones, de datos y vectorial. Hace énfasis en la eficiencia energética y en ampliar la programabilidad del modelo CUDA. La GPU es más autónoma, pero a la vez admite mayor interacción con la CPU. También se mejora la jerarquía de memoria y las conexiones entre las memorias de las GPUs. La conexión SMX-DRAM será determinante en el futuro. 51 Descripciones y especificaciones técnicas de los modelos Tesla vigentes en la actualidad: Documentación sobre CUDA para : Best Practices Guide: Tuning Guide: Webinars [de GTC'12 a GTC'13, continua actualización]: Especialmente recomendables: "CUDA 5 and beyond" [por Mark Harris]. "New features in the CUDA programming model" [Stephen Jones & Lars Nyland]. "Introduction to dynamic parallelism" [Stephen Jones]. "Inside the Tesla K20 family" [Julia Levites & Stephen Jones]. 52