La GPU como arquitectura emergente para supercomputación. Nicolás Guil y Manuel Ujaldón Dpto. Arquitectura de Computadores Universidad de Málaga

Transcripción

1 La GPU como arquitectura emergente para supercomputación Nicolás Guil y Manuel Ujaldón Dpto. Arquitectura de Computadores Universidad de Málaga

2 Sumario I. El proceso de renderización [7] II. El nacimiento de GPGPU y su evolución [9] III. Arquitectura de la tarjeta gráfica y la memoria de vídeo [12] IV. Comparativa CPU-GPU y contribuciones de la GPU [5] V. Computación gráfica de altas prestaciones para propósito general [20] (OPCIONAL) 2

3 I. El proceso de renderización

4 El proceso de renderización 4

5 Operaciones sobre vértices: v Los elementos de la escena 5

6 Transformaciones geométricas tricas: El espacio tridimensional Viewing Modeling Projection Viewport Trípode Modelo Lente Fotografía Posicionamos el volumen de visualización en el mundo Posicionamos los modelos en el mundo Determinamos la forma del volumen de visualización Determinamos el área 2D en el que visualizamos la escena 6

7 Operaciones sobre fragmentos: Polígonos 1.- Unión de vértices según primitivas: Interpolación 2.- Relleno de polígonos: Rasterización 7

8 Operaciones con texturas y píxeles: Color Pegado de texturas, dando lugar a los píxeles de cada fragmento. 8

9 Etapas del procesamiento gráfico Entrada: Lista de vértices y sus atributos. 1. Procesar vértices (vertex shader). 2. Agrupar en primitivas (primitive assembly). 3. Rotar, trasladar, escalar, iluminar (T & L). 4. Acotar e interpolar (clipping, culling, interpolate). 5. Convertir primitivas a mallas de puntos (rasterizer). 6. Procesar píxeles (pixel shader). 7. Aplicar texturas. 8. Mezclar elementos (blending). Salida: Memoria de vídeo. 9

10 Programación n del procesador gráfico 10

11 II. El nacimiento de GPGPU y su evolución n durante el último lustro

12 2003. El punto de partida Se popularizan los shaders y su programación en Cg. Comienzan a verse los primeros códigos acelerados en la GPU pero la implementación es compleja y requiere un gran conocimiento del cauce de renderización gráfico: Tiempo de desarrollo elevado Perfil de usuario especializado. 12

13 2004. Polivalencia y rendimiento. Emerge con fuerza GPGPU, un movimiento que aglutina los esfuerzos académicos que montan algoritmos de propósito general en GPU: Simulaciones físicas. Procesamiento de señal. Biología computacional. Visión por computador. Gestión de bases de datos. Computación numérica. 13

14 2005: Consolidación de resultados Sistemas de partículas Simulaciones físicas Dinámica molecular Ganancia esperada en GPU: 2-3x Procesamiento de señal Consultas a B.D. Minería de datos Operaciones de reducción Ganancia esperada en GPU: 5-10x Renderizado de volúmenes Procesamiento de imágenes Bioinformática Ganancia esperada en GPU: 10-20x Ray Tracing Visualización Photon Mapping Ganancia: > 20x 14

15 2006. Emerge CUDA Ya no se discute el rendimiento ni la polivalencia del hardware gráfico, pero a la GPU aún le quedan dos asignaturas pendientes: Precisión de los resultados: Ausencia de floats (FP32) Facilidad de programación. Excesivo tiempo de desarrollo Ambos aspectos se resuelven con la llegada de CUDA en la serie 8 de Nvidia (Noviembre de 2006). CUDA: Compute Unified Device Architecture. CUDA: Cómo Utilizar un Dispositivo Avanzado con eficiencia, versatilidad, precisión y sencillez. 15

16 2007. Unificación n de sombreadores 16

17 Las dos lecciones más m s importantes que nos enseña a el procesamiento gráfico No confiar el futuro a la frecuencia, sino a la replicación de núcleos, que pueden aprovechar igualmente las mejoras del transistor. Posteriormente, se unifican estos núcleos. El ancho de banda sostenido con memoria sigue siendo la clave para un rendimiento elevado. Algunos fabricantes (IBM-CELL, Nvidia-CUDA) optan por un control más explícito de la memoria. 17

18 Lección n 1: Paralelismo masivo en procs.. de vértices y píxeles: p GeForce 6 y 7 (2004/2006) 18

19 Lección n 2: Reorganización n de procesadores y memoria: G80 (2007/2008) 19

20 Los paradigmas de computación n hasta llegar a CUDA CPU (desde los 70): GPU (hasta 2006): CUDA (desde 2007): 20

21 III. Arquitectura de la tarjeta gráfica y la memoria de vídeov

22 El diagrama de bloques de la tarjeta gráfica 22

23 Segmentación n y movimiento de datos en la GPU frente a la CPU La GPU también es una procesador segmentado, pero con rasgos muy particulares: No fluyen las instrucciones, sino los datos. Los operadores son unarios, lo que evita las dependencias y maximiza el paralelismo. Se dispone de un menor número de etapas dada la baja frecuencia. Se fomenta el procesamiento vectorial y superescalar, buscando aprovechar el paralelismo de datos. Parece un cauce de segmentación más homogéneo, pero no lo es: Cualitativamente: Los datos no son los mismos al principio (vértices) que al final (píxeles). Cuantitativamente: Los datos son más numerosos conforme se aproximan al final. 23

24 El diferente ritmo del procesador y la memoria 100,000 10,000 µproc 60%/año Rendimiento 1, Procesador Memoria La diferencia crece un 50% cada año DRAM 7%/año. Año 24 24

25 La memoria: Acceso y anchura 1992: FPM RAM. Acceso bidimensional por fila y columna. 1995: VRAM. Doble puerto, conectado a una línea de datos de 8 bits, con un RAMDAC de 32, 64 o 128 bits. 1997: SDRAM. Bancos entrelazados de factor 2 o 4. Tecnología barata. A partir de aquí, y durante una década, se producirán sucesivos desdobles en la anchura del bus cada dos años: 1998 (64 bits), 2000 (128 bits), 2003 (256 bits), 2006 (384 bits) y 2007 (512 bits), donde se alcanzan picos de ancho de banda superiores a 100 Mbytes/sg. 2008: Reducción del bus hasta 256 bits, como consecuencia de la reducción de área en el chip GPU y la mayor presencia de caché. 25

26 La memoria: Latencia Respecto a los modelos comerciales de memoria principal, la memoria de vídeo lleva una ventaja de dos generaciones: 26

27 La memoria: Ancho de banda. Velocidad por cada pin de datos Cada nueva generación ha logrado mejorar más proporcionalmente que su antecesora. 27

28 La memoria: Ancho de banda. Velocidad por cada pin de datos El ritmo de mejora se acerca al de una progresión geométrica 28

29 La memoria: Ancho de banda. Velocidad por cada pin de datos aunque en realidad se encuentra un poco por debajo de ella. 29

30 La memoria: Formas de uso La video-consola se aprovecha de la tecnología de memoria de vídeo, y el PC se beneficia de ambas. 30

31 La memoria: Su controlador Responsable del diálogo conjunto con los chips de memoria de vídeo de forma síncrona. Se ubica dentro del área de integración de la GPU. Esto lo emplea el K8 de AMD y luego Intel. Se conecta físicamente al bus de memoria. Establece una longitud de ráfaga fija para los diálogos, que suele ser 8 en Esto sugiere una línea de caché de 256 bytes (bajo bus de 256 bits). Responsable de conocer la relación con la memoria caché interna y la memoria principal externa. 31

32 Controlador de memoria. Arquitectura de la saga GeForce 32

33 Controlador de memoria. Arquitectura de la saga GeForce 33

34 Controlador de memoria. Arquitectura de la saga GeForce CONGESTION 34

35 Puntos débiles d del controlador de memoria en la saga GeForce Problemas: - Densidad de cableado. - Los cables de la DRAM saturan todo el espacio. - Enrutado complejo conduce a retardos en las transferencias. Penaliza: TAMAÑO ANCHURA FRECUENCIA Necesitamos un sistema de memoria más escalable Qué tal algo así: 35

36 Controlador de memoria. Arquitectura de la saga Radeon 36

37 Controlador de memoria saga Radeon: Servicio de una petición ELEMENTOS: -8 clientes de memoria. - 8 módulos de memoria (32 bits cada uno). - 4 paradas en el anillo (una por cada 64 bits). - 2 buses de lectura (en direcciones opuestas, de 256 bits cada una) - 1 red de escritura. 37

38 IV. Comparativa CPU-GPU y contribuciones de la GPU

39 De dónde d venimos y hacia dónde d vamos (según n la ITRS) Chips Memoria Tendencia Frecuencia (MHz): x / década Transistores (Mill.): x / década Consumo (W.) x / década Tamaño (Mbytes): x / década A. Banda (Gb/s): x / década Latencia (RAS, ns): x / década Ritmo evolutivo: Chips: Transistores > Frecuencia > Consumo Memoria: Tamaño > Ancho banda > Latencia 39

40 Comparativa de consumo CPU vs. GPU Movimiento de datos: Algo inferior en la GPU por la mayor proximidad de datos en su cauce Cálculo y computación: Muy superior en la GPU por el creciente número de transistores activos, consecuencia del elevado paralelismo. En conjunto: Una GPU actual puede duplicar el consumo de su CPU homóloga, llegándose a alcanzar 200 W frente a 100 W. Porcentaje de W. gastados para: CPU GPU Computación: 10% 30% Mov. datos: Consumo en los modelos de 2007 GeForce 8800GTX Radeon 2900XT Sólo GPU (pico) 170 W. 180 W. 90% 70% Todo el PC 350 W. 360 W. 40

41 sin embargo, la CPU presenta más m s puntos tórridos Fallece a una temperatura inferior Límites térmicos en CPU: Area de integración: 95ºC. Diodo térmico (lomo): 75ºC. Disipador: 65ºC. Aire de la carcasa: 55ºC Límites térmicos en GPU: Hasta 30 ºC superiores a la CPU. Para bajar la temperatura: Reducir la frecuencia. Reducir el voltaje. Mejorar el sistema de disipación: Material (Al/Cu), adherencia y dimensiones, ventilador (cm. y RPM). 41

42 La potencia bruta de cálculo c en ambos procesadores 42

43 Síntesis comparativa CPU-GPU A favor de la CPU: Cachés muy rápidas. Saltos de grano fino. Muchos paradigmas para ejecutar procesos e hilos. Alto rendimiento sobre un único hilo. PARALELISMO DE TAREAS A favor de la GPU: DRAM muy rápida. Muchas UFs para cálculos matemáticos. Microprogramación utilizando sombreadores. Alto rendimiento cuando se ejecutan tareas paralelas. PARALELISMO DE DATOS 43

44 Aportaciones de la GPU Código: Reorganizarlo de forma data-parallel desde el principio (GPU), en lugar de proceder secuencialmente para luego quedar en manos del paralelismo a nivel de instrucción (CPU). Datos: Mover el trabajo hacia donde están los datos (GPU), en lugar de mover los datos hacia donde está el trabajo (CPU). Mixto: Invertir el tradicional cuello de botella en el acceso a datos. Más transistores y menos velocidad para los cores, menos transistores y más velocidad para la memoria. 44

45 Escalabilidad de la GPU frente a la CPU Tipo Procesador Cores /Chip ALUs/ core SIMD width MaxT GPU Radeon HD GPU GeForce CPU Intel Core 2 Quad CPU STI Cell BE CPU Sun UltraSparc T Intel: Sólo el procesamiento SSE, sin incluir la FPU x86. STI (Sony-Toshiba-IBM): Sólo los cores de los SPEs, sin contar el PPE. ALUs/core: Punto flotante de 32 bits (las ALUs son suma-producto). T: El ratio entre los contextos de threads de un core y los threads que pueden ejecutarse de forma simultánea. Describe hasta qué punto los cores de un procesador son capaces de ocultar sus paradas a través de multithreading hardware. 45

46 Cómo pueden complementarse CPU y GPU Las CPU tienen un modelo de programación que resulta más familiar a usuarios y programadores, pero las GPU tiene un rendimiento pico superior. SOLUCIÓN: La GPU se acerca a la CPU en el plano SW: GPGPU. Cg de Nvidia (2003). CUDA de Nvidia (2006). CAL de AMD/ATI (2008). La CPU se deja influenciar por la GPU a nivel HW: Cell, de Sony-Toshiba-IBM (2006). Larrabee, de Intel (2009). Fusion, de AMD (2009). 46

47 V. Computación n gráfica de altas prestaciones para propósito general

48 Nuevo perfil de usuario en Nvidia GeForce Ocio y entretenimiento Quadro Diseño y creación Tesla TM Computación de altas prestaciones Todos ellos basados en una misma microarquitectura 48

49 Comparativa GeForce, Quadro y TESLA en la serie 8 Modelo comercial Multiprocesadores Versión de CUDA GeForce 8800 Ultra, 8800 GTX GeForce 8800 GT GeForce 8800M GTX GeForce 8800 GTS GeForce 8800M GTS GeForce 8600 GTS, 8600 GT, 8700M GT, 8600M GT/GS GeForce 8500 GT, 8400 GS, 8400M GT, 8400M GS GeForce 8400M G Tesla S870 4x Tesla D870 2x Tesla C Quadro Plex 1000 Model S4 4x Quadro Plex 1000 Model IV 2x Quadro FX Quadro FX

50 Resumen de la gama de modelos TESLA Variantes: Tarjeta: C870. Una GPU. ~ 500 (Jun 08 en PNY). Estación de trabajo: D870. Dos GPUs. ~ Servidor: S870. Cuatro GPUs. ~ Rendimiento máximo: 2 TFLOPS. Rasgos comunes más sobresalientes: No disponen de salida de vídeo. Consumo energético elevado (hasta 800 W). Contaminación acústica notoria (hasta 70 db). 50

51 Gama baja: C870 51

52 Gama media: D870. Dos GPUs. 52

53 Gama alta: S870. Cuatro GPUs en configuración n de 2x2. Montaje en RACK. 53

54 Diagrama de bloques de un servidor TESLA 54

55 Comparativa de la gama TESLA en las series 8 y 10 Rasgo S870 S1070 Número de GPUs 4 4 Número de procesadores streaming por GPU Número total de procesadores streaming (SPs) Consumo energético medio 550 W. 700 W. Precisión de punto flotante IEEE 754 simple precisión IEEE 754 simple y doble precisión GFLOPS 345 x 4 = 1380 (1.35 GHz x2 x 128) Nvidia dice 520 x x 4 = 2592 (1.35 GHz x2 x 240) Nvidia dice 1000 x 4 Tamaño de la memoria de vídeo GDDR3 6 Gbytes (1.5 por GPU) 16 Gbytes (4 por GPU) Anchura del bus de memoria GDDR3 384 bits en cada GPU 512 bits en cada GPU Frecuencia de reloj de la memoria GDDR3 2 x 800 MHz 2 x 800 MHz Ancho de banda de la memoria 307 Gbytes/sg. (76.8 por cada GPU) 408 Gbytes/sg. (102 por cada GPU) Bus de comunicación con CPU PCIe x16 o x8 versión 1.0 PCIe x16 o x8 versión 2.0 Entorno de programación CUDA 1.0 CUDA

56 La GPU: Algo más m s que una arquitectura para jugar 56

57 Las bazas de un supercomputador basado en un cluster de GPUs Permite alcanzar un rendimiento similar al de los supercomputadores a un coste cien veces inferior. La función coste/rendimiento es más favorable en arquitecturas basadas en núcleos sencillos como CELL o GPU que en supercomputadores basados en núcleos fuera-de-orden (como las CPU de Intel/AMD). 57

58 Las bazas de un supercomputador basado en un cluster de GPUs (2) Los supercomputadores nunca han sido populares porque no dan beneficios y hace falta ser un gurú para programarlos. La industria de los video-juegos tiene un ingente mercado que garantiza la viabilidad económica. Desarrolla una notable infraestructura software en constante evolución: Entornos de programación, funcionalidad, versatilidad,... lo que mantiene una gran cantera de programadores que pueden reciclarse fácilmente hacia tareas de propósito general. 58

59 Lo que nunca tuvo la computación de altas prestaciones Popularidad y precio: Las GPUs están en todas partes y son baratas. Son un gran negocio. 50 Ventas de GPUs (millones)

60 Lo que siempre tuvo la computación n de altas prestaciones Complicaciones a la hora de programarlas: El modelo de programación gráfica se basa en un número predefinido de etapas, sobre las que resulta difícil soportar cualquier tipo de computación de una forma eficiente. El rendimiento pico está ahí, pero cuesta sacarle partido en computación de propósito general. 60

61 BALE: Ejemplo de cluster de GPU actual Adquirido en el Ohio Supercomputing Center en Junio de Consta de 18 nodos funcionando bajo Linux, cada uno de ellos con: Dos CPU Opteron dual-core de 2.6 GHz. 8 Gbytes de memoria principal. 750 Gbytes de espacio de disco. Dos GPU Quadro 5600 de Nvidia, cada una con 1.5 Gbytes de memoria de vídeo. Conexión por Infiniband. 61

62 Cada uno de los 18 nodos de visualización n del supercomputador BALE 62

63 Prestaciones comparativas CPU/GPU en cálculo c y acceso a memoria Procesador CPU (AMD) GPU (Nvidia) Modelo arquitectural Opteron X G80 Frecuencia de reloj 2.6 GHz 600 MHz / 1.35 GHz Número de núcleos 2 cores 128 stream processsors Potencia de cálculo 2 cores x 4.4 GFLOPS = 8.8 GFLOPS madd(2 FLOPS) x128 SP x 1.35 GHz = GFLOPS En el total de 18 nodos x 2 zócalos GFLOPS 12.4 TFLOPS!! Memoria CPU (AMD) GPU (Nvidia) Capacidad y tipo 8 Gbytes de DDR2 1.5 Gbytes de GDDR3 Frecuencia de reloj 2x 333 MHz 2x 800 MHz Anchura del bus 128 bits (doble canal) 384 bits Ancho de banda 10.8 Gbytes/sg Gbytes/sg. 63

64 Aplicación al diagnóstico del cáncer Whole-slide image Image tiles (40X magnification) ` Computation units Classification map CPU GPU PS 3 Assign classification labels Label 1 Label 2 background undetermined 64

65 Resultados experimentales Para una media de 600 pacientes que son tratados en el hospital anualmente y 5-6 muestras de imágenes de alta resolución por cada paciente, la aplicación que funciona con Matlab tarda 21 meses en procesar toda la información en un PC. Con una sola GPU, el tiempo se reduce a: 5.3 días utilizando Cg. 2.4 días utilizando CUDA. Utilizando los 16 nodos del cluster de GPUs: El tiempo computacional es inferior a las 2 horas. 65

66 Aplicación n 2: Reconstrucción n 3D de especímenes y tejidos 66

67 Escalabilidad en CPU-GPU 67

68 Aplicaciones portadas a GPU (según Nvidia en 2008) 3D Image Analysis Adaptive radiation therapy Acoustics Astronomy Audio Automobile visioni Bioinformatics Biological simulation Broadcast Cellular automata Computational Fluid Dynamics Computer Vision Cryptography CT Reconstruction Data Mining Digital cinema/projections Electromagnetic interference Equity training Film Financial Languages GIS Holographics cinema Imaging Mathematics research Military Mine planning Molecular dynamics MRI reconstruction Multispectral imaging Nbody Network processing Neural networks Oceanographic research Optical inspection Particle physics Protein folding Quantum chemistry Ray tracing Radar Reservoir simulation Robotic vision/ai Robotic surgery Satellite data analysis Seismic imaging Surgery simulation Surveillance Ultrasound Video conferencing Telescope Video Visualization Wireless X-ray 68

69 Resumen final El procesamiento streaming o basado en flujos representa una nueva forma de hacer las cosas, donde los protagonistas son los datos, no las instrucciones. Cada vez se le saca más provecho desde la perspectiva de un programador no familiarizado con la peculiar idiosincrasia de la programación gráfica. El fenómeno ha trascendido ya a los multiprocesadores, donde se busca un modelo híbrido en el que cada procesador pueda hacer lo que mejor sabe. La industria del ocio garantiza la viabilidad comercial de futuros desarrollos y la escalabilidad de la arquitectura augura un futuro muy prometedor. 69