Computación en procesadores gráficos

Transcripción

1 Programación con CUDA Ejercicio 8 José Antonio Martínez García Francisco M. Vázquez López Manuel Ujaldón Martínez Portada Ester Martín Garzón Universidad de Almería

2 Arquitectura de las GPUs Contenidos Modelo de programación SIMT Claves computacionales para la programación de GPUs Programación con CUDA: Ejercicio 8 Supercomputación gráfica y arquitecturas emergentes 2

3 Ejercicio 8 Producto matriz densa por vector: u = A v Dimensiones A: N x M, u: N, v: M Inicializar A y v aleatoriamente Con <stdlib.h>: srand48(time(null)) para establecer semilla drand48() genera un float [0, ) Realizar código secuencial para comprobar que el kernel es correcto, comprobar con una matriz p.ej 5 x 5 Una vez comprobado, comprobar que la suma de los elementos del vector obtenido mediante la CPU es el mismo valor que se obtiene con la GPU Parámetros de entrada del programa: N: Número de filas M: Número de columnas BLOCKSIZE: Tamaño del bloque -D Verbose: Salida por pantalla si es Iterations: Iteraciones del kernel 3

4 Ejercicio 8: Código secuencial for (i = 0; i < N; i++) { u[ i ]=0; for (j = 0; j < M; j++) u[ i ]+=A[ i*m+ j ] * v[ j ]; } 4

5 Medir tiempos para: Transferencia CPU->GPU Ejecución del kernel Transferencia GPU->CPU, recordar si es necesario usar puntos de sincronización Calcular ocupación y bandwidth Obtener la tabla de tiempos usando los dos mejores valores de BLOCKSIZE y para A=000x2000, 2000x000, 2000x5000 y 5000x5000 Preguntas: Para qué estructuras (u, A, v) se realiza un acceso coalescente a memoria? Comentar topología de bloques/threads usada: Cuantos threads calculan una fila? Se podría usar más de thread por fila?. Ventajas/Inconvenientes Precisión en los resultados. Hay diferencias?, Por qué? 5

6 Mejoras a realizar: Usar la caché de texturas para almacenar el vector v Almacenar la matriz por columnas Qué se gana con esta optimización? Usar la memoria shared para realizar productos parciales de cada fila y usar más threads por fila Se te ocurre alguna optimización sobre la actualización de cada valor de u? Repetir el estudio de tiempos realizado para las optimizaciones planteadas y comparar con la versión inicial Obtener los ratios más importantes de cuda visual profiler 6

7 Ejercicio 8: Cuda Occupancy Calculator nvcc mv.cu o mv -Xptxas=-v 8 Registros + 48 bytes shared memory GT 33 % 33 % 67 % 00 % 00 % 67 % GTX % 25 % 50 % 00 % 00 % 00 % 7

8 Ejercicio 8: Resultados para 9500 GT Iterations = 00, BLOCKSIZE = 28 N x M/sec 000x x x x5000 CPU-GPU 0,0069 0,0068 0, ,0858 Kernel 2,540294, , ,0970 GPU-CPU 0, , , , Bandwith 0, , , ,

9 Ejercicio 8: Resultados para 9500 GT Iterations = 00, BLOCKSIZE = 256 N x M/sec 000x x x x5000 CPU-GPU 0, , , ,07925 Kernel 2,565286, , , GPU-CPU 0, , , , Bandwith 0, , , ,

10 Ejercicio 8 Preguntas: Por qué se obtiene mejor rendimiento para 2000x000 que para 000x2000? Por qué el bandwidth es extremadamente bajo? 0

11 Ejercicio 8: Resultados para 9500 GT usando caché de texturas Iterations = 00, BLOCKSIZE = 28 N x M/sec 000x x x x5000 CPU-GPU 0, , , ,0824 Kernel, , , , GPU-CPU 0, , , , Bandwith,00300, , ,87800

12 Ejercicio 8: Resultados para 9500 GT usando caché de texturas Iterations = 00, BLOCKSIZE = 256 N x M/sec 000x x x x5000 CPU-GPU 0, , , ,0835 Kernel, , , , GPU-CPU 0, , , , Bandwith,00200, , ,

13 Ejercicio 8: Resultados para 9500 GT usando caché de texturas y almacenamiento por columnas Iterations = 00, BLOCKSIZE = 28 N x M/sec 000x x x x5000 CPU-GPU 0, , , ,0880 Kernel 0, , ,4385 4,58994 GPU-CPU 0, , , , Bandwith 2, , , ,7900 3

14 Ejercicio 8: Resultados para 9500 GT usando caché de texturas y almacenamiento por columnas Iterations = 00, BLOCKSIZE = 256 N x M/sec 000x x x x5000 CPU-GPU 0, ,0066 0, ,08224 Kernel 0, , ,4364 4, GPU-CPU 0, , , , Bandwith 2, , , ,

15 Optimización: caché de texturas, almacenamiento por columnas, y 4 threads por fila Reserva dinámica de memoria shared Código host: int smemsize = BLOCKSIZE * sizeof(float); kernel<<<gridsize, blocksize, smemsize>>>( ); 5

16 Código device: template <typename T> struct SharedMemory { device T*getPointer(){ extern device void error(void); error(); return NULL; } }; template <> struct SharedMemory<float> { device float* getpointer(){ extern shared float s_float[]; return s_float; } }; 6

17 Declaración kernel: SharedMemory<float> smem; float *sdata = smem.getpointer(); 7

18 Ejercicio 8: Cuda Occupancy Calculator nvcc mv.cu o mv -Xptxas=-v 8 Registros + smem: 64 bytes estática + dinámica (blocksize*4) Shared memory 9500 GT GTX bytes 33 % 25 % bytes 33 % 25 % bytes 67 % 50 % bytes 00 % 00 % bytes 00 % 00 % bytes 67 % 00 % 8

19 Ejercicio 8: 9500 GT: caché de texturas, almacenamiento por columnas y 4 threads por fila Iterations = 00, BLOCKSIZE = 28 N x M/sec 000x x x x5000 CPU-GPU 0, , , ,08292 Kernel 0,0988 0, ,407398,024 GPU-CPU 0, , , , Bandwith 8,7720 9,6500 9, ,8900 9

20 Ejercicio 8: 9500 GT: caché de texturas, almacenamiento por columnas y 4 threads por fila Iterations = 00, BLOCKSIZE = 256 N x M/sec 000x x x x5000 CPU-GPU 0, , , ,08003 Kernel 0, , ,4074,0507 GPU-CPU 0, , , , Bandwith 8, , , ,

21 Ejercicio 8: Cuda Visual Profiler Iterations = 00, BLOCKSIZE = 256, 2000x5000 ª versión caché col+cach 4 T gputime cputime occupancy gridsizex gridsizey blocksizex blocksizey blocksizez StaSmemperblock

22 Ejercicio 8: Cuda Visual Profiler Iterations = 00, BLOCKSIZE = 256, 2000x5000 ª versión caché col+cach 4 T Registersperthread Sm_cta_launched branch divergentbranch instructions warp_serialize cta_launched

23 Contraportada 23