Computación de Propósito General en Unidades de Procesamiento Gráfico GPGPU

Transcripción

1 Computación de Propósito General en Unidades de Procesamiento Gráfico () E. Dufrechou, P. Ezzatti M. Pedemonte Práctico Programación con CUDA

2 Práctica 0: Ejecución del ejemplo visto en teórico (suma de matriz por columnas) Suma de matriz por columnas Cada thread computa la suma de una columna de la matriz El resultado debe ser un vector con las sumas parciales. M t1,t2,t3...tn k Vector de Sumas sumas parciales parciales

3 Suma de matriz por columnas Para los siguientes ejemplos se asume que las matrices se almacenan en la memoria por columnas (column-major) a11 a12 a13 a21 a22 a23 a31 a32 a33 a11 a21 a31 a12 a22 a32 a13 a23 a33 Suma de matriz por columnas void SumaColMatrizDevice(float M, float N, float * Mh, float* Nh){ int size = M * N * sizeof(float), size2 = N*sizeof(float); float* Md, *Nd; // Allocate en device cudamalloc(&md, size); cudamalloc(&nd, size2); // Inicializo matrices en el device cudamemcpy(md, Mh, size, cudamemcpyhosttodevice); cudamemset(nd,0, N * sizeof(float)); // Invocar el kernel que suma en GPU // Traer resultado; cudamemcpy(nh, Nd, size, cudamemcpydevicetohost); // Free matrices en device cudafree(md); cudafree(nd); }

4 Suma de matriz por columnas Kernel // Suma por columnas de una matriz global void MatrixSumKernel(int M, float* Md, float* Nd){ // Pvalue es usado para el valor intermedio float Pvalue = 0; int aux = threadidx.y*m; for (int k = 0; k < M; ++k) { Pvalue = Pvalue + Md[aux+k]; } Nd[threadIdx.y] = Pvalue; } Suma de matriz por columnas Lanzamiento de threads con un solo bloque // configuración de la ejecución dim3 tamgrid(1, 1); //Grid dimensión dim3 tamblock(1,n,1); //Block dimensión // lanzamiento del kernel MatrixSumKernel<<<tamGrid, tamblock>>>(m, Md, Nd); Lanzamiento de threads con N bloques de 128 threads // Setup the execution configuration int bloques = N / 128; dim3 tamgrid(1, bloques); //Grid dimensión dim3 tamblock(1, 128, 1); //Block dimensión // Launch the device computation threads! MatrixSumKernel<<<tamGrid, tamblock>>>( M, Md, Nd);

5 Práctica 1: Suma de los elementos de una matriz Suma de los elementos de una matriz Resolviendo el problema en CUDA: 1) Reservar espacio en la memoria de la GPU Copiar la matriz desde la memoria principal a la memoria de la GPU 2) Ejecutar el kernel en la GPU 3) Copiar el resultado desde la tarjeta gráfica a la memoria principal. Liberar la memoria de la GPU que se reservó en el primer paso

6 Suma de los elementos de una matriz Primer paso: Un sólo bloque El kernel debe: Sumar los elementos de la columna correspondiente y almacenarlos en un vector con las sumas parciales. Sincronizar Uno de los threads del bloque debe encargarse de reducir el vector (estrategia muy ineficiente) Suma de los elementos de una matriz Qué desventajas tiene el ejemplo anterior? Qué pasaría si no utilizaramos syncthreads?

7 Suma de los elementos de una matriz Segundo paso: Múltiples bloques Intentar con diversas variantes: Un bloque por columna Un bloque para varias columnas Grid bidimensional, cada bloque procesa un segmento de las columnas Luego utilizar atomicadd() en lugar del vector de sumas parciales. Compilar utilizando la flag --compute20 Deberes para el receso! Las dos estrategias vistas para reducir el vector de sumas parciales no explotan el paralelismo de las GPU. Una mejor estrategia es la siguiente:

8 Deberes para el receso! Primero cada thread carga un elemento del vector a memoria compartida. Luego en cada paso cada thread activo suma dos elementos. Al final debe copiarse el valor de la suma a memoria global Si se ejecuta con más de un bloque, la suma parcial de cada bloque puede reducirse en CPU o utilizando el thread 0 del bloque 0. Deberes para el receso! Ejecutar el código con el Visual Profiler y determinar los principales problemas de esta solución. En teórico se mostrarán versiones mejoradas. Entregar código y pequeño informe describiendo los problemas que identifica el profiler.

9 Práctica 2: Multiplicación de Matrices Multiplicación de matrices El elemento i,j de la matriz P es el producto escalar de la fila i de la matriz M con la columna j de la matriz N Todos los elementos de la matriz P pueden calcularse de forma independiente. El resultado de uno de los productos escalares no influye sobre los demás

10 Multiplicación de matrices Algoritmo: For i = 1:width For j = 1:width suma = 0 For k = 1:width suma = suma + M(i,k) * N(k,j) End End End P(i,j) = suma Multiplicación de matrices Implementación en C: void MatrixMult(float* M, float* N, int width, float * P){ for(int i=0; i < width; i++){ for(int j=0; j < width; j++){ float suma = 0; for(int k = 0 ; k < width ; k ++) suma += M[i][k] * N[k][j]; } } } P[i][j] = suma;

11 Multiplicación de matrices Primero resolveremos el problema utilizando 1 bloque de threads Nd Solo pueden multiplicarse matrices de tamaño menor que el tamaño del bloque (1024 elementos en la G480) k Md ty tx tx Pd k ty WIDTH WIDTH WIDTH WIDTH 21 Multiplicación de matrices Resolver el ejercicio Info útil: Los threads se identifican en tiempo de ejcución por las variables threadidx.x y threadidx.y Para reservar memoria usar: cudamalloc((void**)ptr, size); Para copiar los datos: cudamemcpy(dest,src,size,mode); Para copiar hacia la gpu: Mode: cudamemcpyhosttodevice Para copiar desde la gpu: Mode: cudamemcpydevicetohost Para liberar memoria: cudafree()

12 Multiplicación de matrices Para multiplicar matrices de mayor tamaño es necesario usar varios bloques. bx tx 012TILE_WIDTH-1 Nd Cada bloque de threads de tamaño NxN calcula un TILE de tamaño NxN de la matriz resultado. WIDTH Md Pd 0 by 1 ty TILE_WIDTH-1 Pd sub TILE_WIDTH TILE_WIDTHE WIDTH 2 WIDTH WIDTH 23 Multiplicación de matrices Debe cambiar la forma de disparar los threads Debe elegirse adecuadamente el tamaño de bloque. Cant. Bloques x tam. Bloque = tamaño de la matriz Sigue existiendo un thread por cada elemento de la matriz resultado