Bloque IV. Prácticas de programación en CUDA. David Miraut Marcos García Ricardo Suárez

Transcripción

1 Bloque IV Prácticas de programación en CUDA David Miraut Marcos García Ricardo Suárez

2 Control de flujo Situaciones no tratadas Claves con tamaños diferentes. Cada Wrap debería acceder a claves del mismo tamaño Caché Multitarjeta 4.0 Multikernel 4.0

3 Instalación en Windows Documentación: DA_C_Getting_Started_Windows.pdf Tarjetas compatibles: Tarjetas desde la serie 8 Algunas Quadro Teslas Página de Nvidia (Windows Linux Mac OS): Compatibilidad hacia atrás:

4 Instalación en Windows Descargar el driver Driver de desarrollo XP (32 64) Vista y Windows 7 (32 64) Vista y Windows 7 (Notebooks) (32 64) Driver de desarrollo vs driver gráfico Valen los 2 ( ) Desarrollo: El más antiguo en el que funciona el Toolkit Soporta más dispositivos Basado en la versión release Instalar Driver

5 Instalación en Windows Toolkit 4.0 Contiene: Cabeceras Librerías GPU-accelerated BLAS library GPU-accelerated FFT library GPU-accelerated Sparse Matrix library GPU-accelerated RNG library Herramientas Visual Profiler Integración con Visual Studio Variables de entorno.rules nvcc Otros recursos

6 Instalación en Windows Toolkit 4.0 Versiones de 64 y 32 bits Carpetas (C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v4.0) Ejecutables para el compilador y herramientas (bin) Cabeceras (include) Ficheros de enlazado (bin) Documentación (doc) Instalar Toolkit Pasos Registro Instalación: típica, completa, personalizada

7 Instalación en Windows SDK Proyectos listos para funcionar en Visual Studio Directorio C:\Documents and Settings\All Users\Application Data\NVIDIA Corporation\NVIDIA GPU Computing SDK %ProgramData%\NVIDIA Corporation\NVIDIA GPU Computing SDK Acceso Online: CUTIL: librería de utilidades (Fuentes) Instalar SDK Pasos Registro Instalación: típica, completa, personalizada Crear acceso directo

8 Instalación en Windows Test Ejecutar bandwidthtest C:\ProgramData\NVIDIA Corporation\NVIDIA GPU Computing SDK 4.0\C\bin\win32 64\Release C:\Documents and Settings\All Users\Application Data\NVIDIA Corporation\NVIDIA GPU Computing SDK 4.0\C\bin\win32 64\Release Proyectos [X] C:\ProgramData\NVIDIA Corporation\NVIDIA GPU Computing SDK 4.0\C\src\bandwidthTest C:\Documents and Settings\All Users\Application Data\NVIDIA Corporation\NVIDIA GPU Computing SDK 4.0\C\src\bandwidthTest

9 Instalación en Windows Instalación en VS Highlighting Copiar: usertype.dat De [SDK_DIR]\NVIDIA GPU Computing SDK 4.0\C\doc\syntax_highlighting\visual_studio_8 A [VISUAL_DIR]\Microsoft Visual Studio 8\Common7\IDE En Visual Studio: Herramientas -> Opciones -> Editor de Texto -> Extensión de archivo -> agregar.cu como MSVS C++ Reiniciar MSVS

10 Instalación en Windows Instalación VS CUDA VS Wizard para VS2008 Crea el proyecto automáticamente 32 y 64 bits No actualizado a la versión 4.0 [X] Hay que compilar CUTIL (Portabilidad y control de errores No oficial)» Disponible en el SDK ($(NVSDKCOMPUTE_ROOT)\common\)» Mover las DLLs a la ruta ($(NVSDKCOMPUTE_ROOT)\common\bin) Cambiar las propiedades del proyecto si se trabaja en 32 bits tanto en Release como en Debug (en todos los proyectos!!!!)» Vinculador -> Directorios de bibliotecas adicionales $(NVSDKCOMPUTE_ROOT)\common\lib\ por $(NVSDKCOMPUTE_ROOT)\common\lib\Win32

11 Instalación en Windows Instalación VS Configuración de CUDA en VS from scratch (V2010) Crear un proyecto vacío (Win32 de consola vacío p.e.) Añadir las reglas de compilación a los archivos.cu Botón derecho sobre el proyecto -> añadir reglas de generación La primer vez:» Buscar existentes: $(CUDA_PATH)\extras\visual_studio_integration\rules» Añadir una asociada a *.cu (Runtime) E.O.C.» Marcar la regla» Puede marcarse o utilizarse la regla del CUDA VS Wizard

12 Instalación en Windows Configuración de CUDA en VS from scratch (V2010) Añadir ficheros de inclusión: Herramientas -> Opciones -> Proyectos y soluciones -> Directorios de VC++ -> En Archivos de inclusión» $(CUDA_INC_PATH)» $(NVSDKCOMPUTE_ROOT)\common\Inc\ También se puede hacer en propiedades del proyecto -> CUDA Añadir librerías Propiedades del proyecto -> Vinculador -> General -> Directorios de bibliotecas adicionales» $(CUDA_LIB_PATH)» $(NVSDKCOMPUTE_ROOT)\common\lib\Win32 En VS2010 Añadir el parche

13 01-HelloCuda Ejemplo de CUDA VS Wizard Crear un proyecto No marcar la opción de cabeceras precompiladas Abrir el fichero principal Funciones InitCUDA: Cuenta el número de dispositivos Busca el primer dispositivo compatible con CUDA HelloCUDA Kernel Global Copia una frase en un lugar de la tarjeta gráfica Main Se reserva espacio para el resultado Se lanza el kernel Se espera a que termine el kernel Se copian los resultados a memoria principal Se libera el contexto de CUDA Tareas Añadir la función getchar() al final de la función principal Añadir las modificaciones necesarias para poder compilar el código Enlazar el proyecto en Release

14 00-Proyecto base Cuatro ficheros Main.c Se ejecuta en el host Llama a la función encargada de ejecutar el kernel Se encarga de la medición de tiempo mi.h: Cabecera de la función que llama al kernel mi.cu Se ejecuta en el host Fichero encargado de llamar al kernel Selecciona el número de hilos y bloques Se encarga de la trasferencia de los datos Espera a que finalice el kernel mi_kernel.cu: Se ejecuta en el device Implementación del kernel

15 Tareas 00-Proyecto base Deshabilitar la compilación de mi_kernel.cu Utilizar un.cuh Indicar al compilador que debe mostrar la información necesaria para calcular la ocupación Activar las optimizaciones

16 Contenido 000-RC4 CPU Implementación del RC4 en CPU El fichero main.c contiene múltiples llamadas al RC4 que deberán paralelizarse

17 02-RC4 SIN SM Ejercicio Implemetar una función que llame al kernel y copiar su descripción en el archivo de cabecera: int rc4_call_kernel(unsigned char *key, unsigned int lkey, unsigned char *text, unsigned int ltext, unsigned int nkey, unsigned char *cyphert) Reservar espacio de los parámetros tanto de entrada como de salida cutilsafecall(cudamalloc((void**)& puntero, elementos * sizeof(tipo))); Copiar los vectores de entrada cutilsafecall(cudamemcpy(origen, destino, tamaño * sizeof(tipo), cudamemcpyhosttodevice));

18 02-RC4 SIN SM Ejercicio Implementar una función que llame al kernel: Dividir en bloques e hilos de forma que cada hilo procese una clave Determinar el número de hilos por bloque blockdim.x = Número de hilos por bloque Determinar el número de bloques blocks= nkeys/blockdim.x griddim.x = (blocks*blockdim.x < nkeys)?blocks+1:blocks;

19 Ejercicio 02-RC4 SIN SM Implementar una función que llame al kernel: Llamar al kernel rc4_kernel_nosm<<<griddim, blockdim>>>(d_key, lkey, d_text, ltext, nkey, d_cyphert); Sincronización cudathreadsynchronize();

20 Ejercicio 02-RC4 SIN SM Implementar una función que llame al kernel Copia de los resultados cutilsafecall(cudamemcpy(destino, origne, tamaño * sizeof(tipo), cudamemcpydevicetohost)); Liberar Recursos cutilsafecall(cudafree(d_cyphert));

21 02-RC4 SIN SM Ejercicio Implementar un conjunto de kernels que implemente el RC4 Implementar las funciones auxiliares como device Implementar el kernel principal global Determinar a qué clave se va a acceder unsigned int dimxxidxx = blockdim.x * blockidx.x; unsigned int pkey = dimxxidxx * lkey + threadidx.x * lkey; unsigned int ptext = dimxxidxx * ltext + threadidx.x * ltext; Controlar datos que no son múltiplos de 32» Solución 1: if ((dimxxidxx + threadidx.x) >= nkey) return;» Solución 2: rellenar con datos basura

22 02-RC4 SIN SM Ejercicio Implementar la toma de tiempos en el fichero main.c Asignar valor a las variables de entrada lkey = 6; ltext = 100; nkey = ; key = (unsigned char *)malloc(lkey * nkey * sizeof(unsigned char)); cyphert = (unsigned char *)malloc(ltext * nkey * sizeof(unsigned char)); text = (unsigned char *)malloc(ltext * sizeof(unsigned char)); Calcular el tiempo medio for (i = 0; i < 10; ++i) rc4_call_kernel(key, lkey, text, ltext, nkey, cyphert);

23 02-RC4 SIN SM Ejercicio Implementar un conjunto de kernels que implemente el RC4 Implementar las funciones auxiliares como device Implementar el kernel principal global Determinar a qué clave se va a acceder unsigned int dimxxidxx = blockdim.x * blockidx.x; unsigned int pkey = dimxxidxx * lkey + threadidx.x * lkey; unsigned int ptext = dimxxidxx * ltext + threadidx.x * ltext; Controlar datos que no son múltiplos de 32» Solución 1: if ((dimxxidxx + threadidx.x) >= nkey) return;» Solución 2: rellenar con datos basura

24 Análisis 02-RC4 SIN SM Fermi ( %-441ms)

25 Análisis 02-RC4 SIN SM Fermi (128 66% - 416ms)

26 Análisis 02-RC4 SIN SM Fermi (50% MS)

27 03-RC4 SM Ejercicio El vector de S pasa a memoria compartida Declaración shared unsigned char S[tamaño* número de hilos por bloque]; Cada hilo accede a su porción de memoria compartida unsigned int smempos = threadidx.x * tamaño; //tamaño 256 Ahora la forma de direccionar S cambia Puntero al comienzo de S» Antes: S» Ahora: &(S[sMemPos]) Acceso a una posición de S» Antes: S[i]» Ahora: S[sMemPos+i]

28 Análisis 03-RC4 SM Hilos por bloque máximo 256*número hilo < (en teoría) -> 64 Hay que compilar para saber cuanto espacio de memoria compartida va a usar el driver de forma transparente 256*número hilo < > 192 Occupancy Calculator No va a funcionar en una tarjeta no dedicada!!!!

29 Ejemplo 04-RC4 SM sin bloqueos Ajuste de los datos por columnas en el kernel principal Primer elemento: S[threadIdx.x] Puntero al primer elemento: &(S[threadIdx.x]) Acceso al elemento i: S[threadIdx.x + numero de hilos por bloque * i] Acceso al elemento i en rc4_init S[número de hilos por bloque * i]

30 Análisis 04-RC4 SM sin bloqueos Aumento de rendimiento Cada bloque de memoria compartida proporciona un entero de 32 bits En nuestro caso se leen char, se bloquean 4 threads de cada vez Solución Desperdiciar el espacio (no hay suficiente SM) Tipos de acceso más sofisticados por wraps de 8 hilos

31 05-RC4 con memoria de constantes Ejemplo Ideal para meter datos pequeños (hasta 64k) A los que acceden todos los hilos a la misma posición a la vez Y sólo pueden leer Se coloca la cadena a cifrar Se declara de forma estática y global en el fichero donde se define el kernel: device constant unsigned char d_lent[100]; La cadena de entrada se copia con otro tipo de llamada y no hace falta reservar espacio cutilsafecall(cudamemcpytosymbol(d_lent, text, ltext * sizeof(unsigned char)));

32 05-RC4 con memoria de constantes Ejemplo Quitar el parámetro text de la entrada del kernel Sustituir la variable text por d_lent

33 Análisis 05-RC4 con memoria de constantes Aumento de rendimiento Se reduce un parámetro de entrada

34 06-RC4 con coalescencia Ejercicio Organizar los datos de entrada para permitir la lectura/escritura simultánea de 16 hilos a datos consecutivos (32, 64, 128) Se supone que los datos ya están ordenados Se reserva la memoria garantizando la alineación de los datos pitch: número de bytes por fila Indicar el tamaño de la fila Indicar el número de filas cutilsafecall(cudamallocpitch((void**)&d_keyp, &pitch, nkey * sizeof(unsigned char), lkey)); cutilsafecall(cudamallocpitch((void**)&d_cyphertp, &pitchs, nkey * sizeof(unsigned char), ltext));

35 Ejercicio 06-RC4 con coalescencia Se copian los valores de entrada y salida de forma distinta cutilsafecall(cudamemcpy2d(d_keyp, pitch, key, nkey * sizeof(unsigned char), nkey * sizeof(unsigned char), lkey, cudamemcpyhosttodevice)); cutilsafecall(cudamemcpy2d(cyphert, nkey * sizeof(unsigned char), d_cyphertp, pitchs, nkey * sizeof(unsigned char), ltext, cudamemcpydevicetohost));

36 06-RC4 con coalescencia Ejercicio Añadir el pitch como variable de entrada al kernel global void rc4_kernel_smsin_const_coa(unsigned char *key, unsigned int lkey, unsigned int ltext, unsigned int nkey, unsigned char *cyphert, unsigned int pitch, unsigned int pitchs) En el kernel los datos se direccionan de forma distinta unsigned int dimxxidxx = blockdim.x * blockidx.x; unsigned int pos = dimxxidxx + threadidx.x; Cambiar la forma de acceso a las variables key y cyphert Acceso al elemento k-ésimo: cyphert[pos + k * pitchs]

37 Análisis 06-RC4 con coalescencia Sólo se traen 8 bits a la vez por lectura Se podrían intentar traer hasta 128 si se conoce bien el tamaño de entrada Aumenta el rendimiento significativamente

38 07 08-RC4 texturas Ejemplo Para datos de sólo lectura (en Fermi se puede escribir también) En el fichero del kernel se declara una variable de tipo texturas texture<unsigned char, 1, cudareadmodeelementtype> textkey; En el fichero que llama al kernel se crea un descriptor de textura cudachannelformatdesc channeldesc = cudacreatechanneldesc<unsigned char>(); Después de subir los datos se enlaza el descriptor con la textura cudabindtexture(null, &textkey, d_keyp, &channeldesc, lkey * pitch * sizeof(unsigned char)); Al finalizar se desenlaza la textura cudaunbindtexture(textkey);

39 07 08-RC4 texturas Ejemplo El kernel no necesita que se pasen las claves como entrada global void rc4_kernel_smsin_const_coa_text(unsigned int lkey, unsigned int ltext, unsigned int nkey, unsigned char *cyphert, unsigned int pitch, unsigned int pitchs) Cambiar los accesos a key por una búsqueda en textura: tex1dfetch(textkey, pos + (i & (key_length - 1) * pitch)) Las texturas no se pueden pasar como parámetro Modificar RC4_Init para que reciba la posición de acceso Cambiar los accesos a key

40 Análisis RC4 texturas Mejora de rendimiento Fermi

41 09-RC4 Múltiples elementos por hilo Cada hilo procesa más de una palabra En la distribución de bloques es necesario tener en cuenta el número de claves que procesa cada hilo blocks= nkeys / (blockdim.x * n) griddim.x = (blocks * blockdim.x * n < nkeys)? blocks + 1:blocks; Añadir al kernel el número de elementos que debe procesar cada hilo global void rc4_kernel_smsin_const_coa_mul(unsigned char *key, unsigned int lkey, unsigned int ltext, unsigned int nkey, unsigned char *cyphert, unsigned int pitch, unsigned int pitchs, unsigned int n);

42 09-RC4 Múltiples elementos por hilo Se debe adaptar el kernel para procesar varias claves Posición de inicio de cada bloque unsigned int dimxxidxx = (blockdim.x * n) * blockidx.x; Se añade un bucle que procesa todas las claves asignadas for (int l = 0; l < n; ++l) Cambiar el acceso a cada clave Primera posición de cada clave: &(key[pos + l * blockdim.x]) Elemento i-ésimo del kernel rc4_init: key[i*pitch]

43 10-RC4 Múltiples tarjetas Ejemplo Forma de acceso IP: Usuario: gpu_user Clave: CNI_UsEr_gpu Se accede a través de PUTTY o WINSCP (en la carpeta material) Existe una carpeta por usuario: NVIDIA_GPU_Computing_SDK_??

44 10-RC4 Múltiples tarjetas Ejemplo Compilación en Linux La compilación se lleva a cabo desde un terminal Se hace a través de un fichero MAKEFILE» make: compila el proyecto» make clean: limpia un proyecto compilado El SDK tiene un fichero de compilación (common.mk) Copiar ese fichero en la carpeta de trabajo (C/common) La versión que se adjunta puede compilar librerías dinámicas Se necesita ubicar los proyectos en la carpeta C/src del directorio de trabajo Los binarios son generados en la carpeta C/bin del directorio de trabajo Explicar código

45 Ejemplo Código Análisis 10-RC4 Múltiples tarjetas Se genera un hilo en CPU por cada tarjeta gráfica Se añade la librería multithreading del SDK Se crea la estructura con la información que se le pasa a cada hilo El kernel no cambia Es rentable para datos o computación masiva CUDA 4 mejora el soporte

46 Ejemplo Código Tareas 11-RC4 y MD5 El código calcula la clave haciendo sucesivas llamadas a MD5 La clave resultante se utiliza para cifrar una cadena con RC4 Evitar las copias a CPU entre diferentes llamadas al kernel Incluir el bucle en el kernel del MD5

47 Ejemplo Código 12-Kernel concurrente

48 Situaciones no tratadas Operaciones de módulo potencia de 2 I % j == i & (j - 1) Control de flujo Claves con tamaños diferentes. Cada Wrap debería acceder a claves del mismo tamaño Caché Configuración del tamaño de la caché Desactivación de la caché Multitarjeta 4.0 Paso de parámetros entre tarjetas Multikernel 4.0 Kernels independientes ejecutando a la vez