Introducción a la Arquitectura y Plataforma de Programación de Cómputo Paralelo CUDA (36 hrs) Instructor M. en C. Cristhian Alejandro Ávila-Sánchez

Transcripción

1 Introducción a la Arquitectura y Plataforma de Programación de Cómputo Paralelo CUDA (36 hrs) I Presentación: Instructor M. en C. Cristhian Alejandro Ávila-Sánchez CUDA (Compute Unified Device Architecture) es la plataforma de cómputo paralelo de alto rendimiento desarrollada por NVIDIA. Su arquitectura está basada en un conjunto de miríadas de unidades de procesamiento (GPU, graphic processing units) interconectadas entre sí sobre las cuales se pueden correr aplicaciones distribuidas y paralelas mediante múltiples hilos de ejecución agrupados en warps. Cada GPU consta de dos o más procesadores de flujo y un planificador que gestiona la concurrencia y el orden de ejecución de los hilos, además de una memoria cache local. La arquitectura y la plataforma cuentan, entre sus principales características, con 1) múltiples colas de trabajo (hyper-q) para atender la ejecución de los hilos entre los múltiples núcleos, 2) paralelismo dinámico (dynamic parallelism) para crear kernels de procesamiento bajo demanda durante tiempo de ejecución, 3) administración de rejilla (grid management) de núcleos e hilos de procesamiento en grupos de granularidad variable, 4) un API de programación con instrucciones atómicas tanto lógicas como de aritmética entera, funciones de permutación de datos entre hilos dentro de un warp (warp shuffle) y 5) funcionalidades de sincronización. Su diseño y el avance en tecnología, permiten construir chips con gran capacidad de cómputo, alto desempeño y eficiencia. Por ejemplo, uno de los modelos más recientes, la tarjeta CUDA Pascal GeForce GTX 1060 cuenta con 1280 núcleos de procesamiento, cada uno con una velocidad de 1.75 GHz, memoria total de 6GB, con un ancho de banda de 192 GB/s, lo que en conjunto ofrece una capacidad de cómputo de 4.4 TFLOPs con 400 Watts de potencia. Estas características y demás funcionalidades de las tarjetas CUDA las hacen ideales para el procesamiento de gráficos, aceleración de cálculos, cómputo intensivo, análisis masivo de datos, algoritmos de aprendizaje de máquina, criptografía, métodos numéricos, simulaciones de física de partículas, modelado de dinámica molecular y programas de bioinformática, entre varias aplicaciones. Objetivo General: Presentar una introducción y un panorama general de la arquitectura y plataforma NVIDIA CUDA, así como los principios y aspectos básicos de diseño y programación para desarrollar aplicaciones distribuidas y paralelas en esta tecnología. El curso es teóricopráctico, con ejemplos y ejercicios incluidos en cada clase. II Perfil de ingreso: Conocimientos de programación en Lenguaje C/C++. Deseable: conocimientos de cómputo distribuido y paralelo. 1

2 III Keywords: CUDA, NVIDIA, cómputo distribuido y paralelo, tarjeta gráfica, simulaciones, cómputo científico. IV Temario: 0 Introducción a CUDA: Cómputo distribuido, paralelo y de alto desempeño con GPU (graphic processing units). 1 Arquitecturas CUDA 1.1 Tesla 1.2 Fermi 1.3 Kepler 1.4 Maxwell 1.5 Pascal 1.6 Volta 2 Instalando CUDA 2.1 Toolkit 2.2 Drivers 2.3 Configuración 2.4 Prueba de consulta del funcionamiento del dispositivo 2.5 Práctica: Sesión de instalación y configuración 2.6 Práctica: Consulta del estado de la tarjeta y pruebas de funcionamiento 3 CUDA SDK y ambiente de programación 3.1 Compilador CUDA 3.2 Enlazado de dispositivos 3.3 IDE NVIDIA Nsight 3.4. Práctica: Configuración y exploración del IDE NVIDIA Nsight 4 Primer programa CUDA: Aspectos básicos. 4.1 Código anfitrión (host) y de dispositivo (device) 4.2 kernels, rejillas (grids), bloques, hilos (threads) y warps. 4.3 Variables integradas: griddim, blockidx, blockdim, threadidx, warpsize. 4.4 Práctica: Desarrollo de un programa CUDA con una estructura básica. 5 Arquitectura de Hardware 5.1 GPU (graphic processing unit) 5.1 Flujos (streams) 5.2 Rejilla (grids) 5.3 Warps 5.4 Núcles (cores) 5.5 Warps 5.6 Memoria 5.7 Práctica: Consulta de los recursos de hardware disponibles vía un programa CUDA 2

3 6 Arquitectura de Máquina Virtual 6.1 Parallel Thread Execution (PTX) 6.2 Modelo de programación PTX. 6.3 Jerarquía de hilos y de memoria 6.4 Registros y set de instrucciones 6.5 Práctica: Compilación de un programa CUDA, reconocimiento y mapeo del código objeto de la máquina virtual PTX 7 Plataforma de Software 7.1 Jerarquía de memoria 7.2 Jerarquía de hilos, bloques y kernels. 7.3 Práctica: Programación y ejecución de kernels con granularidad variable 7.4 Práctica: Manejo de memoria dentro de kernels 8 Sistema de tiempo de ejecución 8.1 Hilos (threads) 8.2 Grupos de hilos (warps) 8.3 Bloques (blocks) 8.4 Kernels 8.5 Flujos (streams) 8.6 Eventos 8.7 Práctica: Programación y ejecución de la jerarquía de kernels e hilos 9 Memoria 9.1 Memorias de dispositivo (device), anfitrión (host) y global 9.2 Inicialización 9.3 Compartida (shared) 9.4 Paginada (paged) y fija (page-locked) 9.5 Unificada (unified) 9.5 Práctica: Asignación, uso y liberación de memoria 10 Sincronización 10.1 Ejecución concurrente síncrona 10.2 Regiones compartidas 10.3 Exclusión mutua 10.4 Barreras de hilos 10.5 Práctica: Sincronización de hilos 11 Ejecución Asíncrona 11.1 Ejecución concurrente asíncrona 11.2 Flujos 11.3 Eventos 11.4 Prioridades 11.5 Práctica: Concurrencia asíncrona de hilos 12 Funciones atómicas de lógica binaria y de aritmética entera 12.1 and, or, xor 12.2 add, sub 12.3 inc, dec 12.4 min, max 3

4 12.5 exch, cas 12.6 Empleo en exclusión mutua y esquemas de reducción 12.6 Práctica: Manejo de funciones atómicas lógicas y aritméticas 13 Cómputo y comunicación en warps 13.1 Funciones de permutación 13.2 Intercambio 13.3 Broadcast 13.4 Scan 13.5 Reducción 13.6 Práctica: Programación de algoritmos de comunicación entre hilos dentro de warps 14 Características y funcionalidades CUDA 14.1 Hyper-Q Streaming Multiprocessor 14.2 Grid Management Unit 14.3 Warp Scheduling 14.4 Dynamic Parallelism 14.5 Práctica: Funcionamiento de hilos y kernels con hyper-q, grid-management, warp-scheduling y dynamic parallelism 15 Desarrollo de una aplicación integrativa 15.1 Librería de Algebra Lineal 15.2 Práctica: Integración de módulos programados en los ejercicios previos para desarrollar una librería de algebra lineal distribuida y paralela 16 Guía de programación y recomendaciones 16.1 Recursos de procesamiento 16.2 Depurador 16.3 Evaluación de perfiles de rendimiento 16.4 Control de flujos 16.5 Optimizaciones de memoria y procesamiento 16.6 Despliegue y entrega de aplicaciones 16.7 Práctica: Pruebas, depuración, evaluación del desempeño y optimización de la librería de algebra lineal V Bibliografía: CUDA for Engineers: An Introduction to High-Performance Parallel Computing (2015) Duane Storti and Mete Yurtoglu Ed. Addison-Wesley Professional CUDA C Programming (2014) John Cheng and Max Grossman Ed. Wrox VI Recursos en Línea: NVIDIA CUDA: 4

5 Tarjeta Pascal: Tarjeta Tesla: CUDA Toolkit y drivers: Guía de Programación: Recursos para desarrolladores: IDE NVIDIA Nsight (ediciones para Linux, MacOS y Windows): 5