Mendieta. Carlos Bederián IFEG-CONICET, FaMAF-UNC WHPC13

Transcripción

1 Mendieta Carlos Bederián IFEG-CONICET, FaMAF-UNC 1

2 Antes que nada ssh 2

3 Especificaciones - Nodo Supermicro 1027GR-TRF 1U de altura Dual socket 2011 Fuentes de 1820W 3 slots PCI Express X 32GB RAM Infiniband QDR 3

4 Especificaciones - CPU Intel Xeon E Ejecución 8 cores, 16 hilos GHz Unidades AVX (4 doubles) 1 ADD + 1 MUL / ciclo Rpeak = 173 GFLOPS I/O Quad DDR (51 GBps) 40 lanes PCIe 3.0 4

5 Especificaciones - GPU NVIDIA Tesla M2090 Ejecución 512 CUDA cores 1.3 GHz 1 FMA / ciclo Rpeak = 666 GFLOPS I/O PCIe X (8 GBps) 6GB GDDR5, 384 bits, 1.8GHz (177 GBps) 5

6 Situación actual FaMAF-UNC, IATE-CONICET, IFEG-CONICET 8 nodos 12 Tesla M2090 GPGPU-FAMAF 6 Tesla C2070 Rpeak = 13.8 TFLOPS 6

7 Situación actual Ubicado en sala de cómputo CCAD-UNC Infiniband de cluster SeCYT NAS de cluster cristina Fibra a PSI-UNC 7

8 Mejoras CCAD-UNC, partida SNCAD 2012 Adjudicada 14 nodos más 8 Tesla K20X 1.31 TFLOPS 250GBps PCIe 3.0x 16GBps Rpeak = 29.1 TFLOPS 8

9 Software CentOS 6.4 Warewulf SLURM Environment modules...y lo que les haga falta 9

10 Environment modules Control de los paquetes visibles en el entorno $ nvcc --version -bash: nvcc: command not found $ module load cuda/5.0 $ nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) NVIDIA Corporation Built on Fri_Sep_21_17:28:58_PDT_2012 Cuda compilation tools, release 5.0, V

11 Environment modules Para ver módulos disponibles module avail (o module whatis) Cargar el módulo x module load x Para ver módulos cargados module list Quitar el módulo x module unload x (module purge quita todo) Para ver los cambios que realiza el módulo x module show x 11

12 Environment modules Dependencias y conflictos: $ module purge $ module load compilers/intel/2013 $ module list Currently Loaded Modulefiles: 1) licenses/intel 2) compilers/intel/2013 $ module load compilers/gcc/4.6.4 compilers/gcc/4.6.4(13):error:150: Module 'compilers/gcc/4.6.4' conflicts with the currently loaded module(s) 'compilers/intel/2013' 12

13 Environment modules En mendieta: Sólo /opt y /home son visibles en todos los nodos por igual Paquetes en otros directorios no funcionan en los nodos Ej: Python y gcc que vienen con CentOS Los módulos disponibles son de paquetes instalados en /opt Antes que nada: Cargar el módulo del compilador! (o intérprete) 13

14 SLURM Manejador de colas de trabajos con soporte para GPU Terminología Node: un nodo con recursos (cores, hilos, GPU, memoria...) Partition: un conjunto de nodos Allocation: un conjunto de recursos de una partición asignados a un usuario para un trabajo Task: en la configuración de mendieta, un proceso (que es asignado a un core) 14

15 SLURM - Comandos sinfo: Muestra información sobre nodos y particiones $ sinfo PARTITION AVAIL batch* up TIMELIMIT infinite $ sinfo -N NODELIST mendieta[02-08] NODES PARTITION STATE 7 batch* idle NODES 7 STATE NODELIST idle mendieta[02-08] El parámetro -l provee más información en ambos modos Mostrar las GPU es algo engorroso: -o %N %G 15

16 SLURM - Comandos squeue: Muestra la cola de trabajos $ squeue JOBID PARTITION 815 batch 814 batch NAME srun bash USER root bc ST PD R TIME 0:00 0:51 NODES NODELIST(REASON) 7 (Resources) 7 mendieta[02-08] scancel: Mata (si está corriendo) o elimina un trabajo de la cola $ scancel 814 $ 16

17 SLURM - Comandos srun: Lanza procesos en paralelo Si no hay una allocation, la pide antes Reemplazo de mpirun para aplicaciones MPI $ srun --nodes=2 --ntasks=4 hostname mendieta03 mendieta02 mendieta02 mendieta02 La asignación no es balanceada! Usar --ntasks-per-node de ser necesario 17

18 SLURM - Comandos sbatch: Pone un script en la cola de trabajos La configuración puede ir dentro del script en líneas #SBATCH No es interactivo como srun a secas Método recomendado para lanzar trabajos Scripts de ejemplo en /usr/share/doc/mendieta/ $ sbatch submit_job.sh Submitted batch job 826 $ 18

19 SLURM Ejemplo de script #!/bin/bash ### Nombre de la tarea #SBATCH --job-name=devicequery ### Cantidad de nodos a usar #SBATCH --nodes=1 ### GPUs por nodo (<= 2) ### OJO: todos los procesos del nodo ven todas las GPU #SBATCH --gres=gpu:1 ### Procesos por nodo #SBATCH --ntasks-per-node=1 ### Cores por proceso (OpenMP/Pthreads/etc) #SBATCH --cpus-per-task=1 ### Environment setup. /etc/profile ### Environment modules module load cuda/5.0 ### Ejecutar la tarea srun /opt/cuda-5.0/samples/1_utilities/devicequery/devicequery 19

20 Notas El cluster está en etapa de prueba No hay políticas de uso establecidas Pórtense bien Todavía estamos aprendiendo Necesidad frecuente de cambios en la configuración 20

21 Fin Preguntas? 21