ACARUS. Responsable : María del Carmen Heras Sánchez. Asesores Técnicos : Daniel Mendoza Camacho Yessica Vidal Quintanar

Transcripción

1 ACARUS Responsable : María del Carmen Heras Sánchez Asesores Técnicos : Daniel Mendoza Camacho Yessica Vidal Quintanar

2 2 Día 4 Sistema de Colas

3 Sistemas de colas»el uso de los recursos de cómputo de los nodos esclavos se lleva acabo de manera indirecta a través del administrador de recursos SLURM. La ejecución de trabajos se lleva acabo vía scripts los cuales son analizados por el sistema de colas para poder identificar el tipo y la cantidad de recursos de cómputo que necesita el trabajo en cuestión, posteriormente el calendarizador ejecutará el trabajo indicado en el script en el numero de nodos solicitados.

4 Sistema de Colas SLURM 4» Simple Linux Utility for Resource Management» SLURM es un administrador open-source de carga de trabajos diseñado para clusters Linux de cualquier dimensión. Es utilizado en varias de las computadoras más grandes del mundo.

5 SLURM - Particiones 5 Particiones No. Core s No. GPUS No. Nodos RAM por nodo Horas máximo de uso (Walltime) Restricciones Nodos Asignados general Gb 168 hrs. broadwell, interlagos ibnodo3 - ibnodo25 serial Gb 168 hrs. broadwell ibnodo26 gpu Gb 168 hrs. interlagos ibnodo1, ibnodo2 visualizacion Gb 4 hrs. haswell visualización1, visualizacion2 Total de recursos disponibles con Slurm 1248 Nota: Nombre código de procesadores

6 SLURM - Prioridades en asignación de recursos 6»Cluster»Departamento»Proyecto»QoS»Usuario ocotillo, choya matemáticas, física, dipm, difus, etc. Id del proyecto registrado Definición de limites (GRPCPU, Walltime, etc) y prioridades (idproyecto, unison) Personas ligadas al proyecto» sacctmgr show Assoc» sacctmgr show Account» sacctmgr show QOS

7 SLURM - Comandos básicos 7»srun»sbatch»squeue»scancel»sinfo»sacct Ejecuta un job en el nodo asignado, incluso puede ser bash. Se utiliza para enviar un job por medio de scripts Muestra el estatus de los Jobs Cancela un job Informa el estado de las particiones y los nodos gestionados por slurm Se utiliza para reportar la información de las cuentas de jobs.

8 SLURM - Opciones básicas 8»-n,--ntasks»-N,--nodes»--ntasks-per-node»--cpus-per-task»--job-name»--time»--partition»--gres»--constraint Número de tareas a ejecutar Solicitar un numero especifico de nodos Cuantas tareas por nodo Cuantos cores por tarea Nombre del Job Tiempo máximo de ejecución Lista de colas Solicita un recurso en especifico Solicita una característica para los nodos

9 SLURM 9

10 SLURM - Ejemplos 10»srun»Ejecutar un comando:»[daniel@ocotillo ~]$ srun -n 1 --partition=general --pty hostname»ibnodo20»[daniel@ocotillo ~]$ srun -n 1 --partition=general --constraint=interlagos --pty hostname»ibnodo6»utilizar bash interactivo»[daniel@ocotillo ~]$ srun -n 1 --partition=general --pty bash»[daniel@ibnodo20 ~]$

11 SLURM - Ejemplos 11»Abrir una aplicación con gráficos»[daniel@ocotillo ~]$ srun -n 1 --partition=visualizacion --pty kate (ojo, no usa gpus)»para aplicaciones como Fluent que requieren uso de GPU s se debe usar vnc+virtualgl

12 SLURM - Ejemplos 12»sbatch hola.slrm #!/bin/bash #SBATCH -n 1 #SBATCH partition=general #SBATCH --job-name=holamundo #SBATCH --time=00:30:00 #SBATCH constraint=broadwell./holamundo

13 SLURM - Ejemplos 13»srun -n 1 --partition=general constraint=broadwell hostname;./holamundo»srun -n 1 --partition=general constraint=interlagos hostname;./holamundo

14 SLURM - Ejemplos 14» sbatch nwchem.slrm #!/bin/bash #SBATCH -n 40 #SBATCH --job-name=nwchem #SBATCH --time=168:00:00 #SBATCH --partition=general module load nwchem/6.5 export SCRATCH_DIR=/scratch/$USER/$SLURM_JOBID export PERMANENT_DIR=$SCRATCH_DIR INPUT=sucrose.nw export I_MPI_FABRICS=shm:dapl export ARMCI_DEFAULT_SHMMAX=16384 cp $INPUT $SCRATCH_DIR/ cd $SCRATCH_DIR mpirun nwchem $INPUT

15 SLURM - Ejemplos 15»sbatch gaussian.slrm»#!/bin/bash»#sbatch --nodes=1»#sbatch --ntasks-per-node=40»#sbatch --job-name=gaussian»#sbatch --time=1:00:00»#sbatch --partition=general»#sbatch --constraint=broadwell»workers=$(scontrol show hostname $SLURM_NODE_LIST tr '\n' ',' sed 's/,$//')»input=fullereno-c60.com»output=salida»(echo %NProcShared=${SLURM_NTASKS_PER_NODE}; echo %LindaWorkers=${workers}:2; cat $INPUT) g09 > $OUTPUT»#Se cargan los modulos»module load gaussian09»export GAUSS_SCRDIR=/scratch/$USER/$SLURM_JOBID

16 SLURM - Ejemplos 16»[daniel@ocotillo ~]$ squeue» JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)» 3516 visualiza kate daniel R 28:54 1 visualizacion1»[daniel@ocotillo nwchem]$ scancel 3516

17 SLURM - Ejemplos 17»sinfo [daniel@ocotillo ~]$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST general up 7-00:00:00 1 mix ibnodo20 general up 7-00:00:00 14 alloc ibnodo[9-19,21,24-25] general up 7-00:00:00 3 idle ibnodo[6,22-23] gpu up 7-00:00:00 1 down* ibnodo2 gpu up 7-00:00:00 1 idle ibnodo1 serial up 7-00:00:00 1 idle ibnodo26 visualizacion up 4:00:00 1 idle visualizacion1

18 SLURM - Ejemplos 18»[daniel@ocotillo ~]$ sacct» JobID JobName Partition Account AllocCPUS State ExitCode» »4661 holamundo general acarus 1 COMPLETED 0:0»4662 holamundo general acarus 1 COMPLETED 0:0