Universidad de Murcia. Facultad de Informática. Guía rápida del cluster HETEREOSOLAR. Grupo de Computación Cientfíca y Computación Paralela

Transcripción

1 Universidad de Murcia Facultad de Informática Guía rápida del cluster HETEREOSOLAR 2014 Grupo de Computación Cientfíca y Computación Paralela

2 ÍNDICE Guía rápida cluster hetereosolar Índice 1. Características de los nodos de HETEREOSOLAR 1 2. Cómo comenzar Entrada al cluster HETEREOSOLAR Transferencia de archivos Uso interactivo Ejecución de trabajos Denición del trabajo Características de los nodos de HETEREOSOLAR El cluster HETEREOSOLAR consta actualmente de cinco nodos con las siguientes características: luna Es el nodo de acceso, gestión y servidor de archivos. Aunque también se puede utilizar para tareas de computación. Dispone de una CPU Intel Core 2 Quad Q6600 a 2.40GHz, 4 GB de RAM y una GPU Nvidia GeForce 9800 GT, con 112 cores (14 Streaming Multiprocessors y 8 Streaming Processors). saturno Es un nodo de cómputo. Se trata de un sistema NUMA con 4 Intel hexa-core NEHALEM-EX EC E7530, con un total de 24 cores a 1.87 GHz y 32 GB de RAM. Dispone de una GPU Tesla K20c (basada en la arquitectura Kepler) con 4800 MBytes de Global Memory y 2496 CUDA Cores (13 Streaming Multiprocessors y 192 Streaming Processors). marte y mercurio Son nodos de cómputo con CPU AMD Phenom II X6 1075T (hexacore) a 3 GHz y 16 GBytes de RAM, caches L1 y L2 privadas de 64 KBytes y 512 KBytes respectivamente, y una cache L3 de 6 MBytes compartida por todos los cores. Cada nodo dispone además de una GPU GeForce GTX 590 con 1536 Mbytes de Global Memory y 512 CUDA cores (15 Streaming Multiprocessors y 32 Streaming Processors). jupiter Es un nodo de cómputo con dos hexa-cores (12 cores) Intel Xeon E a 2.00GHz y 32 GB de RAM. Dispone de seis GPUs, dos GPUs son Nvidia Fermi Tesla C2075 con 5375 MBytes de Global Memory y 448 cores (14 Streaming Multiprocessors y 32 Streaming Processors). Las otra cuatro GPUs se agrupan en dos tarjetas, cada una con dos dispositivos Nvidia GeForce GTX 590 con 1536 MBytes de Global Memory y 512 CUDA cores (16 Streaming Multiprocessors y 32 Streaming Processors) con un total de 1024 cores por tarjeta. Los nodos se conectan con tecnología Gigabit Ethernet a una velocidad de 1 Gbit/s y ejecutan el sistema operativo Ubuntu LTS con Linux Kernel 3.5 x86_64. En lo que se reere al almacenamiento, cada nodo tiene un disco local para el sistema operativo, archivos temporales y swap; adicionalmente el cluster dispone de un sistema de archivos compartido con NFSv4 y gestionado por el nodo luna para el almacenamiento de los directorios home (/home_nfs) de las cuentas de los usuarios. 1 PCGUM

3 Guía rápida cluster hetereosolar 2. Cómo comenzar 2.1. Entrada al cluster HETEREOSOLAR El acceso al cluster HETEREOSOLAR se realiza a través del nodo de login con nombre de equipo luna.inf.um.es. Se recomienda a todos los usuarios que utilicen secure shell (ssh) como medio de conectarse al nodo de login. Desde equipos con sistema operativo Unix/Linux o Mac OSX, el cliente ssh viene ya instalado y es suciente con abrir una ventana de terminal y ejecutar el siguiente comando: localhost$ ssh usuario@luna.inf.um.es En equipos con sistema operativo Windows es necesario instalar un cliente de ssh como PuTTY ( Transferencia de archivos La transferencia de archivos debe realizarse con clientes que soporten el protocolo ssh, tales como las utilidades de línea de comandos scp, sftp y rsync o clientes para el sistema operativo Windows como WinSCP ( Transferencia desde línea de comandos La transferencia de datos desde sistemas Unix/Linux puede realizarse utilizando la utilidad scp para copiar datos desde y hacia el nodo de login de HETEREOSOLAR. Se puede copiar un archivo desde su sistema local a HETEREOSOLAR utilizando el comando: localhost$ scp archivo \ usuario@luna.inf.um.es:/home_nfs/usuario/work/data Puede consultar la páginas man en HETEREOSOLAR para obtener más información sobre el comando scp. El comando rsync es otra utilidad para mantener sus datos actualizados. A diferencia de scp, la utilidad rsync transere sólo la parte del archivo que haya cambiado (en lugar de transferir el archivo completo). Por lo tanto, este método de transferencia de datos puede ser mucho más eciente que scp. El ejemplo siguiente demuestra la utilización del comando rsync en la transferencia de un archivo de nombre mi-archivo.c desde su máquina local a un directorio de trabajo en HETEREOSOLAR: localhost$ rsync mi-archivo.c \ usuario@luna.inf.um.es:/home_nfs/usuario/work/data Se puede transferir un directorio y sus contenidos utilizando el comando rsync. En la transferencia de un directorio las opciones -atvr harán que la transferencia sea recursiva (opción -r), se respetará la fecha de modicación (opción -t), y los enlaces simbólicos, dispositivos, atributos, permisos, pertenencia, etc. (opción -a). La opción -v hará que se incremente la cantidad de información mostrada durante la transferencia. El siguiente ejemplo demuestra la utilización de las opciones -avtr en la transferencia de un directorio de nombre results desde su máquina local al directorio data en HETEREOSOLAR: 2 PCGUM

4 2.3 Uso interactivo Guía rápida cluster hetereosolar localhost$ rsync -avt./results \ usuario@luna.inf.um.es:/home_nfs/usuario/work/data 2.3. Uso interactivo El sistema operativo del cluster HETEREOSOLAR es Linux. Cuando entre al sistema se encontrará en un entorno de trabajo denominado shell que le proporcionará un interprete de comandos. El shell se congura mediante el archivo.bash_profile o.cshrc en función del interprete de comandos utilizado. Inicialmente a todos los usuarios se le asigna el intérprete de comandos bash. El sistema utilizado para establecer el entorno de ejecución para las aplicaciones, librerías, compiladores, etc. disponibles está basado en el Paquete Modules ( que permite la modicación del entorno del usuario de forma dinámica. Los comandos básicos que nos permiten conocer, establecer o modicar nuestros entorno en función del trabajo a realizar en el sistema son: module avail muestra los entornos de trabajo disponibles. module load app carga el entorno de trabajo para la utilización de la aplicación, librería o compilador app. module list muestra los entornos de trabajo que tiene cargados. module unload app descarga el entorno de trabajo para la utilización de la aplicación, librería o compilador app. 3. Ejecución de trabajos Con el n de organizar la utilización de los recursos disponibles en el cluster y garantizar que los trabajos a ejecutar dispongan de los recursos que necesitan, se requiere que un sistema de gestión de la carga de trabajo planique la ejecución de los mismos. El sistema para gestión de trabajos instalado es Torque batch queueing system (antes conocido como OpenPBS) junto con el planicador Maui. El modo de enviar trabajos consiste en especicar los recursos necesarios para su ejecución, como puede ser el número de nodos y CPUs, cantidad de memoria, el tiempo necesitado para la ejecución del programa y, posiblemente, otros recursos. El gestor de trabajos Torque ejecutará el trabajo cuando los recursos solicitados estén disponibles, sujeto a las restricciones denidas o límites máximos de utilización. El acceso a los recursos de HETEREOSOLAR se realiza en modo batch o modo interactivo utilizando siempre el comando de envío de trabajos de Torque qsub. Los siguientes comandos de Torque están disponibles para el usuario con el n de comprobar el estado de las colas, disponibilidad de recursos (nodos de computación), y para poder controlar y monitorizar trabajos: qstat muestra información básica de los trabajos en las colas qstat -a muestra información adicional: número de nodos, tareas, tiempo solicitado, etc. qstat -n junto con la información básica, muestra los nodos asignados a cada trabajo qstat -q muestra información sobra las colas pbsnodes muestra información sobre los nodos 3 PCGUM

5 3.1 Denición del trabajo Guía rápida cluster hetereosolar La ejecución de un trabajo implica el envío del mismo a una de las colas denidas. En la actualidad hay conguradas dos colas en HETEREOSOLAR: batch Es la cola por defecto, los trabajos que no indiquen un nombre de cola serán enviados a esta cola. Todos los usuarios de HETEREOSOLAR pueden enviar trabajos a la cola batch. La duración máxima de un trabajo es de 2 horas (walltime), si un trabajo supera el límite de 2 horas, será nalizado automáticamente. Cada usuario podrá tener como máximo dos trabajos en la cola batch, uno de ellos en ejecución, otro a la espera de asignación de recursos (en cola) o dos a la espera de asignación de recursos. Esta cola está asociada con los nodos marte, mercurio y saturno. inv Cola para trabajos con gran demanda de recursos. Esta cola no tiene denidos límites de utilización y está asociada con todos los nodos (también el nodo luna) de HETEREOSOLAR. Los trabajos enviados a esta cola tendrán preferencia/prioridad sobre los trabajos enviados a la cola batch. Es una cola de uso restringido a aquellos usuarios que, por el tipo de trabajos a ejecutar en HETEREOSOLAR, requieren más recursos de los previstos en la cola batch Denición del trabajo La denición del trabajo se realiza mediante un chero de texto que consiste en los comandos, códigos, etc. que queremos ejecutar. A este chero de comandos (script) se le añaden directivas que indican a que cola se enviará el trabajo y que recursos precisa. Las directivas comienzan con #PBS. El resto de lineas son comentarios (comienzan con #) o comandos que queramos ejecutar en el sistema. Ejemplo de trabajo secuencial en modo batch: simple-serial.pbs #!/bin/bash #PBS -q batch #PBS -lnodes=1:ppn=1 #PBS -lwalltime=01:00:00 #====== INICIO ========================================== # Cargamos entorno de ejecucion requerido source /etc/profile.d/modules.sh module load lib # Nos aseguramos que estamos en el directorio # desde el que se envio el trabajo con qsub cd $PBS_O_WORKDIR echo "Nodo en el que ha sido planificado el trabajo :" cat $PBS_NODEFILE echo "Ahora ejecutamos las tareas secuenciales..." sleep 10 /bin/hostname sleep 20 #====== FIN ============================================= 4 PCGUM

6 3.1 Denición del trabajo Guía rápida cluster hetereosolar en el ejemplo anterior, el trabajo se envía a la cola batch, se indica que se requiere un nodo y un core de procesamiento (ppn signica processor per node) y que precisa de los recursos solicitados durante 1 hora de reloj (no confundir con el tiempo de CPU). El envío del trabajo se realiza con el comando: $ qsub simple-serial.pbs El comando devolverá un indicador de trabajo jobid, que nos servirá para identicarlo en el sistema de gestión de trabajos con el comando qstat: Job id Name User Time Use S Queue luna...le-serial.pbs usuario 0 R batch y, por ejemplo, nalizarlo con el comando qdel. En el ejemplo simple-serial.pbs, Torque seleccionará el primer nodo que tenga libre un core de procesamiento y que esté asociado con la cola batch. Se puede indicar en qué nodo queremos que se ejecute nuestro trabajo (de entre los asociados con cada cola) especicando el nombre del nodo en el script de denición del trabajo: #PBS -lnodes=mercurio:ppn=1 Ejemplo de trabajo paralelo en modo batch: simple-parallel.pbs En el siguiente ejemplo se envía un trabajo paralelo MPI que solicita 2 nodos y un total de 12 tareas MPI, con 6 tareas MPI ejecutándose en cada nodo: #!/bin/bash #PBS -q batch #PBS -lnodes=2:ppn=6 #PBS -lwalltime=01:30:00 #====== INICIO ========================================== # Cargamos entorno de ejecucion requerido source /etc/profile.d/modules.sh module load openmpi # Nos aseguramos que estamos en el directorio # desde el que se envio el trabajo con qsub cd $PBS_O_WORKDIR echo "Nodos en los que ha sido planificado el trabajo :" cat $PBS_NODEFILE echo "Implementacion de MPI que estamos usando :" which mpirun echo "Ahora ejecutamos las tareas MPI..." mpirun./my_mpi_code_exec #====== FIN ============================================ 5 PCGUM

7 3.1 Denición del trabajo Guía rápida cluster hetereosolar El envío del trabajo para su ejecución se realiza con el comando: $ qsub simple-parallel.pbs El comando mpirun se selecciona en función del módulo MPI cargado. Cada implementación de MPI tiene su entorno de ejecución y librerías. Por ejemplo, si se carga OpenMPI, entonces se utilizará su gestor de procesos MPI y sus librerías. De igual forma, para otras implementaciones de MPI, el usuario debe comprobar que el entorno de ejecución y gestor de procesos es consistente. OpenMPI obtiene directamente de Torque la lista de nodos y procesos a lanzar en cada nodo. Por lo tanto no es necesario, en general, utilizar las opciones -hostfile o -np de mpirun. De forma similar a lo indicado para la denición de trabajo secuencial, en la denición de un trabajo MPI se le puede especicar a Torque los nodos, su orden y cuantos procesos queremos en cada nodo: #!/bin/bash #PBS -q batch #PBS -lnodes=saturno:ppn=8+marte:ppn=2+mercurio:ppn=2 #====== INICIO ========================================== # Cargamos entorno de ejecucion requerido source /etc/profile.d/modules.sh module load openmpi cd $PBS_O_WORKDIR cat $PBS_NODEFILE mpicc test-mpi.c -o test-mpi mpirun./test-mpi #====== FIN ============================================ Trabajos interactivos con Torque El comando qsub -I proporciona una sesión interactiva al modo de línea de comandos de Unix. No se puede utilizar un script de denición de trabajo, por lo que se deberá indicar todas las opciones al comando qsub en línea de comandos. A continuación, se muestra un ejemplo en el que se solicita una sesión interactiva en la cola batch que requiere de un nodo y de 6 cores de procesamiento durante 1 hora y 30 minutos: qsub -I -V -q batch -lnodes=1:ppn=6 -lwalltime=01:30:00 6 PCGUM