Faustino Palmero Acebedo Grupo de Física No Lineal. Universidad de Sevilla

Transcripción

1 Guía práctica del usuario de aleph.eii.us.es Faustino Palmero Acebedo Grupo de Física No Lineal. Universidad de Sevilla Resumen Este documento pretende ser una guía básica para el uso del cluster de computación del grupo de Física No Lineal de la Universidad de Sevilla. No se pretende escribir una guía exhaustiva donde se detallen el uso de compiladores, con todas sus opciones, programas como matlab, gestión avanzada de colas, etc.., simplemente se intentará, en pocas páginas, indicar las recetas mínimas necesarias para empezar a trabajar. 1. Introducción El cluster aleph.eii.us.es está formado actualmente por seis máquinas SUN, cada una de ellas con doble procesador AMD Opteron, y cada procesador con doble núcleo. En definitiva, para el sistema cada máquina aparece como un nodo de cuatro procesadores. Se ha instalado como sistema operativo una distribución de Linux, basada en Red Hat, específica para cluster HPC (High Perfomance Computing, es decir, en traducción libre, Supercomputación), denominada Rocks. A su vez, están instalados compiladores de fortran, librerías en paralelo, matlab (en una sola máquina), phyton, octave, y muchas cosas más. En principio una de las máquinas actúa de nodo principal (aleph.eii.us.es), que en la nomenclatura del sistema operativo utilizado se denomina frontend. Esta máquina se encarga de gestionar el cluster y dar acceso desde y hacia el exterior al sistema. Aquí está instalado matlab, y aquí es donde se compila y se ejecutan programas de forma interactiva. Las otras cinco máquinas, que se denominan computer nodes, y a las que únicamente se pueden acceder desde aleph, son nodos de computación, denominadas compute-0-0 (o también c0-0, que es su segundo nombre o alias), compute-0-1 (con alias c0-1), y c0-2, c0-3 y c0-4, y en principio están destinadas a ejecutar programas mediante un sistema de colas. La memoria RAM de tres máquinas es de 4 Gb y de las otras tres 8 Gb. En concreto, aleph, c0-0 y c0-1 tienen ocho y c0-2, c0-3 y c0-4 tienen cuatro. En todo el texto, a la hora de indicar algún comando, utilizaré este formato de letra. A su vez, todos los comandos en el cluter tienen un help, al que normalmente se accede tecleando $ man nombrecomando. Figura 1: Imágenes del cluster en sus primeros tiempos, cuando sólo tenía tres nodos. 1

2 2. Acceso al cluster El nombre completo del cluster es aleph.eii.us.es, y sólo se puede acceder desde el exterior al frontend. Una vez dentro es posible acceder a los nodos de computación, aunque no se aconseja. Cada uno de los usuarios tiene una cuenta que se encuentra en el directorio /home/nombreusuario (es en este directorio donde uno se sitúa cuando se accede al cluster). Cada usuario, a la hora de acceder a su cuenta, tiene que suministrar su nombre de usuario y su contraseña (password) Acceso desde una máquina linux Supondremos que en la máquina local está instalado el comando ssh, que normalmente está instalado por defecto en las distribuciones linux. Aunque para acceder sólo es necesario instalar el cliente ssh, si queremos copiar ficheros desde el cluster a nuestra máquina local hace falta que esté instalado también en modo servidor. Desde una máquina linux es posible acceder al cluster. Simplemente hay que abrir una terminal y teclear el comando $ ssh -X nombreusuario@aleph.eii.us.es Normalmente se puede omitir la opción -X, ya que el comando ssh la tiene normalmente el por defecto, aunque no siempre es así. Esto lo que hace es activar el modo gráfico remoto. Podemos entonces teclear cualquier comando como $ firefox o $ gnome-session y lo veremos en nuestra pantalla en modo gráfico. Evidentemente el sistema pedirá vuestro password. Este mecanismo hace que el sistema se sobrecargue de trabajo y la comunicación se hace más lenta, de manera que para lanzar únicamente programas se aconseja utilizar $ ssh -x nombreusuario@aleph.eii.us.es que no permite el modo gráfico remoto. Para copiar ficheros, por ejemplo el fichero pro.f de una máquina a otra se puede utilizar el comando scp. Desde el directorio donde se encuentra el fichero $ scp pro.f nombreusuario@aleph.eii.us.es:/home/nombreusuario/pro.f aunque el nuevo nombre, si es el mismo, se puede omitir. Si se pretende cambiar el nombre se puede indicar (en lugar de pro.f se escribiría nuevonombre.nuevaextension). Este comando tiene un montón de opciones. Simplemente señalar que, si se quiere copiar un directorio completo con todo lo que tenga dentro, se debe de incluir la opción -r. La copia de ficheros del cluster a nuestro ordenador local responde también a la misma estructura. Asumiendo que nuestro directorio de usuario en el nodo local está en /home/nombreusuario. $ scp pro.f nombreusuario@ordenadorlocal.us.es:/home/nombreusuario/pro.f Para salir, se debe de teclear, desde la terminal, el comando $ exit y ya está. Este es el procedimiento recomendado, ya que aunque normalmente el sistema desconecta automáticamente los procesos interactivos cuando se cierra la terminal, por ejemplo dándole a la x de la esquina superior derecha, puede que se quede colgado algún proceso y evidentemente, muchos procesos colgados hace que la máquina vaya más despacio Acceso desde Windows Para acceder desde windows se aconseja utilizar un cliente ssh (se puede descargar desde el servidor de la Universidad) y, si se quiere utilizar el modo gráfico un emulador de X (mandadle un correo a Juan, que os puede recomendar uno). El uso de este programa es bastante intuitivo y no me extenderé más en ello. 2

3 Figura 2: Cliente ssh. Activación del X forwarding Si se quiere activar el modo gráfico se tiene que marcar el X forwarding en el cliente ssh. Para ello, en las opciones del cliente ssh se tiene que señalar la casilla correspondiente. En el emulador que puede descargarse en la Universidad, hay que seleccionar el botón de menús edit > settings, marcando tunnelling y su casilla, como aparece en al figura. En definitiva, para entrar únicamente en modo texto con el ssh es suficiente. Si se quiere gráficos, hay que activar el X, que se quedará funcionando en segundo plano, y luego entrar con el ssh. Para comprobar que funciona, se puede teclear por ejemplo $ xclock, y saldrá un bonito reloj en la ventana del X. Ya se pueden llamar a programas que se ejecutan en modo gráfico. El cliente ssh también tiene un sistema para copiar ficheros de un sitio a otro que es muy intuitivo, y permite abrir múltiples ventanas (son las ventanitas que al poner el cursor sobre ellas indican new terminal window y new file transfer window ). Para salir, hat que teclear exit en la pantalla de la terminal (procedimiento recomendado)o bien, en el menú File elegir Disconnect. Nota: Si queréis un sistema de ventanas similar al escritorio del windows, hay que teclear en la ventana de texto, con X funcionado en segundo plano: $ gnome-session. 3. Cambio del password Es importante que la primera vez que se acceda al cluster se cambie la contraseña por defecto. Para cambiar la contraseña, hay que teclear el comando $ passwd. Pedirá el nuevo password y su confirmación. 4. Comandos muy básicos de UNIX UNIX distingue las mayúsculas de las minúsculas. CUIDADO. Visualizar los contenidos de un directorio: $ ls 3

4 Moverse por un directorio cd. Por ejemplo $ cd /home/palmero lleva al directorio palmero. El comando $ cd / nos lleva al directorio raíz del sistema. Para subir un nivel $ cd.. Crear un directorio $ mkdir nombredirectorio. Si uno se encuentra en otro directorio se debe indicar la ruta, por ejemplo $ mkdir /home/palmero/test crea el subdirectorio test en el directorio $ /home/palmero Copiar ficheros $ cp origen destino. Si se quiere únicamente mover, sin guardar copia en el sitio original $ mv origen destino. Si en destino no se indica nombre se guarda con el nombre original. El carácter * sirve como comodín, y para copiar por ejemplo un directorio recursivamente, con todo lo que contiene, se debe incluir la opción -r. Borrar un fichero rm nombrefichero.ext. Se puede indicar también toda la ruta de directorios hasta el fichero si uno no se encontra en el directorio del fichero en cuestión. Nota: Al entrar como usuarios, sólo se pueden borrar los ficheros de ese usuario, los ficheros del sistema y de los otros usuarios están a salvo de posibles errores. Borrar un directorio $ rmdir nombredirectorio. También se puede incluir la ruta completa. Para que se borre el directorio debe de estar vacío. Si se quiere borrar un directorio con todo lo que contiene, lo primero que hay que hacer es TENER MUCHO CUIDADO CON ESTE COMANDO, y luego teclear $ rm -r nombredirectorio. Se puede incluir la ruta completa. Si salen muchos mensajes, se puede utilizar la opción -rf y ya no sale nada. Como editor de textos, se puede usar el vi en modo texto, aunque es bastante engorroso. En modo gráfico recomiendo que el gedit. Para invocarlo $ gedit nombrefichero.ext. Por supuesto, con las X funcionando. En UNIX, si se tiene que teclear un nombre muy largo, escribiendo las primeras letras y dándole al tabulador del teclado normalmente lo completa. Para ejecutar comandos en segundo plano, se indica al final de la líneal el símbolo &. Por ejemplo,$ gedit & abre el editor de textos y sigue permitiendo utilizar la terminal. Por supuesto que existen muchos comandos más. Recomiendo que se consulte una guía de linux, en Internet hay muchas. Por ejemplo, tenéis una que, aunque antigua, está bien, es ramon/articulos/introlinux.pdf. 5. Matlab El programa Matlab, en su versión 7.3, y junto con algunos toolbox, está instalado en la máquina aleph. Para ejecutarlo se puede hacer lo siguiente: Ejecución en modo clásico, con todas las ventanitas, etc.. $ matlab bloquear la ventana). (con o sin &, si queréis no En modo texto, quitando toda esa parafernalia tan chula pero que consume un montón de recursos. $ matlab -nojvm. Tiene la ventaja de que si hacéis una gráfica, te la pinta sin problemas (con las X activadas), pero si no le hace falta no consume recursos generando ventanas gráficas que no se van luego a utilizar. 4

5 6. Compilación de programas Fortran Supondremos que tenemos el programa en fortran llamado program.f90 y se quiere construir el ejecutable, es decir, hay que compilarlo (utilizar la extensión f90 para los programas fortran 90 es recomendable, aunque no imprescindible). Supondremos que está escrito en fortran90 estándard, que no hace falta llamar a ninguna librería y que nos encontramos en el mismo directorio que el programa en cuestión. Para compilar con el fortran de intel, que parece que es el más competitivo de los fortran 90 gratis (y uno de los más competitivos de todos los fortran, incluyendo los de pago) hay que teclear, : $ ifort -O3 -ipo -no-prec-div -o program.out program.f90 y se genera el ejecutable (binario) program.out, pensando en que el tiempo de computación sea el más pequeño posible. Las opciones -ipo y no-prec-div no las tengo muy testeadas. La opción -O3 es para optimizarlo en velocidad. Siempre se puede compilar sin opciones de optimización sólo con -o. Sugiero que uno busque por la red recetas de opciones de compilación para el tipo de programas que uno está usando. Por supuesto que el compilador tiene un montón de opciones, que se pueden consultar tecleando $ man ifort. El compilador fortran de intel es gratis para uso personal no lucrativo, y la licencia está a mi nombre, válida y renovable por un año. 7. Ejecución de un programa Supondemos que tenemos un programa ejecutable (binario) program.out, que al ejecutarse lee un fichero de datos input.dat, y que necesita también el fichero parameters.param. La salida es un fichero de resultados output.dat y como condición adicional, en el programa, se trabaja con la variable de ambiente del sistema PROGRATMP donde se indica el directorio que el programa va a usar para almacenar información temporal. Evidentemente éste es un caso muy general, lo normal es que tengamos únicamente el binario, el input y el output. Supondremos que el binario, el input.dat y parameters.param están en el mismo directorio Lanzamiento de un programa en interactivo Para ejecutar el programa en interactivo, simplemente hay que hacer $ export PROGRAMTMP=/tmp $./program.out input.dat y el programa se ejecuta en el frontend. Se puede añadir al final el símbolo & y se ejecuta en segundo plano. Se recomiendo no cerrar la ventana mientras que se ejecuta, ya que se puede cortar el proceso, aunque en los tests que he realizado seguía funcionando. Todo este proceso se puede hacer en cualquier nodo de computación. Desde el frontend se puede entrar con ssh c0-1 ó ssh c0-1 (no pide password). Desde allí se puede acceder al directorio de usuario (es un sistema de archivos común a todos los nodos del cluster) y ejecutar el programa. No obstante no se aconseja ejecutar programas de forma interactiva en los nodos de computación Lanzamiento utilizando SUN GRID ENGINE (SGE) El sistema SGE facilita el trabajo de computación, simplemente preparamos un archivo de lanzamiento (launching script), similar a los ficheros bat de windows, los mandamos a la cola y el sistema se encarga de llevárselo al procesador más desocupado de un nodo de computación, lo ejecuta y fin. Ahora mismo hay cuatro colas definidas: cola1, donde se encuentran los nodos c0-0 y c0-1, cada uno de ellos con 8 Gb de RAM y 4 núcleos. En total es posible trabajar en esta cola con 8 subprocesos como máximo. 5

6 cola2, donde se encuentran los nodos c0-2, c0-3 y c0-4, cada uno de ellos con 4 Gb de RAM y 4 núcleos. En total es posible trabajar en esta cola con 12 subprocesos como máximo. cola3, donde están todos los nodos y es posible trabajar con 20 subprocesos como máximo. No obstante, aquí tenemos un sistema de máquinas algo distintas y, aunque en los tests que he hecho ha ido bien, puede ocasionar problamas sobre todo cuando los programas cogen mucha RAM. USAR CON PRECAUCIÓN. jesus, cola especial dedicada a Jesús para que sus inmensamente grandes matrices no colapsen fácilmente el cluster. Recomiendo utilizar cola1 y cola2. Cuando se tenga experiencia se puede pensar en usar la cola3, pero por ahora no lo aconsejo. Los pasos a seguir son los siguientes: 1. Preparación de un archivo de lanzamiento, que llamaremos launch.sh, y que estará en el mismo directorio que el programa, etc... Debe de contener las siguientes líneas: #$-S /bin/bash #$-N program #$-cwd export PROGRAMTMP=/tmp./program.out input.dat 2. Lanzamiento del proceso. Situado en el directorio correspondiente. $ qsub launch.sh que devolverá una línea de texto Your job 12 ("program") has been submitted y un número, en este caso 12, que se asignará al proceso. Ese número es importante, ya que servirá para solicitar información sobre su ejecución. 3. Comprobación que el proceso está realmente en la cola $ qstat proporciona información sobre el proceso 4. Finalización, evaluación y recolección de resultados. Una vez terminado el proceso, se puede consultar información detallada sobre éste, tecleando $qacct -j 12 En el directorio donde se encontraban los programas tendremos ahora los ficheros que teníamos antes, el fichero output.dat y unos ficheros llamados program.e12 y program.o12, donde el fichero.o contien la salida en pantalla del programa y el.e los errores. 5. Si fuera necesario, para interrumpit un proceso, $ qdel 12 donde el número es el número del proceso. Se pueden incluir opciones múltiples y variados, incluso de que mande un correo electrónico uando termine el proceso (y supongo que no será complicado utilizar un ordenador local para conseguir que te mande un mensaje al móvil...). Recomiendo echar un vistazo al manual del comando qsub. 6

7 8. Lanzamiento de múltiples trabajos Se pueden lanzar múltiples procesos a lo bruto, simplemente creando múltiples directorios, uno por cada ejecución, copiando los ficheros correspondientes en cada directorio, y mandando a cola los distintos procesos. No obstante, es posible lanzar en un solo comando múltiples procesos en el cluster. En este caso los archivos de entrada, parámetros y de salida deberán diferenciarse usando mecanismos propios del programa que se va a ejecutar. Por ejemplo, suponiendo que nuestro programa va a ejecutar un estudio paramétrico, con tres ficheros de entrada input a.dat, input b.dat y input c.dat, con el mismo fichero parameters.param y mismo fichero de salida, se puede hacer el siguiente fichero program.sh: #$-S /bin/bash #$-N program #$-cwd #$-t 1-3:1 export PROGRAMTMP=/tmp inputs=([1]=input a.dat [2]=input b.dat [3]=input c.dat)./program.out ${inputs[$sge TASK ID]} Un truco para tener ficheros output.dat consiste en escribir la salida por pantalla, de manera que se generan los diversos ficheros.o. También se puede complicar todo en el fichero sh, creand directorios, moviendo ficheros, etc..., a gusto del usuario. 9. Monitorización de procesos vía web En la página web de aleph (aleph.eii.us.es), y a costa de hacer que nuestros procesos sean públicos, he habilitado el acceso web a las colas de ejecución. Con cualquier navegador se puede acceder al cluster tecleando en la barra de direcciones Pinchando en cluster status se pueden monitorizar los procesos en modo gráfico (hay que recargar de vez en cuando la pantalla ya que si no da resultados erróneos). Por mi parte recomiendo seguirlos en una terminal en modo texto, aunque en verdad verlos en el navegador impone un poco más. 10. Programación en paralelo Habría mucho que hablar... Os aconsejo que busquéis por Internet un manual de OpenMP, lenguaje de programación para paralelizar de forma fácil sistemas de memoria compartida. Creo que empezar por aquí sería lo más práctico. Los fundamentos de OpenMP se APRENDEN EN UNA MAÑANA!!!. 11. Más información y trabajo pendiente En la página de alpeh ( voy a ir colocando información variada del cluster. En concreto, he colocado ficheros sh modelo para mandar diversos trabajos a cola, esta guía, etc. No obstante, todavía queda MUCHÍSIMO...por hacer Documentación y contacto 1. Introducción a Linux: ramon/articulos/introlinux.pdf. 2. Manual de rocks (botón de documentación en la página principal de aleph): 3. Manual de uso de rocks (en español): 7

8 4. Página principal de la distribución Rocks: Contacto: Faustino Palmero Acebedo. 8