Grid Computing. Clase 4: Basics on glite Job Management. Francisco García Eijó y Alejandro Soba

Transcripción

1 : Basics on glite Job Management Francisco García Eijó y Alejandro Soba Laboratorio de Sistemas Complejos Universidad de Buenos Aires

2 Agenda Introducción a la gestión de Jobs en glite. El lenguaje de definición de Jobs (JDL). Ejemplos. Estados de un Job. Interfaz de ĺınea de comandos (CLI). Práctica.

3 Introducción a la gestión de Jobs en glite. Workload Management System (WMS): Es el componente de glite que permite a los usuarios enviar Jobs y realizar todo lo requerido para ejecutarlos, ocultando la complejidad de la Grid. Es responsabilidad del usuario describir sus Jobs y sus requerimientos, y extraer la salida una vez que sus Jobs han terminado. Está formado por un conjunto de componentes del middleware responsables de la distribución y gestión de Jobs en los recursos de cómputo de la Grid. Su propósito es aceptar y satisfacer requerimientos de Jobs provenientes de sus clientes (UI), seleccionando el CE más apropiado de acuerdo a lo expresado en el JDL. La selección del CE más apropiado es el resultado del proceso de Matchmaking.

4 El Lenguaje (JDL) JDL (Job Description Language: En glite el Job Description Language (JDL) es usado para describir los trabajos a ejecutar en la Grid. Permite especificar características y condiciones de ejecución que son tomadas en cuenta por el WMS durante el proceso de Matchmaking.

5 El Lenguaje (JDL) El JDL está basado en el Classfied Advertisement Language (ClassAd): Un ClassAd es una secuencia de atributos separados por punto y coma (;). Un atributo es un par (Clave,Valor), donde cada valor puede ser un entero, una cadena de caracteres, una variable booleana, etc. El caracter (Comilla simple) NO puede ser usado en el JDL. Los comentarios se preceden de //. Comentarios de múltiples ĺıneas: Texto entre / y /. IMPORTANTE: El JDL es sensible a espacios en blancos y tabs. Por lo tanto luego del ; no debe haber ni espacios ni tabs.

6 El Lenguaje (JDL) Qué puedo especificar a través del JDL? El programa/aplicación que quiero ejecutar en la Grid (ejecutable). Argumentos a pasar por la ĺınea de comandos al ejecutable. Los archivos que quiero subir desde la UI a la Grid (Datos de entrada o Aplicación a ejecutar). Los archivos que quiero descargar de la Grid a la UI (resultados). A donde quiero redireccionar la salida estándar y la salida de error (standard output/standard error). Ambiente de ejecución (variables de entorno). Tipo de Job (Paralelo, secuencial, interactivo, DAG, etc.). Requerimientos específicos a considerar durante el proceso de Matchmaking.

7 El Lenguaje (JDL) Un ejemplo simple Executable = "/bin/hostname"; StdOutput = "std.out"; StdError = "std.err" El atributo Executable especifica el comando a correr por el Job (Programa). Si el comando está disponible en el WN (la aplicación esta instalada), debe emplearse la ruta completa de ejecución. Si debe copiarse desde la UI, se emplea únicamente el nombre del archivo, y la ruta al archivo en la UI debe especificarse a través del atributo InputSandbox.

8 El Lenguaje (JDL) Usando el InputSandbox Executable = "test.sh"; InputSandbox = {"/home/usuario/test.sh"}; StdOutput = "std.out"; StdError = "std.err"

9 El Lenguaje (JDL) El atributo Arguments contiene una cadena literal que es pasada como argumentos en la ĺınea de comandos al ejecutable. Arguments = "-f"; Para usar caracteres especiales en el atributo Arguments (como &,, >, <,), deben precederse con triple \ \ \. Arguments = "-f file1 \\\& file2"; Los atributos StdOutput y StdError indican el nombre de los archivos a los que se redireccionará la salida estándar y de error del ejecutable. StdOutput = "std.out"; StdError = "std.err";

10 El Lenguaje (JDL) Si se desean subir archivos al nodo de ejecución (WN), deben especificarse en el atributo InputSandbox: InputSandbox = {"test.sh",.., "filen"}; Los archivos que deseen bajarse del nodo de ejecución una vez finalizado el job, deben especificarse en el atributo OutputSandbox: OutputSandbox = {"std.out","std.err"}; IMPORTANTE: El InputSandbox no puede contener 2 archivos con el mismo nombre, aún cuando se encuentren en directorios diferentes, dado que durante la transferencia serán sobrescritos.

11 El Lenguaje (JDL) El ambiente de ejecución puede modificarse con el atributo Environment (por ejemplo, establecer variables de entorno): Environment = {"CMS_PATH=$HOME/cms", "CMS_DB=$CMS_PATH/ El atributo VirtualOrganisation puede utilizarse para especificar expĺıcitamente la VO del usuario: VirtualOrganisation = \gilda";

12 El Lenguaje (JDL) A través del atributo JobType podemos especificar el tipo de Job: Normal: Job secuencial simple Interactive: Job interactivo MPICH: Job paralelo MPI Checkpointable: Job que permite checkpoints Partitionable: Job que permite particionamiento Parametric: Job parametrico Se permiten combinaciones excepto Interactive+MPICH JobType="Normal"; JobType="Interactive"; JobType={"Interactive", "Checkpointable"}

13 El Lenguaje (JDL) El atributo Requirements permite expresar restricciones ó condiciones sobre los recursos donde el job podrá correr: Requirements = other.glueceinfolrmstype == "PBS" && oth //Este job correra en un CE cuyo LRMS sea PBS y cuyos W Su valor es una expresión booleana que debe evaluarse en true para que el job ejecute en un determinado CE IMPORTANTE: Este atributo solo puede especificarse una vez. Si existen múltiples restricciones, deben combinarse en una única expresión con operadores booleanos adecuados (&&=AND, =OR)

14 El Lenguaje (JDL) Pueden utilizarse expresiones regulares cuando se especifica un requerimiento: Requirements = RegExp("cern.ch",other.GlueCEUniqueID); //Este job se ejecutará en cualquier CE cuyo dominio se Lo opuesto: Requirements = Requirements = (!RegExp("cern.ch",other. //Este job se ejecutará en cualquier CE cuyo dominio se

15 El Lenguaje (JDL) Si la duración del job es importante, se recomienda solicitar su ejecución en CEs con suficiente tiempo de CPU disponible (expresado en minutos): Requirements = other.gluecepolicymaxcputime > 480; //Expresa que el job requiere al menos 8 horas de CPU. El WMS puede reenvíar jobs fallidos automáticamente. Para limitar el numero de reintentos a realizar, se emplea el atributo RetryCount: RetryCount = 7; RetryCount = 0;

16 Ejemplos Ejemplo 1 JobType="normal"; Executable = "/bin/echo"; Arguments = "Hello World"; StdOutput = "message.txt"; StdError = "stderror"; OutputSandbox = {"message.txt", "stderror"};

17 Ejemplos Ejemplo 2 JobType="normal"; Executable = \test.sh"; StdOutput = \std.out"; StdError = \std.err"; InputSandbox = {\test.sh"}; OutputSandbox = {\std.out","std.err"};

18 Ejemplos Ejemplo 3 Type = "Job"; JobType = "Normal"; Executable = "/bin/bash"; StdOutput = \std.out"; StdError = \std.err"; InputSandbox = {\yourscript.sh"}; OutputSandbox = {\std.err",\std.out"}; Arguments = "yourscript.sh";

19 Interfaz de Linea de Comandos (CLI) Para delegar expĺıcitamente un proxy al WMProxy: glite-wms-job-delegate-proxy -d <delegid> Donde <delegid> es una cadena seleccionada por el usuario Ejemplo: $ glite-wms-job-delegate-proxy -d mydelegid Connecting to the service ======= glite-wms-job-delegate-proxy Success ======== Your proxy has been successfully delegated to the WMProxy: with the delegation identifier: mydelegid ==================================================

20 Interfaz de Linea de Comandos (CLI) Para enviar un job a través del WMProxy. $ glite-wms-job-submit {d mydelegid test.jdl Connecting to the service ======== glite-wms-job-submit Success ======== The job has been successfully submitted to the WMProxy Your job identifier is: ==============================================

21 Interfaz de Linea de Comandos (CLI) El comando retorna al usuario un identificador de job (JobId) que identifica unívocamente al job en el Grid. Este JobId debe usarse para realizar operaciones sobre el job: consultar su estado, cancelarlo, etc. El formato del JobID es: Donde: <unique_string>: cadena cuya unicidad esta garantizada <LB_hostname>: Servidor LB (Logging and bookkeeping)

22 Interfaz de Linea de Comandos (CLI) Opciones adicionales del comando glite-wms-job-submit: o < file >: permite especificar un archivo de texto al cual se enviara el JobId. Permite gestionar los JobIds de forma conveniente, en lugar de memorizarlos o copiar y pegar r < CEId >: permite especificar un CE particular al cual enviar el job. Si se emplea esta opcion, el proceso de Matchmaking no se realiza. (NO RECOMENDADO)

23 Interfaz de Linea de Comandos (CLI) Para conocer los posibles CEs a donde se enviaría un job, se emplea el comando: $ glite-wms-job-list-match {d mydelegid --rank test.jdl Connecting to the service ==================================================== COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* *Rank* - CE.pakgrid.org.pk:2119/jobmanager-lcgpbs-cms 0 - grid-ce0.desy.de:2119/jobmanager-lcgpbs-cms gw-2.ccc.ucl.ac.uk:2119/jobmanager-sge-default grid-ce2.desy.de:2119/jobmanager-lcgpbs-cms -107 ====================================================

24 Interfaz de Linea de Comandos (CLI) Para conocer el estado de un Job. $ glite-wms-job-status ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: ce1.inrne.bas.bg:2119/jobmanager-lcgpbs-cms Submitted: Mon Dec 4 15:05: CET *********************************************************** La opcion -v controla el nivel de verbosity, puede ser de 0 a 3 Se pueden suministrar varios JobIds como parametros Se puede suministrar un archivo con JobIds a través del parametro i < file >

25 Interfaz de Linea de Comandos (CLI) Para cancelar un Job. $ glite-wms-job-cancel Are you sure you want to remove specified job(s) [y/n]y : y Connecting to the service ========== glite-wms-job-cancel Success ============ The cancellation request has been successfully submitted for the following - ====================================================

26 Interfaz de Linea de Comandos (CLI) Para obtener los resultados de un Job. $ glite-wms-job-output Connecting to the service ===================================================== JOB GET OUTPUT OUTCOME Output sandbox files for the job: have been successfully retrieved and stored in the directory: /tmp/doe_yabp72aerhofla6w2-lrjw ==================================================== Los resultados se descargan a /tmp, pero es posible indicar otra ubicación con la opción dir <path>.

27 Preguntas