glite middleware Agenda Por qué glite Service Discovery

Transcripción

1 C. Borrego, 10-Nov-200 glite middleware Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación 1

2 Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación Por qué otro middleware EU DataGrid, Globus, AliEn, NordUGrid... ya proveen un working stack funcionante LCG / EGEE SA1 usa la EDG stack Sin embargo no todos las nuevas necesidades se pueden conseguir con mejoras incrementales Necesidades de escalabilidad: 100s sites, billones de ficheros Necesidades de funcionalidad: jobs interactivos, checkpointing, posix data, DAG jobs... 2

3 EGEE middleware: glite glite un nombre permanente en un mundo de proyectos EDG llamaba a sus servicios edg- glite es un juego de palabras. lite~light. Reengineering: reciclar componentes ya existentes en AliEn, VDT (CondorG, Globus), EDG/LCG, NordUGrid y otros Desarrollar una middleware genérico para aplicaciones EGEE (HEP y biomed) que sea fácil de usar, fácil de hacer el deployment, con componentes pluggable y construido sobre standards Interoperabilidad, portabilidad, modularidad Transición LCG-gLite LCG-1 LCG-2 glite-1 glite-2 Basado en Globus Basado en Web Services 3

4 Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación Servicios glite Service decomposition based on ARDA blueprint 4

5 Conceptos de Seguridad Actualmente con LCG: No hay seguridad a nivel de servicio CE inseguro Storage inseguro No se dispone de autorización de grano fino No hay posibilidad de asignar roles a sus miembros (ej. grupos) No existen políticas internas dentro de las VO No se puede distinguir entre las distintas VO, políticas inter-vo Conceptos de Seguridad (ii) glite proporciona: VO s Service (VOMS) para el manejo de proxys El usuario usa el comando voms-proxy-init Servicio de autorización de ficheros para operaciones de grano fino Los servicios pueden actuar en función de VOMS, roles o grupos El usuario se ha de autenticar con TODOS los servicios El usuario puede delegar su certificado al servicio Uso más consistente del LCAS/LCMAPS 5

6 Conceptos de Seguridad (iii) VOMS Cada persona tiene que pertenecer a una VO Cada VO tiene que tener un VOMS Servicios son de tipo site y de tipo VO Los servicios de tipo VO solo aceptan certificados firmados por un VOMS Extiende el certificado proxy con atributos VO Roles: adm, reader, writer, voadmin... Capabilities: (ej. long-job, large-space) Firma de atributos Duración 12 horas MyProxy no lo extiende WEB interface para administrar las VOMS. Conceptos WMS Problemas de escalabilidad con LCG: Necesidad de información actualizada por parte de todos los sites en todo momento Retrasos pueden causar que la información sea errónea y jobs se mandan a sites erróneos glite adopta conceptos de AliEn introduce el concepto pull en el que el CE notifica al RB de su capacidad de correr trabajos Provee una task-queue que puede ser reordenada en función de distintas políticas Control acceso a los jobs Nuevas funcionalidades glite: jobs interactivos jobs DAG Accounting & Monitoring job resubmissions 6

7 WMS (workload management system) Estados de un job 7

8 Ejemplo de un job submit -voms dteam Your identity: /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias Enter GRID pass phrase: Creating temporary proxy... Done Contacting voms.cern.ch:15004 [/C=CH/O=CERN/OU=GRID/CN=host/voms.cern.ch] "dteam" Done Creating proxy... Done Your proxy is valid until Thu Nov 10 03:53: Ejemplo de un job submit -all subject : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias/CN=proxy issuer : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias identity : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias type : proxy strength : 512 bits path : /tmp/x509up_u50035 timeleft : 11:55:59 VO : dteam subject : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias issuer : /C=CH/O=CERN/OU=GRID/CN=host/voms.cern.ch attribute : /dteam/capability=long-job timeleft : 11:55:59 8

9 Ejemplo de un job submit Your identity: /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias Enter GRID pass phrase for this identity: Creating proxy... Done Your proxy is valid until: Thu Nov 10 03:59: all subject : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias/CN=proxy issuer : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias identity : /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias type : full legacy globus proxy strength : 512 bits path : /tmp/x509up_u50035 timeleft : 11:59:58 Ejemplo de un job submit [cborrego@ui03.pic.es]#cat glite.jdl [ Executable = "/bin/echo"; Arguments = "Hello World"; StdOutput = "message.txt"; StdError = "stderror"; OutputSandbox = {"message.txt","stderror"}; rank = -other.gluecestateestimatedresponsetime; requirements = other.gluecestatestatus == "Production"; ] 9

10 Ejemplo de un job submit glite.jdl **** Warning: UI_VOMS_OVERRIDE **** The Virtual Organisation name "picard" you have specified with the UI conf file will be overriden by the default VO in your proxy credentials: "dteam" Selected Virtual Organisation name (from proxy certificate extension): dteam Connecting to host rb02.pic.es, port 7772 *************************************************************************** COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* ce02.pic.es:2119/blah-pbs-cms ce02.pic.es:2119/blah-pbs-dteam pprod03.lip.pt:2119/blah-pbs-short ************************************************************************** Ejemplo de un job submit -r pprod03.lip.pt:2119/blah-pbs-short glite.jdl **** Warning: UI_VOMS_OVERRIDE **** The Virtual Organisation name "picard" you have specified with the UI conf file will be overriden by the default VO in your proxy credentials: "dteam" Selected Virtual Organisation name (from proxy certificate extension): dteam Connecting to host cert-rb-01.cnaf.infn.it, port 7772 Logging to host cert-rb-01.cnaf.infn.it, port 9002 ****************************************************************************** JOB SUBMIT OUTCOME The job has been successfully submitted to the Network Server. Use glite-job-status command to check job current status. Your job identifier is: - ******************************************************************************** 10

11 Ejemplo de un job submit 01.cnaf.infn.it:9000/84oqDka6eDTN7KJyorPF1A ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : 01.cnaf.infn.it:9000/84oqDka6eDTN7KJyorPF1A Current Status: Done (Success) Status Reason: 0 Destination: pprod03.lip.pt:2119/blah-pbs-short Submitted: Wed Nov 9 16:34: CET ************************************************************* Ejemplo de un job submit [cborrego@ui03.pic.es]#glite-job-output --dir /tmp/mydir 01.cnaf.infn.it:9000/84oqDka6eDTN7KJyorPF1A *********************************************************** JOB OUTPUT OUTCOME Output sandbox files for the job: 01.cnaf.infn.it:9000/84oqDka6eDTN7KJyorPF1A have been successfully retrieved and stored in the directory: /tmp/mydir/koba-igxzyvplkhanfrhhw ************************************************************* [cborrego@ui03.pic.es]#more /tmp/mydir/koba-igxzyvplkhanfrhhw/message.txt Hello World [cborrego@ui03.pic.es]#more /tmp/mydir/koba-igxzyvplkhanfrhhw/stderr.log 11

12 DAG jobs DAG jobs (Directed Acyclic Graph) Los sub-jobs son planificados solo cuando el correspondiente nodo DAG está listo El usuario tiene que indicar en su JDL que el atributo JobType es de tipo dag, la descripción de los nodos y sus dependencias DAG jobs nodes = { cmkin1 = [ file = bckg_01.jdl" ; ], cmkin2 = [ file = bckg_02.jdl" ; ], cmkinn = [ file = bckg_0n.jdl" ; ] }; dependencies = { {cmkin1, cmkin2}, {cmkin2, cmkin3}, {cmkin2, cmkin5}, {{cmkin4, cmkin5}, cmkinn} } cmk in1 cmk in2 cmk in3 cmk in5 cmk in4 cmk inn 12

13 Jobs interactivos JobType= interactive en el jdl Posibilidad de mandar stdin al job Posibilidad de tener stdin/stout durante el job Posibilidad de engancharse a un job interactivo con el comando glite-job-attach Grid Data Heterogéneo datos almacenados en distintos storage systems con diferentes modos de acceso Distribuido Datos distribuidos es distintos sites Necesidad de movimiento de datos Diversos Dominios de Administración Datos almacenados en lugares que normalmente no tendríamos acceso Implicaciones de seguridad 13

14 Conceptos DM Problemas con LCG (2004): Escalabilidad del RLS. Servicio centralizado RLS/RMC poco performante, sin posibilidad de bulk operations Jerarquía de Filesystem plana Nuevas funcionalidades glite: File catalog con jerarquía y metadata Posix-like I/O Bulk operations Catálogo diseñado para ser distribuido FT/PS Conceptos DM (ii) Storage Element glite define 3 modos de acceso: SRM gridftp native i/o interface (rfio, dcap, nfs...) LCG solo tenía gridftp (d-cache más tarde) SRM es obligatorio para cada SE LCG: el cliente interacciona con SRM y los catálogos se usa directamente el certificado del usuario glite I/O: proporciona un servidor para procesar SRM el cliente delega sus credenciales al I/O server glite I/O es el dueño de los ficheros 14

15 Movimientos masivos de ficheros Managed File Transfer LCG provee comandos (lcg-util) para mover datos. Todos las operaciones son realizadas por el cliente Esto es una blocking operation Posibilidad de bloquear la red glite provee servicios para operaciones asincronas y bulk data movements, FTS y FP: red y storage Define el concepto de canal entre dos I/O Los canales son adminstrados por los network admins y los storage admins Posibilidad de optimización de parámetros (mejor del ancho de banda) Las VO's que usan los canales pueden definir políticas internas dentro del canal Ficheros y réplicas LCG: Logical File Name 1. Logical File Name n GUID Physical File SURL 1. Physical File SURL n TURL 1. TURL n glite: Symbolic Link 1. Symbolic Link n LFN GUID Physical File SURL 1. Physical File SURL n TURL 1. TURL n SRM 15

16 Fireman Server Fireman: Actualmente solo está implementado single central catalog StorageIndex guarda la información sobre las réplicas Futuro: DistribuciónNowNext StorageInd StorageInd ex StorageIn ex Fireman dex Single Central Fireman Fireman Fireman Reliable Message Passing (MOM) Fireman Fireman Fireman Fireman Storage con glite VOMS Storage Element Storage WSDL API File I/O glite I/O SRM gridftp File namespace and Metadata mgmt Fireman File and Replica Catalog Database File replication FPS Transfer Agent StorageIndex MyProxy Proxy renewal Database File Transfer and Placement Service FTS WMS Replica Location 16

17 Ejemplos de comandos Storage -voms picard Your identity: /C=ES/O=DATAGRID-ES/O=PIC/CN=Carlos Borrego Iglesias Enter GRID pass phrase: Creating temporary proxy... Done Contacting kuiken.nikhef.nl:15010 [/O=dutchgrid/O=hosts/OU=nikhef.nl/CN=kuiken.nikhef.nl] "picard" Done Creating proxy... Done Your proxy is valid until Wed Nov 9 00:36: [cborrego@ui03.pic.es]#voms-proxy-info -vo picard Ejemplos de comandos Storage [cborrego@ui03.pic.es]#glite-put -c glite-io-client-picard /tmp/test /tmp/carlos/test-dir/test Using Configuration name glite-io-client-picard! [glite_put] Total 0.00 MB ==================== % [0.0 Mb/s] Transfer Completed: LFN : /tmp/carlos/test-dir/test GUID : 003a8fb8-8dd c61-c192c442beef SURL : srm://se02.pic.es:8443/srm/managerv1?sfn=/castor/pic.es/scratch/glite /picard/tmp/carlos/test-dir/test Data Written [bytes] : 4 Eff.Transfer Rate[Mb/s] :

18 Ejemplos de comandos Storage glite-catalog-ls -l -g -s \ /tmp/carlos/test-dir/test -pdrwl-gs--r-l-g :36:55 003a8fb8-8dd c61-c192c442beef /tmp/carlos/test-dir/test [cborrego@ui03.pic.es]# glite-catalog-ls -v -l -g /tmp/carlos/testdir/test # Using endpoint # Service version: # Interface version: # Schema version: 1 -pdrwl-gs--r-l-g :36:55 003a8fb8-8dd c61-c192c442beef /tmp/carlos/test-dir/test Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive Jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación 18

19 Service Discovery No era parte de glite 1.0 Un interfaz ha sido definido e implementado para 3 back-ends: -RGMA - BDII - Configuration file Command line y api muy fácil de usar Usado por el WMS y Data Service Discovery (RGMA) 19

20 Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación Accounting con DGAS Basado en bases de datos MySql Sistema distribuido Sistema basado en los siguientes servicios: Home Location Register (HLR) service usarios Price Authority (PA) coste de recursos 20

21 Accounting con DGAS Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación 21

22 Instalación de los servicios Instalar la máquina con RedHat Linux 3.0 Copiar el certificado en /etc/grid-security Instalar java Usar apt (ej apt-get install glite-ce-config) Crear los ficheros de configuracion xml en base de los provistos en: /opt/glite/etc/config/templates y ponerlos en /opt/glite/etc/config/ /opt/glite/etc/config/scripts/glite-$service-config.py configure Ficheros de configuración Hay un fichero por servicio Fichero global (glite-site-config.xml) En proyecto la unificación de los ficheros de configuración Proyectos yaim-glite 22

23 Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación PIC Experiences on PPS (1/3) PIC's pre-production cluster includes (since May 05): glite IO + SRM Server - se02.pic.es glite CE (+ ~150 LCG WN) - ce02.pic.es glite FireMan server - fs01.pic.es glite WMS - rb02.pic.es glite RGMA-server - rgma01.pic.es glite UI - ui03.pic.es At the moment all services are running glite

24 PIC Experiences on PPS (2/3) In the initial phase (glite 1.0), it was difficult to deploy services: Lack of documentation Poor support channel Error messages were not useful often too cryptic many reasons could cause the same error message At the beginning, updating the services was a complete disaster Machines were forced to be re-installed from scratch PIC Experiences on PPS (3/3) Why things got better: CESGA's wiki page real, example configuration files end-points for core services glite-discuss mailing list "apt" was (finally) chosen as the default installation tool Update to version 1.3 was straightforward! We have great expectations for glite 1.4! 24

25 Agenda Por qué glite Servicios glite Seguridad Workload System Job Submission DAG Jobs Interactive jobs Grid Data Réplicas Comandos cliente Service Discovery Accounting Instalación Preproduction Documentación Documentación Página oficial glite: Arquitectura glite - Wiki del cesga - glite Lectures - Peter Kunszt Overview_Security_and_WMS.ppt Comparison of LCG-2 and glite (E.Slabospitskaya): glite Middleware Status (Frederic Hemmer): aterialid=slides&confid=a