Análisis de datos: Uso de GANGA

Transcripción

1 Análisis de datos: Uso de GANGA Elena Oliver García IFIC (Valencia) "CURSO PARA USUARIOS EN COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS" Octubre 2009

2 Index Qué es Ganga? Análisis Distribuido en ATLAS Distribución 'job' de Ganga Webs Prácticas Setups, configuración Manejo comandos Ganga Ganga y Athena

3 Qué es Ganga? Herramienta User friendly para el análisis dsitribuido facilitando el manejo del GRID. Incorpora el manejo de athena y dq2 de ATLAS

4 Análisis Distribuido en ATLAS

5 Distribución de un 'job' en Ganga

6 Webs Web principal de Ganga: Twikis de ATLAS para uso de Ganga Twiki User Support del IFIC Hypernews de Distributed Analysis Support hn atlas dist analysis

7 Práctica 1 Setups Entrar en la UI: IFIC: ssh ui04 Setup de dq2, athena y compilar Será necesario para que ganga pueda utilizarlos: Setup de ganga Situarse en la carpeta 'run' IFIC: source /afs/ific.uv.es/project/atlas/software/ganga/install/etc/setup atlas.sh

8 Práctica 1 Configuración (sólo primera vez) Crear fichero de configuración.gangarc: ganga g Editar.gangarc (en el directorio 'home') [Configuration] RUNTIME_PATH = GangaAtlas Gangadir=/tmp/oliverg (a elección) [LCG] DefaultLFC = lfcatlas.pic.es DefaultSE = srmv2.ific.uv.es VirtualOrganisation = atlas [defaults_gridproxy] voms = atlas [defaults_vomscommand] init = voms proxy init voms atlas

9 Práctica 2 Empezar y help() Sólo escribir: ganga Para salir Ctr+D Utilizar help(), información de los comandos de ganga, sólo palabras clave. Help() salir con: q+intro help('index') help('jobs') help('backend') help('atlasrequirements') A vuestra elección

10 Práctica 2 comandos linux en ganga Los comandos linux han de poner '!' delante (excepto algunas excepciones) Escribir en la terminal dentro de Ganga: ls clear pwd echo hola >NO:!echo hola!emacs&!fs qu!dq2 ls mc ttbar_mcatnlo_jimmy_highpttop.merge.aod.e378_s462_r635_t53*

11 Práctica 3 'job' ejecutable linux Crear un script en el directorio 'run': ############## #!/bin/sh echo echo Hola GANGA echo testing ganga ls echo echo BYE echo ##########################

12 Práctica 3 enviar el 'job' linux Escribir dentro de ganga: j=job() j.name='local ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=local() j.submit() Escribir para ver info de todos los jobs: jobs

13 Práctica 4 ver sites en ganga Escribir dentro de ganga: r=atlaslcgrequirements() r.list_sites() r.list_sites_cloud('es') r.list_ce('ifae_scratchdisk') No sólo se indica el site sino también el spacetoken Los nombre de clouds que funcionan son: ES, DE, FR, CA, NL, UK, TW...y ALL y US y NG?

14 Práctica 4 preparar script de python Preparar un script de python xxxxx.py: ########################## j=job() j.name='grid ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=lcg() #sentencia solo para ui04.ific.uv.es j.backend.middleware='edg' j.submit() ##########################

15 Práctica 4 ejecutar un script python Dentro de ganga: execfile('ejecutar000.py') Ver info de todos los jobs: Jobs Observar el CE a dónde ha ido?

16 Práctica 4 Elegir site Preparamos script: ################################################## j=job() j.name='gridsite ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=lcg() #para ui04 j.backend.middleware='edg' Cómo se ponen varios sites? j.backend.requirements=atlaslcgrequirements() j.backend.requirements.sites=['ific-lcg2_mcdisk'] j.submit() ##################################################

17 Práctica 4 Excluir site Preparamos script: ################################################## j=job() j.name='grid ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=lcg() #para cuando instalado IFIC j.backend.middleware='edg' j.backend.requirements=atlaslcgrequirements() j.backend.requirements.excluded_sites=['victoria-lcg2_mcdisk'] j.submit() ##################################################

18 Práctica 4 CE concreto Preparamos scripta: ################################################## j=job() j.name='gridce ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=lcg() #para cuando instalado IFIC j.backend.middleware='edg' j.backend.requirements=atlaslcgrequirements() j.backend.ce='grid006.gridc.lip.pt:2119/jobmanager-lcgpbs-atlas' j.submit() ##################################################

19 Práctica 4 CE concreto Preparamos script: ################################################## j=job() j.name='gridce ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=lcg() #para cuando instalado IFIC j.backend.middleware='edg' j.backend.requirements=atlaslcgrequirements() j.backend.ce='grid006.gridc.lip.pt:2119/jobmanager-lcgpbs-atlas' j.submit() ##################################################

20 Práctica 5 'job' con error Preparamos script: ################################################## j=job() j.name='gridceific ls' j.application=executable() j.application.exe=file('myscript.sh') j.backend=lcg() #para cuando instalado IFIC j.backend.middleware='edg' j.backend.requirements=atlaslcgrequirements() j.backend.requirements.sites=['ific-lcg2_mcdiskk','uam-lcg2_mcdiskk','ifae_mcdiskk'] j.submit() ################################################## No hemos puesto bien el nombre de los sites: El status es 'new'

21 Práctica 5 reparar error Dentro de ganga: j=jobs(646).copy() j.backend.requirements.sites=['ific- LCG2_MCDISK','UAM- LCG2_MCDISK','IFAE_MCDISK'] j.submit() El job 'new' ya lo podemos borrar: jobs(646).remove()

22 Práctica 6 aplicación ROOT Preparamos script ejecutable para root: void gaus() { groot >SetStyle("Plain"); TH1F *h1 = new TH1F("h1","histo from a gaussian",100, 3,3); h1 >FillRandom("gaus",10000); TCanvas *c1 = new TCanvas("c","c",800,600); h1 >Draw(); c1 >Print("gaus.gif"); }

23 Práctica 6 enviar 'job' de ROOT Preparamos script: j = Job() j.name='exercice Root' j.application=root() j.application.script='gaus.c' j.outputsandbox=['gaus.gif'] j.backend=lcg() j.backend.middleware='edg' j.backend.requirements=atlaslcgrequirements() j.backend.requirements.sites=['ific LCG2_SCRATCHDISK'] j.submit() Ver la gráfica en la carpeta del job en gangadir/workspace/$user/localagma/[id]

24 Práctica 7 'job' de athena Preparamos script: ##################################################################################### j = Job() j.name='grid athena' j.application=athena() j.application.option_file=['analysisskeleton_topoptions.py' ] j.application.max_events=1 j.application.prepare(athena_compile=false) j.splitter=dq2jobsplitter() j.splitter.numfiles=1 j.inputdata=dq2dataset() j.inputdata.dataset="mc ttbar_mcatnlo_jimmy_highpttop.merge.aod.e378_s462_r635_t53/" j.outputdata=dq2outputdataset() j.outputdata.outputdata=['analysisskeleton.aan.root'] j.outputdata.location='ific-lcg2_scratchdisk' j.backend=lcg() j.backend.middleware='edg' j.backend.requirements.cloud='all' j.submit() #######################################################################################

25 Paréntesis comandos útiles Dentro de ganga: jobs.select(1,5) el script de un job: jobs(1) ver el output jobs(1).peek('stdout','cat') jobs(2).peek('stdout.gz','gzip -d') jobs(2).peek('stdout','cat') Volver a enviar el job: jobs(643).resubmit() j=jobs(643).copy() j.backend=lcg(middleware='edg',ce='ce01.ific.uv.es:2119/jobmanager-pbs-atlasl') j.submit()

26 Práctica 7 ver outputs Ver el output en ES Una vez ha acabado el job, queda registrado en dq2, podemos verlo así:!dq2-ls -r user09.elenaolivergarcia.* Os mostrará todos los outputs que habéis hecho en ganga. Caso especial del IFIC. Si el output lo habéis guardado en el ific, lo podéis ver en lustre desde la ui: ls /lustre/ific.uv.es/grid/atlas/atlasscratchdiks/user09/elen aolivergarcia/ganga/

27 Práctica 8 Backend 'Panda' Dentro de ganga: r=panda() r.list_sites() Veréis los nombres de los sites utilizables para Panda

28 Práctica 8 Script python para Panda Preparar script: ##################################################################################### j = Job() j.name='grid athenapanda' j.application = Athena() j.application.option_file=['analysisskeleton_topoptions.py' ] j.application.max_events=1 j.application.athena_compile = False j.application.prepare() j.splitter = DQ2JobSplitter() j.splitter.numfiles=1 #j.splitter.numsubjobs = 1 j.inputdata = DQ2Dataset() j.inputdata.dataset="mc ttbar_mcatnlo_jimmy_highpttop.merge.aod.e378_s462_r635_t53/" j.outputdata=dq2outputdataset() j.backend=panda() j.backend.site='analy_ific' j.submit() #####################################################################################

29 Gracias por su atención SUGERENCIAS DE LOS PRESENTES!