Grid Computing. Clase 1: glite Overview. Francisco García Eijó y Alejandro Soba. Laboratorio de Sistemas Complejos Universidad de Buenos Aires

Transcripción

1 : glite Overview Francisco García Eijó y Alejandro Soba Laboratorio de Sistemas Complejos Universidad de Buenos Aires

2 Agenda Introducción. Conceptos Grid. glite. Arquitectura.

3 Qué es? es un nuevo paradigma de computación distribuida en el cual un número indeterminado de recursos heterogéneos son englobados para ser tratados como una única supercomputadora.

4 Idea La idea de Grid es muy parecida a una red eléctrica: Cualquier hardware que tenga conexión a la red debe poder ser integrada a la Grid. La conexión es provista en cualquier lugar. Altamente confiable (Todos los días y a toda hora). Transparente al usuario. Simple. Disponible en cualquier momento.

5 Porqué hoy? Disponibilidad y confiabilidad en el ancho de banda. Existencia de una red global Internet. Crecimiento dramático de la información online. Necesidad de desarrollar aplicaciones que necesitan cada vez más poder de computo.

6 Ventajas Proporciona un mecanismo de colaboración transparente entre grupos dispersos, tanto científicos como comerciales. Posibilita el funcionamiento de aplicaciones a gran escala. Facilita el acceso a recursos distribuidos desde nuestra PC (Computo y Datos).

7 Escenarios posibles 1 Múltiples usuarios en diferentes organizaciones geográficamente distribuidas, requieren alto poder de computo y compartimiento de datos para trabajo colaborativo.

8 Escenarios posibles 1 Múltiples usuarios en diferentes organizaciones geográficamente distribuidas, requieren alto poder de computo y compartimiento de datos para trabajo colaborativo. 2 Múltiples recursos (computacionales y de almacenamiento) existen en diversas instituciones pero se usan de forma independiente.

9 Conceptos 1/3 Recursos Computacionales: Máquinas donde los usuarios pueden ejecutar sus aplicaciones y almacenar o acceder a archivos independientemente de su localización geográfica.

10 Conceptos 1/3 Recursos Computacionales: Máquinas donde los usuarios pueden ejecutar sus aplicaciones y almacenar o acceder a archivos independientemente de su localización geográfica. Job: Es una tarea computacional (un ejecutable o un script) que el usuario desea ejecutar en la Grid, obteniendo sus resultados en su máquina local.

11 Conceptos 1/3 Recursos Computacionales: Máquinas donde los usuarios pueden ejecutar sus aplicaciones y almacenar o acceder a archivos independientemente de su localización geográfica. Job: Es una tarea computacional (un ejecutable o un script) que el usuario desea ejecutar en la Grid, obteniendo sus resultados en su máquina local. Job Submission: Es la acción de delegar en la Grid la ubicación del mejor recurso computacional para ejecutar un Job y la colocación de este para que sea ejecutado.

12 Conceptos 2/3 Conceptos Grid Organizaciones Virtuales: Grupos de usuarios y recursos con Organizaciones Virtuales (VOs): Grupos de usuarios y objetivos de investigación comunes. recursos con objetivos de investigación comunes. VO University of Catania Garr-B Italian institute of Particle Physics VO VO?? Italian CNR

13 Conceptos 3/3 Middleware: Capa intermedia entre aplicaciones de usuarios y recursos computacionales y de almacenamiento. glite = Middleware

14 Qué es glite? glite es un sistema complejo, compuesto por varios paquetes instalados en diferentes máquinas, que interactúan entre si y cumplen cada uno un rol fundamental en la Grid. Nace de los esfuerzos colaborativos de centros académicos e industriales de investigación. Está basado en una arquitectura orientada a servicios (SOA).

15 Su evolución Evolución glite LCG-1 LCG-2 glite-1 glite-2 glite-3 GTK2 Web services based GTK4 Buenos Aires, EELA-2 Tutorial,

16 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El User Interface (UI) es el punto de entrada a la Grid, es parte de la estación de trabajo del usuario.

17 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El Workload Management System (WMS) es un conjunto de componentes cuyo objetivo es encontrar el recurso que cumple con los requerimientos del Job de un usuario entre los CEs disponibles.

18 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El Computing Element (CE) es el punto de entrada la sistema de colas local (PBS, LSF, Condor).

19 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, Los Worker Nodes (WN) son las máquinas donde los Jobs son finalmente ejecutados. Están enlazados con el CE a través del sistema de colas local, al cuál los Jobs son envíados.

20 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El Information System and Monitoring (IS y MON) mantienen información sobre los recursos disponibles y el estado del sistema.

21 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El Logging and Bookkeeping Service (LB) hace seguimiento de los eventos que le ocurren a los Jobs.

22 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El Virtual Organization Management Service (VOMS) provee mecanismos de autenticación y autorización en el acceso a los recursos.

23 Arquitectura Arquitectura Grid Acess User Interface Info system Security MyProxy (Normal, Long term) VOMS Job submission WMS Computing Element Worker Node Data management Catalogs Storage elements BDII Buenos Aires, EELA-2 Tutorial, El Storage Element (SE) y File Catalogue (LFC) permiten gestionar tranferencias de archivos grandes y facilitar la disponibilidad y localización de archivos de datos que los Jobs requieren.

24 Ciclo de vida de un Job Ciclo de vida de un JOB Buenos Aires, EELA-2 Tutorial,

25 glite - Descomposición de Servicios

26 Preguntas