GRID. Por qué Grid? Que es una GRID? Emely Arráiz. Cambios fundamentales en los tipos de problemas que necesitan ser resueltos.

Transcripción

1 GRID Emely Arráiz Por qué Grid? Cambios fundamentales en los tipos de problemas que necesitan ser resueltos. Muchas de las aplicaciones son de naturaleza multidiciplinaria. Se requiere de grupos de investigadores colaborando desde localidades remotas. Muchas de las aplicaciones necesitan recursos distribuidos. Instrumentos remotos, supercomputadores, bases de datos. Que es una GRID? Es un tipo de sistema paralelo y distribuido que permite: compartir seleccionar añadir recursos distribuidos a través de múltiples dominios administrativos. Basados en requerimientos de: disponibilidad capacidad desempeño costo y calidad de servicio 1

2 Que es una GRID? Recursos compartidos y resolución coordinada de problemas de organizaciones virtuales multiinstitucionales. Permite, mantiene y controla, los recursos compartidos para alcanzar una meta común Conduce soluciones integradas que facilitan la colaboración virtual. Máximizando la interoperabilidad a través de construcción de estandar La computación en GRID - Unificación de los recursos geográficamente distribuidos Campos de Aplicación Supercomputación Simulaciones Cálculo Numérico Análisis de datos Sistemas distribuidos a tiempo real Medicina Procesos intensivos de datos B.D. Distribuidas Servicios puntuales Acceder a distancia hardware específicos 2

3 Ejemplos de Aplicaciones Diseños e ingeniería aereo-espaciales. Visualización científica del clima y análisis de los terabyte datos de una simulación. Ingenieros de compañias multinacionales colaborando sobre el diseño de un nuevo producto. Empresa configurando recursos internos y externos para soportar la carga de trabajo para ebusiness. Bioquimica explotando 10,000 computadoras. Físicos en el mundo necesitando recursos para procesar peta-op y analizar petabytes de datos. Caracteristica Grid y desafios Entities/Issues Users, Resources, Owners resources, users, apps Resource Availability/Capability Policies and strategies QoS requirements Cost / Price Characteristics Geographically Distributed Heterogeneous Varies with time Heterogeneous & decentralised Heterogeneous Varies: different resources, users, time challenges * Resource Management * Application Construction Tipos de Grid Compute grids share access to high-performance computer systems Services or utility grids Data grids share access to databases and files systems share access to application software and computing resources 3

4 Organización de las máquinas Tipos: Flat : las máquinas se comunican directamente unas con otras, sin pasar a través de intermediarios. Celdas : máquinas organizadas por celdas. Dentro de una estructura de celda las máquins se comunican usando alguna organización. Se tienen máquinas designadas que actuan como elementos boundary, responsable de la comunicación fuera de la celda. Su estructura interna no es visible a otras celdas. Jerárquico : máquinas en algún nivel pueden comunicarse directamente con máquinas directamente debajo de ellas o encima de ellas o con pares en la jerarquía. Arquitectura de una GRID Application Collective Resource Connectivity Fabric Arquitectura de una GRID Fabric: donde se encuentra recursos computacionales que serán compartidos, además de la infraestructura de red y sus mecanismos de gestión y control. Los recursos pueden ser entidades físicas o lógicas: Clústers de computadoras, Bases de datos, Sistemas de archivos distribuidos Connectivity: trata con protocolos de comunicación y seguridad que permiten a los recursos computacionales comunicarse. La seguridad es un punto muy importante de la computación en Grid por su propia naturaleza distribuída ya que se comparten recursos entre distintas organizaciones que pueden tener distintas políticas de seguridad. En comunicación, protocolos de internet: TCP/IP, routing,etc.protocolo de seguridad (SSL o X.509): brindan mecanismos de criptografía para identificar usuarios y recursos 4

5 Arquitectura de una GRID Resource: se centra en la gestión de un único recurso y permite tener información y control sobre el mismo. - Protocolos que permiten obtener la información de un recurso: sus características técnicas, la carga actual, el precio, etc. - Protocolos que permiten el control del recurso: el acceso al mismo, el arranque de procesos, la gestión, la parada, la monitorización, la contabilidad de uso y la auditoria del recurso. Collective: Protocolos y servicios que le permita gestionar un conjunto de recursos. Ej servicio de directorio, monitoreo y diagnostico de fallas, replicación de datos, balanceo de carga, schedulers distribuidos, etc. Appl: Protocolos que permitan el acceso a la estructura grid. Según el tipo de aplicación será necesario conectarse a las distintas capas o acceder directamente a una de ellas e incluso a la de Fabric. Desafios a resolver A nivel de Programación Facilidades de desarrollo para aplicaciones sofisticadas Facilidades de compartir código. Ambientes de programación APIs, SDKs,tools, etc. A nivel de sistemas Facilidades de coordinar uso de recursos dispersos. Facilidades de compartir infraestructura Autorización de certificación,servicios de información Requerimientos del sistema Protocolos y servicios. Tools basicos de la Grid Security Computational Economy Uniform Access System Management Resource Discovery Resource Allocation & Scheduling Data locality Application Construction Network Management 5

6 Servicios básicos Seguridad. Gerencia del sistema. Planificación y asignación de recursos. Descubrimiento de recursos. Administración de la red. Localización de la data. Auditoria y cobro del cómputo. Ambiente para el desarrollo de aplicaciones. Servicios básicos Autenticación y seguridad. Acceso basado sobre un simple punto de autenticación originado en el escritorio. Interacción segura a través de la grid. Servicios básicos de Información Descubrir recursos Como encontrar un objectos con un conjuntos de propiedades?. Como instalar un nuevo objeto/servicio en la grid?. Como se hace conocido el objeto al broker de la grid?. Como se describe el mismo?. Servicios de información y directorios de datos. Acceso a todo el catálogo de datos del grid y directorios de servicios. Método de acceso estandar para adquirir la metadata. 6

7 Servicios básicos nivel de usuarios Un shell global para el control de acceso del job y otros servicios. Servicios de colaboración distribuidos. Muchas aplicaciones son diseñadas para ser accesadas por multiples usuarios desde multiples sitios simultaneamente. Servicios comunes de auditoría y contabilidad. Quienes estan autorizados a usar un conjunto de recursos y como cobrar por los servicios. Servicios de Monitoreo/scheduler Mantenimiento de servicios vivos. Una red de agentes autónomos son requeridos para monitorear la grid y mantener los recursos y servicios vivos. El servicio de scheduler distribuido es una de las aplicaciones más complejas de un desarrollo Grid ya que existen tres scheduler distintos: el planificador de trabajos (Job Scheduler) que intenta maximizar la cantidad de trabajo realizado (trabajos por unidad de tiempo). el planificador de recursos que intenta maximizar el uso de los recursos. el planificador de la aplicación que divide la aplicación en tareas, asigna los recursos para su ejecución y vigila el desarrollo de los mismos. Componentes de una Grid Scientific Engineering Collaboration Applications and Portals Prob. Solving Env. Web enabled Apps Grid Apps. Development Environments and Tools Languages Libraries Debuggers Monitoring Resource Brokers Web tools Grid Tools Distributed Resources Coupling Services Comm. Sign on & Security Information Process Data Access QoS Grid Middleware Local Resource Managers Operating Systems Queuing Systems Libraries & App Kernels TCP/IP & UDP Computers Clusters Networked Resources across Organisations Storage Systems Data Sources Scientific Instruments Grid Fabric 7

8 Cómo funciona el grid? Un usuario tiene un problema con necesidades computacionales especiales. Implementa un job que se pueda ejecutar en el grid Se conecta al grid por medio de una interfaz software que ejecuta en su equipo ( capa de aplicación) El usuario debe validarse correctamente para asegurar la seguridad ( conectividad (capa de Tras validarse, el usuario se podrá comunicar con el núcleo del grid, el Resource Broker (capa Collective), que se encarga de buscar los recursos óptimos en cada caso. El Resource Broker consulta al Information Service acerca de los recursos disponibles en el Grid; y al Replica Catalog para conocer donde se localizan los datos existentes Cómo funciona el grid? Una vez localizados los recursos que más convienen, el Resource Broker le envía al job, y se ejecuta. En cualquier momento, el usuario puede consultar al Resource Broker por el estado del proceso. Cuando se ha terminado de ejecutar el job, el RB nos devuelve los resultados. Principales Ventajas Descentralización: pueden agregarse recursos sin importar su localización geográfica. Heterogeneidad: todo recurso puede ser integrado. Pueden ser de 2 tipos: Hardware: Ordenadores o dispositivos electrónicos. Software: Los recursos agregados pueden ser de todo tipo (servicios, documentos, imágenes, bases de datos...) y estar presentes en cualquier sistema operativo (Windows, UNIX, MacOSX...). Escalabilidad: La infraestructura puede ser aumentada continuamente sin alterar procesos y sin que se resienta su eficiencia. Multipropósito: La infraestructura puede utilizarse para todo tipo de aplicaciones. 8

9 Grid/cluster/P2P Un grid no es un cluster de máquinas (en un grid puede haber integrados muchos o ningún cluster). Se puede considerar a la tecnología GRID como una versión mejorada de P2P. Permite compartir todos los recursos de un equipo (no sólo archivos) y garantiza calidades de servicio no triviales. Además es multipropósito. NetSolve NetSolve Client/Server/Agent -- Based Computing Easy-to-use tool to provide efficient and uniform access to a variety of scientific packages on UNIX and Window s platforms Client-Server design Non-hierarchical system Software Repository Load Balancing Network Resources Fault Tolerance Heterogeneous Environment Supported Multiple and simple client interfaces choice reply Interfaces to Fortran, C, Java, Matlab, more Built on standard components request Software is available NetSolve Client NetSolve Agent ( USA ) Open Science Grid El Open Science Grid es una infraestructura gestionada por el OSG Consortium que facilita la computación distribuida para usos científicos. Integra a: Proveedores de recursos y servicios, Investigadores de universidades y laboratorios nacionales, Centros de computación Utilización del OSG: Para tareas de análisis de datos que computacionalmente son excesivas para un solo centro de computación o un solo supercomputador Área principal: física de partículas, pero hay otras: química, biología, astronomía, Creado para facilitar el análisis de datos provenientes del LHC (70% de ( dedicación Arquitectura del OSG: Compuesta de > computadores en >70 instituciones Los computadores ejecutan una distribución de Linux Utiliza múltiples herramientas: Condor, Globus, PBS, LSF, Sun Grid Engine Interopera con otros Grids: EGEE, LHC Computing Grid, TeraGrid 9

10 TeraGrid ( USA ) TeraGrid Financiada por NSF (National Science Foundation) e Integra 11 entidades: University of Chicago, San Diego Supercomputer Center, National Institute for Computational Sciences, National Center for Supercomputing Applications, National Center for Atmospheric Research, etc Unas de las mayores cyber infrastruture para open scientific research: Procesadores, Bases de datos, Almacenamiento, Herramientas Proporciona múltiples Science Gateways Astronomy, Atmospheric Sciences, Biochemistry, Chemistry, Earth Sciences, Cosmology, Seismology, Genetics, Geophysics, Neuroscience, Materials Research, Visualization Usuarios: > 4000 de >200 Universidades USA Tecnología: Enviar trabajos: Condor-G, Globus, PBS, etc Transferencia de archivos: GridFTP Tgcp Almacenamiento de datos: SRB, HPSS, ( europeo EGEE (gran grid de e-science Enabling Grids for E-scienceE Serie de proyectos financiados por la Comisión Europea: ( 25-Feb-2009 ) El proyecto generó el software glite V3.1 [ Lightweight middleware for Grid Computing ] Infraestructura: ( 10PBytes < - Controla los recursos de 250 centros de todo el mundo ( - Utilizada diariamente por varios miles de científicos federados en >200 organizaciones virtuales - Infraestructura estable, bien gestionada, basada en el middleware glite - Proporciona acceso a los servicios Grid para realizar pruebas - Se encarga de coordinar EGEE con los proveedores de red ( NRENs (GEANT2 / 10

11 Data Grid para física de alta energía Tier 1 France Regional Centre ~PBytes/sec Online System There is a bunch crossing every 25 nsecs. There are 100 triggers per second Each triggered event is ~1 MByte in size ~622 Mbits/sec ( deprecated ) or Air Freight Germany Regional Centre ~622 Mbits/sec Tier 2 1 TIPS is approximately 25,000 ~100 MBytes/sec SpecInt95 equivalents Offline Processor Farm ~20 TIPS ~100 MBytes/sec Tier 0 Italy Regional Centre Caltech ~1 TIPS CERN Computer Centre FermiLab ~4 TIPS ~622 Mbits/sec Tier2 Centre Tier2 Centre Tier2 Centre Tier2 Centre ~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS Physics data cache Institute Institute Institute ~0.25TIPS Physicist workstations ~1 MBytes/sec Institute Tier 4 Physicists work on analysis channels. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server ( Grid LCG (Worldwide LHC Computing ( LCG Large Hadron Collider Computing Grid (LHC-CG = Grid diseñado por el CERN para procesar las masivas cantidades de información generadas por el LHC Colaboran mas de 140 centros de computación de 33 países Arquitectura por capas o jerarquica Tier 0: CERN (Gestiona: 27TB raw data/ día + 10TB summary data/ día envia datos mediante enlaces dedicados de 10 Gbps ( datos Tier 1: 11 centros (Sirven de repositorio/backup de los envia datos usando redes nacionales de investigacion Tier 2: 140 centros agrupados en federaciones Los computadores que componen el LCG se basan en Scientific Linux Middleware : Globus Toolkit, Condor, ( Toolkit EGEE: (Virtual Data Toolkit + glite D-Grid GRIDs Nacionales La iniciativa D-Grid tiene como objetivo construir una infraestructura Grid sostenible para educación e investigación (e-science) en Alemania Grid Nacional Italiano: INFN INFN: Instituto Nazionale di FisicaNucleare Integración de Italia en las acciones Grid de la UE Integración de tecnología Grid en la Industria y el Comercio Grid Nacional Griego: HellasGrid Proporciona soporte a la red de educación e investigación griega 11

12 Globus Su intención principal es crear una plataforma completa donde compartir aplicaciones y recursos informáticos en Internet. Es un proyecto creado en el año 1996, que surge como una iniciativa para la investigación y el desarrollo de tecnologías fundamentales para Grids. Desde entonces, el equipo de desarrollo de Globus se ha ampliado de unos pocos individuos, a una distribuida comunidad internacional. En respuesta a este crecimiento, surge la Globus Alliance. Surge del proyecto Globus y se creó oficialmente en el año Es una comunidad internacional de organizaciones y particulares dedicada a desarrollar las tecnologías necesarias para construir infraestructuras de computación Grid. Lleva a cabo la investigación y desarrollo para elaborar la tecnología, estándares y sistemas que conforman el Grid. Proyecto Globus El Globus Toolkit, un conjunto de servicios y librerías de software capáz de soportar aplicaciones tipo Grid. Sus 5 principales partes son: 1- Common run time Librerías y servicios. 2- Security Componentes para proveer acceso seguro 3- Execution Management Ejecución, monitoreo y gerencia de jobs 4- Data Management Descubrir acceso y transferencia de datos. 5- Information Descrubrir y monitorear recursos y servicios Proyecto Globus componentes ( Infrastructure GSI (Grid Security Provee un ambiente de seguridad alrededor de los recursos del grid. ( Service MDS (Monitoring and Discovery Para descubrir recursos y sus estatus. ( Management GRAM (Globus/Grid Resource Allocation Componente básico de Globus para gerenciar la ejecución. Usado para resolver y gerenciar jobs GridFTP Para transferir archivos entre recursos. 12

13 Toolkit Globus Seguridad (GSI: Globus Security Infrastructure): recursos distribuidos deben estar protegidos de accesos no autorizados. Requiere que cada usuario esté autenticado (su identidad probada). Usa criptografia de clave pública (bases de la seguridad en ( Internet Cada usuario debe poseer un certificado digital emitido por una autoridad certificadora en la cual todos confian. Los usuarios generalmente necesitan autorización sobre los recursos que quieren usar. Usuarios necesitan delegar privilegios a la grid, para que un servicio pueda recuperar datos de un recurso independiente del usuario. Toolkit Globus Gestión de recursos La arquitectura de gestión de recursos permite el acceso transparente, unificado y seguro a los distintos gestores de recursos locales de cada centro o institución. Los principales componentes de esta arquitectura son: GRAM (Grid Resource Allocation Manager): gestor de asignación de recursos (procesa las peticiones de recursos para la ejecución de aplicaciones remotas, maneja los jobs activos y devuelve la información actualizada de las capacidades y de la disponibilidad de los recursos de cómputo). RSL: lenguaje de especificación de recursos. DUROC( Dynamically-Updated Request Online Coallocator ): para la asignación múltiple de recursos. Servicios de Información Toolkit Globus El MDS (Monitoring and Discovering System) es el sistema de información de Globus y usa el protocolo LDAP para la consulta uniforme de la información referente a los sistemas en el Grid. El GRIS (Grid Resource Information Service), provee de manera uniforme la búsqueda de recursos obteniendo como resultado la configuración actual, capacidades, el estado y el desempeño de cada recurso del Grid. 13

14 Gestión de datos Toolkit Globus Para copiar datos entre recursos: GridFTP : protocolo de transferencia de archivos seguro y de alto rendimiento basado en el popular protocolo FTP, optimizado para redes de área amplia con grandes anchos de banda. Para la replicación de datos en los recursos de un grid: Replica Location Service ( RLS ): mantiene y proporciona acceso a información sobre la localización física de copias de datos. Data Replication Service ( DRS ): crea réplicas de un conjunto de archivos en la ubicación especificada y registra las réplicas creadas en el RLS. Usuario usando Globus servicios y facilidades Toolkit Globus Está implementado según un modelo de capas: Seguridad: comprende los servicios de seguridad. Gestión de datos: se encuentran los servicios básicos como la gestión de jobs, los servicios de directorio y monitorización y los de transferencia de archivos. Gestión de recursos: núcleo donde se encuentran las factorías de recursos y los servicios de notificaciones, persistencia y ciclo de vida. Servicios de información: servicios de gestión de grandes cantidades de datos. 14

15 Bibliografía The Grid: Blueprint for a New Computing Infrastructure. I. Foster and C. Kesselman. Morgan Kaufmann The Anatomy of the Grid: Enabling Scalable Virtual Organizations. I. Foster, C. Kessleman and S. Tuecke. International Journal of Supercomputer Applications Physiology of the Grid. An Open Grid Service Architecture for Distributed Systems Integration. I. Foster, C. Kessleman, J. M.Nick and S. Tuecke. Global Grid Forum Open Grid Services Infrastructure (OGSI) version 1.0. S. Tuecke et. at. Global Grid Forum Grid-2: Blueprint for a New Computing Infrastructure. I. Foster and C. Kesselman. Morgan Kaufmann