CURSO CLUSTERS & GRID COMPUTING EN ENTORNOS DE SOFTWARE LIBRE Introducción al GRID Guillermo Losilla Anadón (losilla@unizar.es) 28, 29 y 30 de Noviembre 2005 http://bifi.unizar.es/clustersygrid
Indice Definición Grid middleware Software libre & Grid El Grid en el mundo científico El Grid en la empresa Resumen y referencias de interés
Definición De un tiempo a esta parte, la tecnología grid se ha vuelto muy popular En 2003 fue declarada por el MIT como una de las 10 tecnologías emergentes que cambiarán el mundo La palabra grid empieza a aparecer por todos lados, todo el mundo habla de ello... Lo cual está introduciendo mucha confusión... riesgo de frustración! OK, aclaremos primero qué es esto del Grid...
Definición Qué es el Grid? Mientras que la Web es un servicio para compartir información a través de Internet, el Grid es un servicio para compartir potencia de cálculo y capacidad de almacenamiento a través de la red Esta compartición se realiza abstrayendo/virtualizando los recursos que participan en una infraestructura grid, de manera que para el usuario final actuan como un único y potente ordenador Los teóricos del grid computing entienden que el objetivo final de la tecnología grid es crear una infraestructura cuyo ámbito sea todo Internet, integrando todos los heterogéneos recursos computacionales que existen alrededor del mundo = el Grid Sinónimos: grid computing = Grid
Definición Mitos y otras falsedades sobre grid computing El Grid NO es una mejora/ampliación de Internet (no están al mismo nivel) El Grid NO es un proyecto (es una tecnología) El Grid NO es un cluster de ordenadores (en un grid puede haber integrados muchos o ningún cluster)
Definición El Grid toma el nombre de su analogía con la red eléctrica (en inglés power grid ): Transparencia Infraestructura Utilidad
Definición El Grid: realidad o ficción? El presente es que la visión utópica de los puristas del Grid todavía queda lejos. El Grid es aún un trabajo en progreso, con la tecnología subyacente todavía en fase de desarrollo....pero la realidad avanza cada vez más rápido y en la actualidad cientos de programadores de todo el mundo trabajan desarrollando middleware y migrando aplicaciones al Grid. En estos momentos ya existen distintos grids, de distintos tamaños (desde regionales hasta internacionales) y con distintos usos (científico-público, privado). Algunos funcionan a modo de testbeds y otros muchos ya están en plena fase de producción.
Definición El camino hacia el Grid: Cluster computing (Beowulf) Metacomputing (FAFNER, I-WAY) P2P computing (Napster) Internet computing (SETI@home) GRID!!!
Definición De acuerdo, el Grid parece una buena idea, pero... cómo funciona?
Indice Definición Grid middleware Software libre & Grid El Grid en el mundo científico El Grid en la empresa Resumen y referencias de interés
Grid middleware El Grid es posible gracias al grid middleware, el software especial que permite la integración de todos los distintos tipos de recursos que participan en él. software especial? middleware? Definición de middleware (Wikipedia): En un entorno de computación distribuida, el middleware se define como la capa de software que se encuentra entre el sistema operativo y las aplicaciones en cada host que participa en el sistema Ejemplos: RPC, RMI, Corba, EJBs grid middleware : middleware que se usa en el Grid
Grid middleware Lugar del middleware en el diagrama de capas del GRID:
Grid middleware Finalidad: virtualización de los recursos de computación Funcionalidades: Asignación eficiente de recursos Ejecución de trabajos y posterior transferencia de resultados Almacenamiento, registro y posterior localización y acceso a datos Proveer mecanismos de seguridad: autenticación, autorización... Monitorización... El middleware es el cerebro del Grid
Grid middleware El grid middleware se construye mediante servicios grid ( grid services ), que a su vez están basados en la tecnología de servicios web Servicios web: tecnología de middleware distribuido (tipo Corba, RMI, etc) utiliza XML para la descripción(wsdl), localización(uddi) y comunicación (SOAP) alta interoperabilidad transmisión de mensajes a través del protocolo HTTP (web services) evita problemas de conectividad debido a firewalls etc especificación a cargo del W3C
Grid middleware Caso de uso de servicios web: The Globus Toolkit 4 tutorial
Grid middleware Los ingenieros de software que comenzaron a desarrollar el grid middleware optaron por utilizar servicios web como tecnología base, pero necesitaron añadir algunas características de las que carecían los servicios web planos (estado, transitoriedad, servicio de notificaciones...), creando así lo que durante un tiempo se denominaron servicios grid ( grid services ) En Enero de 2004 se liberó el estándar WSRF (Web Service Resource Framework), una extensión que permite incorporar a los servicios web las funcionalidades que aportaba un grid service. WSRF especificado por el grupo OASIS Por lo tanto: servicios web = servicios grid
Grid middleware OGSA: Open Grid Service Arquitecture Especificación que trata de estandarizar el acceso a los servicios presentes en una infraestructura grid Para ello define un conjunto de interfaces que deben cumplir los grid services más comunes (job management services, resource management services, security services...) Especificado por el Global Grid Forum
Grid middleware Cuál es la relación entre los estándares OGSA y WSRF-web services? The Globus Toolkit 4 tutorial
Grid middleware Globus Toolkit: Es un framework/paquete de software que contiene: Implementación de la extensión WSRF (hay otras: WSRF.NET) Un conjunto de servicios de alto nivel (OGSA compliant) necesarios para desarrollo de aplicaciones grid Licencia libre (GPL) Se ha convertido en el estandar de facto para desarrollo de grid middleware Desarrollado por la Globus Alliance bajo la dirección de Ian Foster & Carl Kesselman ( gurús del grid computing)
Grid middleware Componentes Globus Toolkit 4.0: The Globus Toolkit 4 tutorial
Grid middleware Vaya lío! Tratemos de integrarlo todo en un diagrama... The Globus Toolkit 4 tutorial
Indice Definición Grid middleware Software libre & Grid El Grid en el mundo científico El Grid en la empresa Resumen y referencias de interés
Software libre & Grid Pese a su complejidad, la tecnología Grid ha tenido un espectacular despegue en muy poco tiempo; a qué se debe? Factores tecnológicos: 1. El progresivo aumento del ancho de banda en la Red ha sido un factor fundamental (hace unos años el Grid hubiera sido inviable) Factores económicos 1. Grandes empresas de software están apoyando la tecnología (IBM) 2. El Grid es algo que se vende muy bien (ahorro de costes inmediato)
Software libre & Grid Sin embargo han existido dos factores que han favorecido estratégicamente su desarrollo: 2. Uso de estándares y protocolos abiertos (WS, OGSA, OGSI, WSRF...) con organismos de peso que velan por su cumplimiento (W3C, OASIS, GGF...) 4. El software libre está jugando un papel fundamental: La única implementación de OGSA (Globus Toolkit) es libre y está presente en todas las infraestructuras grid del mundo Gran parte del grid middleware que se está desarrollando en entornos científicos se está publicando con licencias libres (DataGRID, LCG, glite...) El Grid nace en el mundo HPC donde existe una clara predominancia de herramientas libres (véase el uso de soft libre en los clusters de PCs: GNU/Linux + LRMs)
Indice Definición Grid middleware Software libre & Grid Grid en el mundo científico El Grid en la empresa Resumen y referencias de interés
Grid en el mundo científico El Grid es una tecnología que ha nacido y todavía se sigue desarrollando mayoritariamente en el mundo científico, convirtiéndose en un instrumento fundamental de lo que se ha denominado eciencia Definición de e-ciencia ( enhanced-science, UK): conjunto de actividades científicas desarrolladas mediante el uso de recursos distribuidos accesibles a través de Internet Fuente: libro blanco de la e-ciencia en España
Grid en el mundo científico Usos científicos que hasta ahora ha tenido el Grid: Simulación molecular Física de partículas Modelado del clima Observación de la Tierra Estudio del genoma humano Física de altas energías (HEP), biomedicina y química computacional puede que sean las áreas científicas que hasta ahora más han explotado la tecnología Grid.
Grid en el mundo científico Histórico de los proyectos grid científicos más importantes en Europa:
Grid en el mundo científico Las infraestructuras grid más importantes a nivel europeo son LCG-EGEE y los distintos testbeds nacionales (algunos integrados también dentro de EGEE): NorduGRID UK e-science INFN-Grid DutchGrid HellasGrid Equivalencia en los USA: EGEE = OSG (Open Science Grid) Otros grids más específicos: NASA- IPG (Information Power Grid), NEES (Network for Earthquake Engineering Simulation), ESG (Earth System Grid)
Grid en el mundo científico Proyectos GRID en el BIFI: EGEE IRISGrid int.eu.grid
Grid en el mundo científico EGEE (Enabling Grids for E-sciencE)
Grid en el mundo científico EGEE: Objetivo del proyecto: desplegar una infraestructura grid disponible para uso científico las 24 horas del día Actualmente la mayor infraestructura grid a nivel mundial integrando más de 150 centros de investigación y supercomputación de 40 países que contribuyen con más de 10000 CPUs y 10 PetaBytes de almacenamiento.» Nota: 1 PetaByte = 1000 TeraBytes = 1.000.000 GigaBytes Financiado por la UE (32M FP5) y coordinado por el CERN
Grid en el mundo científico EGEE: Integra la infraestructura del proyecto LCG (LHC Computing Grid) y otros grids nacionales (INFNGrid, UK...) Estructura de proyecto muy jerarquizada, organizada y controlada (se trata de dar un servicio permanente las 24h) Actualmente en EGEE se usa en producción el grid middleware de LCG, pero a la vez se está desarrollando un middleware propio (glite)
Grid en el mundo científico El BIFI en EGEE: Desde Julio de 2005 entrada en el proyecto como Resource Center de la federación suroeste (España & Portugal) En la segunda fase del proyecto (2006-2008) como funded partner para participar en la migración de aplicaciones de fusión al Grid
Grid en el mundo científico IRISGrid Iniciativa coordinada por RedIRIS que involucra a los principales grupos de investigación en tecnologías grid que hay en España Equivaldría a la infrestructura grid nacional de otros países pero con la diferencia de que de momento no existe un plan nacional de e-ciencia que lo financie.
Grid en el mundo científico int.eu.grid (Interactive European Grid) Proyecto que busca desarrollar aplicaciones grid que requieran al mismo tiempo grandes necesidades computacionales y un alto nivel de interactividad por parte del usuario Continuación de Crossgrid Participación de 17 centros de 9 países, liderados por el IFCA-CSIC (Instituto de Física de Cantabria) Aprobado en la VI convocatoria del programa marco de la UE
Indice Definición Grid middleware Software libre & Grid El Grid en el mundo científico El Grid en la empresa Resumen y referencias de interés
El Grid en la empresa Pese a su relativa inmadurez la tecnología Grid ya ha comenzado a salir del ámbito científico para ser aplicada en entornos corporativos. De momento han sido las grandes compañías de software las pioneras en migrar aplicaciones al Grid dando soluciones ad hoc a clientes con necesidades especiales de computación/espacio de almacenamiento: Industría audiovisual y de animación (generación de imágenes digitales) Industria química y del automóvil (simulaciones) Financieras (ERPs)... Casos conocidos: IBM: Grid toolbox (basado en GT) HP: Utilización de una infraestructura grid para su colaboración con Dreamworks para elaboración de Shrek 2 Sun Microsystems, noticia aparecida en Slashdot Febrero 2005: << Sun lanza un servicio de venta de capacidad de cómputo a 1$ la hora de CPU y el GB de almacenamiento a través de su grid corporativo >>
El Grid en la empresa Situación actual: El grid middleware mejora progresivamente a la vez que se van asentando los estandards la tecnología está cada vez más preparada Se va ampliando el rango de aplicaciones que se van migrando al entorno grid El Grid se vende muy bien (ahorro de costes + tiempos de producción mayor competitividad) diferencias USA vs UE? Conclusión: es el momento ideal para gridificar aplicaciones
Indice Definición Grid middleware Software libre & Grid El Grid en el mundo científico El Grid en la empresa Resumen y referencias de interés
Resumen 1. El Grid/grid computing es una tecnología emergente que busca la virtualización de los recursos computacionales y de almacenamiento 2. El grid middleware es el software que hace posible el Grid y está basado en la tecnología de servicios web. Existen una serie de estándares y de organismos que velan por su cumplimiento 3. El Globus Toolkit es una herramienta libre que actualmente es el framework por excelencia para desarrollo de grid middleware 4. El soft libre y el uso de estándares abiertos ha favorecido el desarrollo del Grid 5. El Grid ha nacido y se sigue desarrollando en el mundo científico con grandes proyectos como EGEE, pero ya ha saltado la barrera hacia el uso en el mundo de la empresa
Referencias de interés Introducción al grid computing: GridCafé: http://gridcafe.web.cern.ch/gridcafe/ La biblia del Grid: The Grid: Blueprint for a New Computing Infrastructure, Ian Foster Grid middleware (descarga & documentación): Globus Toolkit: http://www.globus.org/toolkit/ Grid & ciencia: EGEE: http://public.eu-egee.org/ Grid@BIFI:http://bifi.unizar.es/research_devel/research_lines/comp_supercomp/grid.php Libro blanco de la e-ciencia: http://www.fecyt.es/documentos/e-ciencia.pdf Grid & empresa: IBM: http://www-1.ibm.com/grid/ Gridtoday: http://www.gridtoday.com