La Tecnología al Servicio de la Ciencia: Cluster, Volunteer, Grid, Cloud... Computing para Computación de Alto Desempeño

Transcripción

1 Ciencias de la Computación La Tecnología al Servicio de la Ciencia: Cluster, Volunteer, Grid, Cloud... Computing para Computación de Alto Desempeño Yudith Cardinale

2 Computación de Alto Desempeño (high performance computing-hpc) Uso de los computadores más poderosos del momento (supercomputadores) para la resolución de problemas que requieren mucho cómputo y/o análisis de grandes volúmenes de datos Está relacionada con programación paralela para usar muchos procesadores simultáneamente Asociado con computación para investigación científica

3 Aplicaciones HPC Teoría de números Ciencias de la vida Petroquímica: dinámica de fluidos, simulación, modelamiento CAD/CAM Biología Digital Predicción del tiempo Internet & e-commerce Aplicaciones Militares

4 Computación paralela Hacer un trabajo n veces más rápido usando n procesadores Programación: lenguajes paralelos vs compiladores paralelizantes Herramientas: depurador, manejador de colas, administración Inconvenientes: paralelizaciones imperfectas, dependencias de datos

5 Arquitecturas para HPC CRAY 2 ( ) Supercomputadores tradicionales se basaban en pocos procesadores, con facilidades vectoriales, con tecnología especializada de punta (30 M$!!) Más recientemente los supercomputadores consisten de cientos y miles de procesadores (procesadores paralelos masivos MPP) pero más costosos aún

6 Arquitecturas para HPC: Clusters K-Computer, Fujitsu, Tflops, cores (SPARC64) Computadoras genéricas conectadas con red de alta velocidad y bajo retardo vistas como un solo computador Mejoran el desempeño, escalabilidad, disponibilidad, re-uso Muchas herramientas libres y de código abierto disponibles

7 Arquitecturas para HPC: Clusters Tianhe-1A, NUDT, 2566 Tflops, cores (Xeon, NVIDIA, GPU) Jaguar, Cray Inc., 1759 Tflops, cores (Cray opteron-6-core) Plataforma de cómputo paralelo de Nvidia basada en GPUs

8 TOP 500 (Nov. 2011) Equipo K computer Sparc64 2.0GHz Tianhe 1A Xeon, NVIDIA 2.93 GHz Jaguar Cray XT5 HE Opt 6C 2.6 GHz Nebulae Blade system Xeon 6C NVIDIA TSUBAME 2.0 HP Xeon, NVIDIA GPU Cielo XE6 Opteron 8C País #Proc. Rmax Japan Tflops Cluster China Tflops MPP Proprietary Linux USA Tflops MPP Proprietary Linux CHINA Tflops Cluster Infiniband Linux Japan Tflops Cluster Infiniband Linux USA Tflops MPP Custom Arquit. Red SO Custom Linux Linux

9 Clasificación de Clusters Cluster para balance de carga: compartir la carga computacional, distribuir la carga de trabajo de manera eficiente Cluster de alta disponibilidad: proveer redundancia de datos y servicios (sistemas de respaldo) Cluster de alto desempeño: ejecución de programas paralelos

10 Quiero más! Limitaciones: consumo de potencia limita agregación. Se habla de Potencia/superficie Solución: agregar recursos distribuidos geográficamente a través de redes de alta velocidad... COMPUTACIÓN UBICUA

11 Computación Ubicua Evolución de la Tecnología: Supercomputadores, Clusters, Computación ubicua (volunteer, grid y cloud)

12 Computación Ubicua: Dos perspectivas Tecnología usada para mejorar la colaboración (Computer Supported Collaborative Work) Colaboración usada para mejorar la tecnología

13 Volunteer Computing Escenario Más de 6 billones de ciudadanos en el mundo Muchos tienen acceso a Internet Muchos de ellos están (o podrían estar) interesados en la ciencia Gran capacidad de cómputo y almacenamiento agregado en el mundo Alto porcentaje de tiempo ocioso Cómo puede la ciencia aprovechar esta situación?

14 Volunteer Computing Internet Proyectos Voluntarios

15 Volunteer Computing GIMPS (Great Internet Mersenne Prime Search ) con más de 12 millones de dígitos Distributed.net Área de criptografía - Intenta romper RC5 con claves de 72 bits

16 Volunteer Computing (Search for Extraterrestrial Intelligence) 1999 (plegamiento de proteínas) y genome@home (proyecto del genoma humano)

17 Volunteer Computing Otros proyectos: Climaprediction.net (detección de ondas gravitacionales) (estructuras de proteínas) Rendimiento: Actualmente: 500K personas, 1M de computadores, 6.5 PetaFlops Potencial: 1 billón de PCs (hoy), 2 billones de PCs (2015), GPU, ExaFlops, Exabytes de almacenamiento.

18 Volunteer Computing Boinc (Berkeley Open Infrastructure for Network Computing -2002) Middleware para Computación voluntaria Código abierto (LGPL) Múltiples aplicaciones Objetivos Muchos proyectos independientes Soporte para diversas aplicaciones Los voluntaios participan en múltiples proyectos

19 Volunteer Computing Proyectos: Ciencias de la tierra (climateprediction.net) Biología y medicina (GPUGrid.net, rosetta@home,malariacontrol.net...) Matemáticas, computación y juegos (PrimeGrid, Chess960@home...) Astronomía y física (seti@home,lhc@home, Eisntein@home...) Otros (World Community Grid...) BOINC y Clouds computing

20 Implicaciones de Volunteer Computing Los recursos son anónimos validación de resultados, crédito replicación de cálculos Heterogeneidad Las aplicaciones no están atadas a una arquitectura particular Disponibilidad esporádica de recursos Disponibilidad esporádica de red unidireccional Escala fácilmente Fácil de usar (clientes)

21 Definición de Grids - Unificación de recursos distribuidos geográficamente

22 Definición de Grids GRID = Un mundo infinito de recursos Qué es: Infraestructura de hardware y software que provee alto desempeño y alta disponibilidad Colección de recursos (personas, computadores, instrumentos y bases de datos) conectados por una red de alta velocidad. Mecanismo para que los usuarios puedan usar recursos distribuidos geográficamente de forma transparente, creando la ilusión de un sistema de computación integrado.

23 Definición de Grids Permite colaboración entre instituciones académicas, de investigación y científicas Cada institución ofrece su infraestructura para obtener acceso a otras infraestructuras: Se incrementa la capacidad de cómputo local Mejor uso de los recursos (ejecutar grandes aplicaciones sin tener que invertir en infraestructura) Cada institución es responsable de su propia infraestructura (costos, mantenimiento, administración...)

24 Definición de Grids Podemos decir que grid computing define un modelo de computación social: Todas las instituciones colaboran con objetivos científicos y de investigación comunes Todas las instituciones obtienen beneficios a corto o largo plazo

25 Arquitectura de Grid

26 Arquitectura de Grid Arquitectura de los Grids Computacionales Aplicación de Servicios Middleware Enmascara la heterogeneidad Proporciona un modelo de programación Sistema de Operación Computadores y red de interconexión

27 Desafíos en la construcción de grids Economía computacional Seguridad Acceso uniforme Administración de sistemas Localidad de datos Descubrimiento de recursos Asignación de recursos & Planificación Construcción de aplicaciones Admin. de redes

28 Ejemplos de Middlewares Globus ( glite (

29 Ejemplos de Grids EGEE/EELA/GILDA (Europa y Latino América) Teragrid (USA)

30 Ejemplos de Grids EGEE/EELA/GILDA (Europa y Latino América) Teragrid (USA)

31 Implicaciones de Grid Computing Los recursos son identificados participación formal ambiente seguro y confiable Heterogeneidad A todos los niveles (sw, hw, so, lenguajes, arquitecturas, etc.) Alta disponibilidad de recursos Provee tolerancia a fallas Escala fácilmente Fácil de usar (clientes)

32 Volunteer computing!= Grid Computing Anónimos, incontables Propietario de los recursos Identificados, contables No requieren software plug-and-play Sistemas administrados? Si stack de sodtware Requerimientos OK Clientes detrás de firewalls? No modelo push Si modelo pull Si ISP bill? No ni tampoco es peer-to-peer computing

33 Cloud Computing

34 Proyectos en la USB: Oportunidades de tesis

35 Clima Grid

36 Ecosistema Digital de datos multimedios P2P Network

37 Ecosistema Digital de datos multimedios

38 Composición de Servicios Web Proliferation of WSs in Internet From Web 1.0 to Web 3.0 Web 3.0 provides Semantic Web technologies (allow automatic composition) WSDL, OWS-L machine-to-machine QoS criteria for efficient compositions Dynamic Environment Fault tolerant execution Transactional properties, exception handling

39 Composición de Servicios Web Suppose the following requirement I want information about conferences (name and date) in which professors of U.S.B have presented a paper Input: Institution, U. Nanterre Output: Name and Date of Conferences

40 Composición de Servicios Web Suppose the following registered WSs S1(AuthorCode,Inst) (PublCode) S2(AuthorName) (PublCode) S3(PublCode) (PublTitle) S4(PublCode) (ConfCode ) S5(PublCode) (ConfCode, ConfName) S6(ConfCode) (ConfName, ConfDate) S7(Inst) (AuthorCode) S8(ConfCode) (Place) S9(CodAutor) (CodConf )

41 Composición de Servicios Web

42 Composición de Servicios Web First phase: A Composer automatically selects the WSs and their control flow, satisfying the user query (functional, QoS, and transactional requirements). The control flow and the order of WSs execution is generally represented in a structure, such as graphs or Petri-Nets, defining a TCWS. Second phase: An Executer actually executes the TCWS produced by the Composer. WSs in the TCWS are invoked Fault tolerance is provided The execution can be centralized or distributed

43 Composición de Servicios Web El Composer se basa en Web semántica para automatizar el proceso el formalismo de Redes de Petri y programación dinámica para optimizar la búsqueda Quiero probar otras técnicas de optimización (del área de inteligencia artificial como colonia de hormigas) y comparar desempeño y calidad Del Executer hay una versión implementada Se requiere agregar funcionalidades que tomen en cuenta el dinamismo de las plataformas Grid

44 Optimización de consultas en Sparql Virtuoso Endpoint 1,2 Life Sciences Query Answer: Empty Set Cloud of Linked Data?disease?gen diseasome: diseasome: diseasome: Result size: 12,130 Endpoints are not able to dereference data from other endpoints

45 Optimización de consultas en Sparql Query Rewriting: SPARQL 1.0 -> SPARQL 1.1 SELECT DISTINCT?D1?TGD?GN1?GN2 WHERE { { SERVICE < {?C1 < "Breast Cancer".?C1 < < < }}. S1: S2: { SERVICE < {?C1 < "Breast Cancer".?I < "Drug".?CT1 < < }}. S3: { SERVICE < {?I1 < < }}. S4: { SERVICE < {?I < "Drug".?I < < < }}. } 45

46 Optimización de consultas en Sparql En el marco del Cloud of Linked Data se quiere: Automatizar la escritura de los queries en sparql para consultas complejas Optimizar las consultas Generar respuestas parciales (agregar checkpoitns) Aplicar composición de servicios considerando los sparql endpoints como servicios web

47 Otros Proyectos... Consulta de imágenes por similitud Seguridad de datos en Cloud computing.. y más Interesados? Bienvenidos!!! Los resultados hasta ahora se han logrado con estudiantes de USB, UCAB, UCV, U. Nanterre, U. Dauphine, U. de Bourgogne...

48 Muchas Gracias por la atención!!! Preguntas? Interesados en tesis? Yudith Cardinale, PhD