José Luis Montoya Restrepo

Transcripción

1 José Luis Montoya Restrepo

2 AGENDA Definición y Características. Metas de los sistemas distribuidos. Conceptos de Hardware y Software.

3 Definición: Un sistema distribuido es: Una colección de computadores independientes que para sus usuarios actúa como un único sistema coherente

4 Características: Las diferencias entre los computadores y la manera en como ellos se comunican son escondidas a los usuarios. Los usuarios y aplicaciones pueden interactuar con un sistema distribuido de una manera consistente y uniforme. El sistema distribuido deberá ser relativamente fácil de expandir o escalar Un sistema distribuidos deberá estar continuamente disponible.

5 Características: Soporte a computadores y redes heterogéneas Maquina 1 Maquina 2 Maquina n Aplicaciones Middleware Sistema Operativo Local Sistema Operativo Local Sistema Operativo Local Network

7 Metas de los sistemas distribuidos Un sistema distribuido deberá: Ofrecer la facilidad para conectar usuarios y recursos Esconder el echo que los recursos están distribuidos a través de una red. Ser abierto. Ser escalable.

8 Conectar usuarios y recursos Facilitar el acceso a los recursos remotamente. Compartir los recursos de manera controlada. Dispositivos de Almacenamiento. Servidores. Paginas Web. Impresoras, etc. Facilita la colaboración y el intercambio de la información. Sin embargo la seguridad se vuelve una preocupación.

9 Transparencia Se dice que un sistema distribuido es transparente si es capaz de Presentarse el mismo a los usuarios y aplicaciones como si fuera un único sistema de computo Transparencia Acceso Localización Migración Relocalización Replicación Concurrencia Tolerancia a fallas Persistencia Descripción Esconder la representación de lo datos y el acceso a los recursos. Esconder donde un recurso esta localizado. Esconder que un recurso puede ser movido de una localización a otra. Esconder que un recurso puede ser movido de una localización a otra mientras se encuentra en uso. Esconder que un recurso esta replicado. Esconder que un recurso puede ser utilizado al tiempo por varios usuarios. Esconder la fallas de un recurso y la recuperación ante ellas. Esconder si un recurso de software esta en memoria o en disco.

10 Abierto - Openess Un Sistema Distribuido ofrece sus servicios de acuerdo a reglas estándar. WSDL en Servicios Web (Localizacion, Binding y la Interface). Una interface bien definida permite que las diferentes partes de un sistema puedan estar desacopladas, es decir que una parte de un sistema no conozca la implementación de la otra. Interoperabilidad. Portabilidad. Flexibilidad.

11 Que es Escalabilidad? Si nosotros incrementamos los recursos en un sistema, esto resulta en el incremento del desempeño en una manera proporcional en que los recursos son adicionados. Incrementar el desempeño en general significa, servir mas unidades de trabajo. Pero también puede ser manejar unidades de trabajo mucho mas grandes, como cuando el conjunto de datos crece. Se dice que un servicio es escalable, si al adicionar recursos para facilitar la redundancia este no se ve afectado en su desempeño. Un servicio escalable es capas de manejar heterogeneidad. Un servicio escalable es operacionalmente eficiente. Un servicio escalable es resiliente. Un servicio escalable se vuelve rentable cuando crece.

12 Problemas de la escalabilidad Conceptos Servicios Centralizados Datos centralizados Algoritmos centralizados Ejemplos Un único servidor para todos los usuarios. Una única base de datos. Tomar decisiones basados en información completa. Muchos algoritmos ejecutan alguna forma de acuerdo: En el estilo usual 2PC, la carga de la red se incrementa en o(n) La carga de Memoria y CPU se incrementa en o(n) en el coordinador La tasas de falla y recuperación aumenta en o(n)

13 Técnicas para escalar Técnica Esconder las latencias de la comunicación. Distribuir Replicación Descripción Utilizar comunicación asíncrona. Mover parte de los cálculos al llado del cliente. Tomar un componente, dividirlo en partes mas pequeñas y distribuir dichas partes a través de todo el sistema (DNS) Replicar componentes a través del sistema para favorecer la disponibilidad y mejorar el desempeño a través del balanceo de carga. Caching, tener una copia del recurso cercana al cliente.

14 Que problema se genera al escalar mediante replicación y Caching?

15 CAP Theorem Eric Brewer 2000 Pick Two

16 Tipos de escalabilidad Escalabilidad Vertical Consiste en adicionar mas recursos de hardware o software en un mismo nodo de procesamiento, o cambiar un nodo de procesamiento por uno con mas capacidades para incrementar el desempeño. Sun SPARC Enterprise M9000 Server CPU Speed : Up to 2.52 GHz Memory Size : Up to 2 TB Number of CPUs : Up to 64 Number of Cores : Up to 256 Operating Systems : Solaris Processors : SPARC64 VI and SPARC64 VII

17 Tipos de escalabilidad Escalabilidad Horizontal Consiste en adicionar mas servidores, sin necesidad de hacer cambios en el software.

19 Conceptos de Hardware Tipos de organización de memorias y procesadores en sistemas distribuidos. Multiprocesador (shared memory) Multicomputador (Homogéneos y Heterogéneos)

20 Conceptos de Hardware Multiprocesadores (SMP) Intel XEON QuadCore i7

21 Conceptos de Hardware IBM,Toshiba,Sony Cell Processor

22 Conceptos de Hardware Multiprocesadores (SMP) A) Crossbar Switch. B) Omega Switching network.

23 Conceptos de Hardware Crossbar Switch Sun Ultra Sparc T2 Architecture 8 Cores 8 Threads por core Total: 64 Threads por CPU 1 puerto de 10GE

24 Conceptos de Hardware Crossbar Switch Oracle Sparc T3 Architecture 16 Cores 8 Threads por core Total: 128 Threads por CPU 2 puertos de 10GE

25 Conceptos de Hardware Nuevas Arquitecturas Tilera Cores 3 Threads por core Total: 192 Threads por CPU 2 puertos de 1GE

26 Cual es la razón del porque las arquitecturas de HW cambiaron a ser Multicore? Sera que el software actual esta preparado para aprovechar estas arquitecturas?

27 Conceptos de Hardware Sistemas multicomputador Homogéneos A) Bus ( ej: Nodos en la LAN Ethernet) B) Switch (ej: Grid, Hypercube) Desde MPPs hasta COWs

28 Conceptos de Hardware Sistemas multicomputador Heterogéneos La mayoría de los SD actuales son construidos sobre sistemas multicomputador heterogéneos. Pueden estar compuestos de diferentes tipos de procesadores, memoria y I/O. La red de interconexión puede ser altamente heterogénea. En los sistemas de multicomputadoras de gran escala conectados a través de las redes convencionales (internet, etc.), una aplicación no puede asumir que el desempeño o servicios están disponibles en cada sitio.

29 Ejemplo: Grid Multicomputer Sun Constellation System Ejemplo de un sistema multicomputador: Red de interconexión Infiniband Network (120Gbps)

30 Rank Site Computer 1 National Supercomputing Center in Tianjin China Tianhe-1A - NUDT TH MPP, X Ghz 6C, NVIDIA GPU, FT C NUDT DOE/SC/Oak Ridge National Laboratory United States National Supercomputing Centre in Shenzhen (NSCS) China GSIC Center, Tokyo Institute of Technology Japan DOE/SC/LBNL/NERSC United States Commissariat a l'energie Atomique (CEA) France DOE/NNSA/LANL United States Jaguar - Cray XT5-HE Opteron 6-core 2.6 GHz Cray Inc. Nebulae - Dawning TC3600 Blade, Intel X5650, NVidia Tesla C2050 GPU Dawning TSUBAME HP ProLiant SL390s G7 Xeon 6C X5670, Nvidia GPU, Linux/Windows NEC/HP Hopper - Cray XE6 12-core 2.1 GHz Cray Inc. Tera Bull bullx super-node S6010/S6030 Bull SA Roadrunner - BladeCenter QS22/LS21 Cluster, PowerXCell 8i 3.2 Ghz / Opteron DC 1.8 GHz, Voltaire Infiniband IBM

31 Rank Site National Institute for Computational 8 Sciences/University of Tennessee United States Forschungszentrum Juelich (FZJ) 9 Germany DOE/NNSA/LANL/SNL 10 United States Computer Kraken XT5 - Cray XT5-HE Opteron 6-core 2.6 GHz Cray Inc. JUGENE - Blue Gene/P Solution IBM Cielo - Cray XE6 8-core 2.4 GHz Cray Inc.

32 Conceptos de Software Sistema Descripción Objetivo principal DOS NOS Middleware Sistema operativo fuertemente Acoplado para multiprocesadores y multicomputadores homogéneos. Sistema operativo débilmente acoplado para multicomputadores heterogéneos. Una capa adicional sobre un NOS que ofrece servicios de propósito general. DOS: Distributed Operating System NOS: Network Operating System Esconder y manejar los recursos de hardware. Ofrecer sus servicios locales a clientes remotos. Proporcionar transparencia de distribución.

33 Sistemas operativos uniprocesador Responsabilidades del SO: Administrador de los recursos Maquina Virtual. Arquitectura Monolíticos/Modulares Todo el código del SO es ejecutado por la CPU en modo kernel. Sistemas operativos altamente acoplados, un cambio en uno de sus módulos A menudo necesita recompilar completamente el kernel. La adición de un nuevo modulo a menudo implica un reinstalar el sistema. Arquitectura de Microkernel Facilidad de reemplazar los módulos sin necesidad de recompilar o reinstalación de todo el sistema.

34 Sistemas operativos multiprocesador Extensión de los sistemas operativos uniprocesador. La idea principal es ofrecer alto desempeño a través de hacer el número de CPUs transparentes para las aplicaciones. Toda la comunicación entre aplicaciones es hecha a través de memoria compartida, la cual deberá ser protegida contra accesos concurrentes: Semáforos. Monitores. Mutex.

35 Ejemplos: Arquitecturas Monolíticas Modulares: Arquitecturas de Microkernel : FreeBSD

36 Sistemas operativos multicomputador Nodo 1 Nodo 2 Nodo n Aplicaciones Distribuidas Servicios del sistema operativo distribuido Kernel kernel Kernel Network Estructura General de un SO Multicomputador Comunicación a través de Paso de Mensajes. Plataformas homogéneas.

37 Sistemas operativos multicomputador Modelo de comunicación de paso de mensajes (Aplica para cualquier sistema distribuido) Solo se pueden hacer buffered de mensajes en emisor y receptor. Cuatro posibles puntos de sincronización o bloqueo (S1-S4) S1: bloquear el emisor cuando el buffer esta lleno. (Alternativa?) Cuando no existe un buffer de transmisión: S2: El mensaje ha sido enviado. S3: El mensaje ha sido recibido. S4: El mensaje ha sido entregado Solo tiene sentido bloquear el receptor en S3 Cuando no existe un buffer de recepción, o cuando esta vacio: Polling de mensajes por el receptor (desperdicio de tiempo de CPU, o Respuestas tardías a los mensajes entrantes) Buffer overflows que generan que los mensajes entrantes tengan que ser descartados.

38 Sistemas operativos multicomputador Comunicación confiable: Al emisor se le garantiza que sus mensajes son recibidos (s3) Punto de sincronización Bloquear el emisor hasta que el buffer no se encuentre lleno. Bloquear el emisor hasta que el mensaje sea enviado. Bloquear el emisor hasta que el mensaje sea recibido. Bloquear el emisor hasta que el mensaje sea entregado. Con Buffer de transmisión Si No No No Comunicación confiable garantizada? No necesariamente No Necesariamente Necesariamente Necesariamente

39 Sistemas de memoria compartida - distribuida a) Paginas del espacio de direcciones distribuidas entre los nodos. b) Escenario después que la CPU1 referencia la pagina 10. c) Escenario, si la pagina 10 es de solo lectura y la replicación es utilizada.

40 Sistemas operativos en red Nodo 1 Nodo 2 Nodo n Aplicaciones Distribuidas Network OS Services Network OS Services Network OS Services Kernel Kernel Kernel Estructura general de un NOS Plataformas Heterogéneas. (Hardware y S.O.) Exponen a traves de la red diversos servicios: Ej: ssh, nfs, cifs,dns. Network

41 Sistemas operativos en red Ej Utilización servicios de red (ssh): ssh scp Shared Storage Sistema de archivos Global: File Server

42 Sistemas operativos en red Los File Servers exponen el sistema de archivos para que sea montado por otros nodos, como si fuera local. Pros y Cons?

43 Middleware Mix de DOS & NOS Elevar el nivel de abstracción para alcanzar un cierto grado de transparencia. Esconder la heterogeneidad de las plataforma a las aplicaciones. Ofrecer una completa gama de servicios y desalentar el uso cualquier otro. Nodo 1 Nodo 2 Nodo n Aplicaciones Distribuidas Middleware Services Network OS Services Network OS Services Network OS Services Kernel Kernel Kernel Network

44 Asignación: Mencione y explique los servicios que son comúnmente ofrecidos por los middlewares? Investigar qué es la arquitectura cliente servidor, los diferentes tipos, ejemplos de la vida real, qué tecnologías se pueden utilizar para implementar una aplicación distribuida basada en la arquitectura cliente servidor (ejemplo: RMI)?