Sistemas Distribuidos

Transcripción

1 Sistemas Distribuidos Sesión 1 Introducción a los Sistemas Distribuidos Diego Sevilla Ruiz DITEC Facultad de Informática Murcia, septiembre 2010 Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

2 Índice Sistemas Distribuidos: Introducción y Conceptos Sistemas Distribuidos: Arquitecturas Sistemas Cloud Sistemas Operativos Distribuidos Introducción a los Patrones y las Herramientas Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

3 Sistemas Distribuidos (enfoque clásico) Un sistema distribuido es aquel en el que los componentes localizados en computadores, conectados en red, comunican y coordinan sus acciones únicamente mediante el paso de mensajes. [Colouris, p.1]. Concurrencia de los componentes Carencia de un reloj global Fallos independientes Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

4 Sistemas Distribuidos (actualmente) Uso ubícuo de Internet (y de sus protocolos) Sistemas abiertos La consistencia fuerte sólo se necesita en algunos casos En la mayoría de los casos, se puede tolerar una consistencia eventual (W. Vogels. Eventually Consistent. ACM Queue vol. 6, no. 6, December 2008.) 1 Uso ubícuo de cachés, sistemas aboertos, protocolos estándar (HTTP) homogeneización de datos y procesamiento, Map/Reduce, paralelismo funcional, automático, REST, etc. Aquí nos centraremos 1 Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

5 Sistemas Distribuidos: Retos Heterogeneidad Redes Hardware Sistemas Operativos Middleware Extensibilidad Seguridad Escalabilidad Tratamiento de Fallos Concurrencia Transparencia Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

6 Sistemas Distribuidos: Heterogeneidad Hardware, Sistema Operativo, lenguajes, Redes Razones: Ingeniería Diferentes personas eligen diferentes soluciones Coste Se compran recursos que se adapten a las necesidades Aplicaciones antiguas Imaginemos una aplicación de reserva de billetes en COBOL. Se tienen que amortizar las inversiones Hardware antiguo El hardware nuevo que se compra es necesariamente diferente. Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

7 Sistemas Distribuidos: Heterogeneidad (ii) Herramientas: Protocolos de comunicación APIs estándar (Middleware) Sistemas Abiertos (i.e. CORBA, Internet, etc.) Especificaciones públicas Mecanismos de comunicación estandarizados Utilizando hardware y software COTS Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

8 Sistemas Distribuidos: Extensibilidad Característica de un sistema que permite añadirle nuevas características y servicios de forma dinámica Herramientas: Sistemas Abiertos Loose Coupling Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

9 Sistemas Distribuidos: Seguridad Elemento más importante y más complejo (conexiones y equipos físicamente distribuidos) Necesidad de: Autenticar a usuarios y recursos Definir roles y patrones de acceso Encriptar las comunicaciones Seguridad física Herramientas: PKIs, SSL, Servicios de Directorio, Proxys anonimizadores, funciones de hash, etc. No tratado en profundidad en esta asignatura Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

10 Sistemas Distribuidos: Escalabilidad Un sistema es escalable si el aumento de demanda de servicios se puede suplir con una aportación de recursos También: Un sistema puede ofrecer servicio a un número potencialmente muy grande de demandas: degrada el tiempo medio de respuesta, pero no se colapsa Prever el desbordamiento de recursos tanto software como hardware Evitar cuellos de botella de prestaciones Soluciones: Uso de software eficiente en tiempo y espacio Patrones de diseño y de código (idiomas) para manejar eficientemente conexiones, threads, etc. Uso de cachés, consistencia eventual, etc. Uso de algoritmos altamente paralelizables (programación funcional, lógica, algoritmos Map/Reduce), etc. Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

11 Sistemas Distribuidos: Fallos El rango de fallos en sistemas distribuidos es mayor que en cualquier otro sistema Además, es interesante que los sistemas distribuidos «toleren» fallos. Por qué? Cuestiones: Detección de fallos (unos detectables, otros no) Enmascaramiento de fallos (p. ej. patrón Proxy) Redundancia y votado Disponibilidad Idempotentibilidad No tratado en profundidad en esta asignatura Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

12 Sistemas Distribuidos: Concurrencia Normalmente los datos se comparten Hay que establecer órdenes de acceso y procesos atómicos: Transacciones Cuello de botella si los datos están almacenados en un sólo ordenador Necesidad de transacciones distribuidas Problemas de consistencia A veces se necesitan coordinar varios procesos de varios ordenadores (barreras). La mala programación de estos procesos puede hacer el sistema muy ineficiente No tratadas en profundidad en esta asignatura Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

13 Sistemas Distribuidos: Transparencia El tópico más importante y el más difícil de conseguir Con transparencia, el desarrollo de aplicaciones distribuidas es similar al de aplicaciones convencionales Delega en los niveles inferiores la complejidad y ofrece servicios fiables: Transparencia de localización Transparencia de concurrencia Transparencia de replicación Transparencia ante fallos Transparencia... Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

14 Arquitecturas Sistemas Centralizados No escalables Cómo añadir más recursos? Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

15 Arquitecturas Primeros sistemas distribuidos Primeros programas distribuidos Conexiones explícitas, protocolos explícitos, herramientas básicas P. ej. Demonios remotos UNIX Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

16 Arquitecturas Primeros sistemas distribuidos (ii) Servicios básicos por parte del Sistema Operativo Direccionamiento Sockets Normalmente sólo implicaban a dos programas (Cliente/Servidor) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

17 Arquitecturas Internet/World Wide Web/CGI Servidor HTTP Browser HTTP Internet TCP/IP HTTP Páginas HTML Prog. CGI SGBD Servidor SMTP Nivel 1 Nivel 2 Nivel 3 Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

18 Arquitecturas Internet/World Wide Web/CGI (ii) Sockets API de bajo nivel Gestión de errores? No hay tipos de datos... comprobación? Protocolo CGI ad-hoc Stateless (salvo con otros hacks como los cookies) El servidor no da soporte para persistencia (bases de datos), transacciones, seguridad, gestión de usuarios, etc. Las aplicaciones tienen que implementar TODO, o usar frameworks etc. Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

19 Arquitecturas 2 y 3 niveles Cliente Presentación Lógica del negocio Acceso a datos Servidor Servidores BD Sistemas Legacy etc. Nivel 1 Nivel 2 Cliente Presentación Lógica del negocio Acceso a datos Servidor Servidores BD Sistemas Legacy etc. Nivel 1 Nivel 2 Nivel 3,... iego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

20 TPMs, Clusters, etc. En la práctica, se utilizan sistemas de n capas La distribución: múltiples clientes por Web (thin clients) y un sistema de BBDD que está basado en clúster Clústers de bases de datos/procedimientos proporcionados por paquetes comerciales (Oracle, DB/2, etc.) Gestión de MUCHOS clientes: Transaction-Processing Monitors Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

21 Sistemas de más alto nivel: RPC Primer sistema en diferenciar interfaz/implementación Más alto nivel (comprobación de tipos) Interfaz (lista de operaciones) Stubs/Skeletons El interfaz se describe en C El compilador de RPC genera los stubs y los skeletons El programador realiza llamadas locales Los stubs y skeletons realizan el trabajo remoto TRANSPARENCIA LOCAL/REMOTA Ejemplo: SUN RPC Software intermedio: MIDDLEWARE Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

22 Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

23 Objetos Distribuidos: CORBA/RMI Muy parecido a RPC, pero basado en objetos El middleware ahora toma más importancia Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

24 Message-Oriented Middleware Síncrono/asíncrono Normalmente Suscripción/Respuesta Documentos XML Mensajes Loose Coupling JMS, AMQP, ActiveMQ, ØMQ, MSMQ, D-Bus, etc. ESBs: Mensajería + Servicios de dominio Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

25 D-Bus Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

26 D-Bus (ii) 1 Message message = new Message ("/ remote / object / path ", " MethodName ", arg1, arg2 ); 3 Connection connection = getbusconnection (); connection. send ( message ); 5 Message reply = connection. waitforreply ( message ); if ( reply. iserror ()) { 7 //... } else { 9 Object returnvalue = reply. getreturnvalue (); } Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

27 D-Bus (iii) $ dbus - monitor 2 method call sender =: > dest = org. gnome. GConf serial =2 path =/ org / gnome / GConf ; interface = org. gnome. GConf ; member = GetIOR method return sender =:1.4 -> dest =:1.751 reply_ serial =2 4 string " IOR :01..." signal sender = org. freedesktop. DBus -> dest =( null destination ) serial =1218 path =/ org / freedesktop / DBus ; interface = org. freedesktop. DBus ; member = NameOwnerChanged 6 string ":1.751" string ":1.751" Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

28 Peer to Peer Modelo más descentralizado: todos aportan por igual o en la medida de sus posibilidades El MOM también soporta esta arquitectura Ejemplos: JXTA Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

29 Web Services/SOA Todo se hace accesible a través de servicios (web) Protocolos «estándar»: HTTP, XML, SOAP, WSDL Qué pasa con los callbacks? Manejo del estado? No hay soporte del servidor Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

30 REST REpresentational State Transfer V. van Gogh. Noon: Rest From Work Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

31 REST (ii) Patrón arquitectural de desarrollo de aplicaciones sobre el Web Desarrollado por Roy T. Fielding en su tesis doctoral Aprovecha el web tal y como está El web ha sido escalable hasta ahora por tener una serie de requisitos: se aplicarán a REST Identificación de recursos Todos los elementos accedidos remotamente tienen una identificación (URI). Se elige una representación para cada recurso (XML, YAML) Manipulación de recursos Hay operaciones para crear, modificar y borrar (CRUD) recursos Mensajes auto-descriptivos Los recursos incluyen metadatos (cache, validez, MIME). Incluidos en los headers de HTTP Los metadatos permiten tratar el mensaje Tejido hypermedia como representación del estado de la aplicación (HATEOAS) Los datos retornados pueden incluir enlaces a otros recursos Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

32 Componentes: CCM/EJB Componentes: Entidades redistribuibles binarias ejecutadas en un entorno de ejecución (run-time) Modelo contenedor Unidades independientes de construcción de programas Unidades binarias de desarrollo, prueba y ensamblado Soporte run-time que permite instalar componentes El entorno de ejecución (run-time) ofrece todos los servicios a los componentes instalados Seguridad, transacciones, persistencia, etc. Ofrecidos como aspectos (Aspect-Oriented Programming (AOP)) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

33 Componentes: CCM/EJB (ii) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

34 Modelos de Componentes Distribuidos Los componentes se encuentran distribuidos Diferentes organizaciones ofrecen componentes Bien para descargar Bien para utilizarlos remotamente bajo pago Necesidad de un entorno seguro, autenticado... p. ej. Grid Transparencia local/remota Paletas de componentes similares a Delphi o VB, pero distribuidas Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

35 Cloud Computing Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

36 Cloud Computing (ii) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

37 Cloud Computing (iii) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

38 Sistemas Operativos Distribuidos Sistemas Distribuidos versus Sistemas Operativos Distribuidos? Polémica hace unos años Principales diferencias: Heterogeneidad (hw, so., etc.) Sistema débilmente acoplado vs. Sistema fuertemente acoplado Inmaduros en su comienzo Ahora sería el momento de avanzar en la dirección GNU/Hurd CODA Amoeba, MOSIX Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

39 Introducción a los Patrones y Herramientas Patrones Solución dada reiteradamente a un problema común «Best practices» Suben el nivel de abstracción, tratan problemas en abstracto En programación distribuida poca experiencia Los utilizaremos para aprender sobre cómo construir mejores aplicaciones distribuidas Elementos: Nombre, Contexto, Problema, Cuestiones relevantes, Solución Lenguaje de Patrones: Conjunto de patrones relacionados que sirven para un fin común (POSA2) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

40 Introducción a los Patrones y Herramientas (ii) Idioms Patrones, pero de más bajo nivel Asociados a un lenguaje, normalmente C++ No por ello menos importantes Importantísimos por ejemplo en el mapping de C++ a CORBA Ejemplo: «Scoped Locking» C++ Idioms: James O. Coplien %2b %2bIdioms/EuroPLoP98.html Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

41 Introducción a los Patrones y Herramientas (iii) Scoped Locking (POSA2, p. 325) (Resource Acquisition is Initialization) pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER; int función(...) { pthread_mutex_lock(&mutex); } if (condición) { // lo que sea pthread_mutex_unlock(&mutex); return 1; } pthread_mutex_unlock(&mutex); return 0; Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

42 Introducción a los Patrones y Herramientas (iv) Scoped Locking (cont.) Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

43 Introducción a los Patrones y Herramientas (v) Scoped Locking (cont.) class SyncLock { public: SyncLock(pthread_mutex_t* m) { mutex_ = m; pthread_mutex_lock( mutex_ ); } ~SyncLock() { pthread_mutex_unlock( mutex_ ); } private: pthread_mutex_t* mutex_; } Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

44 Introducción a los Patrones y Herramientas (vi) Scoped Locking (cont.) RAII pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER; int función(...) { SyncLock sl(&mutex); if (condición) { // lo que sea return 1; } } return 0; Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

45 Metamodelado Eclipse Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

46 Modelos SyncLock Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47

47 Modelos (ii) SyncLock Diego Sevilla Ruiz (DITEC Facultad de Informática) Sistemas Distribuidos Murcia, septiembre / 47