IceCloud: Diseño e implementación de un servicio autónomo para gestión y despliegue de aplicaciones distribuidas sobre un grid heterogéneo

Transcripción

1 IceCloud: Diseño e implementación de un servicio autónomo para gestión y despliegue de aplicaciones distribuidas sobre un grid heterogéneo Proyecto fin de carrera Universidad de Castilla-La Mancha Alumno: Laura Núñez Villa Director: David Villa Alises

2 Contenidos Introducción Antecedentes Objetivos Metodología Desarrollo Resultados Conclusiones 2

3 Introducción Computación en la nube: ofrece recursos en cualquier parte del mundo de manera cómoda y bajo demanda. 33

4 Cloud Computing - Arquitectura Un sistema Cloud se puede dividir en 4 capas: Recursos físicos Virtualización Plataforma Aplicación 44

5 Cloud Computing - Servicios. El software como servicio, SaaS (Software as a Service) La plataforma como servicio, PaaS (Platform as a Service) La infraestructura como servicio, IaaS (Infrastructure as a Service) 55

6 Cloud Computing Beneficios: La demanda varía con el tiempo No se conoce la demanda de un sistema Procesamiento de grandes lotes de datos Inconvenientes: Seguridad Dependencia de la red Avances tecnológicos 66

7 El middleware ZeroC Ice Es un middleware de comunicaciones orientado a objetos. Útil para la implementación de aplicaciones sobre sistemas distribuidos heterogéneos. Multi-lenguaje : C++, Java, Python, Ruby, PHP, ActionScript, etc... Disponible para varios sistemas operativos. 77

8 El middleware ZeroC Ice Arquitectura 88

9 El middleware ZeroC Ice Servicios IceBox: Configuración de servicios IceGrid: Despliegue y localización IceStorm: Propagación de eventos IcePatch2: Distribución Glacier2: Seguridad Freeze: Persistencia 99

10 IceGrid Proporciona: Localización Host 0 IceGrid Activación bajo demanda Registry Distribución Réplica y balanceo de carga Host 1 Node Node Host 2 Node Host 3 Node Host 4 Node Administración Despliegue 10 10

11 IceGrid Desplegar una aplicación: describir la estructura de la aplicación al Registry. Creación aplicaciones XML + icegridadmin IceGrid GUI Código + sesión administrativa 11 11

12 Objetivo general Diseñar e implementar una infraestructura de Cloud Computing. Asignación dinámica Elasticidad ZeroC Ice

13 Objetivos específicos Identificación de características de los nodos Descripción de las aplicaciones Monitorización del grid Computación elástica

14 Metodología de desarrollo Prototipado evolutivo Ventajas Confianza en la obtención de un producto final Identificación de requisitos Robustez Desventajas Dificil estimación de costes Problemas de mantenimiento

15 Proceso de desarrollo Nº Iteración Objetivo 1 Obtención de información del nodo y definición de categorías 2 Descripción de aplicaciones 3 Despliegue de aplicaciones 4 Asignación dinámica de nodos 5 Elasticidad 6 Inclusión de plantillas de servidores 7 Creación de una iterfaz de usuario 8 Creación de una aplicación real

16 It. 1.1: Obtención de información del nodo Primera aproximación: Memoria RAM Nombre : grid-nodex ServerNodeI: interface NodeInfo { idempotent NodeInfoData getnodeinfo(); }; NodeInfoAdapter proxy objeto: nodeinfox@nodeinfoserverx.nodeinfo Adapter ClientNodeI

17 It. 1.2: Definición de categorías <list> <feature id="memory"> <category name="great_mem"> <min_mem units="bytes"> </min_mem> <max_mem units="bytes"> </max_mem> </category> <category name="big_mem"> <min_mem units="bytes"> </min_mem> <max_mem units="bytes"> </max_mem> </category> </feature> </list> getnodesbycategory

18 It. 1: Pruebas Pruebas: Dados: Varios servidores ServerNodeI, ejecutándose en diferentes entornos (5 máquinas virtuales distintas), de características conocidas. Cuando: Un cliente solicita la información de cada nodo. Entonces: La información recibida corresponde con la real. Dados: Una lista de objetos NodeInfoData. Cuando: Un fichero con una especificación de categorías. Se obtiene el diccionario de categorías por nodo. Entonces: Las categorías asignadas a cada nodo son las correctas

19 It. 2: Descripción de aplicaciones Objetivo: añadir funcionalidad que permita al usuario describir las necesidades de sus propias aplicaciones. <icecloud> <application name="minimalapplication"> <node name="grid-node0"> <server id="server0" activation="manual" exe="./server.py"> </server> </node> <node category="great-mem"> <server id="server1" activation="manual" exe="./server.py"> </server> </node> </application> </icecloud>

20 It. 2: Descripción de aplicaciones Módulo Parser ICRegistry Sesión administrativa ICManager: Consulta registry Obtiene categorías Obtiene XML IceGrid

21 It. 2: Descripción de aplicaciones Pruebas A los nodos por categoría se les asigna un nodo real concreto. El fichero XML generado tiene la estructura correcta. El funcionamiento del módulo IceCloudManager es correcto

22 It. 3: Despliegue de aplicaciones Objetivo: enviar la aplicación al Registry de IceGrid. Necesidad de crear descriptor DescriptorBuilder ICRegistry: addapplication patchapplication Pruebas para comprobar la estructura del descriptor

23 It. 4: Asignación dinámica de nodos Objetivo : establecer una prioridad de elección de nodo dentro de una misma categoría. Completar NodeInfoData Nueva representación de categorías: ram, width, cpu-model, n-proc, custom

24 It. 4: Asignación dinámica de nodos <list> <category name="any-server"> </category> <category name="great-mem"> <feature id="ram"> <min_value>7000</min_value> <max_value> </max_value> </feature> </category> <category name="great-server64"> <include>great-mem</include> <feature id="width"> <value>64</value> </feature> </category> </list>

25 It. 4: Asignación dinámica de nodos Información DINÁMICA Creación de NodeInfoRetriever integrado en ICRegistry Aporta información extra (sesión administrativa) ICRegistry mantiene la sesión activa ExtendedNodeInfo struct ExtendedNodeInfo{ NodeInfoData hostinfo; IceGrid::LoadInfo loadinfo; int numberofservers; };

26 It. 4: Asignación dinámica de nodos AllocationRule Valor min_servers Atributo compuesto Término 1 Operador max_servers Significado num_servers == cpu_load_1 = cpu_load_5 le Menor o igual cpu_load_15 lt Menor que ge Mayor o igual gt Mayor que free_ram num_custom Atributo simple Igual que min_load_1 max_load_1 min_load_5 max_load_5 min_load_15 max_load_15 min_free_ram max_free_ram min_custom max_custom

27 It. 4: Asignación dinámica de nodos Creación de ApplicationDescriptor de IceCloud CategoryNodes Atributo allocationrule en ServerDescriptor DescriptorBuilder ICDescriptorBuilder IGDescriptorBuilder Eliminación Parser

28 It. 4: Asignación dinámica de nodos Pruebas: Para verificar los cambios en la descripción Para comprobar asignación correcta

29 It. 5: Elasticidad Objetivo: lograr que las aplicaciones crezcan o decrezcan según el estado del grid. GridState Aplicaciones Asignación original Serv. Secundarios lock

30 It. 5: Elasticidad GrowingRule, DecreasingRule, maxdupes <icecloud> <application name="minimalapplication"> <node category="great-mem"> <server id="server0" allocationrule="min_servers" growingrule="num_servers gt 4" decreasingrule="num_servers le 2" activation="manual" exe="./server.py" maxdupes="4"> </server> </node> </application> </icecloud>

31 It. 5: Elasticidad Monitorización del grid: MonitorTimer Monitor Consulta NodeInfoRetriever Llama a Scheduler

32 It. 5: Elasticidad Scheduler Asigna nodo correcto Informa al Registry Log + Eventos IceStorm Pruebas: Comprobar crecimiento/decrecimiento

33 It. 6: Inclusión de plantillas de servidores Objetivo: Permitir que los servidores sean descritos mediante plantillas. CategoryTemplateDescriptor <icecloud> <application name="minimalapplication"> <category-server-template id="servertemplate" category="great-mem" allocationrule="min_servers" growingrule="num_servers gt 3" maxinstances="4"> <server id="server" activation="manual" exe="."> </server> </category-server-template> <server-instance template="servertemplate"/> </application> </icecloud>

34 It. 6: Inclusión de plantillas de servidores Modificación GridState, ICRegistry, Monitor, Scheduler. Pruebas Correcta asignación instancias Crecimiento y decrecimiento

35 It. 7: Creación de una interfaz de usuario Objetivo: Crear interfaz para la administración de aplicaciones icecloudadmin permite: Añadir y eliminar aplicaciones. Arrancar y parar servidores. Duplicar y eliminar réplicas de servidores. Instanciar y eliminar instancias plantillas. Puebas para comprobar operaciones de creación/eliminación de servidores Prueba de integración con todos los elementos involucrados

36 It. 8: Creación de una aplicación real Objetivo: Crear una aplicación distribuida con utilidad real en una plataforma de Cloud Computing. Deliverer: module BlenderApp{ sequence<byte> ByteSeq; interface Deliverer { void write(string name, int offset, ByteSeq bytes, int numberofframe); void endedframe(int numberofframe); int getframetorender(); }; };

37 It. 8: Creación de una aplicación real Prueba : ejecución en grid real con 3 nodos

38 Resultados grid-node1 Aplicación: grid-node0 : Servidor IcePatch2 Servidor Deliverer grid-node0 IcePatch2 Deliverer Renderer Renderer Renderer Nodo categoría any-server: Allocation rule : max_free_ram Growing : free_ram lt 4000 Decreasing : free_ram gt 5000 MaxDupes : 8 Renderer grid-node2 Renderer Renderer

39 Resultados

40 Resultados Creación (mm:ss) Servidor Nodo Frames renderizados 00:00 Renderer0 grid-node :29,143 Renderer0.0 grid-node :22,639 Renderer0.1 grid-node :15,639 Renderer0.2 grid-node :12,675 Renderer0.3 grid-node :13,069 Renderer0.4 grid-node :17,307 Renderer0.5 grid-node :29,211 Renderer0.6 grid-node1 9 07:44,785 Renderer0.7 grid-node

41 Resultados: líneas de código Lenguaje Python XML Slice Script Shell Total IceCloud (imp.) Aplicación Blender Pruebas

42 Resultados: COCOMO Coste Líneas de código Esfuerzo personas-año (personas-mes) Estimación de calendario, en años (Meses) Nº estimado de desarrolladores Coste total estimado de desarrollo (Salario medio: /año) ,28 (15,33) 0,59 (7,05) 2,

43 Resultados: tiempo empleado Tarea Estudio previo IceGrid Iteración 1 Iteración 2 Iteración 3 Iteración 4 Iteración 5 Iteración 6 Iteración 7 Iteración 8 Elaboración memoria Total Tiempo aprox. (horas)

44 Conclusiones Categorización. Abstracción de la arquitectura del grid Asignación dinámica Elasticidad Importante: Estudio IceGrid, pruebas Aplicación a un caso real

45 Propuestas Reasignación de servidores y valoración de consecuencias Interfaz gráfica Persistencia Registro/autenticación

46 IceCloud: Diseño e implementación de un servicio autónomo para gestión y despliegue de aplicaciones distribuidas sobre un grid heterogéneo Preguntas?