CON el elevado incremento de la potencia de los. Descripción de la Plataforma Formiga Cloud

Transcripción

1 Descripción de la Plataforma Formiga Cloud Fernando Gomez-Folgar 1, Javier López Cacheiro 1, Carlos Fernández Sánchez, 1 Antonio Garcia-Loureiro 2, Raúl Valin 2 y Víctor Fernández-Albor 3 Resumen En la actualidad, diversos organismos públicos, como universidades, institutos y colegios, disponen de elevados recursos computacionales, principalmente en sus aulas de informática, que acumulan una gran potencia computacional. Su utilización queda restringida única y exclusivamente a sus respectivos usuarios, por lo que su aprovechamiento es relativamente bajo, teniendo en cuenta su potencial de uso. La creación de una infraestructura común que permita agregar los recursos computacionales de diversas organizaciones, utilizando las tecnologías Cloud y Grid, posibilitaría su reutilización para efectuar tareas de cálculo de distintas áreas de investigación, y por otra su uso en los procesos de enseñanza y aprendizaje, por medio del despliegue de máquinas virtuales creadas de forma específica por los profesores que imparten diferentes cursos. En este trabajo se presenta la plataforma Formiga Cloud que tiene por objetivo la agregación de los recursos computacionales de diversas organizaciones en una infraestructura Cloud común accesible desde una interfaz Web única. Esta interfaz facilitará a los administradores la gestión de la plataforma, y a los profesores y alumnos la gestión de sus propios recursos virtuales. La arquitectura de esta nueva infraestructura se presenta en este artículo. Palabras clave Cloud computing, Grid, simulación, virtualización. I. Introducción CON el elevado incremento de la potencia de los computadores tanto organismos públicos como empresas disponen de ordenadores que acumulan una gran potencia computacional. Sólo la Universidad de Santiago de Compostela (USC) dispone de 1800 ordenadores en sus aulas de informática. Durante el proyecto Formiga se desarrolló una plataforma grid virtual que permite la reutilización de estos ordenadores en tareas de cálculo científico [1], [2]. Esta plataforma fue implantada con éxito en las aulas de varias facultades de la Universidad de Santiago de Compostela, y fue puesta a disposición de los investigadores para realizar, entre otras, simulaciones de tratamientos de radioterapia, nanodispositivos, así como cálculos de dinámica molecular. Hoy en día, las tecnologías Cloud están siendo objeto de interés tanto para las organizaciones públicas como para las privadas [3], lo que ha permitido un rápido desarrollo de las mismas. Debido al auge de estas tecnologías [4]-[9] es posible proporcionar funcionalidades adicionales a la plataforma Formiga permitiendo ofrecer la infraestructura como un servicio (IaaS). Formiga Cloud es una nueva plataforma que 1 Dpto. de Sistemas, Centro de Supercomputación de Galicia (CESGA), (fgfolgar, jlopez, carlosf)@cesga.es. 2 Dpto. de Electrónica y Computación, Universidad de Santiago de Compostela, (antonio.garcia.loureiro, raul.valin)@usc.es. 3 Grupo de Física de Partículas, Universidad de Santiago de Compostela, victormanuel.fernandez@usc.es. permitirá agrupar recursos físicos de diferentes instituciones u organizaciones bajo una nueva infraestructura común compartida, accesible desde una interfaz Web 2.0 única. La plataforma Formiga Cloud no sólo permitirá la realización de cálculos científicos, sino también cursos en los que los alumnos podrán desplegar una máquina virtual previamente creada por el profesor o incluso crear una propia. Además, permitirá que los alumnos situados en aulas que cuentan con equipos informáticos modestos realicen sus prácticas empleando, de forma sencilla, nodos de computación más potentes que se encuentren en lugares remotos, sin la necesidad de cambiar físicamente de ubicación. De este modo, se fomenta la reutilización de los recursos computacionales disponibles. En este artículo se describe la plataforma Formiga Cloud y su estructura es la siguiente: En la sección II se describe el diseño de la plataforma. La sección III presenta el gestor CloudStack, empleado para construir la plataforma Formiga Cloud. A continuación, en la sección IV se describe el portal DIRAC, que es el middleware que permite la unión de la plataforma Formiga Cloud con la infraestructura grid. La sección V describe las redes de interconexión de la plataforma y, finalmente, se presentan las conclusiones en la sección VI. II. Diseño de la plataforma Formiga Cloud Formiga Cloud es una plataforma que empleará las tecnologías Grid y Cloud y que permitirá a distintas organizaciones unirse en una infraestructura común, de tal forma que el administrador de cada sitio podrá gestionar sus recursos a través del portal Formiga Cloud. Además, la plataforma Fomiga Cloud permitirá a los investigadores ejecutar cálculos científicos, y a los profesores y alumnos la realización de cursos mediante la utilización de Máquinas Virtuales (MVs) a medida. La plataforma Formiga Cloud presenta los siguientes casos de uso: Administradores: Los administradores de las aulas podrán gestionar sus recursos en la plataforma Formiga Cloud. Para ello, dispondrán de una interfaz sencilla. Profesores: Los profesores de los cursos que se imparten en las aulas de informática podrán gestionar sus máquinas virtuales y la distribución de éstas, es decir, podrán efectuar el despliegue de un número de ellas a su elección, así como las plantillas de éstas. Además, dispondrán de una interfaz sencilla que les permitirá efectuar la gestión de sus recursos virtuales. Alumnos: Los alumnos podrán gestionar sus

2 máquinas virtuales; además, podrán controlar las plantillas de éstas y dispondrán de una interfaz sencilla que les permitirá efectuar la gestión de estos elementos. Investigadores: Los investigadores podrán ejecutar y gestionar sus propios trabajos de cálculo científico, gracias a la interoperabilidad de la plataforma con la infraestructura grid. La arquitectura de la plataforma Formiga Cloud se muestra en la figura 1 y está formada principalmente por tres componentes: Gestor CloudStack Portal grid DIRAC Gestor de la red de interconexión En las siguientes secciones veremos en más detalle cada uno de ellos. Fig. 1. Arquitectura Formiga Cloud. III. Gestor CloudStack En la actualidad, existen diversos gestores Cloud open-source que permiten crear Clouds privados, públicos e híbridos, como, por ejemplo, OpenNebula [10], Eucalyptus [11] y CloudStack [12]. Después de haber efectuado un estudio de evaluación y comparación entre los gestores Cloud [13] mencionados anteriormente, se ha seleccionado CloudStack como gestor Cloud para la plataforma Formiga Cloud, por disponer de una interfaz Web sencilla y completa, así como múltiples modos de configuración de la red de las MVs. Ambas funcionalidades son fundamentales para la plataforma Formiga Cloud. Hay que señalar que CloudStack es una plataforma open-source de Cloud desarrollada por Cloud.com, que permite implementar cualquier tipo de Cloud: público, privado e híbrido. CloudStack gestionará los recursos físicos de la plataforma Formiga Cloud de forma elástica, incluyendo la creación, el despliegue y la configuración de las nuevas zonas pertenecientes a las organizaciones que se adherirán a la plataforma, así como la instalación y gestión de las MVs que se ejecutarán en la nueva infraestructura común. A continuación, se efectúa una descripción de la arquitectura de CloudStack y sus funcionalidades. También se presenta un componente adicional que será necesario desarrollar dentro del proyecto y cuya función será la adaptación de CloudStack a la plataforma de aulas de informática. A. Arquitectura de CloudStack CloudStack está formado a su vez por cinco componentes, como se muestra en la figura 2: Nodos de Computación (NC), Clústeres, Pods, Zonas de disponibilidad y el Servidor de Gestión. Los nodos de computación son los recursos computacionales que tienen instalado alguno de los hipervisores soportados por la plataforma y que permiten ejecutar las Máquinas Virtuales (MV). Representan bloques básicos que permiten escalar la capacidad del Cloud. El administrador tiene la potestad de poder añadirlos en cualquier momento para proporcionar una mayor capacidad para albergar MVs. Los nodos de computación no son visibles para el usuario final (profesores y alumnos) y, por lo tanto, éste no podrá determinar en cuál de ellos se está ejecutando su MV. Los clústeres representan el segundo nivel para el escalado físico. Un clúster es un grupo de nodos de computación que emplean el mismo hipervisor y que, además, comparten el mismo almacenamiento primario. Los Pods representan el tercer nivel para el escalado de los recursos. Un Pod es simplemente una colección de clústeres. Las zonas de disponibilidad están formadas por una colección de Pods e implican algún tipo de aislamiento físico y redundancia. Destacar que existe la posibilidad de que los propios administradores de las aulas den de alta sus propias zonas empleando Cloud Zone [12]. Ello les permitirá agregar sus recursos computacionales a la nueva plataforma y, a su vez, efectuar las tareas de administración. Hay que señalar que las zonas de disponibilidad son visibles para el usuario final. El servidor de gestión, mediante la interfaz Web, permite gestionar el Cloud por completo. B. Funcionalidades En este apartado vamos a analizar las funcionalidades desde el punto de vista de los usuarios, los hipervisores soportados, el almacenamiento, las redes de las máquinas virtuales, las máquinas virtuales, las interfaces de gestión y los agentes de computación. Usuarios: CloudStack permite gestionar tres roles de usuario: administrador CloudStack del dominio raíz, administrador CloudStack de dominio y usuarios no privilegiados. El administrador del dominio raíz puede efectuar las tareas administrativas de todo el Cloud de Fomiga Cloud.

3 Fig. 2. Arquitectura CloudStack. El administrador de dominio puede efectuar las tareas administrativas para los usuarios pertenecientes única y exclusivamente a su dominio. Los usuarios no privilegiados, en nuestro caso profesores y alumnos, podrán gestionar sus propios recursos virtuales, como, por ejemplo, sus máquinas virtuales. Hipervisores soportados: CloudStack soporta los hipervisores KVM [15], Xenserver [14] y VMware vsphere [16]. Almacenamiento: CloudStack emplea dos tipos de almacenamiento: almacenamiento primario y almacenamiento secundario. El almacenamiento primario se emplea para almacenar el disco raíz de las máquinas virtuales, así como los volúmenes adicionales de datos. El almacenamiento primario se registra con el clúster de los nodos de computación. Debe existir al menos uno de ellos para cada uno de los clústers. Los discos raíz de los volúmenes de las MVs se crean en él de forma automática cuando los usuarios inician las máquinas virtuales, y se eliminan, también de forma automática, cuando éstos las destruyen. Los volúmenes de datos de las MVs se pueden crear, conectar, desconectar y eliminar de forma dinámica bajo demanda. El almacenamiento secundario se emplea para almacenar plantillas, snapshots de MVs, así como imágenes ISO. Debe estar ubicado en la misma zona de disponibilidad que las MVs a las que sirve. Además, debe haber exactamente uno por cada una de las zonas de disponibilidad Redes de las MVs: CloudStack proporciona a las MVs distintos modos de red entre los que se incluye el modo de red directo y el modo de red virtual. En el modo de red directo, las MVs obtienen las direcciones IP de la subred local, de tal forma que se verían de la misma manera que una máquina física de la infraestructura. En el modo de red virtual, CloudStack proporciona un router virtual que actúa como puerta de enlace para las MVs de cada una de las cuentas de usuario. El router virtual, además de efectuar NAT, proporciona los servicios de DNS y DHCP a las MVs del usuario. Hay que señalar que, en el modo de red virtual, el router virtual puede configurarse para redireccionar el tráfico de Internet a las MVs a elección del usuario. Por su parte, el tráfico de red de Internet también puede balancearse entre un conjunto de MVs configurable por el usuario. Máquinas virtuales: CloudStack permite efectuar la instalación de las MVs por medio de la interfaz Web empleando una imagen ISO de instalación del sistema operativo. Las MVs emplean el formato QCOW (Qemu Copy-On-Write). CloudStack proporciona la posibilidad de definir MVs de alta disponibilidad que se mantendrán activas sin intervención alguna por parte del administrador o del usuario. Además, hay que señalar que CloudStack permite acceder a la interfaz gráfica de las MVs empleando la interfaz Web. Interfaces de gestión: CloudStack dispone de una interfaz Web completa y sencilla. Ésta proporcionará el acceso completo al Cloud de la plataforma Formiga Cloud a los administradores del sistema, mientras que para los profesores y los alumnos proporcionará un acceso restringido que les permitirá, única y exclusivamente, gestionar sus respectivos recursos virtuales. CloudStack no dispone de interfaz de comandos, aunque proporciona una API REST que permite acceder a todas sus funcionalidades. Agentes de computación: El agente de computación es un módulo que se instalará en cada uno de los ordenadores de las distintas aulas y que permitirá a CloudStack efectuar la gestión del hipervisor del nodo de computación. Por tanto, el agente de computación se encargará de gestionar las MVs que se encuentran bajo su supervisión y control. C. Planificador Formiga Cloud La adhesión en la plataforma Formiga Cloud de los recursos computacionales pertenecientes a múltiples organizaciones, que emplean diferentes políticas de seguridad, de mantenimiento y de utilización de recursos, implica que no pueda garantizarse a priori su disponibilidad para su utilización en la nueva infraestructura común. Los planificadores de despliegue de los gestores Cloud no están diseñados para tener en cuenta las

4 particularidades de este entorno multiorganizacional, como, por ejemplo, la disponibilidad de los nodos en función del contexto de utilización de los mismos. El planificador FomigaCloud se integrará en CloudStack y se diseñó para adaptarse de forma automática y trasparente a los entornos heterogéneos, y permitirá gestionar el despliegue de las máquinas virtuales en los nodos de computación de la nueva infraestructura común. Para ello, empleará técnicas heurísticas que permitirán determinar el nodo de computación más adecuado en cada momento para la ejecución de las máquinas virtuales, teniendo en cuenta el tiempo de disponibilidad de cada uno de los nodos de computación, esto es, el tiempo estimado durante el cual se espera que el nodo de computación va a estar disponible para su utilización por parte de la nueva infraestructura común, así como el tiempo de utilización en el pasado de las distintas máquinas virtuales. A la hora de seleccionar el nodo en el que se desplegará la máquina virtual, el planificador empleará los datos de la utilización en el pasado de los distintos nodos de computación, lo que permitirá estimar el tiempo de disponibilidad esperado para cada uno de ellos. Análogamente, el planificador estimará el tiempo esperado que la máquina virtual permanecerá activa, basándose en los datos históricos de su utilización, y seleccionará el nodo cuyo tiempo de disponibilidad esperado sea superior al tiempo requerido de utilización de la máquina virtual. Hay que señalar que uno de los usos principales de la plataforma será la realización de cursos mediante el despliegue de máquinas virtuales. Además, éstas suelen emplearse de forma periódica y se mantienen encendidas apenas unas pocas horas. Esta circunstancia propicia que el planificador FormigaCloud pueda optimizar la utilización de aquellos nodos de computación cuyo nivel de disponibilidad es bajo, albergando aquellas máquinas virtuales que se adapten a su disponibilidad estimada, reduciéndose, así, el número de migraciones necesarias de las MVs entre los distintos nodos para mantenerlas en su estado operativo. El planificador Formiga Cloud permitirá obtener el mayor nivel de servicio en infraestructuras en las que la disponibilidad de los nodos de computación no está garantizada. IV. Portal DIRAC DIRAC (Distributed Infrastructure with Remote Agent Control) [17] es un middleware grid que permite la gestión y el envío de trabajos de computación a infraestructuras grid basadas en glite [18], o mediante la utilización de sus propios recursos. DIRAC proporciona una solución grid completa [19] para la gestión de los trabajos, así como para el almacenamiento de los datos, y permite efectuar un uso confiable de los recursos disponibles. En la plataforma Formiga Cloud, este portal se encargará de gestionar los trabajos de los investigadores en la infraestructura grid virtual. Su integración con CloudStack hará posible la gestión bajo demanda de MVs configuradas como Worker Nodes (WN) de Grid. DIRAC posee su propio framework para facilitar la integración con distintos tipos de sistemas basados en SOA, así como su propio protocolo de comunicación segura, denominado DISET (DIRAC Secure Transport), que confiere una mayor seguridad al usuario utilizando los mecanismos de autenticación de GSI (Grid Secure Infrastructure). Por otra parte, permite la configuración de reglas de autorización con la granularidad adecuada tanto para usuarios como para grupos. Hay que señalar que DIRAC dispone de un Servicio de Configuración (SC) que permite gestionar todos sus servicios y agentes. Éste se encuentra accesible a través del portal Web DIRAC, y posibilita que el administrador pueda efectuar la configuración de servicios y funcionalidades de usuarios pertenecientes a diferentes grupos. El WMS (Workload Management System) de DIRAC se ocupa de las tareas de la programación mediante la utilización de Genenic Pilot Jobs. Este método de planificación, que soluciona muchos de los problemas causados por la utilización de recursos computacionales distribuidos inestables, consiste en la creación, con un certificado proxy de administrador, de un trabajo genérico denominado Pilot Job por medio del cual se ejecutarán los trabajos de usuario. Algunos de los servicios más importantes de DIRAC, como son el sistema de gestión de datos, el servicio de monitorización, el central Job Monitoring y el Accounting Service, se describirán a continuación. El sistema de gestión de datos de DIRAC proporciona a los usuarios un servicio de almacenamiento empleando el protocolo DISET, lo que le confiere seguridad en el almacenamiento de los datos. DIRAC está preparado para utilizar el denominado LCG File Catalog [20] (Large Hadron Collider Computing Grid File Catalog) que puede ser accesible a través múltiples servidores de sólo lectura. Además, posee su propio File Catalog (FC) que se utiliza en el sistema de gestión de producción. El FC de DIRAC dispone de la clase Replica Manager que permite encapsular todas las operaciones relacionadas con la gestión y el manejo de archivos. El servicio de monitorización recopila los informes de actividad de todos los servicios de DIRAC y sus agentes, y presenta los datos de múltiples formas, por ejemplo, gráficos históricos o informes agregados. Es interesante señalar que durante la ejecución del trabajo hay un agente local ejecutándose en paralelo con la aplicación del usuario que tiene el cometido de enviar la información acerca del progreso de la misma al servicio central Job Monitoring. El servicio central Job Monitoring recopila información acerca del estado de los trabajos y la guarda en una base de datos en la que almacena todos los estados en los que se han encontrado aquellos. El Accounting Service efectúa la contabilidad del uso de los recursos a nivel de las cuentas de usuario.

5 El portal Web de DIRAC permite que el usuario pueda efectuar la monitorización de los trabajos y la descarga de sus respectivos archivos de salida que han sido procesados en los nodos de cálculo. Por otra parte, el portal Web proporciona una interfaz amigable y segura para la administración de DIRAC, así como para la gestión de producciones y trabajos de usuario. La interfaz de usuario de DIRAC proporcionará a los investigadores una serie de comandos y scripts para el envío, la monitorización y la gestión de trabajos en el Grid virtual de las aulas. La Interfaz de Usuario (IU) permitirá el envío de los trabajos por medio de un canal seguro, mediante la creación de un certificado de proxy en la propia máquina a partir del certificado del usuario. V. Gestor de red de interconexión La adhesión a la plataforma Formiga Cloud de los recursos computacionales pertenecientes a diversas organizaciones presenta dificultades derivadas de la utilización de diferentes políticas de configuración y gestión de la red, como, por ejemplo, el empleo de direcciones IP privadas o públicas. El gestor CloudStack requiere que las conexiones sean iniciadas desde el servidor de gestión hacia los nodos de computación de las diferentes zonas de disponibilidad. En el caso de que los nodos de computación empleen direcciones IP públicas, el gestor CloudStack podría gestionarlos de forma directa sin mayores complicaciones, salvo las derivadas de la implantación de las medidas de seguridad necesarias para evitar que los nodos pudiesen verse comprometidos. Sin embargo, este modo de comunicación del servidor de gestión de CloudStack imposibilita la conexión con los nodos de computación de aquellas infraestructuras de red que emplean NAT como medio de conexión a Internet. Además, algunas organizaciones podrían hacer uso del mismo rango de direcciones IP privadas entre las diferentes aulas, en cuyo caso el uso de VPNs, como medio de interconexión de los nodos de computación con el servidor de gestión de CloudStack, no sería posible a causa de los rangos IP solapados. Por ejemplo, el servidor de gestión de CloudStack por medio de la VPN se estaría intentando conectar a un nodo cuya dirección IP privada pudiera estar siendo utilizada por múltiples nodos de computación al mismo tiempo. Para solventar estas limitaciones se evaluará el uso de Cloud Kit [21], que permite que sean los nodos de computación los que inicien la conexión con el servidor de gestión de CloudStack y no al revés. De esta forma, no sería necesario efectuar modificación alguna en la infraestructura de red existente para permitir que los nodos de computación de aquellas organizaciones, cuyas redes empleen NAT para alcanzar Internet, puedan establecer la conexión con el servidor de gestión Cloud. Existe una complicación adicional causada por la utilización de NAT por parte de las MVs para alcanzar Internet, ya que los usuarios de las mismas no podrían conectarse a sus servicios, como, por ejemplo, ssh, desde una red ajena a la infraestructura. En este caso, sería necesario proporcionar un mecanismo que les permitiese establecer la conexión y hacer uso de estos servicios desde el exterior. Cabe destacar que se está trabajando con los desarrolladores de CloudStack para proporcionar la mejor solución en relación a la conectividad del usuario final con su MV. VI. Conclusiones La plataforma Formiga Cloud, empleando tecnologías Cloud y Grid, permitirá la agregación de los recursos computacionales de entornos heterogéneos, independientemente del modo de red utilizado (público o privado), en una infraestructura común accesible desde una interfaz Web centralizada que facultará a los administradores gestionar la plataforma, y a los profesores y alumnos gestionar sus propios recursos virtuales. La plataforma Formiga Cloud empleará Cloud- Stack como gestor Cloud y DIRAC para gestionar los trabajos de los investigadores. Sin embargo, los planificadores de despliegue de los gestores Cloud no están diseñados para tener en cuenta las particularidades de este entorno multiorganizacional, como, por ejemplo, la disponibilidad de los nodos en función del contexto de utilización de los mismos. Por este motivo, se desarrollará el Planificador FormigaCloud, que empleará técnicas heurísticas que permitirán determinar el nodo de computación más adecuado, en este entorno heterogéneo, para ejecutar las máquinas virtuales. La integración de DIRAC con Cloud- Stack permitirá efectuar la gestión bajo demanda de máquinas virtuales configuradas como Worker Nodes de Grid. La plataforma Formiga Cloud permitirá el aprovechamiento de recursos computacionales infrautilizados para su uso en tareas de cálculo, así como en los procesos de enseñanza y aprendizaje. El objetivo final es poder realizar un mejor uso de los recursos computacionales disponibles por las organizaciones. Agradecimientos El presente trabajo ha sido financiado por la Xunta de Galicia mediante los proyectos 09TIC001CT e INCITE08PXIB206094PR, y por el Gobierno de España (MCYT) mediante el proyecto TEC Referencias [1] J. López et al., FORMIGA/G-FLUXO: Adding computer labs to the Grid, 3rd Iberian Grid Infrastructure Conference, Valencia, pp , May [2] R. Valin et al., Gridification of a nanodevice Monte Carlo simulator for the FORMIGA project, 3rd Iberian Grid Infrastructure Conference, Valencia, pp , May [3] K. Stanoevska-slabeva, T. Wozniak and S. Ristol, Grid and Cloud Computing: A Business Perspective on Technology and Applications, Springer, Germany, [4] C. Babcock, Management Strategies For The Cloud Revolution, McGrawHill, USA, 2010.

6 [5] T. Mather, S. Kumaraswamy and S. Latif, Cloud Security and Privacy, O REILLY, Sebastopol, [6] B.J.S. Chee and C. Franklin, Cloud Computing. Technologies and Strategies of the Ubiquitous Data Center, CRC Press, Boca Raton, [7] R.L. Krutz and R.D. Vines, Cloud Security, Wiley Publishing Indianapolis, [8] J.W. Rittinghouse and J.F. Ransome, Cloud Computing: Implementation, Management, and Security, CRC Press, Boca Raton, [9] A.T. Velte, T.J. Velte and R. Elsenpeter, Cloud Computing: A Practical Approach, McGrawHill, USA, [10] OpenNebula, [11] Eucalyptus, [12] CloudStack, [13] F. Gomez-Folgar et al., An Open-source Cloud Management Platform Comparison, 5th Open Cirrus Summit, Moscow, (Artículo aceptado). [14] D.E. Williams, Virtualization with Xen: Including XenEnterprise, XenServer, and XenExpress, Syngress, USA, [15] KVM, [16] VMWare, [17] A.Tsaregorodtsev et al, DIRAC, The LHCb Data Production and Distributed Analysis System, Proceedings of the CHEP 2006 Conference. [18] glite, [19] A.Tsaregorodtsev et al, DIRAC: a community grid solution, Journal of Physics: Conference Series, vol , July [20] LCG FIle Catalog, [21] RightScale,