ViPoC - una alternativa virtual para el desarrollo de aplicaciones paralelas.

Transcripción

1 ViPoC - una alternativa virtual para el desarrollo de aplicaciones paralelas. Omar Ochoa Rodríguez, Alberto Ochoa Rodríguez Abstract El presente trabajo reporta el diseño y construcción de un cluster portátil y virtual, como parte del proyecto ViPoC. Este, con recursos limitados en su conguración, utiliza la tecnología de máquinas virtuales VMware, y en especial, la versión liberada VMware Player. Actualmente, el cluster ViPoC, se ofrece como una solución a la problemática que enfrentan muchos investigadores, estudiantes y desarrolladores al no disponer de una infraestructura que les permita la ejecución o puesta a punto de sus aplicaciones paralelas. 1 Introducción Con el desarrollo tecnológico computacional, las máquinas computadoras son cada vez más pequeñas, más veloces y disponen de grandes capacidades de memoria. Todo esto, unido a su bajo costo, ha incrementado el diseño y construcción de los clusters de computadoras por los diferentes grupos de investigaciones e instituciones cientícas. Este desarrollo tecnológico, puede verse reejado en la intranet de cualquier centro de investigación; donde es impresionante la cantidad de tiempo que los procesadores de estas máquinas permanecen desocupados. Iguales condiciones, aunque menos dramática, se observa en el uso de la memoria interna de los sistemas de computos. Semejante situación se maniesta frecuentemente, en los centros de cálculos de las universidades donde existen grandes cantidades de computadoras. El aprovechamiento de estos recursos ociosos velocidad de procesamiento y capacidad de memoria junto a la notable integración de la tecnología VMware en las diversas ramas de la computación, fundamentan la idea del proyecto ViPoC. Este consiste básicamente, en el diseño de un cluster portátil y virtual que se benecia de estos recursos para dar solución a los problemas de los usuarios, desarrolladores, estudiante e investigadores, en la puesta a punto y ejecución de aplicaciones paralelas. ICIMAF: Instituto de Cibernética, Matemática y Física. o8ar@icmf.inf.cu ICIMAF: Instituto de Cibernética, Matemática y Física. ochoa@icmf.inf.cu 1

2 El reporte está estructurado de la siguiente forma. En la sección 2, se enumeran los principales objetivos de la tecnología propuesta; mientras que la sección 3 reconoce la tecnología VMware como la infraestructura ideal para el soporte de los nodos virtuales del cluster. En la sección 4, se hace una introducción de las características generales del cluster, y se describe sus componentes principales. Después, en la sección 5, se trata el tema de la seguridad del sistema y la administración de usuarios. Finalmente, en la sección 6 se dan las conclusiones y trabajo futuro. 2 Objetivos del cluster ViPoC La tecnología propuesta, el sistema ViPoC, se presenta como alternativa a otros esfuerzos populares en el área de paralelismo y tiene como objetivo principal permitir de forma fácil y sencilla: Hacer un uso eciente de los recursos de memoria y procesador que están ociosos temporalmente en las redes de cómputo. El desarrollo de aplicaciones paralelas y/o distribuidas. Contribuir efectivamente a la masicación de esta tecnología. Acelerar la puesta a punto y ejecución de las aplicaciones de los usuarios registrados. La mayor comodidad y transparencia para los usuarios de Windows. De forma tal, que no sea necesario un pleno dominio ni del sistema operativo Linux ni de arquitectura de clusters. 3 VMware, una tecnología de máquinas virtuales La tecnología propietaria VMware Workstation [1], disponible para los sistemas operativos Windows y Linux, es un sistema que emula el hardware Intel completamente, de forma tal que sobre ella puede instalarse cualquier sistema operativo. Actualmente se encuentra disponible en Internet la versión liberada del VMware Player [2], que aunque no tiene todas las funcionalidades de la VMware Workstation, permite ejecutar los sistemas operativos instalados en estas últimas. El sistema ViPoC nodo servidor y nodos clientes virtuales puede funcionar tanto con el VMware Player como con las versiones 4.x y 5.x de la VMware Workstation. 4 Características del cluster ViPoC ViPoC es un sistema que se comporta como un cluster Linux altamente congurable. Este tiene características similares a las arquitecturas dedicadas OSCAR 2

3 y ROCKS [5, 6]. ViPoC está orientado al cálculo cientíco, pero puede también realizar transacciones de datos si se conecta un servidor de base de datos en su arquitectura. Además, es un sistema distribuido previsto para funcionar en un segmento de direcciones de una red intranet. Su diseño contempla todas sus operaciones sobre la red y brinda un conjunto de facilidades a los usuarios Windows, evitando que estos queden desamparados por carecer de conocimientos del sistema operativo Linux. En esencia, las características principales del cluster ViPoC se resumen en sus componentes fundamentales: ViPoC - Arquitectura ViPoC - Conguración ViPoC - Tolerancia a fallos ViPoC - Acceso y ejecución de aplicaciones ViPoC - Desarrollo de aplicaciones a la medida 4.1 ViPoC - Arquitectura En la gura 1, se muestra la arquitectura general del cluster ViPoC. En esencia, está compuesta por el nodo servidor y sus tres tipos de nodos clientes organizados en dos subredes. La combinación de los diferentes tipos de nodos clientes, en una topología de conexión, destaca la facilidad de su conguración y la exibilidad de su arquitectura. Esta última, escalable, permite aumentar la potencia de cálculo del cluster. Ver sección 4.2(2). 3

4 Un aspecto interesante de esta arquitectura es su capacidad de brindar un alto nivel de homogeneidad en ambientes heterogéneos. Esto garantiza que todo el software de propósito especíco instalado, corra sobre cualquier estación de la intranet. En este sentido más abajo se detalla la composición y características de los diferentes elementos que componen la arquitectura. Figure 1: Arquitectura de ViPoC con sus nodos clientes en ambos segmentos del cluster Nodo servidor El nodo servidor ViPoC es una máquina virtual VMware con el sistema operativo Linux y el software ViPoC instalado. Sus dos adaptadores de red Ethernet principales están congurados por defecto enlazados con las componentes reales de la estación que lo hospeda. Estos elementos, denen los dos segmentos de trabajo del cluster: segmento primario y segmento secundario. Este último reside en la red intranet y es el que permite la escalabilidad del cluster. En cambio el segmento primario, asociado a la red dedicada, es el espacio que dispone el usuario para construir un cluster dedicado. Otra característica del nodo servidor es su capacidad de residir en las estaciones de trabajo Windows o Linux de una intranet. Además, interactua con los nodos clientes que estén ubicados en la red dedicada, en la red intranet o en ambas redes. 4

5 Otro aspecto signicativo, es que el segmento secundario no sólo permite la escalabilidad del sistema sino que, aprovechando las características multisistemas de las redes actuales permite la construcción de un cluster distribuido, cuyos nodos clientes son estaciones de trabajo Linux. Un ejemplo de esta arquitectura se describe en la sección 4.1.2(3) y se muestra en la gura Tipos de nodos clientes. La topología de conexión de ViPoC distingue tres tipos de nodos clientes relacionados más abajo lque pueden estar ubicados en los diferentes segmentos de trabajo del cluster. Nodos virtuales VMware. Nodos físicos de recursos dedicados. Estaciones de trabajo Linux. 1. Nodo virtual VMware: Son máquinas virtuales Linux con un mínimo de recursos de hardware congurado, que dependen del nodo servidor para obtener el sistema de cheros en un proceso de arranque por red. Estas máquinas residen virtualmente en las estaciones de trabajo de la intranet Windows o Linux y comparten los recursos con las aplicaciones del usuario. 2. Nodo físico de recursos dedicados: Es cualquier estación de trabajo de la intranet que tenga habilitado en el BIOS el arranque por la red. Estos nodos, al igual que los virtuales, dependen del servidor ViPoC para obtener sus sistemas de cheros, con la peculiaridad de que sus recursos: procesador y memoria, están sólo en función de las tareas del cluster. 3. Estación de trabajo Linux : Por denición, todas las estaciones Linux de una intranet pueden incorporarse al cluster ViPoC. En la gura 2, se muestra una arquitectura con estaciones de trabajo Linux de una intranet. Estas estaciones para formar parte del cluster deben cumplir con un mínimo de requerimientos: 1) tener una cuenta de usuario o sección de trabajo en cada una de ellas, la cual debe ser conocida por el usuario que la desea incorporar al cluster; 2) tener un sistema de autenticación, debidamente congurado, que permita la comunicación entre los procesos sin la necesidad de una contraseña; 3) tener la instalación de la biblioteca paralela para pases de mensajes, LAM/MPI[7]. Con el n de asegurar esta última exigencia el sistema permite la descarga del código fuente de dicha biblioteca, con lo que se garantiza la uniformidad de la versión utilizada en todo el sistema paralelo. 5

6 Figure 2: Arquitectura de ViPoC sólo con estaciones de trabajo Linux. 4.2 ViPoC - Conguración En esta sección se describen las características y facilidades del Asistente de conguración y administración del sistema ViPoC. Una herramienta diseñada para centralizar y gestionar todas las operaciones que se realizan en el cluster. Entre sus principales opciones el Asistente de conguración nos permite: 1. Asignar la dirección IP del nodo servidor y de los nodos clientes. Conceptualmente, el sistema ViPoC está diseñado para operar dentro de una intranet o como un único elemento de una red dedicada. En ambas situaciones, es necesario un segmento de direcciones para los nodos clientes que conforman el cluster y una asignación estática de la dirección IP del nodo servidor. Esta última exigencia, prevista en el asistente del sistema, ofrece al usuario dueño del cluster [ver sección 5.2(1)], la posibilidad de hacer modicaciones en los parámetros de la componente de red del servidor. Asegurando la adaptación del nodo servidor a cualquier intranet. Por otra parte, la asignación de las direcciones a los nodos clientes depende principalmente de la topología de conexión denida por el usuario y del tipo de nodo que se desea incluir. Este puede ser virtual o físico. Nodo virtual: Puede ser del tipo VMware Player o Workstation 4.x-5.x. Este último, recibe el mismo tratamiento que el nodo físico para obtener su dirección de red. En cambio, el nodo Player, requiere para su funcionamiento del chero de conguración vmware.vmx. Este chero incluye, entre otros parámetros, la dirección IP y física de la componente de red con la cual, va a operar el nodo en la intranet. En este sentido, el sistema ViPoC genera un archivo equivalente para cada nodo en el proceso de conguración de una topología de conexión. Este archivo, con el nombre nodoxx.vmx el sujo xx corresponde al número de máquina en la red queda disponible a toda la red desde la estructura de directorio del nodo servidor, especícamente en el directorio /vmware_cong. De esta forma, se 6

7 garantiza la asignación de la nueva dirección IP y de la componente de red del nodo virtual. Además, se evita la posibilidad de conictos de direcciones con otras estaciones de la intranet. Nodo Físico: Existen diferentes formas para la asignación de las direcciones a los nodos clientes. Estas pueden ser: manual, automática y a partir de la dirección física o MAC de la componente de red. Esta última, en caso de conocerla, se introduce directamente en el asistente de conguración. De lo contrario, se puede interrogar directamente a la estación en la red y de esta forma, obtener indirectamente su dirección MAC. Por otra parte, la asignación manual se logra con la denición, por parte del usuario, del intervalo deseado de números de host en la red,en este caso, es posible la asesoría del administrador de la intranet Y por último, en la asignación automática,relacionada con los nodos del segmento primario o dedicado, sólo se precisa, introducir en la opción del asistente, la cantidad de nodos que van a operan en dicho segmento, del resto se encarga el sistema. 2. Escalar la potencia de cálculo del cluster. Esta característica se muestra en la arquitectura general del cluster ViPoC (gura 1), donde se combinan los dos segmentos de trabajo. La escalabilidad está dada por la capacidad del sistema para aumentar dinámicamente el número de nodos del cluster cuyos nodos principales están en el segmento primario con los recursos ociosos de las estaciones que están dispersas en el segmento secundario o intranet. 3. Exportar el directorio de trabajo de los usuarios registrados. En el proceso de creación de las cuentas de usuarios en el nodo servidor se dene un único directorio de trabajo $HOME/workdir. A partir de éste se crean los nuevos directorios y se copian los archivos programas fuentes, ejecutables o datos de los usuarios registrados. Además, es el máximo espacio de disco del usuario y está denido o limitado por el sistema de cuotas del cluster. En principio, la idea que se persigue es similar a la de compartir una carpeta desde una estación en la red. Es decir, se exportar la carpeta deseada y posteriormente se puede enlazar a una estructura de directorio como una unidad compartida de red. Esta facilidad, especialmente diseñada para los usuarios Windows, permite a éstos exportar su directorio de trabajo. Esta facilidad simplica el acceso remoto a la sección en el cluster y evita el uso de comandos del sistema operativo Linux. De esta forma, las acciones de transferencia de archivos pueden realizarse con los mecanismos de cortar, copiar y pegar que proporciona el sistema Windows. Estas acciones, aparentemente locales, son realizadas de forma transparente al usuario sobre su sección en el nodo servidor. 4. Mover el espacio de usuario, $HOME, a una estación remota 7

8 Esta opción tiene características similares a las descritas en (3). Su implementación está motivada por la necesidad de ampliar el espacio de trabajo de una sección en el cluster. Mediante ella se puede redireccionar el espacio permanentemente de usuario a una estación Windows de la red. A partir de este momento, se establece un enlace entre ambos recursos y el $HOME del usuario seleccionado en el cluster quedará ubicado en la estación remota. Todas las acciones de escritura/lectura en la sección $HOME del cluster se efectuarán directamente sobre la estación remota en la red. Por otra parte, las opciones de administración están divididas en tres grupos principales. Los cuales se relacionan con las siguientes acciones de gestión: Locales: Conjunto de acciones que son ejecutas sobre el nodo servidor. Remotas: Sólo aplicables a los nodos clientes que dependen del servidor. De servicios: Permiten la actualización y comprobación del estado de los principales servicios del sistema. En general, estas acciones se apoyan en la: 1) utilización de scripts y utilitarios del sistema operativo Linux una implementación de este primer grupo, se describe en la sección 5.2; 2) incorporación del repertorio de herramientas del sistema Clusterit [4]. Esta integración garantiza un nivel de administración remota con la ejecución distribuida de comandos sobre los nodos clientes que conforman el cluster. Por último, dentro del grupo de opciones asociadas a la administración de los servicios, se incluyen mecanismos para la comprobación del estado de los principales servicios del cluster. Además, se ofrece la posibilidad de restablecerlos iniciar o reiniciar el servicio según las exigencias del sistema o del usuario dueño del cluster [ver sección 5.2(1)]. Similar comportamiento, pero sólo con los servicios necesarios, existe en los nodos clientes que dependen del nodo servidor. 4.3 ViPoC - Tolerancia a Fallos Uno de los escenarios de trabajo para los que fue diseñado el cluster ViPoC, es la intranet. Por lo tanto, el sistema debe estar preparado para recuperarse ante los frecuentes fallos o incomunicaciones con los nodos clientes. Estos fallos pueden originarse por diferentes causas: latencia en la red, interrupciones eléctricas, caída de un nodo, apagado de una estación, etc. ViPoC proporciona un conjunto de facilidades y herramientas que garantizan la implementación y ejecución de aplicaciones paralelas seguras. Esto se logra, en primer lugar, con la instalación del módulo BLCR 1 [8]. Este permite registrar en un chero el progreso de un proceso en ejecución y posteriormente restablecerlo. A partir de esto, el usuario puede desarrollar aplicaciones MPI [9], con puntos de chequeo en su estructura, ultilizando la versión 2 incluida de la biblioteca paralela LAM/MPI [7]. De lo 1 BLCR: blcr LAM-MPI: lam

9 contrario, las aplicaciones que no tengan estas implementaciones, se pueden ejecutar desde un shell, empleando los comandos CR 3 del BLCR. En este caso, el usuario es el responsable de hacer el registro de las tareas que se están ejecutando. Otro medio, para la ejecución de estas tareas, puede ser el sistema de colas, Torque 4 [10]. Este también soporta los puntos de chequeo y está disponible en el sistema ViPoC. 4.4 ViPoC - Acceso y ejecución de aplicaciones ViPoC no exige un orden lógico entre la creación de una cuenta de usuario y la conguración de una topología de nodos clientes. Una vez concluído el proceso de conguración de los nodos clientes, el usuario registrado [sección 5.2(3)], puede escoger o combinar, según sus necesidades, las vías de acceso al cluster. En este sentido, se ofrecen tres puntos de acceso o conexión al sistema: 1. Una conexión segura, SSH. Este tipo de conexión se puede realizar desde cualquier sistema operativo en una intranet. Los usuarios Windows necesitan, por ejemplo, del cliente 5 PuTTy [11] para lograr establecer, una conexión segura con el nodo servidor. En cambio, desde una estación Linux la comunicación se realiza, directamente, utilizando la línea de comandos. Ya dentro del sistema, el usuario puede interactuar con el mismo, y/o ejecutar sus aplicaciones paralelas. 2. La red Windows. Este tipo de conexión utiliza los protocolos de red y exige que se haya exportado anteriormente el directorio de trabajo del usuario (Ver sección 4.2(3)). Después de esto, se pueden subir a la sección en el cluster las aplicaciones que se desean ejecutar. 3. La interfase web. Este medio integra las características de las referencias (1) y (2) e incluye la documentación de todo el sistema. Es decir, desde la web el usuario tiene dos niveles de acceso. En el primero, necesita registrarse para obtener el acceso a su espacio de trabajo en el servidor, y posteriormente ejecutar comandos del sistema o sus aplicaciones paralelas. En cambio, el segundo nivel está relacionado con la información de carácter general documentación, enlaces a otros sitios, etc y de acceso libre para cualquier usuario que acceda a la web. 4.5 ViPoC - Desarrollo de aplicaciones a la medida El cluster ViPoC se ofrece como una especie de infraestructura base para el desarrollo e implementación de aplicaciones a la medida. Para tal efecto, el sistema satisface las demandas de los desarrolladores que desean portar a ambientes paralelos sus algoritmos y/o aplicaciones cientícas. De esta manera, las aplicaciones son distribuidas sobre un soporte paralelo. Y el usuario nal 3 comandos: cr_checkpoint, cr_run, cr_restart, etc 4 TORQUE: torque PuTTy: implementación libre de Telnet y SSH para Windows y Linux. 9

10 interesado en la ejecución de la misma, sólo verá el frontend de la aplicación, y no necesitará conocimientos del sistema operativo Linux y menos de cluster. Una vez garantizado que los nodos clientes del cluster estén listos, las aplicaciones se correrán en ellos de manera transparente. 5 Seguridad y administración de usuarios 5.1 ViPoC - Seguridad El cluster ViPoC es un sistema diseñado, para funcionar dentro de una red intranet. Bajo éstas condiciones, los niveles de seguridad que se exigen no son tan críticos, y quedan restringidos a las políticas del sistema y al control de accesibilidad que proporciona el cluster. 5.2 ViPoC - Administración de usuarios ViPoC se apoya en las herramientas del sistema operativo Linux [3] para implementar su propio sistema de administración de usuarios. En este sentido, se aprovechan éstas facilidades y se denen los diferentes tipos de usuarios del cluster. Por ejemplo, según sus características o privilegios, se clasican en usuario: 1) dueño del cluster; 2) virtual, denido por el sistema; 3) registrado en el sistema; 4) avanzado o root del sistema. 1. Usuario dueño del cluster : Es una especie de administrador del sistema, y tiene el control de toda la administración del sistema. Además, es el encargado de crear y preparar la conguración de los nodos clientes que conforman el universo del cluster. 2. Usuario virtual, denido por el sistema : Es el usuario por defecto del cluster. Es autocreado por el sistema, de acceso público, y sólo puede ser eliminado por el (4). 3. Usuario registrado en el cluster : Es el usuario interesado en tener un espacio de trabajo en el servidor. Aprovecha las facilidades del sistema, y su universo de cluster está limitado por el (1) en la conguración de la topología actual. 4. Usuario avanzado o root del sistema : Es aquella persona, con dominio del sistema operativo Linux, que desee interactuar directamente con los cheros de conguración del cluster o preera ejercer su propia administración. En algunos casos, puede ser el (1). Para estos usuarios, se reservan las terminales virtuales (Alt-F2/F3) como las puertas de entrada a todo el sistema del cluster ViPoC. 10

11 6 Conclusiones y trabajo futuro El reporte describe las características de un cluster portátil y virtual que forma parte del proyecto ViPoC. Este esfuerzo, actualmente en desarrollo, explora el benecio de la integración de la tecnología de máquinas virtuales, VMware, con los software paralelos. Además, plantea el enfoque de la escalabilidad del sistema, agregando nodos de la red intranet, y aborda el tema de la tolerancia a fallos como una solución para resolver los problemas de incomunicación con los nodos clientes. ViPoC hace uso eciente de los recursos ociosos disponibles en una red, gracias, a la incorporación de los diferentes tipos de nodos clientes. ViPoC se ofrece como una alternativa a otros proyectos para el desarrollo, ejecución y puesta a punto de aplicaciones paralelas. Los esfuerzos futuros están encaminados a solidicar la tecnología propuesta, profundizar el desarrollo de aplicaciones a la medida y desarrollar las bases de una infraestructura virtual para la implementación de centros de recursos virtuales apoyados en la tecnología Grid. References [1] VMware. Inc, [2] VMware Player, [3] SuSE Linux 9.0, Administración avanzada. [4] Clusterit, [5] OSCAR, [6] ROCKs Clusters, [7] LAM/MPI, Parallel Computing, [8] Berkely Linux Checkpoint and Restart, BLCR, [9] MPI, [10] Torque Resource Manager 2.0, [11] PuTTy, A Free Telnet/SSH Client, 11