Cómputo de Alto Desempeño en Intel: OSCAR, Solución en Software para Cómputo en Clusters

Transcripción

1 Cómputo de Alto Desempeño en Intel: OSCAR, Solución en Software para Cómputo en Clusters Jorge Figueroa Canales. Maestría en Ciencia e Ingeniería de la Computación. Universidad Nacional Autónoma de México. Extracto. Es un tiempo emocionante en el cómputo de alto desempeño (HPC). Cambios radicales han llegado a ser la norma como los clusters o computadoras que han sido denominadas HPC. Las tendencias del hardware son claras. La tecnología de los microprocesadores ha seguido con la ley de Moore 1. El hardware para HPC esta en buena forma y mejorando constantemente. Pero... Qué pasa con el software? El software para HPC esta en forma muy pobre comparado con el hardware. Es genial para las organizaciones que pueden aceptar el tiempo-hombre requerido para mantener trabajando los clusters. Pero para el lado comercial del cómputo técnico, las soluciones disponibles hoy no estan para esas tareas. Intel a creado grupos de trabajo cruzado dedicados resolver problemas de software para HPC. En la parte de clusters se ha ayudado en la fundación del Open Cluster Group; el cual es un consorcio informal de organizaciones de investigación y comercio interesadas en el cómputo con clusters. La misión es hacer de los clusters una opción para las organizaciones que usen el computo de alto desempeño para sus objetivos. El primer proyecto del Open Cluster Group es: OSCAR; un paquete completo integrado fácil de instalar, diseñado para hacer fácil la construcción y el uso de clusters. 1 La Ley de Moore expresa que aproximadamente cada dos años el número de transistores en una computadora se duplica. Se trata de una ley empírica, formulada por Gordon E. Moore el 19 de abril de 1965, cuyo cumplimiento se ha podido constatar hasta hoy. En 1965 Gordon Moore afirmó que la tecnología tenía futuro, que el número de transistores por pulgada en circuitos integrados se duplicaba cada año y que la tendencia continuaría durante las siguientes dos décadas. Algo más tarde modificó su propia ley al afirmar que el ritmo bajaría, y la densidad de los datos se doblarían aproximadamente cada 18 meses. Esta progresión de crecimiento exponencial: doblar la capacidad de los microprocesadores cada año y medio, es lo que se considera la Ley de Moore. La consecuencia directa de la Ley de Moore es que los precios bajan al mismo tiempo que las prestaciones suben: la computadora que hoy vale 3,000 dólares costará la mitad al año siguiente y estará obsoleta en dos años. En 26 años el número de transistores en un chip se ha incrementado nada más y nada menos que 3,200 veces. Actualmente se aplica a ordenadores personales. Sin embargo, cuando se formuló no existían los procesadores, inventados en 1971, ni los ordenadores personales, popularizados en los 80 s. En el momento de escribir el artículo que originó su ley, Moore era Director de los laboratorios de Fairchild Semiconductor. Más tarde, en el verano de 1968, creó Intel junto con Robert Noyce, uno de sus compañeros en ambas empresas. 1

2 1. Introducción OSCAR es un paquete de RPM s, scripts de perl, librerias, herramientas y todo lo que es necesario para construir y usar un cluster Linux de tamaño modesto. El acrónimo de OSCAR es Open Source Cluster Application Resources. Primero, OSCAR es un proyecto open source. Cada componente de OSCAR esta disponible bajo una de las bien conocidas licencias de software libre (GPL). Elobjetivo de este proyecto es hacer clusters fáciles de construir, fáciles de mantener y fáciles de usar. En otras palabras, OSCAR contiene los recursos necesarios para aplicar clusters a problemas de cómputo de alto desempeño. OSCAR, no es un estándar nuevo. No es un intento de abarrotar una aproximación particular de clusters a la comunidad que utiliza el cómputo de alto desempeño. Más aun, OSACAR es una foto instantánea de las actuales y mejor conocidas prácticas de cómputo en clusters. Los creadores de OSCAR han estudiado qué trabajos de cómputo en clusters al rededor del mundo y los han recolectado en un simple paquete integrado. El objetivo es que con OSCAR sea fácil para la gente reproducir satisfactoriamente las técnicas de clusters en sus propios sitios. Los proyectos en Linux tienen escencialmente implementada la misma idea. El grupo creador de este proyecto le ha dado continuidad a la actualización de paquetes y haciendo seguras sus practicas actuales para construir y utilizar clusters. Otro aspecto único de este proyecto son sus origenes con la colaboración de vendedores de hardware, de software y laboratorios de investigación. Estos laboratorios son una gran fuente de experiencia y de tecnología de código abierto. Los vendedores de software aportaron software maestro, pero también canales de alto soporte instantaneo. Y finalmente, los vendedores de hardware expusieron el proyecto OSCAR para poderlo distribuir extensamente. 2. Consideraciones en Hardware Lo que se esperaría es construir clusters con diferentes consideraciones de acuerdo a los distintos usuarios. Para ello es necesario especificar ó definir lo que es un Cluster Canónico OSCAR; el cual consiste de: Servidores, puerta de acceso (gateway), nodos y por supuesto la red. Veamos cada uno de estos componentes: Servidores: Como el nombre lo indica, son computadoras que proporcionan servicios al cluster. Esto incluye a los archivos de servidor NFS, el servicio PBS y otras funciones requeridas por el cluster tipo OSCAR. Gateway: Una puerta de acceso tiene al menos dos conecciones de red. Una va a la red interna del cluster; y la segunda a la conección de área local externa. Para utilizar un gateway, el administrador del cluster puede escoger reducir las restricciones de seguridad dentro del mismo. Ya que los nodos pueden salir del cluster solo a través de la puerta de acceso, se pueden colocar altas medidas de seguridad en la LAN externa y proteger así al cluster. Es difícil creer que la producción de un cluster pueda satisfacer las necesidades de una organización sin un gateway. Nodos: Estos son el corazón en el trabajo de cómputo del cluster. Debe haber al menos un nodo, aunque más tipicamente, debe haber algunos entre 4 y 100 nodos. Los nodos pueden tener disco local de almacenamiento. Note que nada en OSCAR imposibilita 2

3 su uso para clusters enormes con varios cientos de nodos, pero el paquete no ha sido diseñado para un número bastante grande de nodos en mente. Los nodos pueden ser diferentes unos de otros (dando como resultado un cluster heterogéneo), pero en muchos casos, esperariamos nodos de arquitectura similar; i.e. el mismo CPU comparable en velocidad y tamaño de memoria. La Red: Cada cluster debe tener al menos una red; i.e. alguna manera de conectarse las computadoras todas juntas. OSCAR requiere por lo general que una red de tipo Ethernet conecte las computadoras al cluster. Puede ser una red adicional que suministre alto desempeño de comunicación, pero esta red no debe ser usada para instalar software del cluster. Mientras no sea esto requerido en principio, podemos combinar todos los servidores con OSACAR en un simple nodo. Puede ser cualquier nodo, pero mantengamos las cosas lo más sencillo posible, usando una computadora para ser ambos: el gateway y el nodo servidor. 3. Componentes en Software OSCAR es una colección de componentes de software integrado que se utilizan para construir, mantener y usar un cluster. Este gran trabajo puede ser partido en un número de funcionalidades centrales: Instalación de Linux en cada nodo. Construir una base de datos del cluster y entonces semiautomáticamente instalar OSCAR. Seguridad con OpenSSH. Administración del cluster. Ajustes de las bibliotecas y herramientas necesarias para construir programas y correr el cluster. Herramientas de carga de trabajo para multiusuarios del cluster, colas de trabajo, calendarización y monitoreo. Empaquetado y documentación. Instalación de Linux.- Linux Utility for Cluster Install (LUI) es una herramienta de instalación Linux patrocinada por IBM y lanzada bajo el GPL. Es usada para instalar Linux Cluster heterogéneo sobre una red. También podemos usar LUI para construir una base de datos describiendo al cluster mismo. Esta base de datos incluye el nombre de los nodos, información de la red, datos de configuración del cluster, y cualquier otro requerimiento para instalar los otros requerimientos de OSCAR. Seguridad con Open ssh.- Un cluster, usualmente se coloca en un cuarto aislado, y los usuarios acceden a él através de la conección LAN del nodo Gateway. Cuando todo se coloca atras de un firewall y el nivel de confianza entre los usuarios es alto, 3

4 no son requeridas medidas de seguridad adicional. Tan pronto el cluster es conectado a grandes redes, todo el tráfico entrante y saliente del cluster debe ser cifrado. Si los usuarios necesitan seguridad de otros usuarios, entonces ssh puede ser usado para instrucciones interclusters muy bien. la manera más común de dejar conecciones seguras en un ambiente Linux es con OpenSSH; el cual es una colección de paquetes que manejan una conección segura, serviciós Server-side, generación de llaves seguras y cualquier otra función requerida para el soporte de las conecciones seguras entre computadoras. Administrador de Cluster: C3.- Cada computadora en un cluster corre con su propio sistema operativo. En muchas formas esto es una buena idea; ya que permite construir una computadora de alto desempeño usando el sistema operativo diseñado para su hardware en particular. El problema es que para ciertas operaciones, quisieramos visualizar el cluster como un computador simple. Es necesario mover archivos através de las computadoras, comenzar procesos en un grupo de nodos y otras operaciones de sistema bastante amplias como para ser realizadas en un computador simple. Llamamos a estas operaciones como Administrador de cluster. El administrador de cluster utilizado en OSCAR es C3, del Laboratorio Nacional Oak Ridge. Ambientes de Programación: MPI y PVM.- Muchos usuarios de clusters escriben su software para ejecutarse de forma paralela. Hay muchas diferentes maneras de escribir software para clusters. La más común es el uso de librerias de paso de mensajes. OSCAR tiene incluidas dos de las más populares: Interface de Paso de Mensajes (MPI) y Máquina Virtual Paralela (PVM). Al mismo tiempo incluye compiladores y bibliotecas matemáticas como otras distribuciones de Linux. Administrador de Carga de Trabajo: PBS.- Cuando multiple gente comparte un cluster, es necesario un administrador de carga de trabajo. Actualmente, incluso una persona corriendo una gran mezcla de trabajos puede necesitar ayuda para el manejo de procesos. Un sistema administrador de carga de trabajo asegura que cada persona, proceso o trabajo obtenga su parte justa en el uso del cluster y todos los recursos obtenidos son utilizados eficientemente. Hay tres distintos componentes de manejadores de carga de trabajo: Administradores de recursos, administradores de procesos y calendarización de trabajos. OSCAR utiliza PBS, el Sistema de Lotes Portable de Veridian. Una vez que se encolan los trabajos a PBS, éste monitorea el estado del cluster y maneja el inicio y detención de los trabajos y entrega las salidas. Efectivamente, la calendarización de trabajos en el cluster requiere de un calendarizador de procesos. Por ahora, OSCAR utiliza el calendarizador por default incluido con PBS. Sin embargo, en el futuro probablemente se incluya al bien conocido calendarizador: Maui. El lanzamiento de OSCAR incluye los siguientes paquetes: 1. LUI PBS 2.2P11 3. OpenSSL 0.9.5a 4. OpenSSH 2.1.1p1 5. MPIch PVM

5 7. C3 2.3 En cada caso se incluye el paquete completo incluido el código fuente y la documentación asociada. En adición a los paquetes arriba descritos, se incluye un wizard de instalación basado en el trabajo del equipo desarrollador de LUI. Después de cargar OSCAR en cada nodo servidor, un script shell llamado install cluster se ejecuta. este llavará al wizard de instalación el cual guiará a través de los pasos a seguir para construir el cluster. OSCAR fue validado para Red Hat 6.2 pero debe ser sencillo usarlo con otra distribución de Linux. 4. Conclusión Se tienen grandes planes para el proyecto OSCAR. Se estan probando varias guias que proporcionen facilidad en el uso de la configuración. Hay todavia muchos pasos en la construcción de un cluster, pero se estan haciendo esfuerzos para automatizarlo. Se planea incluir un calendarizador Maui. Así pues, se requieren académicos interesados en la investigación y desarrollo de herramientas para usar OSCAR como el software central en la construcción de clusters, y mantener esas herramientas a la vanguardia. Las ciencias de la computación gastan mucho tiempo re-inventando la rueda. Esperamos que el proyecto OSCAR pueda ayudar a poner fin a este re-invento, al menos en términos básicos de componentes para un cluster de código abierto. Las ligas de información y software son las siguientes:

6 Referencias [1] Timothy G. Mattson. High Performance Computing at Intel: The OSCAR Software Solution Stack for Cluster Computing Microcomputer Software Laboratory. Intel Corporation. Portland, OR, USA. 6