Software de Plantificación para Generación Dinámica de Nodos de un Cluster en Linux

Transcripción

1 Software de Plantificación para Generación Dinámica de Nodos de un Cluster en Linux Daniel Burbano, MCpE César Eduardo Guzmán González, IS Resumen El presente artículo, describe la implementación de la primera fase del proyecto EVA R-GRID[1], propuesto por el equipo de investigación en software libre de la Facultad de Ingeniería de Sistemas de la Universidad El Bosque (EQUIS). Esta fase tiene como objetivo principal desarrollar un software que permita a un computador formar parte de un Cluster cuando este se encuentre inactivo mediante la recolección de datos de desempeño del mismo. Palabras clave: Computación paralela, Proceso de cargue, cluster, periodos de inactividad, inactividad. Abstract The present article describes the development of the first phase of the EVA R-Grid project proposed by the Free Software Research Group (EQUIS) of the Systems Engineering Faculty. This phase main goal is the development of a software that allows a computer become a part of a Cluster when it is idle, through idleness detection. The idleness detection is accomplished through the collecting of performance data of the different components of the computer. Keywords: Parallel computing, boot process, cluster,idle periods, idleness.

2 20 Universidad El Bosque - Facultad de Ingeniería de Sistemas I. INTRODUCCIÓN Actualmente las máquinas de la sala de computadores de la Facultad de Ingeniería de Sistemas de la Universidad El Bosque son encendidas en la mañana y apagadas alrededor de las diez de la noche, lo que indica que están funcionando mas de doce horas diarias. Teniendo en cuenta que en gran medida estos equipos se encuentran la mayor parte del tiempo simplemente encendidos en espera de ser utilizados, como en las ocasiones en que en la sala no hay clase y se encuentran disponibles para el uso de cualquier estudiante, en muchos no hay una persona haciendo uso de ellos; ya sea utilizando un procesador de texto o navegando en Internet; y en gran parte de las veces cuando se está dictando una clase, los grupos de estudiantes son tan pequeños que varios computadores no son utilizados, esto genera intervalos de tiempo en que permanecen estos equipos encendidos sin ser empleados en la realización de algún trabajo, además al terminar las clases algunos computadores permanecen encendidos toda la noche hasta la mañana del día siguiente por un periodo aproximado de 8 horas, desperdiciando poder de procesamiento, memoria y recursos de almacenamiento. Para aprovechar esos periodos de inactividad de los computadores, el grupo de investigación en Software Libre de la Facultad de Ingeniería de Sistemas (EQUIS) ha propuesto el desarrollo del Entorno Virtual de Aprendizaje Remoto en Grid (EVA R-Grid). El objetivo principal del proyecto EVA R-Grid es desarrollar una plataforma de aprendizaje virtual que permita realizar prácticas reales mediante Internet utilizando una arquitectura de Grid, ofreciendo al estudiante un ambiente de trabajo que le permite realizar sus prácticas usando los recursos informáticos con los que dispone el cluster accediendo a ellos en el momento y lugar que se ajuste a sus necesidades. El proyecto inicialmente está enfocado a la enseñanza de herramientas de software libre pero no se quiere limitar solo a estas herramientas. Para el funcionamiento del Cluster, y la puesta en marcha del proyecto, una de las primeras etapas es la programación y la planificación de los recursos que formarán parte del Cluster; dado que las máquinas de las salas de computadores de la Facultad de Sistemas, son de uso regular por los estudiantes, es necesario hacer que los equipos formen parte del Cluster cuando no están siendo utilizados. Para que el tiempo de operación del Cluster sea lo más óptimo, se necesita que los computadores estén operando sobre Linux el mayor tiempo posible, a causa de esto se hace necesario programar la entrada automática de los equipos que forman parte del Cluster. En las siguientes secciones se explica el diseño del sistema de monitoreo que comprende dos módulos principales, el primer módulo que sirve para el cambio automático del sistema operativo con el cual inicia el computador y el sistema de detección de inactividad del computador, que como su nombre lo indica detecta cuando el computador no ha sido utilizado. II. DISEÑO DE LA SOLUCIÓN Como se mencionó anteriormente, los computadores son utilizados por estudiantes, evitando esto que los mismos se ejecuten constantemente sobre el sistema operativo Linux. Se necesita un sistema que permita cambiar automáticamente el sistema operativo sobre el cual se encuentra trabajando el computador para que pase de estar ejecutando Windows a ejecutar Linux, permitiendo de esta manera que el computador pase a formar parte del cluster. El rol principal del sistema es detectar los periodos de tiempo en los computadores en los que se encuentra instalado y que pertenecen a la red, para así poder aprovechar estos periodos y permitir que sus recursos sean utilizados por el cluster. Basado en la detección de estos intervalos de tiempo, el sistema reinicia el computador para que inicie el sistema operativo Linux, sin la intervención de ningún usuario. El diseño del sistema se puede dividir en dos partes principales, una que maneja la elección del sistema operativo cuando el computador es iniciado y otra que maneja la detección de los intervalos de tiempo en los que la máquina está inactiva. Elección del Sistema Operativo El proceso de carga en los computadores [6] se inicia con el BIOS. Este controla el inicio del computador, después del POST (Power On Self Test) cuando los componentes de hardware son inicializados, el BIOS del sistema identifica el dispositivo de arranque que generalmente es una partición del disco duro o un disquete, en el caso del disco duro, lee el primer sector físico de este llamado Master Boot Record (MBR) y lo carga en memoria, una vez cargado en memoria, transfiere el control al MBR para iniciar el proceso de carga del sistema operativo. El proceso de arranque del computador se puede ver en la figura 1. POST BIOS MBR CARGADOR DE ARRANQUE Figura 1. Proceso de arranque del computador

3 Revista de Tecnología - Journal of Technology Volumen 6, No. 1, Enero - Junio El MBR contiene la tabla de particiones y un código ejecutable denominado cargador de arranque (ver figura 2), este examina la tabla de particiones e identifica la partición activa, una vez localizada la partición activa, ubica el primer sector de la partición llamado sector de arranque y lo carga en memoria, finalmente el MBR transfiere el control del arranque al sector de arranque cargado en memoria. Aunque el MBR es independiente del sistema operativo, el sector de arranque de la partición activa es dependiente tanto del sistema operativo como del tipo de sistemas de archivos en el que se encuentra. INITIAL PROGRAM LOADER TABLA DE PARTICIONES Figura 2. Componentes del Master Boot Record El sector de arranque contenido en la partición activa es la que permite cargar el sistema operativo con el que trabaja el computador. Uno de los problemas de esta forma de arranque es que sólo se puede arrancar el sistema operativo contenido dentro de la partición activa. Para brindar al sistema la posibilidad de tener varios sistemas operativos instalados y poder arrancar el que el usuario elija, se reemplaza el cargador de arranque por defecto del MBR con otro cargador mas avanzado. Los cargadores de arranque [6] funcionan en dos etapas, la primera etapa es cargada por el MBR y la segunda etapa es la que se encarga de todas las tareas requeridas para cargar el sistema operativo específico, que ha elegido el usuario ya sea manualmente o que ha configurado para que cargue por defecto. Los cargadores de arranque pueden ser configurados de dos maneras, como cargador de arranque principal o como cargador de arranque secundario. Cuando es configurado como cargador de arranque principal la primera etapa del cargador es instalada en el MBR, por otra parte cuando son configurados como secundarios la primera etapa es instalada en una partición activa, cuando el MBR es ejecutado, utiliza el sector de arranque de la partición activa ejecutando así el cargador de arranque. El cargador de arranque más usado por Linux es Grub, mientras que el cargador de arranque usado por Windows NT, Windows 2000 y Windows XP se conoce como Ntldr. Para el manejo del arranque del sistema operativo se crea una partición FAT de 32MB aproximadamente que contenga los archivos necesarios para el correcto funcionamiento del gestor de arranque NTLDR. La forma como deben quedar distribuidas las particiones en el disco duro se muestra en la Figura 3. 1ª FAT 32 MB 2ª NTFS Designado por el usuario 3ª EXT3 Designado por el usuario 4ª SWAP Tamaño de RAM del Sisitema Figura 3. Particiones para funcionamiento de EVA R-Grid La primera partición debe ser de tipo primaria y debe ser la primera creada dado que algunos sistemas no aceptan que la información del arranque del sistema se encuentre ubicada después del cilindro 1024, imposibilitando que el computador pueda arrancar algún sistema operativo e iniciar correctamente. El sistema se encarga de cambiar el archivo de configuración del gestor de arranque para que al reiniciar Windows cargue el sistema operativo Linux. III. DETECCIÓN DE INACTIVIDAD EN OTROS SISTEMAS DISTRIBUIDOS La utilización de computadores personales que no hacen uso de todos sus recursos para formar parte de un sistema de procesamiento paralelo o Cluster nació en 1978 como un proyecto de Xerox, fue llevado a cabo por John F. Shoch y Jon A. Hupp[4] en su centro de investigación en Palo Alto, mejor conocido como PARC (Palo Alto Research Center). El proyecto conocido como Worm o gusano consiste en un programa que se ejecuta en una o más máquinas. Los programas que son ejecutados en cada computador individualmente son denominados como los segmentos del gusano. Para encontrar los computadores inactivos, cada segmento que deseaba utilizar una máquina verificaba mediante una consulta la disponibilidad de esta, una máquina se consideraba disponible o inactiva cuando estaba ejecutando un diagnóstico de memoria, al recibir una respuesta positiva, el segmento se copiaba a través de la red y solicitaba permiso para ejecutarse, una vez concedido el permiso se utilizaba el protocolo ftp para transferir el programa que se iba a ejecutar utilizando el gusano, al terminar de ejecutarse el programa, el segmento debía retornar el computador a un estado de inactividad, para que pudiera ser accedido nuevamente por el gusano.

4 22 Universidad El Bosque - Facultad de Ingeniería de Sistemas La idea inicial del proyecto Worm de aprovechar los recursos de cómputo inactivos fue retomada después por Michael Litzkow, Miron Livny, y Matt Mutka[5], un grupo de investigadores en la Universidad de Winsconsin, quienes fundaron en 1988 el proyecto Condor. Condor es un sistema especializado en la administración de trabajos y recursos para trabajos que requieren un poder de cómputo más grande del normal, como otros sistemas similares Condor provee un mecanismo para la administración de los trabajos, unas reglas para la programación y la prioritización de los mismos, el monitoreo y la administración de los recursos disponibles. El funcionamiento básico consiste en que los usuarios envían sus trabajos hacia Condor y basado en las reglas definidas, Condor elige cuando y como ejecutarlos, una vez terminada la ejecución retorna el resultado al usuario. Condor puede también buscar y administrar poder de cómputo desperdiciado a través de una red Ethernet, por ejemplo cuando se configura para ejecutar trabajos en los computadores solamente cuando el teclado y la CPU están inactivos. Si un usuario regresa y presiona una tecla, el trabajo hasta donde ha sido realizado es guardado y enviado a otro computador para que continúe con el proceso desde donde se había dejado, esto permite a Condor combinar todo el poder de cómputo de una organización en un solo gran recurso. SETI (Search for Extraterrestrial Intelligence) es una institución establecida en 1984, cuyo objetivo es detectar vida inteligente fuera del planeta Tierra, una de las formas de detección es conocida como radio SETI, que usa radio telescopios para escuchar señales de radio provenientes del espacio, estas señales no son esperadas que ocurran de forma natural, así que su detección brindaría evidencia de tecnología extraterrestre. Analizar un espectro de frecuencia requiere una gran cantidad de poder de cómputo, así que en 1995 David Gedye[1] propuso hacer el análisis del espectro mediante una supercomputadora virtual que consistiera en un gran número de computadoras conectadas mediante Internet. El proyecto conocido como seti@home consiste en un servidor principal que recolecta datos del radio telescopio y envía porciones de estos datos conocidas como unidades de trabajo a los clientes que están conectados a él para que los procesen. Para la detección de inactividad de los computadores, el programa cliente de seti@home detecta los periodos de inactividad mediante el monitoreo de la actividad del usuario, si este no usa el teclado o el mouse, el computador activa el protector de pantalla, que es el programa cliente en este caso y comienza a procesar la información enviada desde el servidor central. A. Detección de inactividad en EVA R-Grid Para la detección de los periodos inactivos del computador el sistema mide la utilización de los componentes principales del equipo, como son el porcentaje de uso del procesador, la cantidad de memoria utilizada, el número de procesos que se ejecutan actualmente y el porcentaje de utilización del disco duro. Durante periodos de una hora el sistema recolecta datos de uso de los dispositivos antes mencionados y con estos determina si el computador ha sido o no utilizado a través de unos umbrales estáticos definidos manualmente por el administrador del sistema. Para la recolección de los datos de uso del sistema se utiliza una librería proporcionada por Windows y que se viene utilizando desde la version 4.0 de Windows NT, denominada PDH (Per formance Data Helper). La librería PDH (Performance Data Helper) [7] es una mejora a las capacidades de monitoreo de desempeño de Windows NT. Los datos de desempeño que Windows NT proporciona y contienen información para un número variable de objetos, instancias por objeto, y contadores por tipo de objeto, los contadores son usados para medir varios aspectos del desempeño; por ejemplo, el Objeto Procesador incluye un contador para el porcentaje de tiempo que el procesador está siendo utilizado. RegQueryValueEx ADVAPI32.32DLL System Performance System DLL Performance System DLL Performance DLL PerfLib PDH.DLL Performance Extension Performance DLL Extension Performance DLL Extension DLL WMI Hi- Perf Provider InterfaceI Registry DLL ProviderI Hi-Perf Data Provider Hi-Perf Data Object Provider Hi-Perf Data Object Provider Object Figura 4 Librería Performance Data Helper (PDH) Para que un programa pueda utilizar las características de desempeño de Windows NT, es necesario el uso de funciones que usan el registro de Windows, las funciones de registro leen los blobs de datos desde la clave HKEY_PERFORMANCE_DATA que contiene la información de desempeño; lo que hace la librería PDH es empaquetar estos datos en una forma que no requiera ninguna transformación, además la librería permite especificar el objeto y el contador específico.

5 Revista de Tecnología - Journal of Technology Volumen 6, No. 1, Enero - Junio B. Funcionamiento básico del sistema de monitoreo de inactividad. El funcionamiento del sistema de monitoreo de inactividad de EVA R-Grid puede resumirse en los siguientes pasos. 1. El sistema inicia al arrancar el sistema operativo Windows. 2. Verifica la hora y revisa en el horario si el computador debe ser reiniciado. En caso de tener que ser reiniciado modifica el archivo boot.ini para que el sistema operativo Linux, arranque por defecto al iniciar el computador. 3. Si no es reiniciado, el sistema comienza a recolectar datos de uso de los componentes del computador mencionados anteriormente. 4. Al cambiar de hora, analiza los datos recolectados, para determinar si el computador ha estado activo y marca la hora en el horario para que el computador sea reiniciado. 5. Vuelve al paso 2. De esta manera, el sistema de monitoreo combina la detección de inactividad, con el cambio del sistema operativo, para manejar de manera automática el cambio en el modo de operación del computado, para que pueda formar parte del Cluster. CONCLUSIONES Al implementar un sistema de detección de inactividad se debe tener en cuenta la carga que genera el programa en los componentes para que los datos obtenidos sean confiables y reflejen el verdadero desempeño de las diferentes partes del equipo que están siendo medidas, el programa debe hacer un uso eficaz de la memoria disponible y debe utilizar la menor cantidad de memoria posible para no afectar el rendimiento normal del equipo. Además es importante resaltar que los parámetros seleccionados para la detección del equipo no pueden ser usados independientemente, es decir, que un solo parámetro no refleja la utilización total del equipo, se deben evaluar varios que comprendan características importantes de la máquina como el uso de procesador, el uso de memoria, el uso de disco duro y la cantidad de procesos ejecutándose, para de esta manera poder hacer un análisis más efectivo de la actividad total del equipo. REFERENCIAS [1]ANDERSON, David P., et al. SETI@home: an experiment in public-resource computing En Communications of the ACM, n.11. Vol 45 November 2002; p [2] BURBANO, Daniel; SABOGAL, Guiovanna y ORGANISTA, Pedro. Entorno virtual de aprendizaje remoto sobre Grid, EVA R-GRID. En: Revista de Tecnología. V.5, No.1 (enerojunio 2006); p [3] BONNEY, Laurence. Boot Loader showdown: Getting to know LILO and GRUB En:DeveloperWorks Linux de IBM.[Página Web].2005,[consultado 15 septiembre 2006]. disponible en < linux/library/l-bootload.html>. [4] SHOCH, John y HUPP, Jon. The `Worm' Programs -- Early Experience with a Distributed Computation En Communications of the ACM, n.3. vol.25, march 1982; p [5] THAIN, Douglas;TANNENBAUM, Todd y BERMAN, Livny. CONDOR AND THE GRID En BERMAN, Fran; HEY, J. G. Anthony y FOX, Geoffrey. Grid Computing: Making The Global Infrastructure a Reality.Inglaterra. John Wiley & Sons Ltd, 2003.p [6] USA,Microsoft Corporation, Soporte Microsoft [documentación en linea], disponible en < [7] USA, Microsoft Corporation, Msdn library[documentación en linea], disponible en ry/enus/perfctrs/perf/performance_counters_portal.asp Artículo de investigación Científica y Tecnológica. Sometido a Arbitraje. Los Autores Daniel Alberto Burbano Sefair Ingeniero electrónico, MCpE Ingeniería Eléctrica y Computadoras, docente de la Facultad de Sistemas de la Universidad El Bosque, Coordinador línea Grid Computing del Equipo de Investigación en software Libre. daniel.burbano@gmail.com Cesar Eduardo Guzmán Ingeniero de Sistemas Universidad el Bosque, realizó su proyecto de grado bajo la línea de Grid Computing del Equipo de investigación en Software Libre de la Universidad el Bosque, trabajo que fue reconocido como Laureado en el cesarguzman@sistemasunbosque.edu.co