ALGORITMO DE COMPRESIÓN DE HUFFMAN PARA PLATAFORMAS DISTRIBUIDAS IMPLEMENTADO EN CLUSTER BASADO EN MPI

Transcripción

1 ALGORITMO DE COMPRESIÓN DE HUFFMAN PARA PLATAFORMAS DISTRIBUIDAS IMPLEMENTADO EN CLUSTER BASADO EN MPI Rincón Carlos, Urdaneta Jesús, Leal Aurely, Acurero Alfredo y Bracho David. Departamento de Computación, Facultad Experimental de Ciencias, Universidad del Zulia. RESUMEN El objetivo principal de esta investigación consistió en paralelizar el algoritmo de compresión de datos de Huffman para ejecutarse en plataformas distribuidas implementado en un clúster de computadoras con el estándar de comunicación por paso de mensajes MPI. Se diseñaron 2 versiones distribuidas del algoritmo de compresión de Huffman utilizando el estándar MPI, para luego realizar un análisis comparativo de rendimiento entre la versión secuencial y las versiones distribuidas. Los resultados obtenidos mostraron mejoras en los tiempos de compresión de un 60% para la primera versión distribuida y un 72% en comparación con la versión secuencial y se estableció para el Cluster Tanenbaum un óptimo de 9 procesadores para los diferentes archivos de prueba utilizados. Se obtuvo una aceleración o SpeedUp máxima de 2,5 y 3.5 para la primera y segunda versión respectivamente. INTRODUCCIÓN En todas las áreas la computación se ha adquirido como una herramienta de apoyo en la investigación e innovación, debido a que permite simular casi cualquier fenómeno natural mientras este bien comprendido por el hombre. La evolución de éstas maquinas y el incremento exponencial de la velocidad de sus procesadores ha sido protagónico en el desarrollo del resto de las ciencias. Sin embargo, existen aun aplicaciones que requieren procesar una gran cantidad de información y se obtienen resultados en tiempos relativamente prolongados, sin embargo existen métodos para incrementar las capacidades de cómputo mediante la utilización de varias máquinas personales agrupadas bajo un protocolo de interconexión de red de alta velocidad y configuradas para trabajar en conjunto con un fin determinado, dando solución a los problemas mas exigentes de la actualidad [1]. Las aplicaciones a desarrollar para este tipo de arquitectura funcional, también necesitan algunas transformaciones, ya que éstas deben distribuir la carga del problema entre los procesadores que componen el clúster de computadoras. El volumen de datos manejados por los usuarios y los centros de investigación es cada día mayor, el número de usuarios y servicios de internet crece significativamente, las redes que lo conforman podrían colapsar en los próximos años para algunos países desarrollados, en contraste Internet 2 e IPv6 son soluciones que están aplicándose actualmente, sin embargo, debido al creciente número de datos transportados siempre existen los colapsos y pérdida en los datos. Los algoritmos de compresión han sido utilizados como base para algunas investigaciones, además de su comercialización adquirida por las principales ventajas, como el ahorro de espacio en los diferentes medios de almacenamiento y para disminuir la cantidad de datos a transmitir en redes. En diferentes universidades e institutos de Venezuela, se estudian las aplicaciones de sistemas de cómputo basados en el procesamiento paralelo, generando sistemas de gran utilidad para el procesamiento de data geográfica, y pronostico del clima, entre otros. El propósito de la investigación es diseñar una versión distribuida del algoritmo de compresión de Huffman e implementarlo en un clúster de computadoras con el uso de la herramienta de programación MPI. Arquitectura del Cluster Tanenbaum Se utilizó a nivel de hardware, 10 Estaciones de trabajo IBM Lenovo A55e con la siguiente descripción: Procesador Intel Core 2 Duo de 2.0 GHz.

2 Memoria RAM de 2 GB, Tarjeta madre Intel integrada con Interfaz de Red Gigabit Ethernet, Disco Duro de 140 GB, 4 servidores IBM System x3650 cada uno con la siguiente descripción: 1 procesador Intel Xeon Dual Core 3.0 GHz 2 Interfaces de Red Gigabit Ethernet, 1 disco duro hot-swap de 70 GB, Para crear las conexiones de red se utilizó 1 Switch de 24 puertos de 100 Mbps, cable UTP- CAT6 y conectores RJ-45. Debido a los intereses del área de investigación asignada se requirió instalar dos sistemas operativos en las estaciones de trabajo del cluster, un sistema operativo utilitario (Windows XP, SP2), y el sistema operativo del cluster (Rocks Clusters 4.3). Uno de los servidores IBM, se seleccionó como el Frontend el cual será el punto de acceso remoto al sistema del cluster desde otros puntos dentro de la red de la institución. El resto de los servidores y las estaciones de trabajo fueron configurados como nodos del cluster. El cluster Tanenbaum tiene una arquitectura tipo Beowulf iniciada por la NASA en 1994, en el Centro para la Excelencia en Datos Espaciales y Ciencias de la Información (CESDIS) [1], a diferencia de ésta arquitectura, el cluster instado no posee solo nodos dedicados al cluster. Algoritmo de Compresión de Huffman. El Algoritmo para la compresión de archivos sin pérdida de datos desarrollado por David Huffman en el Instituto Tecnológico de Massachusetts en 1952 [4], se basa en la frecuencia de ocurrencia de los caracteres presentes en el archivo a comprimir. El algoritmo Huffman está basado en codificación estadística, lo que significa que la probabilidad de un símbolo tiene una directa relación con el tamaño de su representación, es decir, a mayor probabilidad de ocurrencia de un símbolo, menor será el tamaño de su representación en bits [4]. Para realizar la codificación Huffman, se debe realizar primero un ordenamiento de los símbolos en orden creciente según sus probabilidades. Los dos símbolos menos probables se agrupan en un pseudo-símbolo cuya probabilidad es la suma de las probabilidades de los símbolos fusionados. Los restantes símbolos son nuevamente ordenados en función de sus probabilidades, combinando los dos menos probables y sumando sus probabilidades en uno nuevo reiteradamente. El proceso se repite hasta que todo el árbol generado se reduce a un símbolo con probabilidad igual a la unidad [5]. Se realizó una aplicación con el compilador de C bajo Rocks, Al comprobar el rendimiento de la aplicación de compresión desarrollada, como parámetros de entrada se tomaron archivos de contenido aleatorio, con tamaño de 10, 50, 100 y 500 MB, para comprobar el tiempo que tarda la aplicación en realizar la compresión del archivo. Aplicación de Compresión de Huffman Paralela (Versión 1). Figura # 1. Interconexión de Nodos en una arquitectura Beowulf Para el diseño de la aplicación paralela se implemento un algoritmo basado en el modelo maestro esclavo con distribución estática de los datos, reutilizando los buffers de 2MB para enviar el archivo a través de mensajes MPI, a medida que el maestro o proceso principal va recorriendo el archivo este va enviando el mismo mediante la utilización de mensajes. Para cuantificar la cantidad de

3 mensajes a enviar, debe dividirse el tamaño del archivo en bytes entre Los mensajes se distribuyen según el numero de procesadores, y el modulo entre el numero de mensajes y numero de procesadores, a los n primeros procesos se les entrega una carga adicional cuando la división no sea exacta. El maestro toma la última parte del archivo luego de distribuir la información. Por consiguiente, los procesos esclavos a medida que van finalizando la recepción y almacenamiento de su parte del archivo inician el proceso de análisis del alfabeto, por su parte como puede observarse en la figura # 2, el proceso maestro cuando termina de entregar a todos los hijos es entonces que inicia el proceso de análisis del alfabeto con el último segmento del archivo garantizando así el tamaño de todos los mensajes. Cada proceso esclavo crea un archivo auxiliar en el cual almacena la información recibida. Y luego envía al proceso principal un mensaje con la información obtenida en el análisis. Figura # 2. Modelo de ejecución de la Compresión Paralela, Versión 1 Aplicación de Compresión de Huffman Paralela (Versión 2). Luego del estudio de la primera la primera versión del algoritmo de compresión de Huffman paralelo, donde se destaca un alto grado de comunicación en el proceso de distribución de la carga a través de mensajes, colapso en las comunicaciones ya que todos los procesos deben buscar en un mismo disco los archivos auxiliares correspondientes, además en la distribución de la carga a los n primeros procesos esclavos se les entrega mas carga que al resto incluyendo el maestro, y durante la ejecución de las pruebas se pudo observar que el proceso maestro por poseer el disco de forma local obtiene con menos latencia la información. Tomando esto como base se diseña una segunda versión del algoritmo la cual se describe a continuación. En la distribución de la carga se reemplazo el uso de mensajes MPI, tomando como base la concatenación del archivo final, donde el maestro toma los archivos auxiliares de los procesos esclavos, análogamente puede tomar el archivo original y realizar la división en archivos auxiliares utilizando una convención de notación para el nombre de los mismos, de tal forma que no exista ambigüedad entre el maestro y los esclavos a la hora de diferenciar los archivos auxiliares. Además de ello la distribución de los datos sigue siendo estática, con la diferencia que en este caso se le asignará más trabajo a los n últimos procesos incluyendo al maestro, por varias razones, como se mencionó el maestro tiene menor latencia en cuanto al acceso al archivo, y normalmente se debe esperar por los mensajes de los primeros procesos al momento de calcular la frecuencia de caracteres, y al concatenar el archivo final. Por lo que debería disminuir el ocio en el proceso maestro en las fases de análisis de alfabeto y compresión de datos. Finalizada la distribución de la carga inicia la fase de análisis del alfabeto, en principio el proceso maestro envía un mensaje de difusión a los procesos esclavos, indicando que la distribución de la carga ha sido realizada; los esclavos se desbloquean y se enlazan a sus archivos auxiliares respectivos para comenzar con el análisis. Luego de culminar con este proceso, el proceso maestro en teoría finaliza su análisis primero y se bloquea esperando los mensajes de los esclavos, como los primeros esclavos tienen menos carga deben ser los primeros por finalizar y enviar en mensaje de cuantificación de caracteres y bloquearse en espera de la tabla de equivalencia.

4 patrón. Como puede observar el tiempo optimo también presenta una disminución el la cantidad de mejora a medida que aumenta el número de procesadores por lo cual a pesar de contar con mas procesadores se eligió 16 considerando los costos de paralización que implicarían de comunicación y ocio. Figura # 3. Modelo de ejecución de la Compresión Paralela, Versión 2 Resultados Obtenidos Según Reyes (6), el rendimiento de las aplicaciones paralelas depende directamente del tiempo de finalización, una vez conocido el tiempo que tarda la aplicación secuencial, teóricamente se conoce el tiempo óptimo, pues este es obtenido dividiendo el tiempo secuencial entre el número de procesadores, al comprar esta información con los resultados de las aplicaciones tenemos lo siguiente: En cuanto a las métricas más importantes para determinar la calidad de la aplicación paralela, que son el SpeedUp o aceleración y la eficiencia de la ejecución, en cuanto a la primera versión del algoritmo paralelo para la compresión de datos, se obtuvo una aceleración inicial de 1,28 para los diferentes tamaños de archivos utilizados durante las pruebas como puede evidenciarse en la figura 5, a medida que la cantidad de procesadores aumenta, a mayor tamaño del archivo, se obtuvo mayor aceleración, sin embargo dicho aumento fue disminuyendo paulatinamente obteniendo una estabilidad de 2,1, para los archivos entre 50 y 250 mega bytes, en este sentido para el archivo de 500 MB se obtuvo una aceleración máxima de 2,5 afirmado la premisa de la ley de Andahl en la cual que cuanto mejor paralelizado esté un programa más susceptible será de aumentar su Speedup y por tanto explotar el rendimiento de un sistema paralelo. Figura # 4. Comparación de las técnicas utilizadas. Como puede observarse en la Figura 4 referente a comparación de las técnicas de paralelización utilizadas, tenemos que la segunda versión obtuvo resultados más cercanos a tiempo optimo, el logro obtenido entre las versiones puede observase que es una disminución constante, como si se extrapolaran los resultados. Para la realización del grafico se tomó solo la información para la compresión de 500 MB, debido a que el resto de los resultados están basados bajo el mismo Figura 5. SpeedUp de la Aplicación de Compresión Paralela Version 1. La eficiencia de la primera versión de la aplicación de compresión, tenemos en la Gráfica que en principio una eficiencia de 63% sin embargo a medida que se aumenta el número de procesadores la eficiencia disminuye hasta un 20% para 16 procesadores,

5 para obtener estos valores debe dividirse el SpeedUp entre el número de procesadores. aumenta paulatinamente generando menor eficiencia, para 16 procesos se obtuvo un 30% de eficiencia, 10% mayor que para la primera versión. La eficiencia normalmente tiende a aumentar conforme aumenta el tamaño del problema y tiende a disminuir conforme aumenta el número de procesadores. Figura 6. Eficiencia de la primera versión de la Aplicación Paralela. En cuanto al SpeedUp en la segunda versión de la aplicación paralela, para 2 procesadores se obtuvo una aceleración en el tiempo de ejecución de 1,5 como puede evidenciarse en la figura 7, que a medida que se aumenta el número de procesadores, se incrementa esta medida de aceleración obteniendo un máximo diferente por cada tamaño, sin embargo para 16 procesadores se obtiene una excelente aceleración de un 3,5 para tamaño mayores a 100 MB, en comparación con la primera versión se obtuvieron mayores valores de aceleración, calificando la segunda versión como más optima. Figura 7. SpeedUp de la Aplicación de Compresión Paralela Versión 2. La eficiencia de la segunda versión mostrada en la figura 8, alcanzo un 80% para el inicio con 2 procesadores, sin embargo medida que aumenta el número de procesadores, este porcentaje disminuye pues la aceleración Figura 8. Eficiencia de la segunda versión de la Aplicación Paralela. Conclusiones y Trabajos Futuros Para la paralelización del algoritmo se utilizó las herramientas de desarrollo de paso de mensajes MPI, se aplicó el modelo de programación Maestro Esclavo, con distribución de la carga estática y dinámica, con topología de distribución de carga estrella lógica, árbol lógico y anillo lógico [6]. En comparación con la aplicación secuencial se obtuvo mejoras de 72% en la segunda versión y 60% en la primera, lo cual se acercó significativamente al tiempo óptimo de paralelización, sin embargo a partir de 9 procesadores las diferencias en las mejoras son muy leves, por lo que se estableció para el Cluster Tanenbaum un óptimo de 9 procesadores para los diferentes archivos de prueba utilizados. Se obtuvo una aceleración o SpeedUp máxima de 2,5 y 3.5 para la primera y segunda versión respectivamente. En cuanto al proceso de descompresión, solo toma un 20% del tiempo de compresión, es decir, presentó una ejecución muy efectiva por lo cual se descarto la necesidad de la paralelización de este proceso de obtención de

6 resultados, implicando así que un archivo comprimido por una aplicación paralela pueda ser descomprimido por una aplicación secuencial sin ningún problema, lo cual beneficia la portabilidad del proceso de compresión en general. REFERENCIAS [2] Correa Eliézer, Egea Adriana, León Claudia y Lista José (1998). Una Introducción a MPI: Message Passing Interface. Facultad de Ciencias. Universidad Central de Venezuela. [3] Zuluaga J, y Ospina A. Instalación y Configuración de una Sala Cluster como solución de bajo costo para el acceso a Tecnología de Computación Distribuida en Latinoamérica. Universidad de Antioquia. Colombia. [4] Huffman, D A method for the construction of minimum redundancy codes. In Proc. IRE. 40, 9, [1] Reyes, V. (2003). Procesamiento Paralelo en Redes Linux utilizando MPI. Grupo de Modelación Matemática y Computacional. Documento On-Line: mmc.igeofcu.unam.mx/cursos/ppddm/mpi/ mpispanish.pdf [6] Reyes, V. (2003). Procesamiento Paralelo en Redes Linux utilizando MPI. Grupo de Modelación Matemática y Computacional. Fecha de Consulta: Viernes, 18 de octubre de Documento On-Line: mmc.igeofcu.unam.mx/cursos/ppddm/mpi/ mpispanish.pdf [5] Molina, R. (2008). Codificación y Compresión de Datos. Recursos Didácticos. Universidad de Ganada. Departamento de Ciencias de la Computación e Inteligencia Artificial. España. Enlace: [7] Hoeger, H. (2002). Introducción a la Computación Paralela. Centro Nacional de Cálculo Científico. Universidad de los Andes. Mérida Venezuela.