Paralelización de la factorización LDL T usando el lenguaje de programación paralela ZPL

Transcripción

1 REVISTA INGENIERÍA UC. Vol. 15, N o 2, 72-80, 2008 Paralelización de la factorización LDL T usando el lenguaje de programación paralela ZPL Edwin Vargas, Enrique Flores, Demetrio Rey Lago Instituto de Matemática y Cálculo Aplicado, Facultad de Ingeniería, Universidad de Carabobo, Valencia, Venezuela vargase@uc.edu.ve,evflores@uc.edu.ve, drey@uc.edu.ve Resumen Se muestra la implementación de la factorización de una matriz simétrica positiva a la forma LDLT, usando el Lenguaje de Programación Paralela ZPL. Se hace una descripción del lenguaje ZPL, se realizan pruebas a matrices, y se determina la aceleración y la eficiencia variando la cantidad de procesadores. Se obtuvo como resultado la disminución del tiempo de ejecución del programa a medida que se aumenta el número de procesadores y se determinó que aproximadamente un 90% del tiempo de ejecución se consume en el algoritmo de multiplicación de una matriz por un vector.. Palabras clave: Factorización LDL T, programación paralela, ZPL. Parallelization of the LDLT decomposition with the ZPL programming language Abstract It is shown the parallelization of the LDLT factorization of a positive symmetrical matrix using the ZPL Parallel Programming Language. A brief description of the language ZPL is made, and tests to matrices are made, and acceleration and efficiency is determine varying the quantity of processors. The result obtained was a decreasing in the runtime of the program as it increases the number of processors and it was determined that approximately 90% of execution time is consumed in the algorithm of matrix - vector product. Keywords: LDL T decomposition, parallel programming, ZPL. 1. INTRODUCCIÓN La factorización de una matriz A de n x n, simétrica positiva, se realiza mediante el producto de tres matrices; una matriz L, o triangular inferior unitaria, una matriz D, o diagonal y una matriz L T, quedando A = LDL T, es decir, la matriz triangular inferior transpuesta [1], como se ilustra a continuación: a11 a21 a31 a a21 a22 a32 a42 L = a 31 a32 a 33 a43 L31 L a41 a42 a43 a44 L41 L42 L43 1 d L21 L31 L d2 L32 L d L d Este método de factorización, es llamado la Descomposición de Cholesky. Para este método la Matriz A es expresada en la forma: A = LDL T (1) Los elementos de las matrices L y D son determinados por medio de la ecuación (1), el elemento A n (i,j) de la Matriz A, se calcula a través de [2]: ó j = An ( i, j) LikdkLjk, 1 j i 1 (2) k= 1 j 1 = (, ) Lij dj An i j LikdkLjj, 1 j i 1 (3) k= 1 72 Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto 2008

2 Vargas, Flores y Rey Lago mientras que los elementos de la matriz diagonal D se obtienen: ó con d i = A ( i, i) n i 1 di = An ( i, i) L k = 1 2 ik d i k = 1 k Una aplicación de la factorización LDL T está estrictamente ligada a la resolución de sistemas de ecuaciones. En matemática y álgebra lineal, un sistema lineal de ecuaciones es un conjunto de ecuaciones lineales sobre un cuerpo o un anillo conmutativo. El problema de los sistemas lineales de ecuaciones es uno de los más antiguos de la matemática y tiene una infinidad de aplicaciones, como en procesamiento digital de señales, estimación, predicción y más generalmente en programación lineal así como en la aproximación de problemas no lineales de análisis numérico. El desarrollo de la factorización de una matriz A de tamaño n por n simétrica positiva a través de la descomposición de Cholesky involucra gran cantidad de operaciones con matrices y vectores. Como el lenguaje de programación ZPL es un lenguaje orientado a operaciones con vectores y matrices que presenta buen desempeño tanto en computadoras secuenciales como en computadoras paralelas [3], se utilizará para desarrollar un algoritmo para realizar la mencionada factorización, se realizarán pruebas en un cluster de computadores con el algoritmo desarrollado que muestren los tiempos de procesamiento, la aceleración y la eficiencia variando el tamaño de las matrices de prueba y la cantidad de procesadores en el cluster. 2. PROGRAMACIÓN PARALELA Y UNA IN- TRODUCCIÓN AL LENGUAJE ZPL La programación paralela consiste en el uso de múltiples computadores, o de computadores con múltiples procesadores internos, para resolver un problema a alta velocidad. El paralelismo puede enfocarse L ik d k L ik, i 2 (4) (5) d1 = A n (1,1) (6) hacia la arquitectura (procesadores de memoria compartida, multiprocesadores de paso de mensajes), o hacia la programación (paralelismo de datos, paralelismo de tareas). Las técnicas de programación en esta área pueden clasificarse en paralelismo explicito (el programador es quien define el paralelismo dentro del programa) o paralelismo implícito (es el lenguaje de programación quien define el paralelismo) [3]. En cuanto al lenguaje ZPL, se puede mencionar que es un lenguaje de programación que es especialmente efectivo para calcular problemas de ciencias e ingeniería. Su intención es reemplazar lenguajes como Fortran y C en la computación técnica. Es un lenguaje de programación conveniente para cálculos computacionales de ingeniería y ciencias [4], ZPL es un lenguaje de programación implícitamente paralelo, fue diseñado para simplificar la programación de computadoras paralelas, los programadores no necesitan especificar cómo se ejecutan concurrentemente los cálculos, ni siquiera insertan comunicación entre procesos. Los programas escritos en ZPL, muestran una relativa simplicidad, lo que hace que sean fácil de leer y entender, conservando aún un modelo sofisticado de paralelismo [5]. Los programas de ZPL escriben pocos ciclos y realizan un mínimo de manipulación de índices. El concepto principal de este lenguaje es la región, la cual es un conjunto de índices de un rango fijo El rango r de una región es el producto cartesiano de un número finito de secuencias enteras; los límites superiores e inferiores son fijados por el programador. Uno de los operadores más utilizados en el manejo de matrices a través del Lenguaje ZPL, es el operador Reduce (<<), el cual es una de las formas funcionales que pueden ser usadas en cálculos globales. Su función es reducir los arreglos a unos de menor orden, o incluso escalares. El operador << es antecedido por otro operador aritmético para llevar a cabo las reducciones [4]. En este mismo orden de ideas, una de las características más importantes de ZPL es la habilidad de llenar una matriz con copias de una fila o columna, o más generalmente, el llenar un arreglo de dimensión mayor con copias de otro arreglo de dimensión menor. Esta operación, llamada flooding en ZPL es una generalización de la idea de la promoción escalar [4]. Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto

3 Paralelización de la factorización LDL T usando el lenguaje ZPL 3. ALGORITMO DE FACTORIZACIÓN LDL T EN ZPL La programación de una aplicación paralela en ZPL consta de dos partes fundamentales, la configuración y definición de variables y regiones y la codificación del algoritmo haciendo uso de los operadores que hagan el uso más eficiente de la máquina paralela Configuración y definición de variables y regiones. La configuración y definición de variables se observan en la Figura 1 y consta de cuatro secciones: las variables de configuración (config var), la definición de las regiones, los tipos de datos a utilizar en el programa (type) y las variables a usar en el programa (var). Las variables de configuración (config var) son aquellos datos de entrada que se pueden modificar en el momento de invocar la ejecución del programa, para este caso se definió como variable de configuración: el orden la matriz cuadrada que se va a procesar. Luego se definieron tres regiones: la primera (R) conforma el espacio (filas y columnas) donde reside primariamente la matriz, luego se definieron dos regiones, una para la manipulación de vectores tipo fila (fila) y otra para el manejo de vectores tipo columna (col). Y por último, los tipos de datos a utilizar en el programa (type) y las variables a usar en el programa (var) Código del algoritmo paralelo El algoritmo para realizar la descomposición de Cholesky a una matriz A simétrica positiva, bajo el lenguaje de programación ZPL, es el mostrado en la Figura Datos 4. EXPERIMENTACIÓN Las matrices a utilizar, se generaron aleatoriamente, con elementos de tipo double. La dimensión de las mismas para los casos de prueba fueron: 100x100, 500x500 y 1000x1000. program LDLt; config var n : integer = 1000; region R = [1..n,1..n]; fila = [1,1..n]; col = [1..n,1]; -- Tamaño de la matriz -- Arreglo matricial de n por n -- Arreglo tipo vector fila de n elementos -- Arreglo tipo vector columna de n elementos type dtype = double; -- Dato de tipo real var f : file; -- Variable para lectura/escritura de archivos A, L,D : [R] dtype; -- Matriz de entrada simétrica, y matrices de salida time : double; -- Tiempo de duración del programa -- Variables Auxiliares V1 : [R] dtype; V, Diag :[fila] dtype; j : integer; Lf : [fila] dtype; Lcf : [R] dtype; Mmv : [R] dtype; Mmv1, Lj1 : [col] dtype; P1 : [fila] dtype; den, valor : double; Amaxj, Ajj, P : double; Ac : [col] dtype; Figura 1. Definición de las variables. 74 Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto 2008

4 Vargas, Flores y Rey Lago for j := 1 to n do if j > 1 then -- Calculo de los elementos de la matriz D, -- almacenados en Diag [1,1..j-1] Lf := >>[j,1..j-1]l; [1,1..j-1] V:= Lf*Diag; [j,j] Ajj := max<< A; [1,1..j-1] P1 := Lf*V; [1,1..j-1] P := +<< P1; [1,j] V := Ajj - P; [1,j] Diag := max<< V; if j < n then -- Calculo de los elementos de la columna j por debajo de -- la diagonal de L [1,j] den := max<< V; [j+1..n,1] Ac := >>[j+1..n,j]a; -- Inicio de la Multiplicación de uma matriz por -- un vector [j+1..n,1..j-1] Lcf := >>[j+1..n,1..j-1]l; [1..n,1..j-1] V1 := >>[1,1..j-1] V; Mmv:= Lcf*V1; [Ar] Mmv1 := +<< [R] Mmv; -- Fin de la Multiplicación [j+1..n,1] [j+1..n,j] Lj1 := (Ac - Mmv1)/den; L:= >>[j+1..n,1] Lj1; end; else -- Calculo del primer elemento de la diagonal y la primera -- columna de L [j,j] Amaxj := max<< A; [1,1] V := Amaxj; [1,1] Diag := Amaxj; [2..n,1] L := A/Amaxj; end; [j,j] L:= 1; [1,j] [j,j] valor := max<< Diag; D := valor; end; Figura 2. Implementación del algoritmo de Factorización LDL T. Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto

5 Paralelización de la factorización LDL T usando el lenguaje ZPL 4.2. Plataforma computacional Todas las pruebas se desarrollaron en el cluster NIMBUS de la Facultad de Ingeniería de la Universidad de Carabobo, el cual posee un total de 8 nodos; cuatro con un Procesador del tipo Intel PIV de 2.4 Ghz, 1000 MB de memoria RAM, y los cuatro restantes con un Procesador del tipo Intel PIV de 3.0 Ghz, 1000 MB de memoria RAM. Red de interconexión entre nodos: 1 Gigabit ethernet. La arquitectura del cluster en las pruebas hechas es un arreglo ( grid ) de n por 1, siendo n el número de procesadores, como se muestra en la Figura 3. El valor de n está comprendido desde 1 hasta Figura 3. Arquitectura del cluster para las pruebas. 5. RESULTADOS En las Tablas 1, 2 y 3 se observa el tiempo de ejecución, medido en segundo, la aceleración y la eficiencia del algoritmo implementado, junto al tiempo que tarda en realizar el producto matriz por vector y el porcentaje de este tiempo en relación al tiempo total de ejecución del programa. n Grid Procesos Tiempo Total (tt) Aceleración Tabla 1. Matriz 100 x 100. Eficiencia Tiempo Multiplicación de Matrices (tm) Porcentaje de tm respecto a tt 1x % 2x % 3x % 4x % 5x % 6x % 7x % 8x % Grid Procesos Tiempo Total (tt) Aceleración Tabla 2. Matriz 500 x 500. Eficiencia Tiempo Multiplicación de Matrices (tm) Porcentaje de tm respecto a tt 1x % 2x % 3x % 4x % 5x % 6x % 7x % 8x % 76 Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto 2008

6 Vargas, Flores y Rey Lago En las Figuras 4, 5 y 6 se grafican los resultados de los tiempos de ejecución mostrados en las Tablas 1, 2 y 3 respectivamente. En la Figura 4 se evidencia que no existe una tendencia clara a la reducción del tiempo de ejecución del algoritmo a medida que se aumenta el número de procesadores. Caso distinto se aprecia en la Figura 5, donde se gráfica el tiempo de ejecución del programa para una matriz de mayor dimensión, donde se observa claramente como dicho tiempo disminuye a medida que se aumenta el número de procesadores, lo cual es consistente con la reducción del costo de comunicación respecto al cómputo útil del algoritmo sobre una cantidad de datos mayor. Tabla 3. Matriz 1000 x Grid Procesos Tiempo Total (tt) Aceleración Eficiencia Tiempo Multiplicación de Matrices (tm) Porcentaje de tm respecto a tt 1x % 2x % 3x % 4x % 5x % 6x % 7x % 8x % Tiempo de Ejecución Tiempo (s) 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0, Número de Procesadores Figura 4. Tiempo de ejecución Matriz 100x100. Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto

7 Paralelización de la factorización LDL T usando el lenguaje ZPL En la Figura 6, donde se grafica el tiempo de ejecución del algoritmo versus el número de procesadores para una matriz de 1000x1000, se evidencia una disminución de dicho tiempo a medida que se aumenta el número de procesadores. Aunque se observa que cuando se utilizan 5 procesadores el tiempo de ejecución aumenta de segundos a segundos, y luego comienza a disminuir nuevamente, esto se debe a la heterogeneidad del cluster, ya que las primeras 4 pruebas se realizaron con los procesadores de Tiempo de Ejecución Tiempo (s) Número de Procesadores Figura 5. Tiempo de ejecución Matriz 500x500 Tiempo de Ejecución Tiempo (s) Número de Procesadores Figura 6. Tiempo de ejecución Matriz 1000x Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto 2008

8 Vargas, Flores y Rey Lago mayor velocidad (3.0 Ghz) mientras que una vez que se comienzan a realizar las pruebas con más de 4 procesadores, se toman los procesadores de menor velocidad (2.4 Ghz), haciendo que el tiempo de ejecución del algoritmo se rija por los procesadores de menor velocidad, ya que los procesadores de mayor velocidad deben esperar a que los de menor velocidad efectúen las operaciones y poder continuar con la ejecución. También se destaca lo señalado en la Tabla 2, en cuanto a la aceleración, que aumenta a medida que aumenta el número de procesadores. Por otro lado, observando el porcentaje de tiempo que el algoritmo tarda en realizar el ciclo de multiplicación de matriz por vector respecto al tiempo total de ejecución del algoritmo de factorización en las Tablas 1, 2 y 3, se puede concluir que el mismo en muchos casos se encuentra por encima del 90% 8. CONCLUSIONES Se presentó una primera versión de la factorización de una matriz A simétrica positiva a la forma LDL T mediante un algoritmo basado en los conceptos claves del lenguaje de programación paralelo ZPL como lo son el uso de regiones y los operadores paralelos. Las curvas de tiempo de ejecución de las matrices de prueba 100x100 no muestran una tendencia a disminuir cuando se aumenta el número de procesadores del cluster Nimbus. Esto puede deberse al alto costo de la comunicación entre los procesadores. En la matrices de prueba de 500x500 y 1000x1000 sí se observa una clara disminución del tiempo de ejecución a medida que se aumenta el número de procesadores, lo cual demuestra que la implementación hace buen uso de la comunicación entre procesadores. También se puede evidenciar, que a medida que se aumenta el tamaño de la matriz, ZPL permite mejorar el desempeño en cuanto al factor de aceleración. En cuanto al tiempo de ejecución del algoritmo de factorización de la matriz A, se puede mencionar, que la mayor parte del mismo se debe al tiempo que tarda en realizar el proceso de multiplicar una matriz por un vector. En el caso de la matriz 1000x1000, el porcentaje del tiempo de ejecución de la multiplicación de una matriz por un vector, respecto al tiempo total de la ejecución del programa, se encuentra por encima del 90%, como se evidencia en la Tabla RECOMENDACIONES El algoritmo de factorización LDL T propuesto puede mejorarse, ya que es una primera versión en la que se muestra de manera muy sencilla dicha factorización, sería provechoso agregar rutinas que optimicen los cálculos, como por ejemplo, haciendo uso de las técnicas de cómo el producto matriz-vector de la manera que lo implementan las rutinas BLAS, sólo que debe considerarse para ello la utilización de operadores que tengan poca comunicación para no degradar el rendimiento del algoritmo en arquitecturas multiprocesador. Como continuación de la presenta investigación, se recomienda la implementación de un algoritmo de multiplicación de una matriz por un vector, con la finalidad de disminuir los tiempos de ejecución del algoritmo de factorización de Cholesky. Sería provechoso evaluar el algoritmo usando un cluster o una supercomputadora con un mayor número de nodos y mayor capacidad de memoria, ya que algunas gráficas muestran una tendencia de disminución del tiempo de ejecución para un mayor número de nodos en el caso de matrices de gran tamaño. En virtud que los nodos del cluster donde se hicieron las pruebas no son iguales, también sería de interés hacer las mismas pruebas con un cluster cuyos nodos sean todos con las mismas características computacionales, y comparar los resultados con los obtenidos en el presente trabajo. 10. REFERENCIAS [1] Burden, R. y Faires, J. (2003) Análisis Numérico. Séptima Edición. Editorial Thomson. México. [2] Rabiner, L. y Schafer, R. Digital Processing of Speech Signals. Prentice-Hall. New Jersey. Estados Unidos. [3] Rey, D. y Canning, J. (2007). Streams: Una Librería de Habilitación de Paralelismo Mixto de Tareas en Cascada y Paralelismo de Datos para el Lenguaje Paralelo de Alto Nivel ZPL. Facultad de Ingeniería. Universidad de Carabobo. Venezuela. Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto

9 [4] Snyder, L. (1999). A programmer s Guide to ZPL. The MIT Press. [5] Castellano, J., Ramírez, J. y Rey, D. (2007). Paralelización de la Factorización LU usando el Lenguaje ZPL. Instituto de Matemática y Cálculo Aplicado. Facultad de Ingeniería. Universidad de Carabobo. Venezuela. Paralelización de la factorización LDL T usando el lenguaje ZPL 80 Rev. INGENIERÍA UC. Vol. 15, No 2, Agosto 2008