Algoritmo Tipo «Estrell» Pr Resolver en Prlelo un Sistem de Ecuciones Lineles Utilizndo el Método de Householder M. en C. Héctor Smuel Grcí Sls Profesor Investigdor del CIDETEC- IPN M. en C. Teodoro Alvrez Sánches Profesor Investigdor del CIC-IPN [tlvrez@pollux.cic.ipn.mx ] E ste trbjo present un solución pr resolver un sistem de ecuciones lineles por medio del método de Householder, teniendo como bse un lgoritmo que utiliz en prlelo «n» procesdores, y como medio de comunicción entre los procesdores un interfz MPI. El Progrm que se desrrollo fue escrito pr el compildor mpcc (Compildor de C pr pso de mensjes de l interfz MPI), pr l máquin IBM SP en el Centro de Investigción en Computción (CIC) del IPN. Antecedentes "L form de prlelizr l solución de un problem ce dentro de l ctegorí de lo rtesnl y depende mucho del utor y de su experienci". Est cit muestr lo difícil que es encontrr el lgoritmo óptimo pr llevr cbo l prlelizción de l ejecución de un progrm, y que no existe un metodologí estblecid y se depende csi bsolutmente del punto de vist del utor del lgoritmo. Algunos lgoritmos son ms eficientes que otros; inclusive existen compildores que permiten prlelizr utomáticmente cierts prtes de progrms secuenciles. Sin embrgo, esto no los hce tn eficientes como podrí esperrse. Existen, por lo tnto, diferentes cercmientos y diferentes soluciones un mismo problem. Brinch Hnsen [Hn95] trt l reducción de Householder utilizndo un lgoritmo de entubmiento (Pipelinening) desrrolldo pr Super Pscl [HAN95 pg.68]. Un enfoque diferente es l utilizción de todos los procesdores pr el cálculo de ls n columns de l mtriz de Householder en cd etp. Esto puede hcer ms eficiente el progrm, y el tráfico en l red no se modific en form importnte. Plntemiento del Problem Ddo un sistem de ecuciones lineles, uno de los métodos más utilizdos pr su solución es l eliminción gussin. Este método utiliz l mtriz socid de coeficientes y l mtriz de resultdos, pr generr un mtriz umentd. Est últim mtriz se llev l form de un mtriz tringulr, y sí se puede resolver el sistem por medio de: x i = ij [ b i n ji+ Sin embrgo, el método de eliminción de Guss present un problem de inestbilidd en el pivote; es decir, que cundo se tienen números IX 0 polibits 9 ij x j ] muy pequeños o muy grndes se obtienen soluciones errónes. Ahor bien, el método de Householder utiliz el mismo lgoritmo que l eliminción Gussin, pero nivel del pivote se hce un normlizción con respecto l column sobre l cul se está trbjndo. Este método utiliz un rguci mtemátic, que consiste en l reflexión de un vector sobre un plno prticulr, de tl form que el plno reflej l primer column sobre el primer eje del sistem coordendo, pr producir un nuev column que tiene ceros como elementos después del primero. L figur muestr el esquem utilizdo. v b Ddo un vector, existe un vector de reflexión b tl que: - b = f v y = b... () donde l norml de v est dd por: v = y v = Figur v + + L + f p v vn
expresndo l vector en form mtricil, se tiene: v v v = v n M y v t = [ v + v + L+ ] v n donde v t es l mtriz trnspuest del vector «v». Ahor bien, el producto esclr entre l mtriz del vector y su trnspuest es: v t v = v + v + L + v n = v Pr encontrr el vector equivlente, el cul contiene un solo elemento, se procede como sigue: de l expresión () : b = - f v... () por l izquierd en l expresión : = b = b t b en form mtricil: = ( - f v ) t ( - f v ) = ( t - f v t ) ( - f v ) = t + f v t v - f v t - f t v = + f v - f v t Simplificndo mbos ldos: - = - f v t + f = 0 v t = f... (3) Por l derech en l expresión : b = = t En form mtricil: b = ( b + f v ) t ( b + f v ) = ( b t + f v t ) ( b + f v ) = b t b + f v t v + f b v t + f b t v = b + f v + f v t b Reduciendo mbos ldos: b - b = f v t b + f = 0 v t b = - f... (4) Por otro ldo, sustituyendo (3) en () se tiene que: b= - f v = - v f = - v ( v t ) = - v v t = (I - v v t ) = H... (5) Donde H es l mtriz de Householder. Ahor bien, como b = sustituyendo en (5) H = = H H = H(H) = H H = I y H = H - Por otro ldo : ij i i, j =,..., n Ahor bien, regresndo l sistem de ecuciones lineles, y utilizndo l propiedd de conservción del producto por l izquierd de un mtriz se tiene el sistem A x = y, Donde "A" es l mtriz de coeficientes, "x" es l mtriz de incógnits y "y" es l mtriz de vlores independientes. Si "H" es l mtriz de Householder entonces H A x = H y Tomndo el primer vector de l mtriz de coeficientes = [,, 3,..., n] t ; entonces, plicndo l mtriz de Householder pr obtener el vector con un solo elemento : H = [ d, 0,, 0] t L donde d = ± de l expresión () se tiene: f v = - b utilizndo l expresión (4) f v = - H d w = M = M n n utilizndo l expresión (4) f = - v t b = - v t H multiplicndo por f f = f (- v t H ) = - f v t H = - w n M [ ] t = - w d f = w d f v = f v v = f v / f v = [ d, 0, L, 0 w,, n ] t, L / f... (6) De est mner se h encontrdo el vector "v" que permite encontrr 0 polibits 998
ls columns correspondientes los otros vectores de l mtriz de coeficientes, formds por los vectores de «reflexión» correspondientes. Como el vector "v" es invrible, entonces se pueden estblecer ls siguientes expresiones: H i = i - f i v y f i = v t i... (7) Ests expresiones, plicds todos los vectores column de l mtriz originl, permitirán encontrr l mtriz equivlente, l cul tiene en su primer column un solo elemento: el primero. Con l mtriz equivlente se puede continur el procedimiento con l mtriz disminuid de l primer column y de l primer fil, hst obtener un mtriz disminuid equivlente con ls crcterístics rrib mencionds. El procedimiento se repite hst obtener un mtriz tringulr que permit resolver el sistem de ecuciones lineles. Método y lgoritmo de solución computcionl El método que se present quí tiene como ide principl el utilizr vrios procesdores que trbjndo en prlelo permitn obtener de un sistem de ecuciones lineles, l mtriz tringulr utilizndo el método de Householder. Ahor bien, como se vió en l prte teóric, l obtención de l mtriz tringulr ps por l obtención de vris mtrices equivlentes, en ls que, según se el nivel de cálculo, se obtiene un primer column reltiv l mtriz disminuid con l que se está trbjndo. Pr el cálculo de cd mtriz equivlente, este método pone trbjr todos los procesdores (l form de trbjo se explic posteriormente). Pr que l ide de este método funcione, es necesrio estblecer el número de procesdores ctivos, utilizr uno de ellos como un procesdor mestro, y los otros como procesdores esclvos. L signción de ls tres deberá efecturl el proceso mestro; este determin el número de columns que cd proceso esclvo debe clculr pr cd nivel, siendo el proceso mestro el que distribuye, recolect y orden l informción. El lgoritmo de prlelizción que se present quí utiliz un rreglo de cutro procesdores. Dds ls crcterístics de MPI, l configurción pr l comunicción de estos procesdores es en estrell, siendo el proceso que corre en el procesdor cero el proceso mestro y los procesos en los otros tres procesdores los procesos esclvos. En l figur, se muestr el esquem de comunicción entre los procesos. Proceso Proceso Proceso 3 Figur Algoritmo. Pr que el cálculo de l mtriz equivlente en turno se llevdo cbo en form prlel por todos los procesdores signdos, los psos seguir son los que se describen continución: - Se obtiene el número de procesos de cuerdo con el número de procesdores signdos. - Se utiliz un mtriz principl de tmño nxn, que se mnej por el proceso mestro, y un mtriz temporl del mismo tmño en cd proceso. - Se utiliz un mtriz de tmño xn pr mnejr los vlores independientes del sistem. - Se estblece un cnl de comunicción entre cd proceso esclvo y el proceso mestro. - En un inicio, se llen l mtriz principl con los vlores de l mtriz socid los coeficientes del sistem de ecuciones resolver, y l mtriz de vlores independientes. - Se clcul el número de columns procesr por cd uno de los procesos esclvos. - Utilizndo ls ecuciones (3), se clculn los prámetros utilizdos en l obtención de los vectores column normlizdos, siendo l primer column l column «pivote» (l cul tiene solo un elemento) y de l cul se obtienen tles prámetros. - Se distribuyen los prámetros de cálculo y ls columns correspondientes los procesdores respectivos. - Se obtiene l mtriz equivlente pr los vlores independientes. - Se recolect l informción obtenid por cd procesdor, se form l mtriz equivlente y se lmcen. - Se obtiene l siguiente mtriz disminuid, y se repiten los psos nteriores de cálculo, hst que l mtriz disminuid teng un tmño de x. - Un vez obtenid l mtriz de Householder, se obtienen los vlores de ls vribles independientes. De cuerdo con el lgoritmo nterior, ls tres que cd procesdor debe efectur son ls siguientes: IX 0 polibits
El proceso mestro efectú ls siguientes tres:. Llen l mtriz inicil y l mtriz temporl. Clcul el número de veces que se v comunicr con los procesdores esclvos. 3. Se encrg de clculr los prámetros necesrios (el vector «v», ecución [7]) pr obtener ls columns que formn l mtriz de Householder. 4. Clcul el número de columns que cd proceso esclvo debe procesr. 5. Estblece los cnles de comunicción con los procesos esclvos. 6. Enví cd uno de los procesos esclvos los pr metros clculdos y ls columns correspondientes. 7. Con los pr metros correspondientes l mtriz en turno, proces l mtriz de vlores independientes. 8. Colect ls columns clculds por los procesos esclvos. 9. Orden y lmcen l mtriz de Householder. 0. Llm l subrutin que proporcion l mtriz disminuid siguiente clculr.. Repite los psos -7 hst que l mtriz disminuid es de tmño x.. Resuelve pr l mtriz de incógnits. Los procesos esclvos efectún ls siguientes tres.. Clculn cunts veces deben recibir dtos.. Reciben los dtos necesrios pr llevr cbo el proceso de ls columns. 3. Reciben ls columns que deben procesr. 4. Con los pr metros recibidos obtienen l column respectiv de l mtriz de Householder pr cd column recibid del proceso mestro. 5. Un vez termindos los cálculos sobre cd column, est es envid de regreso l proceso mestro. 6. Repiten los psos -4 hst terminr. Estdos por los que ps el progrm que ejecut el lgoritmo nterior. Primer etp: Inicio Proceso - Obtiene No. de proces o. - Iniciliz el cnl de recepción. - Esper dtos de llegd. - Obtiene No. de proceso. - Iniciliz mtrices. - Obtiene prámetros pr el cálculo de l columns de l mtriz de Householder. - Iniciliz cnles de comunicción. - Se determin el número de proc esos signdo. - Se clcul el número de columns que cd proces o v trbjr. Proceso - Obtiene No. de proces o. - Iniciliz el cnl de recepción. - Esper dtos de llegd. Siguiente etp: envío de prámetros Proceso - Recibe los prámetros pr cálculo de columns. - Comienz loop de recepción de columns que debe trbjr. - Obtiene No. de proceso. - Iniciliz mtrices. - Obtiene prámetros pr el cálculo de l columns de l mtriz de Householder. - Iniciliz cnles de comunicción. - Se determin el número de procesos signdo. - Se clcul el número de columns que cd proceso v trbjr. Proceso - Recibe los prámetros pr cálculo de columns. - Comienz loop de recepción de columns que debe trbjr. Proceso - Obtiene No. de proces o. - Iniciliz el cnl de rec epción. - Esper dtos de llegd. Proceso 3 - Recibe los prámetros pr cálculo de columns. - Comienz loop de recepción de columns que debe trbjr. Siguiente etp: Cálculo de columns de l mtriz de Householder Proceso - Obtiene el vector "v" prtir de los dtos de l primer column. - Entr l loop pr el cálculo de columns de l mtriz de Householder. - Obtiene l función pr clculr l column en turno. - Obtiene l column equivlente. - Ps l siguiente column si existe. - Obtiene l primer column de l mtriz de Householder. - Obtiene el vector de vlores independientes. - Ps l estdo de esper de ls columns que cd proceso obtenido. Proceso - Obtiene el vector "v" prtir de los dtos de l primer column. - Entr l loop pr el cálculo de columns de l mtriz de Householder. - Obtiene l función pr clculr l column en turno. - Obtiene l column equivlente. - Ps l siguiente column si existe. Proceso 3 - Obtiene el vector "v" prtir de los dtos de l primer column. - Entr l loop pr el cálculo de columns de l mtriz de Householder. - Obtiene l función pr clculr l column en turno. - Obtiene l column equivlente. - Ps l siguiente column si existe. Siguiente etp: envío de ls columns obtenids por los procesos esclvos y recepción de est informción por el proceso mestro. Proc eso - Define cnl de comunicción. - Comienz loop de envío columns obtenids. - Enví column l proces o mes tro. - Si existe otr column l enví. - Sino, ps l estdo de esper pr l recepción de ms columns de l s iguiente mtriz clculr Proc eso 0 - Comienz el loop de recepción de columns. - Recibe ls c olumn de cd uno de los procesos esclvos. - Termind l recepción de informción, rregl ls columns recibids en l mtriz de Householder. - Obtiene l mtriz disminuid siguiente, si es myor de x, reprte de nuevo l informcion los procesos esclvos y repite los estdos nteriores Proc eso - Define cnl de comunicción. - Comienz loop de envío columns obtenids. - Enví column l proc eso mestro. - Si existe otr c olumn l enví. - Sino, ps l estdo de esper pr l recepción de ms columns de l siguient e mtriz clculr Proc eso 3 - Define cnl de comunicción. - Comienz loop de envío columns obtenids. - Enví column l proc eso mes tro. - Si existe otr c olumn l enví. - Sino, ps l estdo de esper pr l recepción de ms columns de l siguiente mtriz clculr polibits 998
Etp finl: obtención de los vlores de vribles del sistem. - Un vez obtenid l mtriz disminuid de tmño x, el proceso mestro se encrg de obtener l primer column correspondiente est mtriz. - Se obtiene el vector de vlores independientes correspondiente. - Se ctuliz l mtriz de Householder - Se clculn los vlores de ls vribles del sistem. - Se imprimen resultdos. Proceso -Inctivo. Proceso - Inctivo. Proceso 3 - Inctivo. Prámetros de ejecución. L IBM SP del CIC-IPN es un máquin con 8 procesdores, l cul necesit de un rchivo de configurción donde se seleccionn los nodos en que se instlrán los procesos y los cnles de comunicción que v utilizr. Pr esto es necesrio un rchivo que se sign l vrible MP_HOSTFILE, medinte l instrucción: %setenv MP_HOSTFILE SWITCH donde SWITCH es el rchivo que define ls direcciones de los nodos que estrán ctivos. L IBM SP tiene tres mners de comunicr entre los ocho nodos: trvés de un red extern (direcciones INTERNET), trvés de un red intern (direcciones IP locles) o trvés de un red de interconexión tipo mripos HPS (SWITCH) %setenv MP_PROCS 4 donde 4 es el número de procesdores que se designrán l plicción. L compilción de los progrms se llevó cbo con el compildor C pr pso de mensjes MPI, con que cuent l IBM SP. El comndo utilizdo es: %mpcc nme.c /usr/lib/libm. y pr l medición del tiempo de ejecución se utilizo el comndo time: %/usr/bin/time -p./.out Estos comndos evidentemente son diferentes pr cd máquin prlel y pr compildor que este montdo. Resultdos El progrm se ejecutó pr diferentes tmños de mtrices desde (x hst 400x400). Los tiempos de ejecución fueron en promedio los siguientes: 000 00 0 Tmño Tiempo rel de ejecución (seg.) x.60 0x0.65 00x00 5.0 00x00 7.50 300x300 4.5 400x400 85.30 500x500 48.77 Conclusiones Como puede observrse en l gráfic logrítmic, el tiempo de ejecución ument en form drástic (pendiente de l rect de proximción muy grnde), prtir de un cierto tmño de mtriz de coeficientes ( prtir de 00). Esto se debe l cntidd de mensjes que circuln en l red de intercomuniccón Al llegr un tmño cercno los 900x900 l memori se stur y ls comunicciones entre procesos cusn errores. Pr corroborr los tiempos de ejecución con otros lgortimos, se pretende implementrlos y llevr Ls direcciones IP o dominios de tles redes se muestrn en l finl del rtículo. El número de procesdores que se dese estén ctivos cundo l plicción se ejecute tmbién se define en un vrible de mbiente, que se iniciliz de l siguiente mner: 0. 0 00 000 0000 Tmño del rreglo Gráfic logrítmic del tiempo de ejecución (eje y) contr el tmño del rreglo (eje x) IX 0 polibits 3
cbo ls corrids correspondientes. Sin embrgo, el desrrollo del loritmo mostrdo en este rtículo muestr que, efectivmente, existen forms diferentes de enfrentr un problem, demás de popder desrrollr un solución; y por otro ldo, tmpoco existe un mecánic pr el desrrollo de tl lgoritmo. Apéndice A Direcciones de l red extern: 48.04..37 48.04..38 48.04..39 48.04..40 48.04..4 48.04..4 48.04..43 48.04..44 Direcciones de l red intern: 5.5.5. 5.5.5. 5.5.5.3 5.5.5.4 5.5.5.5 5.5.5.6 5.5.5.7 5.5.5.8 Direcciones de l red intern: 5.6.5. 5.6.5. 5.6.5.3 5.6.5.4 5.6.5.5 5.6.5.6 5.6.5.7 5.6.5.8 Bibliogrfí. [] [HAN95] Per Brinch Hnsen. "Studies in Computtionl Prdigms", 995, Prentice Hll USA. [] [GRO96] Willim Gropp, E. Lusk, A. Skjellum. "Using MPI". 997, The MIT Press, Englnd. [3] [SAN97] Alfonso Sánchez Sndovl. "Curso Básico de MPI". 997, Proyecto finl de Curso, CIC-IPN. 4 polibits 998