Algoritmos paralelos y distribuidos (2w = 4t = 360mns)

Transcripción

1 Algoritmos paralelos y distribuidos (2w = 4t = 360ms) Jérémy Barbay 21 de juio de 2012 Medidas de complejidad Tecicas de diseo 1. PREREQUISITOS Chap 12 of Itroductio to Algorithms, A Creative Approach, Udi Maber, p Modelos de paralelismo y modelo PRAM Istruccioes SIMD: Sigle Istruccio, Multiple Data MIMD: Multiple Istruccio, Multiple Data Memoria compartida distribuida 2*2 combiacioes posibles: Memoria compartida Memoria distribuida SIMD PRAM redes de itercoexio (weak computer uits) (hipercubos, meshes, etc... ) MIMD Threads procesamieto distribuido (strog computer uits), Bulk Sychroous Process, etc Modelo PRAM E este curso cosideramos e particular el modelo PRAM. Mucha uidad de CPU, ua sola memoria RAM cada procesador tiee u idetificador uico, y puede utilizarlo e el programa Ejemplo: if p2 = 0 the else A[p]+ = A[p 1] 1

2 A[p]+ = A[p + 1] b A[p]; A[p] b; Problema: el resultado o es bie defiido, puede teer coflictos si los procesadores esta asichroos. Las solucioes a este problemas da varios submodelos del modelo PRAM: 1. EREW Exclusive Read. Exclusive Write 2. CREW Cocurret Read, Exclusive Write 3. CRCW Cocurret Read, Cocuret Write E este caso hay variates tambie: todos debe escribir lo mismo arbitrario resultado priorizado algua f() de lo que se escribe 2.2. Como medir el trade-off etre recursos (catidad de procesadores) y tiempo? DEFINICION: T () es el Tiempo secuecial del mejor algoritmo o paralelo e ua etrada de tamao (i.e. usado 1 procesador). T A (, p) es el Tiempo paralelo del algoritmo paralelo A e ua etrada de tamao usado p procesadores. El Speedup del algoritmo A es defiido por S A (, p) = T () T A (,p) p U algoritmo es mas efectivo cuado S(p) = p, que se llama speedup perfecto. La Eficiecia del algoritmo A es defiida por E A (, p) = S A(,p) p = T () pt A (,p) El caso optima es cuado E A (, p) = 1, cuado el algoritmo paralelo hace la misma catidad de trabajo que el algoritmo secuecial. El objetivo es de maximizar la eficiecia. (Nota estas defiicioes e la pisara, vamos a usarlas despues.) 3. LEMMA de Bret, Trabajo y Cosecuecias 3.1. PROBLEMA: Calcular máx(a[1,..., N]) 1. Solucio Secuecial Algoritmo: m 1 for i 2 to if A[i] > A[m] the m i retur A[m] Se puede ver como u arbol de evaluacio co ua sola rama de largo y hojas. Complejidad: tiempo O(), co 1 procesador, etoces: T () =. 2

3 2. Solucio Parallela co procesadores Algoritmo: M[p] A[p] for l 0 to lg p 1 if p2 l+1 = 0 y $ p+2 l <$ M[p] máx(m[p], M[p + 2 l ]) if p = 0 max M[0] Se puede ver como u arbol balaceado de altura lg co hojas. Complejidad: tiempo O(lg ) co procesador, i.e. e uestras otacioes: T (, ) = lg S(, ) = E(, ) = lg lg = 1 lg Nota: o se puede hacer mas rapido, pero hay mucho procesadores poco usados: quizas se puede calcular el max e el mismo tiempo, pero usado meos procesadores? 3. Solucio geeral co p procesadores Idea: reduce la catidad de procesadores, y hace load balacig sobre / lg procesadores. Divida el iput e / lg grupos, asiga cada grupo de lg elemetos a u procesador. E la primera fase, cada procesador ecotra el max de su grupo E la seguda fase, utiliza el algoritmo precedete. Complejidad: tiempo O(lg ) co procesador, i.e. e uestra otacioes: T (, lg ) = 2 lg O(lg ) T (, p) = p + lg p Discusio: S(, p) = E(, p) = p +lg p = p(1 p lg lg = 1/2 lg p +p lg p ) p si El parametro de lg procesadores es optima? Para que? Que sigifica ser optima? e eergia e el cotexto dode los procesadores libres puede ser usados para otras tareas. Si, es optimo para la eficiecia, se puede ver estudiado el grafo e fucio de p. Eso es u algoritmo EREW, CREW, o CRCW? EREW (Exclusive Read. Exclusive Write): o dos procesadores lea o escribe e la misma cedula al mismo tiempo. Nota: Hay u algoritmo CRCW que puede calcular el max e O(1) tiempo e paralelo, ilustrado el poder del modelo CRCW (y el costo de las restriccioes del modelo EREW) [ REFERENCIA: Sectio of Itroductio to Algorithms, A Creative Approach, Udi Maber, p. 382]] 3

4 3.2. LEMA de Bret El algoritmo previo illustra u pricipo mas geeral, llamado el Lemma de Bret : Si u algoritmo cosigue u tiempo T(,p)=C, etoces cosigue tiempo T(,p/s)= sc s>1 (bajo alguas codicioes, tal que hay suficietamete memoria para cada procesador) 3.3. DEFINICION Trabajo Usado el Lema de Bret, podemos exprimir el redimieto de los algoritmos paralelos co solamete dos medidas: T (), el tiempo del mejor algoritmo paralelo usado cualquier catidad de procesadores que quiere. Nota las diferecias co T (), el tiempo del mejor algoritmo secuecial, y T A (, ), el tiempo del algoritmo A co procesadores. W (), la suma del total trabajo ejecutado por todo los procesadores (i.e. superficia del arbol de calculo, a cotras de su altura (tiempo) o hacho (catidad de procesadores). INTERACCION: Cual so estas valores para el algoritmo de Max? T () =? W () =? INTERACCION: Puedes ver como desde T (), W () se puede deducir las valores de T (, p)? (solucio e el corolario) S(, p)? (trivial desde T (, p)) E(, p)? (solucio e el corolario) 3.4. COROLARIO Co el lema de Bret podemos obteer: T (, p) = T () + W () p E(, p) = T () pt () + W () 3.5. EJEMPLO Para el calculo del maximo: T () = lg W () = Etoces se puede obteer T B (, p) = lg + p E(, p) = p lg + (Nota que eso es solamete ua cota superior, uestro algoritmo da u mejor tiempo.) 4

5 4. PROBLEMA: Rakig e listas 1. DEFINICION dado ua lista, calcula el rago para cada elemeto. E el caso de ua lista tradicioal, o se puede hacer mucho mejor que lieal. Cosideramos ua lista e u arreglo A, dode cada elemeto A[i] tiee u putero al siguiete elemeto, N[i], y calculamos su rago R[i] e u arreglo R. 2. DoubligRak() 3. Aalisis R[p] 0 if N[p] = ull R[p] 1 for d 1 to lg if N[p] NULL if R[N[p]] > 0 R[p] R[N[p]] + 2 d N[p] N[N[p]] T () = lg W () = + W (/2) O() T (, p) = T () + W ()/p = lg + /p p T () = W ()/p p/ lg E(, p ) = T () p T ()+W () = 4. El algoritmo es EREW o CREW? / lg lg + Θ(1) es EREW si los procesadores esta sicroizados, com e RAM aqua. 5. PROBLEMA: Prefijos e paralelo ( Parallel Prefix ) DEFINICION: Problema Prefijo e Paralelo Dado x 1,..., x y u operador asociativo, calcular y 1 = x 1 y 2 = x 1 x 2 y 2 = x 1 x 2 x 3... y = x 1... x Solucio Secuecial Hay ua solucio obvio e tiempo O(). 5

6 5.1. Solucio paralela 1 Cocepto: Hipotesis: sabemos solucioarlo co /2 elemetos Caso de base: = 1 es simple. Iduccio: 1. recursivamete calculamos e paralelo: todos los prefijos de {x 1,..., x /2 } co /2 procesadores. todos los prefijos de {x /2,..., x } co /2 procesadores. 2. e paralelo agregamos x /2 a los prefijos de {x /2,..., x } Observacio: e cual modelo de parallelismo es el ultimo paso? ParallelPrefix1(i,j) if i p = j p retur x ip m p ip+jp 2 ; if p m the else algo(i p, m p ) algo(m + 1, j p ) y p y m.y p Otra forma de escribir el algoritmo (de p. 384 de Itroductio to Algorithms, A Creative Approach, Udi Maber): ParallelPrefix1(left,right) Notas: if (right left) = 1 x[right] x[lef t].x[right] else middle (left + right 1)/2 do i paralel P arallelp refix1(left, middle){ assiged to {P 1 top /2 }} P arallelp refix1(middle + 1, right){ assiged to {P /2+1 top }} for i middle + 1 to right do i paralel x[i] x[middle].x[i] este solucio o es EREW (Exclusive Read ad Write), porque los procesadores puede leer y m al mismo tiempo. este solucioo es CREW (Cocurret Read, Exclusive Write). Complejidad: T A1 (, ) = 1 + T (/2, /2) = lg (El mejor tiempo e paralelo co cualquier catidad de procesadores.) W A1 () = + 2W A1 (/2) lg 6

7 T A1 (, p) = T () + W A1 ()/p = lg + ( lg )/p Calculamos p, la catidad optima de procesadores para miimizar el tiempo: T () = W A1 ()/p p = W () T () = Calculamos la eficiecia E A1 (, p ) = es poco eficiete =( T () p T ()+W () = lg = 1 lg Podriamos teer u algoritmo co la eficiecia del algoritmo secuecial el tiempo del algoritmo paralelo? 5.2. Solucio paralela 2: mismo tiempo, mejor eficiecia Idea: El cocepto es de dividir de maera diferete: par y impar (e vez de largo o pequeo). Cocepto: 1. Calcular e paralelo x 2i 1.x 2i e x 2i para i, 1 i /2. 2. Recursivamete, calcular todos los prefijos de E = {x 2, x 4,..., x 2i,..., x } 3. Calcular e paralelo los prefijos e posicioes impares, multiplicado los prefijos de E por ua sola valor. algo2(i,j) for d 1 to (lg ) 1 if p = 02 d+1 if p + 2 d < x p+2 d x p.x p+2 d for d 1 to (lg ) 1 visualizacio (0,1) 3. if p = 02 d+1 4. (2,3) (0,3) if p 2 d > 0 x p 2 d x p 2 d.x p 7

8 5. 6. (4,5) (6,7) (4,7) (0,7) (8,9) (10,11) (8,11) (12,13) (14,15) (12,15) (8,15) (0,15) Notas: Este algoritmo es EREW Aálisis T 2 () = 2 lg W () = /2 + W (/2) < T 2 (, p) = T 2 () + W ()/p < 2 lg + p Calculamos la catidad optima de procesadores para obteer el tiempo optima: T 2 () = W ()/p etoces p = W () T () = lg E 2 (, p ) = T () p T ()+W () O(1) 6. Moralidad del Parallelismo: 1. Cual es la cosecuecia del Lemma de Bret? Cocetrarse e T () y E() Pero saber aplicar el Lemma de Bret para programmar T (, p) 2. Cual (otra) tecica veamos? Mejorar la efficiecia co ua parte secuecial (e parallelo) del algoritmo. 8