Divide y Vencerás Programación Dinámica

Transcripción

1 Metodología de la Programación Paralela Facultad Informática, Universidad de Murcia Esquemas algorítmicos paralelos: Divide y Vencerás Programación Dinámica Domingo Giménez (Universidad de Murcia) 1 / 24

2 Sesión 4 Descomposición del trabajo: Paralelismo de datos. Particionado de datos. Algoritmos relajados. De paralelismo basado en dependencias de datos: Paralelismo síncrono. Dependencias en árbol o grafo. Pipeline. De paralelización de esquemas secuenciales: Divide y Vencerás. Programación Dinámica. Recorridos de árboles: Backtracking y Branch and Bound. De múltiples tareas o trabajadores: Bolsa de tareas. Granja de procesos. Maestro-Esclavo. Domingo Giménez (Universidad de Murcia) 2 / 24

3 Contenido 1 Divide y Vencerás 2 Programación Dinámica 3 Otros ejemplos y trabajo adicional Domingo Giménez (Universidad de Murcia) 3 / 24

4 Ideas generales de Divide y Vencerás Dividir un problema p en subproblemas p 1, p 2,...,p n. Resolver los subproblemas p i obteniendo subsoluciones s i. Combinar las soluciones parciales s 1, s 2,...,s n para obtener la solución global de p. El éxito del método depende de que se pueda hacer la división y la combinación de forma eficiente. Es el esquema más adecuado para paralelizar. Se puede considerar que todos los programas paralelos siguen este esquema. Domingo Giménez (Universidad de Murcia) 4 / 24

5 Paralelismo en Divide y Vencerás La solución de los subproblemas s i se puede hacer en paralelo. La división debe producir subproblemas de coste balanceado. La división y la combinación implican comunicaciones y sincronización. Si consideramos un árbol de llamadas recursivas, el Grafo de Dependencias viene determinado por el árbol, y podemos considerar que seguimos el paradigma de programación paralela en árbol. Ordenación por mezcla árbol o no árbol? Domingo Giménez (Universidad de Murcia) 5 / 24

6 Ejemplo - Ordenación por Mezcla, Memoria Compartida #pragma omp parallel for private(i) for(i=0;i<p;i++) ordenarsimple(i,a); //cada hilo ordena un trozo proc=p/2; //numero de hilos que intervienen en la mezcla for(i=1;i<log p;i++) { #pragma omp parallel for private(j) for(j=0,j<proc;j++) mezclar(i,n/proc,a); proc=proc/2; } mezclasimple(0,n,a); mezclar(i,l,a): mezclasimple(i*l,(i+1)*l-1,a); No hay recursión, sino que se divide en función del número de procesadores. Cómo podría ser con recursión? Por ejemplo, con tareas. Cuál es el coste de la mezcla? (n) y del algoritmo completo? ( n log n p + n) Cómo se puede hacer la mezcla de otra forma? Domingo Giménez (Universidad de Murcia) 6 / 24

7 Ejemplo - Ordenación por Mezcla, Paso de Mensajes Envio de n/p datos a cada proceso //distintas posibilidades En cada Pi, i=0,1,...,p-1: ordenar(0,n/p-1,a); //cada proceso con a local activo=1; desp=2; for(j=1;j<=log p;j++) if(activo==1) { if(i mod desp==0) { recibir en b (n/p)*(desp/2) datos de Pi+desp/2; mezclar a y b en a; } else { enviar (n/p)*(desp/2) datos de a a Pi-desp/2; activo=0; } desp=desp*2; } Cómo se hace el envío inicial? Qué coste tiene? Qué memoria necesita cada proceso? Cuál es el coste de la mezcla? y del algoritmo completo? Cómo se puede hacer la mezcla de otra forma? Domingo Giménez (Universidad de Murcia) 7 / 24

8 Ejemplo - Ordenación Rápida Secuencial: ordenar(p,q,a): if(q-p>base) { m=particionar(p,q,a); ordenar(p,m,a); ordenar(m+1,q,a); } else ordenarbasico(p,q,a); Problemas para el paralelismo: Domingo Giménez (Universidad de Murcia) 8 / 24

9 Ejemplo - Ordenación Rápida Secuencial: ordenar(p,q,a): if(q-p>base) { m=particionar(p,q,a); ordenar(p,m,a); ordenar(m+1,q,a); } else ordenarbasico(p,q,a); Problemas para el paralelismo: Cuál es el caso más desfavorable? Domingo Giménez (Universidad de Murcia) 8 / 24

10 Ejemplo - Ordenación Rápida Secuencial: ordenar(p,q,a): if(q-p>base) { m=particionar(p,q,a); ordenar(p,m,a); ordenar(m+1,q,a); } else ordenarbasico(p,q,a); Problemas para el paralelismo: Cuál es el caso más desfavorable? Cómo se balancea el trabajo? Domingo Giménez (Universidad de Murcia) 8 / 24

11 Ejemplo - Ordenación Rápida Secuencial: ordenar(p,q,a): if(q-p>base) { m=particionar(p,q,a); ordenar(p,m,a); ordenar(m+1,q,a); } else ordenarbasico(p,q,a); Problemas para el paralelismo: Cuál es el caso más desfavorable? Cómo se balancea el trabajo? Cómo se sabe el tamaño local de datos? Domingo Giménez (Universidad de Murcia) 8 / 24

12 Ejemplo - Ordenación Rápida Secuencial: ordenar(p,q,a): if(q-p>base) { m=particionar(p,q,a); ordenar(p,m,a); ordenar(m+1,q,a); } else ordenarbasico(p,q,a); Problemas para el paralelismo: Cuál es el caso más desfavorable? Cómo se balancea el trabajo? Cómo se sabe el tamaño local de datos? Cómo se sabe el tamaño de los envíos? Domingo Giménez (Universidad de Murcia) 8 / 24

13 Ejemplo - Ordenación Rápida, Memoria Compartida m[0]=0; m[1..p]=n-1; m[p/2]=particionar(0,n-1,a); proc=2; for(i=1;i<log p;i++) { #pragma omp parallel for private(j) for(j=0;j<proc;j++) m[p/(2*proc)+j*p/proc]=particionar(m[j*p/proc],m[(j+1)*p/proc],a); proc=2*proc; } #pragma omp parallel for private(i) for(i=0;i<p;i++) ordenar(m[i],m[i+1],a); Domingo Giménez (Universidad de Murcia) 9 / 24

14 Ejemplo - Ordenación Rápida, Memoria Compartida m[0]=0; m[1..p]=n-1; m[p/2]=particionar(0,n-1,a); proc=2; for(i=1;i<log p;i++) { #pragma omp parallel for private(j) for(j=0;j<proc;j++) m[p/(2*proc)+j*p/proc]=particionar(m[j*p/proc],m[(j+1)*p/proc],a); proc=2*proc; } #pragma omp parallel for private(i) for(i=0;i<p;i++) ordenar(m[i],m[i+1],a); Qué coste tiene? Domingo Giménez (Universidad de Murcia) 9 / 24

15 Ejemplo - Ordenación Rápida, Memoria Compartida m[0]=0; m[1..p]=n-1; m[p/2]=particionar(0,n-1,a); proc=2; for(i=1;i<log p;i++) { #pragma omp parallel for private(j) for(j=0;j<proc;j++) m[p/(2*proc)+j*p/proc]=particionar(m[j*p/proc],m[(j+1)*p/proc],a); proc=2*proc; } #pragma omp parallel for private(i) for(i=0;i<p;i++) ordenar(m[i],m[i+1],a); Qué coste tiene? Cómo se puede dividir el trabajo de otra manera? Domingo Giménez (Universidad de Murcia) 9 / 24

16 Ejemplo - Ordenación Rápida, Memoria Compartida m[0]=0; m[1..p]=n-1; m[p/2]=particionar(0,n-1,a); proc=2; for(i=1;i<log p;i++) { #pragma omp parallel for private(j) for(j=0;j<proc;j++) m[p/(2*proc)+j*p/proc]=particionar(m[j*p/proc],m[(j+1)*p/proc],a); proc=2*proc; } #pragma omp parallel for private(i) for(i=0;i<p;i++) ordenar(m[i],m[i+1],a); Qué coste tiene? Cómo se puede dividir el trabajo de otra manera? Cómo se puede hacer una división balanceada? Domingo Giménez (Universidad de Murcia) 9 / 24

17 Ejemplo - Ordenación Rápida, Memoria Compartida m[0]=0; m[1..p]=n-1; m[p/2]=particionar(0,n-1,a); proc=2; for(i=1;i<log p;i++) { #pragma omp parallel for private(j) for(j=0;j<proc;j++) m[p/(2*proc)+j*p/proc]=particionar(m[j*p/proc],m[(j+1)*p/proc],a); proc=2*proc; } #pragma omp parallel for private(i) for(i=0;i<p;i++) ordenar(m[i],m[i+1],a); Qué coste tiene? Cómo se puede dividir el trabajo de otra manera? Cómo se puede hacer una división balanceada? Cómo generalizar a p no potencia de dos? Domingo Giménez (Universidad de Murcia) 9 / 24

18 Ejemplo - Ordenación Rápida, Paso de Mensajes En cada Pi, i=0,1,...,p-1 m1=n-1; desp=p ; activo=0; if(i mod (desp/2)==0) activo=1; for(j=1;j<=log p;j++) { if(activo==1) if(i mod desp==0) { m=particionar(0,m1,a); enviar m1-m+1 y a[m+1],...,a[m1] a Pi+desp/2; m1=m; } else { recibir en l y a de Pi-desp/2; m1=l-1; m=particionar(0,m1,a); enviar m1-m+1 y a[m+1],...,a[m1] a Pi+desp/2; m1=m; } desp=desp/2; if(i mod (desp/2)==0) activo=1; ordenar(a); acumular sobre P0; Qué problemas de implementación tenemos? Domingo Giménez (Universidad de Murcia) 10 / 24

19 Descomposición recursiva Se divide un problema en subproblemas completamente independientes, que se pueden dividir recursivamente en otros subproblemas. Es un esquema divide y vencerás, pero no sabemos los subproblemas a los que puede dar lugar. Ejemplo: en la ordenación rápida puede que la parte izquierda o derecha tenga cero o un elemento, y no hace falta llamar recursivamente con ella. Tiene que haber un criterio para decidir si se realiza la llamada. En Memoria Compartida se puede hacer con tareas. En Memoria Distribuida se generan tareas que hay que gestionar cómo asignar a los procesos (técnica de bolsa de tareas). Domingo Giménez (Universidad de Murcia) 11 / 24

20 Descomposición recursiva - Aproximación recursiva de integral El número de intervalos de integración no es fijo. Cada intervalo se divide en dos subintervalos. Se sigue dividiendo un intervalo cuando el área de su trapecio se diferencia con una cierta tolerancia del área de sus dos subtrapecios. Domingo Giménez (Universidad de Murcia) 12 / 24

21 Ejemplos numéricos Multiplicación rápida de matrices. Método de Strassen. Multiplicación de enteros largos. Método de Karatsuba y Ofman. P = (A 11 + A 22 )(B 11 + B 22 ) Q = (A 12 + A 22 ) B 11 R = A 11 (B 12 B 22 ) S = A 22 (B 21 B 11 ) uv = 10 2S wy+10 S ((w x)(z y)+wy+xz)+xz T = (A 11 + A 12 ) B 22 U = (A 21 A 11 )(B 11 + B 12 ) V = (A 12 A 22 )(B 21 + B 22 ) C 11 = P + S T + U C 12 = R + T C 21 = Q + S C 22 = P + R Q + U Cuántas tareas generar y cómo asignarlas a los procesos? Grafos de dependencia? Domingo Giménez (Universidad de Murcia) 13 / 24

22 Contenido 1 Divide y Vencerás 2 Programación Dinámica 3 Otros ejemplos y trabajo adicional Domingo Giménez (Universidad de Murcia) 14 / 24

23 Ideas generales de la Programación Dinámica Para resolver problemas de optimización. Obteniendo soluciones de subproblemas de menor a mayor tamaño hasta llegar al tamaño deseado. Las soluciones parciales se pueden guardar en un array construyendo el array de la primera fila hasta la última, usándose para cada fila los valores de las anteriores. Domingo Giménez (Universidad de Murcia) 15 / 24

24 Ideas generales de la Programación Dinámica Memoria Compartida: En cada fila intervienen los procesadores obteniendo cada uno valores de distintos tamaños, basándose en la fila anterior para leer. No hay problema de coherencia, pero se necesita sincronización entre los pasos sucesivos (uno por fila), lo que se puede ver como Paralelismo Síncrono. Paso de Mensajes: Un proceso puede necesitar datos almacenados en otro. Las flechas que cruzan de un proceso a otro determinan comunicaciones. Domingo Giménez (Universidad de Murcia) 16 / 24

25 Ejemplo - Problema de la Mochila 0/1 Mochila de capacidad C; objetos numerados 1, 2,...,n; cada objeto tiene un peso p i y un beneficio b i. Maximizar n i=1 x ib i sujeto a x i = 0 o 1, y n i=1 x ip i C Se resuelve con la ecuación de recurrencia: M(i, X) = max{m(i 1, X),M(i 1, X p i )+b i } Ejemplo: C = 9, p = (3, 5, 2), b = (4, 6, 5) Domingo Giménez (Universidad de Murcia) 17 / 24

26 Ejemplo - Problema de la Mochila 0/1, Memoria Compartida for(i=1;i<n;i++) #pragma omp parallel for for(j=1;j<=c;j++) calcular(i,j,m); M[n,C]=max{M[n-1,C],M[n-1,C-p[n]]+b[n]}; calcular(i,j,m): for(k=(j-1)*c/p+1;k<=j*c/p;k++) M[i,k]=max{M[i-1,k],M[i-1,k-p[i]]+b[i]}; Paralelismo Síncrono. El esquema es con paralelismo implícito, pero podría ser explícito, para reducir coste de gestión de hilos. En este problema el esquema de dependencias entre filas varía, pero siempre depende de dos valores (fórmula de recursión). Generalizar para C no múltiplo de p. Domingo Giménez (Universidad de Murcia) 18 / 24

27 Ejemplo - Problema de la Mochila 0/1, Paso de Mensajes Suponiendo que cada proceso trata una columna: Para cada Pi, i=1,...,c if(p[1]>=i) M=b[1]; else M=0; if(i+p[2]<=c) //comprueba los procesos que necesitan datos enviar M a Pi+p[2]; for(j=2;j<n;j++) { if(i-p[j]>=1) //comprueba si recibe dato de la fila anterior recibir en N de Pi-p[j]; else N=-infinito; M=max{M,N+b[j]}; if(i+p[j+1]<=c) enviar M a Pi+p[j+1]; } if(i-p[n]>=1) recibir en N de Pi-p[n]; else N=-infinito; M=max{M,N+b[n]}; Cómo se quita la restricción? Qué coste tiene? Domingo Giménez (Universidad de Murcia) 19 / 24

28 Ejemplo - Problema de la devolución de monedas Dado un conjunto de n tipos de monedas, cada una con valor v i y con una cantidad de monedas de ese tipo c i, y dada una cantidad P, encontrar el número mínimo de monedas que tenemos que usar para obtener esa cantidad. Ecuación de recurrencia: Cambio(i, Q) = min {Cambio(i 1, Q k v i)+k} k=0,1,...,min{q/v i,c i } Ejemplo: n = 3, P = 8, v = (1, 4, 6), no límite en c. El patrón de comunicaciones varía en las iteraciones, y además cada proceso puede enviar y/o recibir de más de un proceso. Domingo Giménez (Universidad de Murcia) 20 / 24

29 Ejemplo - Problemas de laberintos Distintas posibilidades: número de caminos entre dos puntos, longitud mínima... Varios pasos para formar caminos de longitud 1, 2,... hasta la longitud total. Ejemplo, dado el damero: encontrar la longitud mínima de la casilla superior izquierda a la inferior derecha, suponiendo que se puede mover sólo a derecha y abajo y que la longitud del camino es la suma de los números en todas las casillas por las que pasa. Los primeros pasos son: Se puede dividir el trabajo en bloques de columnas, pero los últimos procesos tardan en empezar. Posibles alternativas? Domingo Giménez (Universidad de Murcia) 21 / 24

30 Pipeline en problemas de Programación Dinámica Se puede no sincronizar por filas, sino que cada proceso trabaje con los datos que necesita en cuanto estén disponibles. El esquema se transforma de Paralelismo Síncrono a Paralelismo Pipeline. Ejemplo del laberinto. Pasos: Cómo funcionaría en los otros ejemplos vistos? Domingo Giménez (Universidad de Murcia) 22 / 24

31 Contenido 1 Divide y Vencerás 2 Programación Dinámica 3 Otros ejemplos y trabajo adicional Domingo Giménez (Universidad de Murcia) 23 / 24

32 Se pueden ver otros ejemplos de Divide y Vencerás y Programación Dinámica de la asignatura de Algoritmos y Estructuras de Datos y pensar formas de paralelización. Hay unos pocos problemas del Concurso de Programación Paralela que se pueden abordar con Divide y Vencerás, los que llevan parte de ordenación. Programación Dinámica, alguno de laberintos. Domingo Giménez (Universidad de Murcia) 24 / 24