Esquemas algorítmicos paralelos - Particionado y Paralelismo de Datos

Transcripción

1 Metodología de la Programación Paralela Facultad Informática, Universidad de Murcia Esquemas algorítmicos paralelos - Particionado y Paralelismo de Datos Domingo Giménez (Universidad de Murcia) 1 / 31

2 Contenido 1 Esquemas algorítmicos paralelos 2 Paralelismo de datos 3 Particionado de datos 4 Esquemas de descomposición de datos 5 Trabajo adicional Domingo Giménez (Universidad de Murcia) 2 / 31

3 Contenido 1 Esquemas algorítmicos paralelos 2 Paralelismo de datos 3 Particionado de datos 4 Esquemas de descomposición de datos 5 Trabajo adicional Domingo Giménez (Universidad de Murcia) 3 / 31

4 Tipos de esquemas Podemos considerar esquemas de distintos tipos: Descomposición del trabajo: Paralelismo de datos. Particionado de datos. Algoritmos relajados. De paralelismo basado en dependencias de datos: Paralelismo síncrono. Dependencias en árbol o grafo. Pipeline. De paralelización de esquemas secuenciales: Divide y Vencerás. Programación Dinámica. Recorridos de árboles: Backtracking y Branch and Bound. De múltiples tareas o trabajadores: Bolsa de tareas. Granja de procesos. Maestro-Esclavo. Domingo Giménez (Universidad de Murcia) 4 / 31

5 Sesiones Los agruparemos en 5 sesiones de teoría y dos de prácticas: Descomposición del trabajo: Paralelismo de datos. Particionado de datos. Algoritmos relajados. De paralelismo basado en dependencias de datos: Paralelismo síncrono. Dependencias en árbol o grafo. Pipeline. De paralelización de esquemas secuenciales: Divide y Vencerás. Programación Dinámica. Recorridos de árboles: Backtracking y Branch and Bound. De múltiples tareas o trabajadores: Bolsa de tareas. Granja de procesos. Maestro-Esclavo. Domingo Giménez (Universidad de Murcia) 5 / 31

6 Metodología En clase de teoría se verán las ideas generales de cada paradigma se discutirán sobre ejemplos básicos. En las sesiones de prácticas se propondrá la resolución de algún problema usando esos paradigmas. Los problemas a usar en prácticas serán principalmente de los analizados en teoría y del Concurso de Programación Paralela. Los paradigmas no son disjuntos, por lo que se puede ver un mismo problema con distintos paradigmas. Otras referencias, con ejemplos e implementaciones: Almeida, Giménez, Mantas, Vidal: Introducción a la Programación Paralela, Paraninfo Capítulo 6. Wilkinson, Allen: Techniques and Applications Using Networked Workstations and Parallel Computers, Prentice-Hall, Quinn: Parallel Programming in C with MPI and OpenMP, McGraw-Hill, Domingo Giménez (Universidad de Murcia) 6 / 31

7 Contenido 1 Esquemas algorítmicos paralelos 2 Paralelismo de datos 3 Particionado de datos 4 Esquemas de descomposición de datos 5 Trabajo adicional Domingo Giménez (Universidad de Murcia) 7 / 31

8 Ideas generales Muchos datos tratados de una forma igual o similar (también apropiado para GPU) Típicamente algoritmos numéricos Datos en arrays o vectores Posible procesamiento vectorial Paralelismo asignando partes distintas del array a distintos elementos de proceso Memoria Compartida (Paralelismo de datos): Distribución del trabajo entre los hilos Paralelización automática o implícita Memoria Distribuida (Particionado de datos): Distribución de los datos a los procesos Paralelización explícita Domingo Giménez (Universidad de Murcia) 8 / 31

9 Ejemplos Alguno de los ejemplos vistos hasta ahora es de paralelismo de datos? Domingo Giménez (Universidad de Murcia) 9 / 31

10 Ejemplos Alguno de los ejemplos vistos hasta ahora es de paralelismo de datos? Claramente la multiplicación de matrices Características? Domingo Giménez (Universidad de Murcia) 9 / 31

11 Ejemplos Alguno de los ejemplos vistos hasta ahora es de paralelismo de datos? Claramente la multiplicación de matrices Características? Y la ordenación? Cómo se podría hacer con palalelismo de datos? Domingo Giménez (Universidad de Murcia) 9 / 31

12 Ejemplo - Suma de n datos Esquema secuencial (t(n) = n): s=0; for (i=0;i<n;i++) s=s+a[i]; Domingo Giménez (Universidad de Murcia) 10 / 31

13 Ejemplo - Suma de n datos Esquema secuencial (t(n) = n): s=0; for (i=0;i<n;i++) s=s+a[i]; Vectorización con simd. Domingo Giménez (Universidad de Murcia) 10 / 31

14 Ejemplo - Suma de n datos Esquema secuencial (t(n) = n): s=0; for (i=0;i<n;i++) s=s+a[i]; Vectorización con simd. Paralelización automática: con opción de compilación si no hay dependencia de datos o el compilador detecta que se puede resolver. Domingo Giménez (Universidad de Murcia) 10 / 31

15 Ejemplo - Suma de n datos Esquema secuencial (t(n) = n): s=0; for (i=0;i<n;i++) s=s+a[i]; Vectorización con simd. Paralelización automática: con opción de compilación si no hay dependencia de datos o el compilador detecta que se puede resolver. Conpragma (t(n, p) = n p ): s=0; #pragma omp parallel for private(i) reduction(+:s) for (i=0;i<n;i++) s=s+a[i]; Domingo Giménez (Universidad de Murcia) 10 / 31

16 Ejemplo - Suma de n datos Esquema secuencial (t(n) = n): s=0; for (i=0;i<n;i++) s=s+a[i]; Vectorización con simd. Paralelización automática: con opción de compilación si no hay dependencia de datos o el compilador detecta que se puede resolver. Conpragma (t(n, p) = n p ): s=0; #pragma omp parallel for private(i) reduction(+:s) for (i=0;i<n;i++) s=s+a[i]; Distintas posibilidades de asignación de los datos a los hilos, con cláusula schedule: bloques contiguos, cíclica, dinámica. Domingo Giménez (Universidad de Murcia) 10 / 31

17 Ejemplo - Suma de n datos Esquema secuencial (t(n) = n): s=0; for (i=0;i<n;i++) s=s+a[i]; Vectorización con simd. Paralelización automática: con opción de compilación si no hay dependencia de datos o el compilador detecta que se puede resolver. Conpragma (t(n, p) = n p ): s=0; #pragma omp parallel for private(i) reduction(+:s) for (i=0;i<n;i++) s=s+a[i]; Distintas posibilidades de asignación de los datos a los hilos, con cláusula schedule: bloques contiguos, cíclica, dinámica. Cuál es la mejor manera de ejecutarlo? Merece la pena paralelizar? Domingo Giménez (Universidad de Murcia) 10 / 31

18 Ejemplo - Suma de n datos, con paralelismo explícito #pragma omp parallel for private(s) for(i=0;i<p;i++) sumaparcial(&a[(i*n)/p],n,p); if(nodo==0) s=sumatotal(a,n,p); sumaparcial(a,n,p): s=0; for(j=0;j<n/p;j++) s=s+a[j]; a[0]=s; sumatotal(a,n,p): s=0; for(j=0;j<p;j+=n/p) s=s+a[j]; return s; Domingo Giménez (Universidad de Murcia) 11 / 31

19 Ejemplo - Suma de n datos, con paralelismo explícito #pragma omp parallel for private(s) for(i=0;i<p;i++) sumaparcial(&a[(i*n)/p],n,p); if(nodo==0) s=sumatotal(a,n,p); sumaparcial(a,n,p): s=0; for(j=0;j<n/p;j++) s=s+a[j]; a[0]=s; sumatotal(a,n,p): s=0; for(j=0;j<p;j+=n/p) s=s+a[j]; return s; Merece la pena paralelizarsumatotal? t(n, p) = n p + p Domingo Giménez (Universidad de Murcia) 11 / 31

20 Ejemplo - Ordenación por rango Se cuenta para cada elemento cuantos hay mayores que él (su rango), y a continuación se sitúa en la posición dada por su rango. #pragma omp parallel for private(i,j) for(i=0;i<n;i++) for(j=0;j<n;j++) if(a[i]>a[j]) r[i]+=1; Domingo Giménez (Universidad de Murcia) 12 / 31

21 Ejemplo - Ordenación por rango Se cuenta para cada elemento cuantos hay mayores que él (su rango), y a continuación se sitúa en la posición dada por su rango. #pragma omp parallel for private(i,j) for(i=0;i<n;i++) for(j=0;j<n;j++) if(a[i]>a[j]) r[i]+=1; Problemas: Se hace trabajo de más? n 2 comparaciones + n2 2 sumas Cómo situarlos en su posición? recorrido de orden n Qué pasa si dos datos son iguales? comparación adicional Se pueden colapsar los dos bucles? Domingo Giménez (Universidad de Murcia) 12 / 31

22 Ejemplo - Ordenación por rango, con paralelismo explícito Se hace asignación del trabajo entre los hilos: #pragma omp parallel for for(i=0;i<p;i++) calcularrango(a,n,i,p); calcularrango(a,n,i,p): for(j=(i*n)/p;j<((i+1)*n)/p;j++) for(k=0;k<n;k++) if(a[j]>a[k]) r[j]+=1; Comparaciones n2 p, sumas? Domingo Giménez (Universidad de Murcia) 13 / 31

23 Ejemplo - Multiplicación de matrices Con paralelismo implícito: #pragma parallel for private(i,j,k) for(i=0;i<n;i++) for(j=0;j<n;j++) { c[i,j]=0; for(k=0;k<n;k++) c[i,j]=c[i,j]+a[i,k]*b[k,j]; } Domingo Giménez (Universidad de Murcia) 14 / 31

24 Ejemplo - Multiplicación de matrices Con paralelismo implícito: #pragma parallel for private(i,j,k) for(i=0;i<n;i++) for(j=0;j<n;j++) { c[i,j]=0; for(k=0;k<n;k++) c[i,j]=c[i,j]+a[i,k]*b[k,j]; } El número de operaciones en coma flotante es 2n 3, pero se puede mejorar el tiempo de ejecución sin cambiar el orden: Domingo Giménez (Universidad de Murcia) 14 / 31

25 Ejemplo - Multiplicación de matrices Con paralelismo implícito: #pragma parallel for private(i,j,k) for(i=0;i<n;i++) for(j=0;j<n;j++) { c[i,j]=0; for(k=0;k<n;k++) c[i,j]=c[i,j]+a[i,k]*b[k,j]; } El número de operaciones en coma flotante es 2n 3, pero se puede mejorar el tiempo de ejecución sin cambiar el orden: En los ejemplos usábamos arrays unidimensionales y una variable s para acumular el producto escalar. Domingo Giménez (Universidad de Murcia) 14 / 31

26 Ejemplo - Multiplicación de matrices Con paralelismo implícito: #pragma parallel for private(i,j,k) for(i=0;i<n;i++) for(j=0;j<n;j++) { c[i,j]=0; for(k=0;k<n;k++) c[i,j]=c[i,j]+a[i,k]*b[k,j]; } El número de operaciones en coma flotante es 2n 3, pero se puede mejorar el tiempo de ejecución sin cambiar el orden: En los ejemplos usábamos arrays unidimensionales y una variable s para acumular el producto escalar. Se pueden usar algoritmos por bloques, vectorización, reordenación de bucles... Domingo Giménez (Universidad de Murcia) 14 / 31

27 Ejemplo - Multiplicación de matrices, con paralelismo explícito #pragma omp parallel for private(i) for(i=0;i<p;i++) multiplicar(c,a,b,i) multiplicar(c,a,b,i): for(j=(i*n)/p;j<((i+1)*n)/p;j++) for(k=0;k<n;k++) { c[j,k]=0; for(l=0;l<n;l++) c[j,k]=c[j,k]+a[j,l]*b[l,k]; } Domingo Giménez (Universidad de Murcia) 15 / 31

28 Otros ejemplos Producto escalar de dos vectores x e y de tamaño n: Similar a la suma de n datos. Asignación de bloques de tamaño n p de x e y a los p hilos. Suma (secuencial o paralela) de los productos parciales. Producto matriz-vector: Dos bucles, paralelización del más externo. Posible trabajo por bloques. Domingo Giménez (Universidad de Murcia) 16 / 31

29 Producto matriz-vector por bloques Matriz A de dimensión n n y vector x de dimensión n 1: A dividida en m m bloques A ij de dimensiones n m n m x dividido en m subvectores de dimensión n m 1, Vector resultado r en m subvectores de dimensión n m 1, que se obtienen: r i = m A ij x j j=1 Ventajas del trabajo por bloques? Domingo Giménez (Universidad de Murcia) 17 / 31

30 Contenido 1 Esquemas algorítmicos paralelos 2 Paralelismo de datos 3 Particionado de datos 4 Esquemas de descomposición de datos 5 Trabajo adicional Domingo Giménez (Universidad de Murcia) 18 / 31

31 Ideas generales Especie de paralelismo de datos para Memoria Distribuida - Paso de Mensajes. El espacio de datos se divide en regiones adyacentes: Se asignan a procesos distintos Posible intercambio de datos entre regiones adyacentes Más semejante al Paralelismo de Datos explícito Para obtener buenas prestaciones: intentar que el volumen de computación entre comunicaciones sea grande paralelismo de grano grueso Domingo Giménez (Universidad de Murcia) 19 / 31

32 Ejemplos Alguno de los ejemplos vistos hasta ahora es de particionado de datos? Domingo Giménez (Universidad de Murcia) 20 / 31

33 Ejemplos Alguno de los ejemplos vistos hasta ahora es de particionado de datos? Claramente la multiplicación de matrices Se hace una distribución expícita de las matrices, pero la computación que hace cada proceso es la misma que la que hace cada hilo con OpenMP. Domingo Giménez (Universidad de Murcia) 20 / 31

34 Ejemplos Alguno de los ejemplos vistos hasta ahora es de particionado de datos? Claramente la multiplicación de matrices Se hace una distribución expícita de las matrices, pero la computación que hace cada proceso es la misma que la que hace cada hilo con OpenMP. Y la ordenación? Se particionan los datos, pero no es eso lo único que se hace. Domingo Giménez (Universidad de Murcia) 20 / 31

35 Ejemplo - Suma de n datos Programa similar al de Memoria Compartida con paralelismo expícito. Domingo Giménez (Universidad de Murcia) 21 / 31

36 Ejemplo - Suma de n datos Programa similar al de Memoria Compartida con paralelismo expícito. Cada proceso sumará n p datos. t arit(n, p) = n p Domingo Giménez (Universidad de Murcia) 21 / 31

37 Ejemplo - Suma de n datos Programa similar al de Memoria Compartida con paralelismo expícito. Cada proceso sumará n p datos. t arit(n, p) = n p Necesarias comunicaciones: Envío de n p datos a cada proceso. t comu(n, p) = (p 1)t s + ( n n p) tw Coste de comunicación del mismo orden que el de la computación ( merece la pena?) Acumulación de los resultados. t comu = (p 1)(t s + t w ) Parte secuencial de sumar las sumas parciales. t arit (n, p) = p Costes anteriores con comunicaciones punto a punto entre proceso cero y el resto. Dependen de la topología lógica de procesos y de las funciones de comunicación que se usen ( Cuáles usaríamos?) Domingo Giménez (Universidad de Murcia) 21 / 31

38 Ejemplo - Ordenación por rango En paralelismo de datos se distribuye el trabajo: Domingo Giménez (Universidad de Murcia) 22 / 31

39 Ejemplo - Ordenación por rango En paralelismo de datos se distribuye el trabajo: En particionado de datos puede ser: Coste distribución de datos mayor: t comu (n, p) = (p 1)(t s + nt w ) Domingo Giménez (Universidad de Murcia) 22 / 31

40 Ejemplo - Ordenación por rango En paralelismo de datos se distribuye el trabajo: En particionado de datos puede ser: Coste distribución de datos mayor: t comu (n, p) = (p 1)(t s + nt w ) Los datos pueden estar inicialmente distribuidos: P i se encarga de calcular los valores de r i : necesita comparar a i con cada a j p pasos. Domingo Giménez (Universidad de Murcia) 22 / 31

41 Ejemplo - Ordenación por rango, con datos distribuidos En cada Pi, i=0,1,...,p-1 for(j=0;j<n/p;j++) b[j]=a[j]; for(j=1;j<=p;j++) { for(k=0;k<n/p;k++) for(l=0;l<n/p;l++) if(a[k]>b[l]) r[k]=r[k]+1; enviar a[0]...a[n/p-1] a P(i-1) mod p; recibir en b[0],...,b[n/p-1] de P(i+1) mod p; } //de for en j Domingo Giménez (Universidad de Murcia) 23 / 31

42 Ejemplo - Ordenación por rango, con datos distribuidos En cada Pi, i=0,1,...,p-1 for(j=0;j<n/p;j++) b[j]=a[j]; for(j=1;j<=p;j++) { for(k=0;k<n/p;k++) for(l=0;l<n/p;l++) if(a[k]>b[l]) r[k]=r[k]+1; enviar a[0]...a[n/p-1] a P(i-1) mod p; recibir en b[0],...,b[n/p-1] de P(i+1) mod p; } //de for en j Puede haber problemas con las comunicaciones? Qué coste tiene? Merece la pena hacerlo en paralelo? Domingo Giménez (Universidad de Murcia) 23 / 31

43 Contenido 1 Esquemas algorítmicos paralelos 2 Paralelismo de datos 3 Particionado de datos 4 Esquemas de descomposición de datos 5 Trabajo adicional Domingo Giménez (Universidad de Murcia) 24 / 31

44 Descomposición de matriz unidimensional en array de procesos índice global tamaño bloque proceso índice local i b = n p i b i mod b P 0 P 1 P 2 índice global índice local Domingo Giménez (Universidad de Murcia) 25 / 31

45 Descomposición de matriz bidimensional en array de procesos Distribución en bloques de filas: índices globales tamaño bloque proceso índices locales (i, j) b = n p filas i b (i mod b, j) Distribución en bloques de columnas: índices globales tamaño bloque proceso índices locales (i, j) b = n p columnas j b (i, j mod b) Domingo Giménez (Universidad de Murcia) 26 / 31

46 Descomposición de matriz bidimensional en malla bidimensional de procesos índices globales tamaño bloque ( proceso ) índices locales (i, j) b x b y = n p x m p y i p x, j p y (i mod b x, j mod b y ) Domingo Giménez (Universidad de Murcia) 27 / 31

47 Distribución cíclica Distribución cíclica (#pragma omp parallel for schedule(static,1)): Distribución cíclica por bloques (#pragma omp parallel for schedule(static,3)): de matriz: Domingo Giménez (Universidad de Murcia) 28 / 31

48 Distribución cíclica por bloques Es general: comprende al resto con los valores correspondientes de tamaños de bloque y de malla de procesos. Tamaño de bloque reducido suele producir mejor balanceo, pero puede producir más comunicaciones necesaria solución de compromiso. Domingo Giménez (Universidad de Murcia) 29 / 31

49 Contenido 1 Esquemas algorítmicos paralelos 2 Paralelismo de datos 3 Particionado de datos 4 Esquemas de descomposición de datos 5 Trabajo adicional Domingo Giménez (Universidad de Murcia) 30 / 31

50 Se pueden consultar las secciones correspondientes y sus ejemplos del capítulo 6 del libro de Introducción a la Programación Paralela. Buscar ejemplos de problemas del Concurso de Programación Paralela susceptibles de ser resueltos con Paralelismo o Particionado de Datos (ver resultados del curso anterior en la presentación del curso). Y pensar cómo podrían implementarse los ejemplos vistos en esta sesión. En las sesiones de prácticas se propondrán problemas para resolverlos con algunos de los paradigmas vistos en teoría. Domingo Giménez (Universidad de Murcia) 31 / 31