MPI Introducción Procesos Envío y recepción simple Envío y recepción no tan simple Comunicación colectiva. Herramientas de depuración y evaluación

Transcripción

1 Tutorial sobre MPI Temario 1 MPI Introducción Procesos Envío y recepción simple Envío y recepción no tan simple Comunicación colectiva Herramientas de depuración y evaluación

2 arqavapar MPI (Introducción) 2 MPI: Message Passing Interface 1994 MPI Forum [Nov/92] Ejecución de aplicaciones paralelas distribuidas en ordenadores heterogéneos MPI-2 maestro Biblioteca mpi.h MPI_Send, MPI_Recv, esclavo1 esclavo2 esclavo3 esclavo M E1 E2 E3 E4 Implementación MPICH LAM/MPI IBM, Cada uno con su dirip

3 arqavapar MPI (Procesos) 3 Creación estática de procesos (según implementación mpirun ) int MPI_Init(... ); /* Inicia MPI */ int MPI_Comm_size(, int *numprocesos); 5 int MPI_Comm_rank(, int *yo); 2 int MPI_Finalize(); >= 0 => MPI_SUCCESS, significado concreto < 0 => un error (... MPI_ERR_ARG...) MPI_COMM_WORLD

4 arqavapar MPI (Procesos) 4 helloworld paralelo #include mpi.h int main (int argc, char *argv[]) { int yo, numprocesos; % mpirun all-local np 5 helloworld } MPI_Init (&argc, &argv); MPI_Comm_size (MPI_COMM_WORLD, &numprocesos); MPI_Comm_rank (MPI_COMM_WORLD, &yo); if (yo == 0) printf ( Creados %d procesos\n, numprocesos); printf ( Hola, soy el proceso %d\n, yo); MPI_Finalize(); % mpirun p4pg helloworld.txt helloworld pc1 2 /home/alumnosarqava/arqava01/p1/helloworld pc2 2 /home/alumnosarqava/arqava01/p1/helloworld pc3 1 /home/alumnosarqava/arqava01/p1/holamundo

5 arqavapar MPI (Envío y Recepción Simple) 5 Enviar y recibir arrays de datos simples (int, byte,...) Bloqueante P1 P2 int vector[n]; MPI_Send (vector, P2,...) int tabla[m]; MPI_Recv (tabla, P1,...) int MPI_Send(void *buffer, int cuantos, MPI_Datatype tipo, int destino, int etiqueta, MPI_Comm grupo) MPI_COMM_WORLD 0..MPI_TAG_UB MPI_INT, MPI_FLOAT,

6 arqavapar MPI (Envío y Recepción Simple) 6 Enviar y recibir arrays de datos simples (int, byte,...) Bloqueante int MPI_Recv(void *buffer,int cuantos, MPI_Datatype tipo, int origen, int etiqueta, MPI_Comm grupo, MPI_Status *estado) MPI_ANY_SOURCE MPI_ANY_TAG estado.mpi_source estado.mpi_tag int MPI_Get_count( MPI_Status *estado, MPI_Datatype tipo, int *cuantos)

7 arqavapar MPI (Envío y Recepción Simple) 7 Ejemplo de uso: psendrec.c #include <stdio.h> #include <unistd.h> #include mpi.h" #define N 3 #define VECES 5 void esclavo(void) {...} void maestro(void) {...} int main( int argc, char *argv[] ) { int yo; MPI_Init (&argc, &argv); MPI_Comm_rank (MPI_COMM_WORLD, &yo); if (yo == 0) maestro(); else esclavo(); MPI_Finalize(); return 0; }

8 arqavapar MPI (Envío y Recepción Simple) 8 Ejemplo de uso: psendrec.c void maestro (void) { int i, j, vector[n]; } for (i=0; i<veces; i++) { printf ("M: envia => "); for (j=0; j<n; j++) { vector[j] = i*n+j; printf("%d ", vector[j]); esclavo } printf ("\n"); MPI_Send (vector, N, MPI_INT, 1, 1, MPI_COMM_WORLD); }

9 arqavapar MPI (Envío y Recepción Simple) 9 Ejemplo de uso: psendrec.c void esclavo(void) { } int i, j,tabla[n], n; MPI_Status estado; maestro sleep(2); for (i=0; i<veces; i++) { MPI_Recv (tabla, N, MPI_INT, 0, 1, MPI_COMM_WORLD, &estado); MPI_Get_count (&estado, MPI_INT, &n); printf ("E: recibe => "); for (j=0; j<n; j++) printf("%d ", tabla[j]); printf (" de tid = %d eti = %d longi = %d\n", estado.mpi_source, estado.mpi_tag, n); }

10 arqavapar MPI (Envío y Recepción No Tan Simple) 10 Enviar y recibir arrays de datos simples No Bloqueante int MPI_Iprobe(int origen, int etiqueta, MPI_Comm grupo, int *haymsj, MPI_Status *estado) NO SI Hacer otras cosas int MPI_Recv(void *buffer, MPI_Status *estado) Enviar y recibir datos no homogéneos Crear tipos => Algo tedioso

11 arqavapar MPI (Comunicación colectiva) 11 Ala Ala cuenta.0 Ala cuenta.1 cuenta.2 cuenta.n int MPI_Bcast(void *buffer, int cuantos, Send+Recv MPI_Datatype tipo, int emisor,? tag MPI_Comm grupo) void maestro () { void esclavo () { char palabra[4]; char texto[4]; MPI_Bcast ( MPI_Bcast ( palabra, 4, MPI_CHAR, texto, 4, MPI_CHAR, 0, MPI_COMM_WORLD); 0, MPI_COMM_WORLD);

12 arqavapar MPI (Comunicación colectiva) 12 Otras llamadas interesantes: int MPI_Scatter(void *vorg, int norg, MPI_Datatype torg, void *vdst, int ndst, MPI_Datatype tdst, int emisor, MPI_Comm grupo); int MPI_Gather(void *vorg, int norg, MPI_Datatype torg, void *vdst, int ndst, MPI_Datatype tdst, int receptor, MPI_Comm grupo); int MPI_Reduce(void *vorg, void *vdst, int norg, MPI_Datatype tdatoorg, int operacion, int receptor, MPI_Comm grupo); int MPI_Barrier(MPI_Comm grupo);

13 arqavapar Herramientas de depuración y monitorización 13 Medición de tiempos de ejecución Depuración Monitorización #include <sys/time.h> struct timeval t0, tf, tiempo; /* Inicialización */ gettimeofday (&t0, NULL); /* ejecucion del programa paralelo */ Evitar E/S gettimeofday (&tf, NULL); timersub (&tf, &t0, &tiempo); printf ( Tiempo => %ld:%ld seg:micro\n, tiempo.tv_sec, tiempo.tv_usec);

14 arqavapar Herramientas de depuración y monitorización 14 maestro %mpirun dbg=ddd np 2 psendrec esclavo printf fflush(stdout) setbuf(stdout, NULL)

15 arqavapar Herramientas de depuración y monitorización 15 Monitorización (totalview) para MPI, openmp, FIN