Programación Paralela: Memoria Distribuida

Transcripción

1 Programación Paralela: Memoria Distriuida MPI: Un caso de estudio Introducción Estas máquinas surgen de forma natural al conectar distintas máquinas en red y ponerlas a cooperar. La red será clave. Arquitectura El esquema general se asa en varios nodos, monoprocesador o multiprocesador, conectados por una red de alto rendimiento. Suele haer una estación de control. Se programan con PVM, MPI, RPC,... Modelos de Programación Paralela Los modelos de programación que se usan actualmente son: Paralelismo de datos: las operaciones son ejecutadas en paralelo sore colecciones de datos estructurados Paso de mensajes: procesos se comunican con otros procesos enviando y reciiendo mensajes Memoria compartida: cada procesador tiene acceso a un conjunto de memoria compartida

2 Modelos de Programación Paralela La mayoría de los esfuerzos en paralelización están dentro de las siguientes categorías: Códigos pueden ser paralelizados usando iliotecas de paso de mensaje tal como MPI. Códigos pueden ser paralelizados usando directivas de compilación tal como OpenMP. Códigos pueden ser escritos en nuevos lenguajes paralelos MPI Es un estándar para paso de mensajes. Pretende que las aplicaciones que se hagan sean portales. No es un nuevo lenguaje, sino una ilioteca que se añaden a lenguajes ya existentes (C, F90). Se puede cominar con threads, MPI multithread, o con otras iliotecas, si están preparadas. Grid: MPICH-G2 MPI Hace más hincapié en el rendimiento, y no en la heterogeneidad o la tolerancia a fallos (MPP). PVM se apoya en la máquina virtual para permitir heterogeneidad y dinámicamente compruea la red. Han añadido aspectos de E/S: MPI-IO (MPI 2) Permite heterogeneidad, como PVM. Aunque está más orientado a un entorno homogéneo. En MPI-2: Estandariza el arranque de las aplicaciones. Quitaa portailidad. Añade aspectos dinámicos, permite arrancar procesos durante la ejecución. Procesos MPI La unidad ásica en MPI son los procesos. Tienen espacios de memoria independientes. Intercamio de información por paso de mensajes. Se introduce el concepto de comunicadores (grupo de procesos más contexto). Cada proceso se le asigna un identificador interno propio de MPI (rank).

3 Comunicadores MPI Comunicador: es una colección de procesos, los cuales se comunican a través del envío y recepción de mensajes. Comunicadores MPI Un comunicador (ásico) está formado por Un grupo de procesos MPI_COMM_WORLD Colección ordenada de procesos Un contexto Ojeto único definido por el sistema Dos comunicadores con el mismo grupo de procesos tienen 5 4 distintos contextos El mensaje reciido por un proceso perteneciente al comunicador dee enviarlo un proceso del mismo comunicador Funciones Básicas Arranque y Parada Arranque y Parada. Envio y Recepción Bloqueantes. Envio y Recepción no Bloqueantes Barrera de sincronización Envio y Recepción múltiple int MPI_Init(int *argc, char **argv); IN argc IN argv int MPI_Finalize(void); int MPI_Comm_size(MPI_Comm comm, int *size); IN comm communicator OUT size numer of tasks in "comm" int MPI_Comm_rank(MPI_Comm comm,int *rank); IN comm communicator OUT rank rank of the calling task

4 Envio y Recepción Bloqueantes int MPI_Send(void* uf, int count, MPI_Datatype datatype,int dest, int tag, MPI_Comm comm) ; IN uf initial address of send uffer IN count numer of entries to send IN datatype datatype of each entry IN dest rank of destination IN tag message tag Envio y Recepción Bloqueantes int MPI_Recv(void* uf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Status *status); OUT uf initial address of receive uff IN count max # of entries to receive IN datatype datatype of each entry IN source rank of source IN tag message tag OUT status return status OBS: MPI_ANY_TAG OBS: MPI_ANY_SOURCE Tipos de datos MPI Tipos de datos MPI ásicos MPI proporciona sus propios tipos de datos que corresponden a los tipos de datos elementales de C. MPI proporciona traducción automática entre diferentes representaciones en un entorno heterogéneo. Como regla general, el tipo de datos MPI de un receive dee coincidir con el tipo de datos MPI del send correspondiente. Adicionalmente, MPI te permite definir tipos de datos aritrarios construidos a partir de tipos de datos ásicos. MPI Datatype MPI_CHAR MPI_SHORT MPI_INT MPI_LONG MPI_UNSIGNED_CHAR C Type signed char signed short int signed int signed long int unsigned char MPI_UNSIGNED_SHORT unsigned short int

5 Basic MPI Data Types MPI Datatype C Type MPI_UNSIGNED unsigned int MPI_UNSIGNED_LONG unsigned long int MPI_FLOAT float MPI_DOUBLE doule MPI_LONG_DOUBLE long doule MPI_BYTE (none) Comodines Te permiten no especificar necesariamente una etiqueta o una fuente Ejemplo: error = MPI_Recv(&uffer, 5, MPI_INTEGER, MPI_ANY_SOURCE, MPI_ANY_TAG, MPI_COMM_WORLD, &status); MPI_ANY_SOURCE and MPI_ANY_TAG son comodines MPI_PACKED (none) Envio y Recepción No Bloqueantes int MPI_Isend(void* uf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request); IN uf initial address of send uffer IN count numer of entries to send IN datatype datatype of each entry IN dest rank of destination IN tag message tag OUT request request handle Envio y Recepción No Bloqueantes int MPI_Irecv(void* uf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Request*request) OUT uf initial address of receive uff IN count max # of entries to receive IN datatype datatype of each entry IN source rank of source IN tag message tag OUT request request handle

6 Envio y Recepción No Bloqueantes int MPI_Wait(MPI_Request *request, MPI_Status * status); INOUT request request handle OUT status status oject int MPI_Test(MPI_Request *request, int *flag, MPI_Status *status); INOUT request request handle OUT flag true if operation completed OUT status status oject int MPI_Request_free(MPI_Request *request) ; INOUT request request handle MPI_Barrier(MPI_Comm comm) Envio y Recepción Múltiples Broadcast: Envio de datos a todos los nodos. MPI_Bcast(void* uffer, int count, MPI_Datatype datatype, int root, MPI_Comm comm ) Recolección de resultados: Todos los nodos mandan resultado al root. MPI_Gather(void* senduf, int sendcount, MPI_Datatype sendtype, void* recvuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm) MPI_Gatherv(void* senduf, int sendcount, MPI_Datatype sendtype, void* recvuf, int *recvcounts, int *displs, MPI_Datatype recvtype, int root, MPI_Comm comm) Envio y Recepción Múltiples Envio y Recepción Múltiples Envio múltiple: Cada nodo recie parte de los datos MPI_Scatter(void* senduf, int sendcount, MPI_Datatype sendtype, void* recvuf, int recvcount, MPI_Datatype recvtype,int root, MPI_Comm comm) MPI_Scatterv(void* senduf, int *sendcounts, int *displs, MPI_Datatype sendtype, void* recvuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm) Recolección de resultados. Todos los nodos recien todos los datos. MPI_Allgather(void* senduf, int sendcount, MPI_Datatype sendtype, void* recvuf, int recvcount, MPI_Datatype recvtype, MPI_Comm comm) MPI_Allgatherv(void* senduf, int sendcount, MPI_Datatype sendtype, void* recvuf, int *recvcounts, int *displs, MPI_Datatype recvtype, MPI_Comm comm)

7 Comunicaciones Colectivas Comunicaciones Colectivas 0 1* 2 3 Function Used 0 1* 2 3 a c d MPI_Gathe r a,,c,d a c d MPI_Allgat her a,,c,d a,,c,d a,,c,d a,,c,d a,,c,d MPI_Scatte r a c d a,,c,d e,f,g,h i,j,k,l m,n,o,p MPI_Alltoa ll a,e, i,m,f, j,n c,g, k,o d,h, l,p MPI_Bcast Send Send Send Send Receive Receive Receive Receive Esquema de un proceso MPI #include mpi.h /* Definición de funciones MPI */ main(int argc, char,**argv) { int nproc, rank; MPI_Init(&argc,&argv); /* MPI_COMM_WORLD: Comunicador */ MPI_Comm_size(MPI_COMM_WORLD, &nproc); MPI_Comm_Rank(MPI_COMM_WORLD, &rank); /* cuerpo de programa */ MPI_Finalize(); } Ejemplo: Hello World! #include <stdio.h> #include "mpi.h" int main(int argc, char **argv) { int rank; char msg[20]; MPI_Status status;... MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &rank);

8 Ejemplo: Hello World! Compilación de MPI if (rank==0) { printf ("I am master. Sending the message.\n\n"); strcpy(msg,"hello World!"); MPI_Send(msg, 13, MPI_CHAR, 1, 100, MPI_COMM_WORLD); } else { printf ("I am slave. Receiving the message.\n"); MPI_Recv(msg, 13, MPI_CHAR, 0, 100, MPI_COMM_WORLD, &status); printf ("The message is: %s\n", msg); } mpicc <fichero fuente mpi> <flags> -o <nomre ejecutale> Ejemplo: >mpicc holamundo.c o holamundo } MPI_Finalize(); Ejecución de MPI Esquema maestro/esclavo lamoot v <fichero nodos> mpirun -np <numero de procesos> <nomre programa y argumentos> Ejemplo: > lamoot v hostfile >mpirun np 4 holamundo #include mpi.h main(int argc, char,**argv) { int nproc, rank; MPI_Init(&argc,&argv); MPI_Comm_size(MPI_COMM_WORLD, &nproc); MPI_Comm_Rank(MPI_COMM_WORLD, &rank); if (rank ==0) master( ); else slave( ); MPI_Finalize(); }

9 Ejemplo Todos los nodos envían un mensaje al siguiente y esperan que le vuelva. Reenvían los mensajes que le llegan a su vecino. Recursos MPI Implementaciones Open source MPICH LAM Liros Using MPI William Gropp, Ewing Lusk, Anthony Skjellum Using MPI-2 William Gropp, Ewing Lusk, Rajeev Thakur