Procesamiento Paralelo

Transcripción

1 Procesamiento Paralelo Introducción a MPI Javier Iparraguirre Universidad Tecnológica Nacional, Facultad Regional Bahía Blanca 11 de Abril 461, Bahía Blanca, Argentina [email protected] 8 de junio de 2016

2 Que es MPI?

3 Generalidades MPI = Message Passing Interface MPI es una de las APIs más antiguas Muy usada y portable Demanda poco desde el punto de vista del hardware Paralelización explícita

4 Modelo de programación

5 Historia 1994: MPI : MPI : MPI-3.0 fue aprobado como estándar

6 Modos de funcionamiento

7 Modos de funcionamiento Asincrónico Comportamiento no-determinístico Sincronización suelta Hay sincronización para realizar intercambio Es viable una secuencia lógica SPMD Single Program Multiple Data El mismo programa corre en todos los nodos Simple de escalar Puede haber sincronización suelta o completamente sincrónico

8 Bloqueo sin buffer

9 Bloqueo con buffer

10 Sin bloqueo sin buffer

11 Cuadro de protocolos

12 Programando

13 Hola Mundo! # i n c l u d e < s t d i o. h> # i n c l u d e " mpi. h " i n t main ( argc, argv ) i n t argc ; char argv ; { i n t rank, size ; M P I_Init ( &argc, &argv ) ; MPI_Comm_size ( MPI_COMM_WORLD, & s i z e ) ; MPI_Comm_rank ( MPI_COMM_WORLD, &rank ) ; p r i n t f ( " Hello world from process %d of %d \ n ", rank, size ) ; MPI_Finalize ( ) ; r e t u r n 0; }

14 Salida Hello world from process 0 of 4 Hello world from process 2 of 4 Hello world from process 3 of 4 Hello world from process 1 of 4

15 Funciones 125 funciones 6 son las mas usadas

16 Comunicaciones MPI

17 Tipos de datos

18 Ejemplos

19 Ejemplo 1 # i n c l u d e < s t d i o. h> # i n c l u d e " mpi. h " i n t main ( argc, argv ) i n t argc ; char argv ; { i n t rank, s ize ; M P I_Init ( &argc, &argv ) ; MPI_Comm_size ( MPI_COMM_WORLD, & s i z e ) ; MPI_Comm_rank ( MPI_COMM_WORLD, &rank ) ; p r i n t f ( " Hello world from process %d of %d \ n ", rank, size ) ; MPI_Finalize ( ) ; r e t u r n 0; }

20 Salida ejemplo 1 % mpicc o h e l l o w o r l d h e l l o w o r l d. c % mpirun np 4 h e l l o w o r l d Hello world from process 0 of 4 Hello world from process 3 of 4 Hello world from process 1 of 4 Hello world from process 2 of 4 %

21 Ejemplo 2 # include <stdio. h> # i n c l u d e " mpi. h " i n t main ( argc, argv ) i n t argc ; char argv ; { i n t rank, value ; MPI_Init ( &argc, &argv ) ; MPI_Comm_rank ( MPI_COMM_WORLD, &rank ) ; do { i f ( rank == 0) scanf ( " %d ", &value ) ; MPI_Bcast ( &value, 1, MPI_INT, 0, MPI_COMM_WORLD ) ; p r i n t f ( " Process %d got %d \ n ", rank, value ) ; } while ( value >= 0 ) ; } MPI_Finalize ( ) ; r e t u r n 0;

22 Salida ejemplo 2 % mpicc o bcast bcast. c % mpirun np 4 bcast 10 Process 0 got Process 0 got 22 1 Process 0 got 1 Process 1 got 10 Process 1 got 22 Process 1 got 1 Process 2 got 10 Process 2 got 22 Process 2 got 1 Process 3 got 10 Process 3 got 22 Process 3 got 1

23 Ejemplo 3 # include <stdio. h> # i n c l u d e " mpi. h " i n t main ( argc, argv ) i n t argc ; char argv ; { i n t rank, value, size ; MPI_Status status ; MPI_Init ( &argc, &argv ) ; MPI_Comm_rank ( MPI_COMM_WORLD, &rank ) ; MPI_Comm_size ( MPI_COMM_WORLD, &size ) ; do { i f ( rank == 0) { scanf ( " %d ", &value ) ; MPI_Send ( &value, 1, MPI_INT, rank + 1, 0, MPI_COMM_WORLD ) ; } else { MPI_Recv ( &value, 1, MPI_INT, rank 1, 0, MPI_COMM_WORLD, &s t a t u s ) ; i f ( rank < s ize 1) MPI_Send ( &value, 1, MPI_INT, rank + 1, 0, MPI_COMM_WORLD ) ; } p r i n t f ( " Process %d got %d \ n ", rank, value ) ; } while ( value >= 0 ) ; } MPI_Finalize ( ) ; r e t u r n 0;

24 Salida ejemplo 3 % mpicc o r i n g r i n g. c % mpirun np 4 ring 10 Process 0 got Process 0 got 22 1 Process 0 got 1 Process 3 got 10 Process 3 got 22 Process 3 got 1 Process 2 got 10 Process 2 got 22 Process 2 got 1 Process 1 got 10 Process 1 got 22 Process 1 got 1 %

25 Instalando en máquina personal

26 OpenMPI en Ubuntu aptitude install openmpi-bin openmpi-doc libopenmpi-dev

27 Compilando mpicc o b i n a r i o 01 example. c

28 Ejecutando mpirun np 8 b i n a r i o

29 Ejecutando en un cluster

30 Cluster remoto Se dispone de un cluster remoto. Se define la lista de nodos en un archivo (my_hostfile)

31 Corriendo remoto: lista archivos compile. sh main. c m y _ h o s t f i l e run. sh

32 Corriendo remoto: fuente # i n c l u d e <mpi. h> # i n c l u d e < s t d i o. h> i n t main ( i n t argc, char argv [ ] ) { i n t myrank, s ize ; M P I_Init (& argc, &argv ) ; MPI_Comm_rank (MPI_COMM_WORLD, &myrank ) ; MPI_Comm_size (MPI_COMM_WORLD, & s i z e ) ; p r i n t f ( " Hola desde e l proceso %d de %d \ n ", myrank, s ize ) ; MPI_Finalize ( ) ; r e t u r n 0; }

33 Corriendo remoto: compilando mpicc o b i n a r i o main. c

34 Corriendo remoto: nodos en my_hostfile c5n04 s l o t s =2 c5n05 s l o t s =2 c5n06 s l o t s =2 c5n07 s l o t s =2 c5n08 s l o t s =2

35 Corriendo remoto: ejecutando mpirun h o s t f i l e m y _ h o s t f i l e np 4 b i n a r i o

36 Corriendo remoto: salida Hola desde e l proceso 0 de 4 Hola desde e l proceso 1 de 4 Hola desde e l proceso 2 de 4 Hola desde e l proceso 3 de 4

37 Muchas gracias! Preguntas?

38 Referencias G. Ananth, G. Anshul, K. George, and K. Vipin. Introduction to parallel computing, MPI Tutorial, Blaise Barney, Lawrence Livermore National Laboratory ANL MPI Tutotial http: //