Paralelización de Programas Secuenciales: OpenMP

Transcripción

1 Paralelización de Programas Secuenciales: OpenMP Manuel Arenaz

2 Índice Introducción a la programación paralela Programación con OpenMP Directivas de compilación Librería de funciones Variables de entorno

3 3 Paralelización de Programas Secuenciales: OpenMP Qué es la Programación Paralela? Computador estándar secuencial: Ejecuta las instrucciones de un programa en orden para producir un resultado Idea de la computación paralela: Producir el mismo resultado utilizando múltiples procesadores Objetivos: Reducir el tiempo de ejecución Reducir los requerimientos de memoria Manuel Arenaz, 2006 Introducción a la programación paralela

4 4 Paralelización de Programas Secuenciales: OpenMP Tipos de arquitecturas paralelas Memoria distribuida Memoria compartida UMA Memoria compartida NUMA IBM SP2, Clusters PCs,... Modelo de Programacion: Paso de mensajes Sun HPC, IBM SMP,... SGI Origin 2000 Modelo de Programacion: Memoria Compartida Manuel Arenaz, 2006 Introducción a la programación paralela

5 5 Paralelización de Programas Secuenciales: OpenMP Modelos de Programación Paso de mensajes (e.g. PVM, unix sockets): Espacio de direcciones local (i.e. accesible sólo por un procesador) Intercambio de información y sincronización mediante mensajes Memoria compartida (e.g. OpenMP, threads): Espacio de direcciones global (i.e. accesible por todos los procesadores) Intercambio de información y sincronización mediante variables compartidas Manuel Arenaz, 2006 Introducción a la programación paralela

6 6 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI /* Cálculo del contadori */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Manuel Arenaz, 2006 Inicializacion(&mytid,&li,&ls) /* Cálculo del contador local */ cont=0 do i=li,ls x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo del contador global */ calculo_cont_global(&contglobal) /* Cáculo de PI */ if( mytid=0 ) pi=4*contglobal/n Inicializacion(&mytid,&li,&ls) { if( pvm_parent() = -1 ) pvm_spawn(prog,...,p,tids) mytid=pvn_mytid() li=mytid*n/p ls=(mytid+1)*n/p } calculo_cont_global(&contglobal) { if( mytid=0 ) do proc=1,p-1 pvm_recv(-1,tag) pvm_upkint(&cont,1,1) cont_global += cont enddo else pvm_initsend(pvmdatadefault) pvm_pkint(&cont,1,1) pvm_send(pvm_parent(),tag) endif } Introducción a la programación paralela

7 Índice Introducción a la programación paralela Programación con OpenMP Directivas de programación Librería de funciones Variables de entorno

8 8 Paralelización de Programas Secuenciales: OpenMP OpenMP es una colección de directivas, librerías y variables de entorno Qué es OpenMP? Modelo portable de programación paralela Los programas se descomponen en varios threads que comparten datos Intercambio de información y sincronización mediante lectura/escritura de variables compartidas entre los threads

9 9 Paralelización de Programas Secuenciales: OpenMP Qué es OpenMP? Fuente: Culler, D.E. y Singh J.P.. Parallel Computer Architecture: A Hardware/Software Approach. Morgan Kaufmann Pub., 1999.

10 10 Paralelización de Programas Secuenciales: OpenMP Qué es OpenMP? Paralelización con librería de funciones: El programador tiene que tener en cuenta todos los detalles de sincronización Modifica el código original Ventajas: Flexibilidad, eficiencia Paralelización con directivas: El programador añade directivas de compilación El compilador traduce las directivas en llamadas a la librería de funciones No modifica el código original Ventajas: Sencillez, rapidez de desarrollo Manuel Arenaz, 2006 Programación con OpenMP

11 11 Paralelización de Programas Secuenciales: OpenMP Qué es OpenMP?

12 13 Paralelización de Programas Secuenciales: OpenMP Directiva de Creación/Destrucción de Threads (1/4) Define una región paralela, i.e. un bloque de código ejecutado en paralelo por varios threads Clásulas: DEFAULT PRIVATE SHARED FIRSTPRIVATE REDUCTION!$omp parallel [cláusulas]...código estructurado...!$omp end parallel #pragma omp parallel [cláusulas] {...código estructurado... }

13 14 Paralelización de Programas Secuenciales: OpenMP Directiva de Creación/Destrucción de Threads (2/4) Si un thread encuentra PARALLEL: Crea un equipo de threads (número determinado por variables de entorno o llamadas a la librería) Se convierte en el maestro del equipo La directiva END PARALLEL indica el fin de la región paralela Sólo continúa el thread maestro Barrera de sincronización implícita

14 15 Paralelización de Programas Secuenciales: OpenMP Directiva de Creación/Destrucción de Threads (3/4) Si un thread de un equipo ejecutando una región paralela encuentra otra PARALLEL: crea un nuevo equipo se convierte en el maestro del nuevo equipo Por defecto, las regiones paralelas anidadas se serializan, i.e. el nuevo equipo está formado por 1 thread. Solución: variables de entorno y librería. Thread maestro Creación de 4 threads!! Creación de 3 threads por cada thread de nivel superior!!

15 16 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI Versión secuencial /* Cálculo del contadori */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Manuel Arenaz, 2006 Versión OpenMP /* Cálculo del contadori */ cont=0!$omp PARALLEL do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo!$omp END PARALLEL /* Cálculo de PI */ pi=4*cont/n Problemas: Replicación de cálculos Race conditions (i.e. problemas de lecturas y escrituras sobre variables compartidas) Programación con OpenMP

16 17 Paralelización de Programas Secuenciales: OpenMP Directivas de Reparto de Trabajo entre Threads (1/6) Dividen la ejecución de un bloque de código entre los miembros del equipo de threads que la encuentran Estas directivas deben ser encontradas por todos los miembros del equipo o por ninguno Deben estar dentro de una región paralela para que se ejecute en paralelo No lanzan nuevos threads No hay una barrera implícita en la entrada Hay una barrera implícita a la salida (excpt. nowait)

17 19 Paralelización de Programas Secuenciales: OpenMP Directivas de Reparto de Trabajo entre Threads (3/6) Ejecución de las iteraciones del bucle en paralelo Reparto de iteraciones del bucle Existe una barrera implícita al final (excepción NOWAIT) Clásulas: PRIVATE FIRSTPRIVATE LASTPRIVATE REDUCTION SCHEDULE!$omp do [cláusulas]...bucle...!$omp end do [nowait] #pragma omp for [cláusulas] {...bucle... }

18 20 Paralelización de Programas Secuenciales: OpenMP Directivas de Reparto de Trabajo entre Threads (4/6) Ejecución de una sección de código por un único thread Los otros threads no ejecutan ese código Barrera implícita al final (excepción NOWAIT). Cláusulas: PRIVATE FIRSTPRIVATE!$omp single [cláusulas]...código estrucutrado...!$omp end single [nowait] #pragma omp single [cláusulas] {...código estructurado... }

19 22 Paralelización de Programas Secuenciales: OpenMP Directivas de Reparto de Trabajo entre Threads (6/6)!$OMP PARALLEL!$OMP DO do I = 1, n-1 b(i) = (a(i) + a(i+1))/2 enddo!$omp END DO!$OMP DO do I = 1,n d(i) = 1.0/c(i) enddo!$omp END DO!$OMP END PARALLEL Primer bucle!! Barrera implícita!! Segundo bucle!! Thread maestro b(1:10) d(1:90) b(11:100) d(91:170) b(111:110) d(170:250) Tiempos de espera debidos a la barrera implícita!! b(111:n-1) d(170:n) No hay dependencias entre los bucles (bucles DO independientes) Usar NOWAIT para eliminar esperas innecesarias

20 23 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI Versión secuencial /* Cálculo del contadori */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Manuel Arenaz, 2006 Versión OpenMP /* Cálculo del contadori */ cont=0!$omp PARALLEL!$OMP DO do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo!$omp ENDDO!$OMP END PARALLEL /* Cálculo de PI */ pi=4*cont/n Problemas: Replicación de cálculos Race conditions (i.e. problemas de lecturas y escrituras sobre variables compartidas) Programación con OpenMP

21 24 Paralelización de Programas Secuenciales: OpenMP Problema Race Conditions Valor de x cuando finaliza la ejecución del programa paralelo? int x=0; void p1 () { x = x + 1; } void p2 () { x = x + 2; } Manuel Arenaz, 2006 Programación con OpenMP

22 27 Paralelización de Programas Secuenciales: OpenMP Problema Race Conditions Valor de x cuando finaliza la ejecución del programa paralelo? P1 finaliza primero x tomará el valor 3. P2 finaliza primero x tomará el valor 3. P1 y P2 leen el valor inicial de x P1 modifica x antes que P2. x tomará el valor 2. P2 modifica x antes que P1. x tomará el valor 1. int x=0; void p1 () { x = x + 1; } void p2 () { x = x + 2; } p1 x = x + 1; sync; p2 sync; x = x + 2; Manuel Arenaz, 2006 Programación con OpenMP

23 28 Paralelización de Programas Secuenciales: OpenMP Directivas de Sincronización de Threads (1/4) Implementa una sección crítica: Todos los threads ejecutan el bloque pero sólo un thread al mismo tiempo tiene acceso al código Serialización de la ejecución de los threads!$omp critical [(name)]...código estrucutrado...!$omp end critical [(name)] #pragma omp critical [(name)] {...código estructurado... }

24 30 Paralelización de Programas Secuenciales: OpenMP Directivas de Sincronización de Threads (3/4) Sincroniza a todos los threads de un grupo. Espera hasta que todos los threads han alcanzado este punto del programa...código estructurado...!$omp barrier...código estructurado......código estructurado... #pragma omp barrier...código estructurado...

25 31 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI Versión secuencial /* Cálculo del contadori */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Versión OpenMP /* Cálculo del contadori */ cont=0!$omp PARALLEL!$OMP DO do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 )!$OMP CRITICAL(SC1) cont++!$omp END CRITICAL(SC1) enddo!$omp ENDDO!$OMP END PARALLEL /* Cálculo de PI */ pi=4*cont/n Problemas: Replicación de cálculos Race conditions: Variable compartida x Variable compartida y Variable compartida cont Manuel Arenaz, 2006 Programación con OpenMP

26 32 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (1/10) Problema: Race conditions en el acceso a posiciones de memoria compartidas cuando alguno de los procesadores realiza una operación de escritura Soluciones: Mecanismos de sincronización Alto coste computacional Mecanismos de privatización

27 33 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (2/10) Mecanismo de privatización: Una variable (escalar o array) es privada respecto a cada una de las iteraciones de un bucle si: El valor asignado en una iteración no se utiliza en ninguna otra iteración del bucle En principio sólo existen durante la ejecución del bucle (e.g., variable temporal)

28 34 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (3/10) DEFAULT(PRIVATE SHARED NONE) Todas las variables dentro de la región paralela son declaradas como PRIVADAS, COMPARTIDAS o SIN DEFINIR Por defecto, todas son SHARED excepto los índices de bucle PRIVATE(v 1,...,v n ) Cada thread tiene una copia privada de las variables. Las variables no están definidas ni al entrar ni al salir. SHARED(v 1,...,v n ) Todos los threads comparten una única copia de la variable. Puede accederse a la variable concurrentemente Problemas de race conditions

29 35 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI Versión secuencial /* Cálculo del contadori */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Versión OpenMP /* Cálculo del contadori */ cont=0!$omp PARALLEL!$OMP&PRIVATE(x,y)!$OMP DO do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 )!$OMP CRITICAL(SC1) cont++!$omp END CRITICAL(SC1) enddo!$omp ENDDO!$OMP END PARALLEL /* Cálculo de PI */ pi=4*cont/n Problemas: Replicación de cálculos Race conditions: Variable compartida x Variable compartida y Variable compartida cont Manuel Arenaz, 2006 Programación con OpenMP

30 36 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (4/10)!$OMP PARALLEL!$OMP DO DO I=1,1000 A(I)=B(I) END DO!$OMP END DO!$OMP END PARALLEL DO I=1,500 A(I)=B(I) END DO DO I=501,1000 A(I)=B(I) END DO Thread 1 Thread 2 Los arrays A y B están compartidas No hay race conditions porque en cada iteración se accede a elementos diferentes del array El escalar I es privado y cogerá un valor inicial y final dependiendo del número de threads

31 37 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (7/10) REDUCTION( operador intrínseca : v 1,...,v n ): Indica una operación de reducción sobre las variables de la lista, que deben ser escalares declarados como SHARED Operador: +, *, -,.AND.,.OR.,.EQV., o.neqv. Intrínseca: MAX, MIN, IAND, IOR o IEOR La variable de reducción se usa en sentencias de la forma: x = x operador expr x = expr operador x (excepto resta) x = intrínseca (x,expr) x = intrínseca (expr,x) donde expr no contiene referencias del escalar x.

32 38 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI Versión secuencial /* Cálculo del contadori */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Versión OpenMP /* Cálculo del contadori */ cont=0!$omp PARALLEL!$OMP&PRIVATE(x,y)!$OMP&SHARED(cont)!$OMP DO REDUCTION(+:cont) do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo!$omp ENDDO!$OMP END PARALLEL /* Cálculo de PI */ pi=4*cont/n Problemas: Replicación de cálculos Race conditions: Variable compartida x Variable compartida y Variable compartida cont Manuel Arenaz, 2006 Programación con OpenMP

33 39 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (5/10) FIRSTPRIVATE(v 1,...,v n ): Las variables de la lista son privatizadas e inicializadas a sus valores previos a la ejecución del bucle. LASTPRIVATE(v 1,...,v n ): Al finalizar la ejecución paralela del bucle, se asigna a la variable el valor correspondiente al procesador que ejecutó la última iteración del bucle secuencial.

34 40 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (6/10) Warning: Puede producir resultados diferentes a la ejecución secuencial!$omp PARALLEL!$OMP DO!$OMP& LASTPRIVATE(I)!$OMP& LASTPRIVATE(X) DO I=1,N IF(...) THEN X=... END IF END DO!$OMP END DO!$OMP END PARALLEL DO PRINT*,I,X El procesador que realiza la última iteración no tiene porque coincidir con el que contiene el último valor actualizado de X!! Por defecto, las variables privadas no existen al terminar la ejecución del bucle, por lo que no conservan su valor!!

35 41 Paralelización de Programas Secuenciales: OpenMP Cláusulas Principales OpenMP (10/10) SCHEDULE(STATIC, chunk): Reparte un subconjunto de iteraciones en cada thread de modo circular El tamaño del subconjunto viene dado por chunk (chunk=1 reparto de trabajo cíclico) Si no se especifica ningún valor de chunk reparte las iteraciones uniformemente entre los procesadores por bloques (raparto de trabajo por bloques)

36 42 Paralelización de Programas Secuenciales: OpenMP Ejemplo: Cálculo PI Versión secuencial /* Cálculo del contador */ cont=0 do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo /* Cálculo de PI */ pi=4*cont/n Versión OpenMP /* Cálculo del contador */ cont=0!$omp PARALLEL!$OMP&PRIVATE(x,y)!$OMP&SHARED(cont)!$OMP DO REDUCTION(+:cont)!$OMP&SCHEDULE(STATIC,1) do i=1,n x=aleatorio() y=aleatorio() if( x 2 +y 2 1 ) cont++ enddo!$omp ENDDO!$OMP END PARALLEL /* Cálculo de PI */ pi=4*cont/n Problemas: Replicación de cálculos Race conditions: Variable compartida x Variable compartida y Variable compartida cont Manuel Arenaz, 2006 Programación con OpenMP

37 43 Paralelización de Programas Secuenciales: OpenMP Variables de entorno de OpenMP OMP_NUM_THREADS Especifica el número de threads a usar en una región paralela (el valor por defecto depende de la implementación). Si el ajuste dinámico del número de threads está habilitado, el valor de esta variable especifica el número máximo de threads a usar. OMP_NESTED Habilita o deshabilita el anidamiento de paralelismo (el valor por defecto es.false.). $ export OMP_NESTED=TRUE

38 44 Paralelización de Programas Secuenciales: OpenMP Variables de entorno de OpenMP OMP_DYNAMIC Habilita o deshabilita el ajuste dinámico del número de threads (el valor por defecto depende de la implementación). $ export OMP_DYNAMIC=TRUE

39 45 Paralelización de Programas Secuenciales: OpenMP Librería OpenMP (1/4) subroutine OMP_SET_NUM_THREADS(integer) Especifica el número de threads a usar con la siguiente región paralela. Tiene que ser llamada desde una región secuencial del programa. Cuando se utiliza el ajuste dinámico de threads esta subrutina establece el número máximo de threads. integer function OMP_GET_NUM_THREADS( ) Devuelve el número de threads que están ejecutando una región paralela. integer function OMP_GET_MAX_THREADS( ) Devuelve el número máximo de threads que puede ser devuelto por llamadas a la función OMP_GET_NUM_THREADS(). integer function OMP_GET_THREADS_NUM() integer function OMP_GET_THREADS_NUM() Devuelve el número del thread dentro del equipo (valor entre 0 y OMP_GET_NUM_THREADS( ) -1)

40 46 Paralelización de Programas Secuenciales: OpenMP Librería OpenMP (2/4) integer function OMP_GET_NUM_PROCS( ) Devuelve el número de procesadores disponibles logical function OMP_IN_PARALLEL( ) Devuelve.TRUE. si es llamada desde una región ejecutándose en paralelo y.false. en caso contrario!$omp PARALLEL DEFAULT(PRIVATE), SHARED(X,NPOINTS) IAM = OMP_GET_THREAD_NUM( ) NP = OMP_GET_NUM_THREADS( ) IPOINTS = NPOINTS/NP CALL SUBDOMAIN(X,IAM,IPOINTS)!$OMP END PARALLEL

41 47 Paralelización de Programas Secuenciales: OpenMP Librería OpenMP (3/4) subroutine OMP_SET_DYNAMIC(logical) Habilita o deshabilita el ajuste dinámico del número de threads disponible en las regiones paralelas (el valor por defecto depende de la implementación). Si está habilitada, el número de threads especificado por el usuario (a través de la función o la variable de entorno) pasa a ser un límite máximo. El número de threads siempre permanece constante dentro de cada región paralela y su número viene dado por la función OMP_GET_NUM_THREADS( ). La función tiene prioridad sobre la variable de entorno OMP_DYNAMIC logical function OMP_GET_DYNAMIC( ) Devuelve.TRUE. si el ajuste dinámico del número de threads está habilitado y.false. en otro caso.

42 48 Paralelización de Programas Secuenciales: OpenMP Librería OpenMP (4/4) subroutine OMP_SET_NESTED(logical) Habilita o deshabilita el anidamiento de paralelismo. Tiene prioridad sobre la variable de entorno OMP_NESTED El número de threads usado para ejecutar una región paralela anidada depende de la implementación (pudiendo ser 1). logical function OMP_GET_NESTED( ) Devuelve.TRUE. si el anidamiento de paralelismo está habilitado y.false. en otro caso.

43

44

45

46

47

48