Comunicaciones Escalables en Memoria Compartida para Paso de Mensajes en Java

Transcripción

1 Comunicaciones Escalables en Memoria Compartida para Paso de Mensajes en Java Sabela Ramos*, Guillermo L. Taboada, Juan Touriño, Ramón Doallo Grupo de Arquitectura de Computadores, Universidade de A Coruña (España) {sramos,taboada,juan,doallo}@udc.es XXI Jornadas de Paralelismo (JP2011), La Laguna

2 Outline 1 Introducción Java para HPC 2 F-MPJ: Fast MPJ Detalles de Implementación 3 Configuración Experimental Micro-Benchmark de Primitivas MPJ 4

3 Java para HPC Java para HPC Características: Built-in networking Built-in multi-threading Portable, independiente de la plataforma Orientado a Objetos Ampliamente extendido Programación Paralela en Java: Threads en Memoria Compartida Java Sockets Java RMI Message-Passing in Java (MPJ)

4 Java para HPC Programación en Memoria Compartida Lenguajes Compilados (C/Fortran): MPICH2: ssm, shm, sshm. MPICH2: Nemesis. POSIX threads OpenMP Java: Java Threads Framework de Concurrencia (ThreadPools, Tasks...) Parallel Java (PJ) Java OpenMP (JOMP and JaMP)

5 Paso de Mensajes en Java Java para HPC El Paso de Mensajes es el principal modelo de programación HPC. Aproximaciones de Implementación RMI. Wrapper a una biblioteca nativa vía JNI. (e.g., bibliotecas MPI: OpenMPI, MPICH). Sockets. APIs implementadas: PVM-like. mpijava. MPJ. Otras.

6 Java para HPC Pure Java Impl. Socket impl. Java IO Java NIO Communication support Myrinet InfiniBand Shared Memory mpijava 1.2 API JGF MPJ Other APIs MPJava Jcluster Parallel Java mpijava P2P-MPI MPJ Express MPJ/Ibis JMPI F-MPJ

7 F-MPJ: Fast MPJ Detalles de Implementación Dispositivos de Comunicación en F-MPJ MPJ Applications F MPJ Library device layer omxdev ibvdev niodev/iodev smpdev JVM JNI Java Sockets Java Threads native comms Open MX IBV TCP/IP Myrinet/Ethernet InfiniBand Ethernet Shared Memory

8 F-MPJ: Fast MPJ Detalles de Implementación xxdev API. Interfaz pública de la clase xxdev.device public abstract class Device { s t a t i c public Device newinstance ( S t r i n g deviceimpl ) ; public i n t [ ] i n i t ( S t r i n g [ ] args ) ; public i n t i d ( ) ; public void f i n i s h ( ) ; public Request isend ( Object buf, i n t dst, i n t tag ) ; public Request i r e c v ( Object buf, i n t src, i n t tag, Status s t t s ) ; public void send ( Object buf, i n t dst, i n t tag ) ; public Status recv ( Object buf, i n t src, i n t tag ) ; public Request issend ( Object buf, i n t dst, i n t tag ) ; public void ssend ( Object buf, i n t dst, i n t tag ) ; public Status iprobe ( i n t src, i n t tag, i n t context ) ; public Status probe ( i n t src, i n t tag, i n t context ) ; public Request peek ( ) ; }

9 Optimización del Rendimiento: F-MPJ: Fast MPJ Detalles de Implementación No hay capa de buffering para tipos primitivos. Biblioteca de algoritmos multi-core aware para operaciones colectivas. Selección del algoritmo en función del tamaño de mensaje y el número de procesos.

10 F-MPJ: Fast MPJ Detalles de Implementación Algoritmos Multi-core Aware para Operaciones Colectivas: Operación Barrier Bcast Scatter/v Gather/v Allgather/v Alltoall/v Reduce Allreduce Reduce-scatter Scan Algoritmos BT, Gather+Bcast, BTe, Gather+Bcast Optimized MST, NBFT, BFT MST, NBFT MST, NBFT, NB1FT, BFT NBFT, NBBDE, BBKT, NBBKT, BTe, Gather + Bcast NBFT, NB1FT, NB2FT, BFT MST, NBFT, BFT NBFT, BBDE, NBBDE, BTe, Reduce + Bcast BBDE, NBBDE, BBKT, NBBKT, Reduce + Scatter NBFT, OneToOne BT: Binomial Tree. MST: Minimun-Spanning Tree. FT: Flat Tree. BDE: BiDirectional Exchange. BKT: BucKeT. *e: extended. NB*: Non-Blocking. B*:Blocking.

11 Cargadores de Clase F-MPJ: Fast MPJ Detalles de Implementación Cargador de Clase Propio Espacios de nombres aislados para cada thread en las capas superiores. Variables estáticas privadas. Abstracción de procesos sobre threads. Un Cargador de Clase a medida para cada thread. La JVM identifica cada clase cargada por su nombre cualificado completo y el cargador de clase. Grupo de clases compartidas para la comunicación entre threads. Transferencias a través de memoria compartida.

12 Colas de Mensajes F-MPJ: Fast MPJ Detalles de Implementación Send (data) Recv (data) 6 Thread 0 data UnexpectedRecvQueue UnexpectedRecvQueue id data? 4 id Thread 1 1 id data PostedRecvQueue 5 3 PostedRecvQueue X? 2

13 Colas de Mensajes F-MPJ: Fast MPJ Detalles de Implementación Send (data) Recv (data) Thread 0 data UnexpectedRecvQueue UnexpectedRecvQueue X? 1 id Thread 1 PostedRecvQueue 3 2 PostedRecvQueue id? id data

14 Colas de Mensajes F-MPJ: Fast MPJ Detalles de Implementación Serialización Serializable es una interfaz más flexible que Cloneable. Es necesario que el receptor sea el que realiza la deserialización. Relevante en comunicaciones no-bloqueantes. Método de resolución de clases a medida para manejar el aislamiento del espacio de nombres. Cada thread debe cargar sus clases con su cargador local. El uso del cargador del sistema provocaría una excepción.

15 Configuración Experimental: Configuración Experimental Micro-Benchmark de Primitivas MPJ Nehalem 2xIntel Xeon 5520 Quad-core Nehalem CPU (8 cores). Magny Cours 4xAMD 12-core Magny Cours CPU (48 cores). 2 x 4 x 8 GB RAM. Linux, Sun JDK 1.6, gcc v MPJ Express 0.38, OpenMPI v1.3.3, MVAPICH2 r GB RAM. Linux, Sun JDK 1.6, gcc v MPJ Express 0.38, Intel MPI v , OpenMPI v1.4.2.

16 Rendimiento Punto a Punto Configuración Experimental Micro-Benchmark de Primitivas MPJ Latency (µs) Point-to-Point Java Communication Performance (Nehalem) F-MPJ (smpdev) MPJE (smpdev) MVAPICH2 OpenMPI K 4K 16K 64K 256K 1M 4M 16M Message Size (Bytes) Bandwidth (Gbps)

17 Rendimiento Punto a Punto Configuración Experimental Micro-Benchmark de Primitivas MPJ Point-to-point Java Communication Performance (Magny Cours) Latency (µs) F-MPJ (smpdev) MPJE (smpdev) IntelMPI K 4K 16K 64K 256K 1M 4M 16M Message size (Bytes) Bandwidth (Gbps)

18 Configuración Experimental Micro-Benchmark de Primitivas MPJ Rendimiento de Operaciones Colectivas Aggregated Bandwidth (Gbps) F MPJ (smpdev) MPJE (smpdev) MVAPICH2 OpenMPI Broadcast on Nehalem (8 cores) 0 1K 4K 16K 64K 256K 1M 4M 16M Message Size (Bytes)

19 Configuración Experimental Micro-Benchmark de Primitivas MPJ Rendimiento de Operaciones Colectivas Aggregated Bandwidth (Gbps) Broadcast on Magny Cours (48 Cores) F MPJ (smpdev) MPJE (smpdev) IntelMPI 4 0 1K 4K 16K 64K 256K 1M 4M 16M Message Size (Bytes)

20 Configuración Experimental Micro-Benchmark de Primitivas MPJ NPB NAS Parallel Benchmarks Magny Cours (4, 8, 16 y 32 cores). Cuadro: NPB performance (in MOPS) on one core CG FT IS MG Java C/Fortran

21 Configuración Experimental Micro-Benchmark de Primitivas MPJ F MPJ (smpdev) Java Threads OpenMPI OpenMP CG Class C Speedup Number of Cores

22 Configuración Experimental Micro-Benchmark de Primitivas MPJ Speedup F MPJ (smpdev) Java Threads OpenMPI OpenMP FT Class C Number of Cores

23 Configuración Experimental Micro-Benchmark de Primitivas MPJ F MPJ (smpdev) Java Threads OpenMPI OpenMP IS Class C Speedup Number of Cores

24 Configuración Experimental Micro-Benchmark de Primitivas MPJ F MPJ (smpdev) Java Threads OpenMPI OpenMP MG Class C Speedup Number of Cores

25 Preguntas Java es una alternativa interesante para HPC en procesadores multi-core. Multithreading. Smpdev permite aprovechar el multithreading de manera transparente a través de una API de paso de mensajes. Abstracción de procesos MPJ sobre threads. Transferencias a través de memoria compartida. Códigos portables y ejecutables en sistemas de memoria distribuida. La evaluación de rendimiento muestra que se obtienen resultados comparables a los de MPI.

26 Preguntas Preguntas? COMUNICACIONES ESCALABLES EN MEMORIA COMPARTIDA PARA PASO DE MENSAJES EN JAVA JP2011 Sabela Ramos Garea Grupo de Arquitectura de Computadores, Universidade de A Coruña