Supercomputación CSIC.

Supercomputación Jaime Perea: Instituto de Astrofísica de Andalucía, CSIC.

El término supercomputación no está bien definido, ya que tiene una naturaleza de índole periodística y comercial: Lo vamos a definir como: El uso de ordenadores para la resolución de problemas de índole numérica que requieren una gran capacidad de cálculo.

Cuáles son los problemas típicos? Todo lo que esté relacionado con ecuaciones en derivadas parciales. Se divide el espacio en celdas. Las edp se pueden transformar en enormes sistemas de ecuaciones, directamente o mediante tranformada de fourier.

Cuáles son los problemas típicos? Rendering de imágenes. La generación de imágenes mediante software:

Cuáles son los problemas típicos? Ecuaciones diferenciales o integro-diferenciales: Aunque éste es un problema de hidrodinámica, se puede resolver mediante EDOs usando SPH

El modo de operar de las marcas con respecto a la supercomputación. Top500 Existe un ranking en los que se incluyen los sistemas de mayor velocidad. Se mide usando un test de Linpack. Consiste en la medida de rendimiento en la solución de un sistema denso de ecuaciones lineales. Rmax Rpeak valor máximo de rendimiento. valor teórico.

Top 10, Noviembre 2006 1 DOE/NNSA/LLNL United States BlueGene/L - eserver Blue Gene Solution IBM 2 NNSA/Sandia National Laboratories. Red Storm - Sandia/ Cray Red Storm, Opteron 2.4 GHz dual core. United States Cray Inc. 3 IBM Thomas J. Watson Research Center. United States BGW - eserver Blue Gene Solution IBM 4 DOE/NNSA/LLNL United States ASC Purple - eserver pseries p5 575 1.9 GHz IBM 5 Barcelona Supercomputing Center.Spain MareNostrum - BladeCenter JS21 Cluster, PPC 970, 2.3 GHz, Myrinet.IBM 6 NNSA/Sandia National Laboratories. Thunderbird - PowerEdge 1850, 3.6 GHz, Infiniband United States Dell 7 Commissariat a l'energie Atomique (CEA). France Tera-10 - NovaScale 5160, Itanium2 1.6 GHz, Quadrics Bull SA 8 NASA/Ames Research Center/NAS. United States Columbia - SGI Altix 1.5 GHz, Voltaire Infiniband SGI 9 GSIC Center, Tokyo Institute of Technology.Japan TSUBAME Grid Cluster - Sun Fire x4600 Cluster, Opteron 2.4/2.6 GHz and ClearSpeed Accelerator, Infiniband. NEC/Sun 10 Oak Ridge National Laboratory United States Jaguar - Cray XT3, 2.6 GHz dual Core Cray Inc.

Site Manuf. Computer Procs RMax RPeak 131072 280600 367000 IBM eserver Blue Gene Solution 1 DOE/NNSA/LLNL 26544 127411 Cray Inc. Sandia/ Cray Red Storm, Opteron 2.4 GHz dual core101400 2 NNSA/Sandia National Laboratories 40960 91290 114688 IBM Center eserver Blue Gene Solution 3 IBM Thomas J. Watson Research 12208 75760 92781 IBM eserver pseries p5 575 1.9 GHz 4 DOE/NNSA/LLNL 10240 62630 94208 IBM BladeCenter JS21 Cluster, PPC 970, 2.3 GHz, Myrinet 5 Barcelona Supercomputing Center 53000 64972,8 Dell PowerEdge 1850, 3.6 GHz, Infiniband 9024 6 NNSA/Sandia National Laboratories 9968 52840 63795,2 Bull SA(CEA) NovaScale 5160, Itanium2 1.6 GHz, Quadrics 7 Commissariat a l'energie Atomique 51870 60960 SGI SGI Altix 1.5 GHz, Voltaire Infiniband 10160 8 NASA/Ames Research Center/NAS 47380 Accelerator, 82124,8 Inf Sun Fire x4600 Cluster, Opteron 2.4/2.611088 GHz and ClearSpeed 9 GSIC Center, Tokyo Institute NEC/Sun of Technology R A fecha de hoy, MareNostrum es el más potente de Europa

Algunas estadísticas interesantes: OS Family Count Share % Rmax Linux 376 75.20 % 2014910 Unix 86 17.20 % 559636 BSD Based 3 0.60 % 47697 Mixed 32 6.40 % 872226 Mac OS 3 0.60 % 32989 Totals 500 100,00% 3527458,35 Rpeak 3195766 807423 53248 1104103 53008 ### Procs. 516189 142104 5888 350484 6296 1020961 Linux es el sistema dominante en la supercomputación. Esto representa una gran ventaja, ya que el sistema de nuestro PC es compatible con el de estos ordenadores. P.e. Marenostrum lleva SUSE

Más estadísticas interesantes: Proc. Family Count Share % Power 91 18.20 % Cray 4 0.80 % Alpha 3 0.60 % PA-RISC 20 4.00 % Intel IA-32 120 24.00 % NEC 3 0.60 % Sparc 3 0.60 % Intel IA-64 35 7.00 % Intel EM64T 108 21.60 % AMD x86_64 113 22.60 % Totals 500 100,00% Rmax Rpeak Proc. Sum 1204808 1611805 416492 37377 44557 2538 22323 31632 13768 63786 119950 30708 448066 802549 131962 47697 53248 5888 16818 35009 5440 316934 374798 60862 602989 1021525 123242 766661 1118476 230061 ### ### 1020961 Existe un claro predominio de sistemas x86, con presencia de los power (debido a los sistemas de IBM). Seguramente los nuevos monstruos lleven procesadores cell (los de la PS3)

Podemos concluir: No hay en este momento procesadores más veloces que los que podamos poner en nuestro PC de sobremesa. Los sistemas de alto rendimiento van en Linux y Unix. La única manera de acelerar el cálculo es poner muchas máquinas a trabajar juntas. Supercomputación es por tanto igual (ahora) a cálculo distribuido (paralelo). Clusters

Modelos de clusters. Hardware: Memoria compartida entre procesadores (sistemas SMP, Cray T3D, SGI). Memoria distribuida compartida. La memoria está físicamente distribuida, pero lógicamente se comparte. Sistemas NUMA, Altix. Memoria distribuida (cada procesador ve la suya) Una de lasuclaves del éxito de los sistemas de memoria distribuidanconsiste en que, en cualquier caso, nuestro modelo de programación a se verá afectado y son baratos.

Aquí es donde entran en liza lo que se ha denominado sistemas Beowulf. Básicamente consisten en sistemas de PCs de los de comprar en la tienda, conectados entre sí mediante una red de alta velocidad.

Cluster Beowulf: Llamamos así a un sistema de ordenadores donde: La red en la que residen está dedicada al servicio beowulf y nada más. Los nodos son ordenadores normales, commodity Los nodos corren alguna versión de software de código fuente abierto. El cluster solo se usa para supercomputación.

Se suelen configurar utilizando (al menos como base) alguna distribución de Linux (Mandriva en el IAA) Existe un nodo principal que se comunica hacia el exterior con un segundo interfaz de red (actúa de router y/o nat) Éste nodo maestro. suele actuar también como servidor de disco, bases de datos de usuarios... Los nodos suelen ser idénticos. Normalmente no se permite el login interactivo en ellos. Se deja a los nodos que corran sólo un proceso de cálculo/cpu.

También se suele agregar un interfaz de comunicaciones muy rápido; como poco: Gibabit (eventualmente sin stack tcp/ip), es barato y normalmente suficiente. Algunas alternativas más caras. Myrinet Infiniband Quadrics... NUMA en el caso de querer memoria compartida.

No todo es paralelo, ni siempre el cálculo distribuido es solución. Bajo ciertas cirscuntancias incluso puede ser una opción errónea. Podemos definir una velocidad como el trabajo que se realiza entre el tiempo que se tarda. R= W T Correr un programa en paralelo es también realizar una serie de tareas en serie. Si Ts es lo que gasta en tiempo en serie y Tp en paralelo. Un procesador de nuestro sistema tiene como velocidad: R 1 = W T s T p

Ley de Amdahl Si S es la fracción de cálculo que es secuencial y (1-S) la que es paralela, entonces la mayor ganancia que podemos obtener usando P procesos es 1 S 1 S / P Ts Tp S= 1 S = T s T p T s T p W R 1 = T s T R P = p W T s T p / P R P 1 1 = = R 1 T s T p / P / T s T p S 1 S / P

No siempre es así de malo, de hecho es posible obtener comportamientos superlineales. Esto ocurre cuando la cantidad de memoria que ocupa nuestra aplicación cabe en la cache de nuestra máquina... Y puede ser mucho peor si no cabe en la RAM y tiene que paginar en disco Es por esto por lo que necesitamos estar seguros tanto de qué RAM necesitamos como de obtener la máxima cache posible.

Una aplicación paralela consiste en ejecutar la misma copia de un programa (tareas) en una serie de procesadores. Existen utilidades que permiten enviar mensajes entre esas tareas y realizar una sincronización entre ellas.

Modelos de programación paralela: SIMD, mismo programa, paralela en datos. MIMD, Diferentes programas, diferentes datos. SPMD, Mismo programa, datos diferentes. Flujo, paralelismo en pipe MPI es para SPMD/MIMD HPF OpenMP son para SIMD

Herramientas específicas de programación que permiten sincronizar las diferentes tareas. Hebras, cuando todos los procesadores ven la misma memoria. (SIMD) OpenMP, HPF en el mismo caso. (SIMD) MPI para cuando cada proceso ve sólo su area de memoria PVM, lo mismo. PVM está más dirigido a sistemas en los que hay distintos tipos de máquinas.

/* * Open Systems Laboratory * http://www.lam-mpi.org/tutorials/ MPI (message passing inteface) * Indiana University * es el más usado * MPI Tutorial - Lab 1: Hello world * Mail questions regarding tutorial material to lam at lam dash mpi dot org */ #include <stdio.h> #include <mpi.h> int main(int argc, char *argv[]) Inicio { int rank, size; Identificación MPI_Init(&argc, &argv); de proceso MPI_Comm_rank(MPI_COMM_WORLD, &rank); MPI_Comm_size(MPI_COMM_WORLD, &size); printf("hello world! I am %d of %d\n", rank, size); Número de MPI_Finalize(); procesos return 0; }

Este programa resultaría en: hyper01: hyper01: mpicc -o hello hello.c hyper01: mpirun -np 4 hello Hello world! I am 2 of 4 Hello world! I am 3 of 4 Hello world! I am 1 of 4 Hello world! I am 0 of 4 hyper01: En hypercat.iaa.es

C C Open Systems Laboratory C http://www.lam-mpi.org/tutorials/ C Indiana University C C MPI Tutorial - Lab 1: Hello world C Mail questions regarding tutorial material to lam at lam dash mpi dot org C program main include 'mpif.h' integer rank, size, ierr call MPI_INIT(ierr) call MPI_COMM_RANK(MPI_COMM_WORLD, rank, ierr) call MPI_COMM_SIZE(MPI_COMM_WORLD, size, ierr) print *, 'Hello world! I am ', rank, ' of ', size call MPI_FINALIZE(ierr) stop end

// // Open Systems Laboratory // http://www.lam-mpi.org/tutorials/ // Indiana University // MPI Tutorial - Lab 1: Hello world // // Mail questions regarding tutorial material to lam at lam dash mpi dot org // #include <iostream> #include <mpi.h> using namespace std; int main(int argc, char *argv[]) { int rank, size; MPI::Init(argc, argv); rank = MPI::COMM_WORLD.Get_rank(); size = MPI::COMM_WORLD.Get_size(); cout << "Hello world! I am " << rank << " of " << size << endl; MPI::Finalize(); return 0; }

A partir de MPI se puede escribir wrappers en lenguajes de alto nivel como java, python o ruby. Lo que nos facilita el trabajo de desarrollo/diseño. #!/usr/bin/env py_mpi # -*- coding: utf-8 -*import pmpi mpi = pmpi.mpi() rank = mpi.rank() nprocs = mpi.size() print "Hello world! I am %d of %d\n"%(rank,nprocs) mpi.end()

Hay dos modos de sincronización entre procesos la primera es el paso de mensaje Un proceso Otro proceso envia (send) recibe (recv) Un proceso envia (broadcast) Otro proceso Otro proceso Otro proceso (broadcast) (broadcast) (broadcast)

Una idea de cómo se programa: En este trozo, cada tarea tiene asignadas las partículas i1 a i2 y envía a la tarea 0 su valor de energía potencial, para que ésta obtenga el total ep = pnb.poten(i1,i2,m,x,y,z) eplocal = sum(ep) if rank!=0: mpi.send(eplocal,0) else: eptot = eplocal for k in range(1,nprocs): eptot = eptot + mpi.recv(k) print 'Energía potencial =',eptot En un sistema mpi, eptot sólo está definida en la tarea 0, en un sistema OpenMP ésta variable será común a todas las hebras

OpenMP se basa en hebras y consiste en directivas y funciones. Cada hebra ejecuta el código contenido en la sección paralela PROGRAM HELLO INTEGER NTHREADS, TID, OMP_GET_NUM_THREADS,OMP_GET_THREAD_NUM! Fork a team of threads giving them their own copies of variables!$omp PARALLEL PRIVATE(TID)! Obtain and print thread id TID = OMP_GET_THREAD_NUM() PRINT *, 'Hello World from thread = ', TID! Only master thread does this IF (TID.EQ. 0) THEN NTHREADS = OMP_GET_NUM_THREADS() PRINT *, 'Number of threads = ', NTHREADS END IF! All threads join master thread and disband!$omp END PARALLEL END PROGRAM HELLO No hay paso de mensaje, hay necesidad de sincronización.

El ciclo de programación cambia en MPI a: Edicion: Compilación: mpicc -o mi_programa mi_programa.c mpif90 -o mi_programa mi_programa.f90 Para ejecutar: mpirun -np no.de.procs./miprograma parámetros o a través de un gestor de recursos

Mientras que en OpenMP es algo más sencillo (si tenemos el compilador adecuado por supuesto) hyper01: hyper01: ifort -openmp -o otest otest.f90 alhambra1:./otest Hello World from thread = Number of threads = 0 4 Hello World from thread = 1 Hello World from thread = 2 Hello World from thread = 3

Una clasificación alternativa: one-sided para sistemas en los que los procesos acceden al mismo área de memoria. two-sided para sistemas en los que los procesos deben transmitirse zonas de memoria.

Esto viene a cuento para mencionar a los global arrays En los que se trata de llevar la forma de programación SIMD a los clusters SPMD. Nuestro programa accede a arrays compartidos y el software se encarga de distribuir el contenido entre las máquinas. Es una alternativa que puede facilitar la migración a MPI.

En España los principales sistemas de memoria compartida están en el CESCA y en el CESGA El ordenador más codiciado del CESCA es un ALTIX 3700, similar a éste. Va en Linux CESGA tiene un superdome de HP en HP-UX

Evidentemente el mayor sistema es Marenostrum

Los nodos son ppc bajo Suse Linux y van conectados por myrinet (mpi), gigabit (filesystems y acceso) y fast ethernet para gestión remota.

Color images showing the luminous (left) and dark (right) matter density in a simulation of a group of galaxies evolved for more than 10 Gyr until the present epoch in the MareNostrum machine (the lighter the color the higher the density). The group contains a total of 107 particles initially distributed among 60 galaxies of various sizes and a uniform dark matter background.

También en la casa tenemos un buen sistema hypercat.iaa.es Cluster de 16 nodos doble Xeon 2Gb Myrinet Ethernet MPI OpenMP

Toma posterior Muestra uno de los principales problemas: El cableado

Simulación de 106 partículas, 5 galaxias espirales en un tiempo de Hubble. Sistema Hypercat, un día de integración en 32 nodos.

Evolución de un grupo de 50 galaxias, sólo se muestra la materia visible

Evolución de un grupo de 50 galaxias, distribución total de materia

Gestión Otro de los problemas: A nivel de administrador es necesario: Sincronizar bases de datos de usuarios: Actualización de software Compartir sistemas de ficheros Tener algún sistema de ficheros distribuido Monitorizar el cluster

Para clusters pequeños, intermedios es recomendable tener una copia de sistema operativo por máquina. rsync es tu amigo (junto a una buena configuración de ssh). Yo suelo utilizar webmin además

Como monitorización, uso ganglia

A nivel de usuario, se acceder a través de un gestor de recursos: PBS Torque: es el más famoso Sun Grid Engine: es el que usamos aquí LoadLeveler: el de IBM qsub para submitir una tarea al cluster qsub script.sh qrsh - para submitir en interactivo. #!/bin/sh # script.sh qstat - como va lo mio #$ -pe mpi 24 #$ -q para # cd /scratch/jaime/simg/5379pm sge_mpirun Gadget2.pm init.par

hyper07: df -ht S.ficheros Tipo /dev/sda3 reiserfs Tamaño Usado Disp Uso% Montado en 9,8G 3,0G 6,8G ext3 61M 9,7M 48M 17% /boot /dev/sda4 reiserfs 103G 17G 87G 17% /homep hyper01:/home 233G 149G 85G 64% /home 200G 587G /dev/sda1 nfs 31% / gm://hyper02:6/pvfs2-fs pvfs2 787G 26% /scratch hyper07: Esto es lo que ve un nodo como sistemas de ficheros. Existen dos zonas compartidas: /home que está físicamente en el servidor maestro (es un raid) y /scratch que es distribuido.

Una configuración de cluster también puede venir definida por un sistema compartido de archivos (en linux es gfs). Una SAN, queda conectada (fibra) a dos o más servidores, esto agiliza mucho el acceso, pero escala mal. Alta disponibilidad, aunque también se puede usar detrás de un gestor de recursos. Este es el tipo de sistema que tenemos en alhambra.iaa.es

alhambra.iaa.es está diseñada para reducción de datos en pipeline, es decir existe mucho trasiego de discos y trabajo interactivo. alhambra1: df -Th Filesystem Type Size /dev/hda6 ext3 45G tmpfs 1014M /dev/hda1 ext3 179M 38M 133M /dev/hda8 ext3 19G 4,2G 14G /dev/hda7 ext3 9,2G 260M 8,5G 1,4T 1,1T 295G 839G 741G 98G tmpfs Used Avail Use% Mounted on 8,1G 35G 4,0K 1014M 19% / 1% /dev/shm 22% /boot 25% /homep 3% /usr/local /dev/mapper/san0-vl0 gfs 79% /home alhambra3:/aodata nfs 89% /home/aisa/data