BSC MARENOSTRUM. Javier Bartolomé Rodriguez Systems Group

Transcripción

1 BSC MARENOSTRUM Javier Bartolomé Rodriguez Systems Group

2 Proceso 2560 JS21, 2.3GHz 4 cores por placa 8 Gbytes 36 Gbytes disco SAS Redes Myrinet 2 Spine Clos Tarjetas Myrinet Gigabit 10/100 Ethernet Disco GPFS sobre 20 servidores de disco Sistema Linux Blade centers Myrinet racks Storage servers Operations rack Gigabit switch 10/100 switches 94,20 TFlops procesadores 20 TBytes memoria TBytes disco 2

3 JS21 blade Características: 2 chips 2.3 GHz dual-core 8 GB RAM Disco duro interno SAS 36.4 GB Tarjeta myrinet en (I/O Expansion) 2 interfaces Giagabit Ethernet Broadcom Soporta instrucciones vectoriales SIMD AltiVec BMC Conexionado con la Management del bladecenter 3

4 JS21: Esquema 4

5 Bladecenter Elemento que puede aglutinar 14 blades Elemento que ofrece acceso a recursos compartidos: Networking: Ethernet, Myrinet, Infiniband, FiberChannel, Redundancia casi completa de cualquier elemento Gestión out-of-band del bladecenter y sus blades Monitorización del entorno Parte Frontal: Blades LEDs informativos Lector CD-ROM Disquetera 5

6 Blades, blade center and blade center racks JS21 Processor Blade 2-way 2.3 GHz Power PC 970 MP 8GB memory (512KB L2 cache) Local SAS drive (36 GB) 2x1Gb Ethernet on board Myrinet daughter card Blade Center 14 blades per chassis (7U) 56 processors 112GB memory Gigabit ethernet switch 6 chassis in a rack (42U) 336 processors 672GB memory 6

7 Storage Hardware Total of 20 storage nodes, 20 x 14 TBytes Each storage node 2x IBM p615 DS4700 EXP810 Cabling per node 2 Myrinet (not used) 2 Gb to Force10 E /100 cat5 to Cisco 1 Serial 7

8 Storage Node GbE GbE p615 Server p615 Server 2 CPUs x server 4GB RAM Fiberchannel (250MB/s) 5 LUNs RAID 5 (4+1) 3 hot spare disks IBM DS4700 Controller 300MB/s 14x 500GB drives 7TB IBM EXP810 SATA drawer 14x 500GB drives 7TB 8

9 Storage node (Logic vision) GbE GbE p615 Server p615 Server 2 CPUs x server 4GB RAM /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh Each new RAID5 LUN has a size of 2 TB Each LUN will correspond with a GPFS NSD (Network Shared Disk) 9

10 Filesystems en /gpfs/home El home de los usuarios. Sources codes y ejecutables propios Datos duplicados a nivel de GPFS 19 TB disponibles. /gpfs/projects Zona de ficheros comunes a cada proyecto. Un directorio por proyecto. 74 TB disponibles. /gpfs/scratch Espacio temporal. Input/Output de los Jobs. Filesystem sin cuotas. 56 TB disponibles. /gpfs/apps Binarios de las aplicaciones compiladas. Un directorio por aplicación, con subdirectorios por versiones. 10 TB disponibles. 10

11 Myrinet en 10 Clos 256x256 switches Conexión de hasta 256 máquinas Conexión a los Spine mediante 64 puertos con quad-cables 2 Spine 1280 Interconexión hasta 10 Clos 256x256 switches Monitorización de los equipos mediante interfaz ethernet 11

12 Myrinet Layout Spine 1280 Spine Links Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x256 Clos 256x links (1 to each node) 250MB/s each direction 12

13 Esquema lógico 13

14 Robot del BSC: SL

15 Robot SL8500 (II) 7500 cintas LTO4 de 800 GB cada una 6 PB nativos 6 PB 6000 TB 6,000,000 GB sin compresión!!!! La misma capacidad en DVD s puesto uno encima del otro se podría hacer una torre tal alta como el Hotel Arts, si no se caen antes 8 Brazos trabajando en 4 niveles de altura 23 Unidades lectoras LTO 4 15

16 Infraestructura hardware 5 Servidores (Sun Fire v445, 4 UltraSPARC III, 8 GB RAM) 1 Controlador del robot 3 Servidores para backup (TSM) 1 Servidor para HSM Armario de discos 35 TB 77 discos SATA de 500 GB Conexión de red Conexionado entre Robot y los servidores mediante FiberChannel 2 enlaces de 10 Gbit/s entre edificio D6 y edificio capilla 16

17 Qué es HSM? HSM (Hierarchical Storage Management) es un sistema de almacenamiento que mueve automáticamente datos de un sistema de almacenamiento de alto coste a otro de bajo coste. 17

18 Infraestructura hardware Servidor SAM-FS Características: Sun Fire v445, 4 CPU UltraSPARC III, 8 Gb RAM Almacenamiento en disco Conexión a un array de discos mediante Fiber Channel Capacidad: 25 discos de 500GB = 5 vols RAID5 = 9TB Almacenamiento en cinta Conexión al robot de cintas mediante Fiber Channel 6 drives dedicados (próximamente 8) Almacenamiento: cintas de 800 Gb Modo redundado por seguridad: cada fichero se copia en 2 cintas diferentes. Capacidad: cintas * 800 GB/cinta = 1,8 PB 18

19 Cómo funciona (1) - Archiving El sistema busca periódicamente en disco ficheros candidatos a archivar. Ficheros con más de 12 horas de antigüedad Ficheros de más de 50 Gb de tamaño Cada 10 minutos, se rastrean los candidatos y se hace backup a cinta. 19

20 Cómo funciona (2) - Releasing Se definen porcentajes de ocupación de disco 40% - 65% Si se supera el umbral del 65%: Se eliminan de disco los ficheros ya archivados. Se mantiene el proceso hasta llegar al 40% 20

21 Cómo funciona (3) - Staging El sistema mantiene la información de los metadatos en disco: sabe en todo momento qué ficheros hay almacenados y dónde encontrarlos. Si intentamos recuperar un fichero que existe únicamente en cinta el sistema lo copia de nuevo al disco: stage. Proceso transparente al usuario. 21

22 Altix 4700 (bscsmp01) Shared memory system 32 blades 2 Procesadores Intel Itanium2 (Montecito), dual 1.6 Ghz, Cache 8 Mbytes 16 GB memoria principal en cada blade En total: 128 procesadores 512 Gbytes Memoria principal SGI NumaLink interconnect: Proporciona acceso global compartido a la memoria de los diversos blades Tráfico MPI Acceso al HSM 2.5 TB disco local 22

23 Gracias! 23