Rock & Roll!! M.A. Rodríguez Meza Ins$tuto Nacional de Inves$gaciones Nucleares. Correo electrónico: mar@nuclear.inin.mx h<p://

Transcripción

1 M.A. Rodríguez Meza Ins$tuto Nacional de Inves$gaciones Nucleares Correo electrónico: h<p:// Rock & Roll!! 18/08/09 UAEH 1

2 MS DOS y similares: Un usuario un proceso VMS: MulMtask, mulmusers,... UNIX: igual... y Windows? Muli CHAFA 2

3 Fue lo que hizo posible el bum del desarrollo de cómputo cienzfico barato y al alcance de todos. So_ware libre y abierto! Pero,..., enmendale Uds a los códigos! Siguiente paso: Código abierto y libre y te enzeño como funciona 3

4 Linux, distribución Slackware MPI, distribución MPICH Cluster de a 66 Mhz (1995) La Jauria (2000): Alphas 4

5 Ekbek en el CINVESTAV 64 nodos PenMums 2.5 Ghz 5

6 Tipos de clusters Memoria distribuida (Ekbek) Memoria comparmda (ININ: draco 16 itanium) Clusters, Granjas y grids Cúal es mejor? 6

7 Configuración psica de un cluster 7

8 Ingredientes básicos Hardware: Maestro y esclavos, N computadoras Computadora Maestra: CPU, teclado, ratón y monitor (Aparentemente) Computadora esclava (de cómputo): CPU y ya (Aparentemente) So_ware... Rocks and Rolls: Sistema operamvo Linux, lenguages C y Fortran, Visualización, Protocolo MPI, herramientas de administración (el propio Rocks), monitoreo, más distribución y administración de trabajos. 8

9 Rocks Requerimientos mínimos para instalar Rocks Nodo maestro (frontend) Capacidad del disco duro: 30 Gb Capacidad de memoria: 1 Gb Ethernet: dos puertos de red físicos (eth0 y eth1) Orden de encendido en el BIOS: CD, Disco Duro y PXE (instalación por red) Nodos de cómputo Capacidad de disco duro: 30 Gb Capacidad de memoria: 1 Gb Ethernet: un puerto físico (eth0) Orden de encendido: PXE (instalación por red), CD, Disco Duro 9

10 Rocks and Rolls Kernel base Area51: UMlerias y servicios para analizar la integridad de los archivos y el kernel en el cluster. ganglia: para monitorear al cluster. Un valor individual a ser monitoreado se llama metric en el sistema Ganglia. Los metrics son medidos en los nodos del cluster y Ganglia los comunica al nodo maestro. hpc: proveer con las herramientas configuradas que pueden ser usadas para correr aplicaciones en paralelo en el cluster. Los siguientes paquetes son incluidos: MPI sobre ambientes ethernet (OpenMPI, MPICH, MPICH2); PVM; Benchmarks (stream, iperf, IOzone). sge: instala y configura el administrador de colas SUN Grid Engine. web server java xen os disk 1 os disk 2 10

11 Nodo Maestro Inserte el CD Kernel/Boot Roll y arranque la máquina. La máquina muestra una pantalla de bienvenida: Tecleé build. Puede ser necesario configurar IPv4 o IPv6. Seleccione los Rolls insertando y sacando los CD s correspondientes. (Lo mínimo: kernel, base, webserver, os 1 y os 2). Introduzca la info correspondiente a la configuración del Maestro: Host name (requerido), cluster name, LaMtude/Longitud (N19.20/W99.10), etc. Configure la red, eth0 (local: ) y eth1 (mundo exterior: (DHCP)). Introduzca el password de root. Configure el Mempo. Establezca la parmción del disco.... (6:24 6:33 6:55 ) Inserte los CD s de instalación como se le vayan pidiendo. Comienza la instalación. Al final se arranca la máquina de nuevo. LISTO el NODO Maestro!!! 11

12 Nodos de cómputo Haga login en el nodo maestro como root. Corra el programa que captura las pemciones DHCP de los nodos de cómputo y que pone la información en la base MySQL de Rocks: # insert ethers Seleccione el Mpo, en nuestro caso Compute, hago OK y... Arranque el primer nodo de cómputo. Antes cambie el orden de los disposimvos a: PXE, CD, HD. (Pulse F2 al momento del arranque). Cuando el nodo maestro recive la pemción de DHCP hace la asignación en la base de datos y actualiza los archivos de configuración (/etc/hosts, /etc/dhcpd.conf y el DNS). En este momento se puede monitorear la instalación usando rocks console compute 0 0 Después de haber instalada todos los nodos de cómputo en el primer cabinete termine el proceso: insert ethers, tecleando F8. Se puede agregar otro cabinete tecleando: Insert ehters cabinet 1 Eso nombrará los nodos de cómputo como compute 1 0, compute 1 1, Y con esto hemos armado nuestro cluster BOLAS y LISTO a trabajar!!! 12

13 La ayuda se obmene con: # rocks list help Alias a un nodo de cómputo: # rocks add host alias compute 0 0 c 0 0 La lista de nodos: # rocks list host {alias} Listado de las acciones de arranque: # rocks list host boot Listado de la parmción de un nodo: # rocks list host parmmon compute 0 0 Listado de la información de la red: # rocks list network Listado de los Rolls: # rocks list roll Corre un comando para un nodo: # rocks run host compute 0 p ls /tmp o de la siguiente manera: # ssh compute 0 0 shutdown r now Para sincronizar a los usuarios (/etc/passwd, /etc/shadow,..., restart autofs): # rocks sync users Para sincronizar servicios: # rocks sync config Apaga un nodo de computo: # rocks run host compute 0 0 shutdown h now Para poner una acción al arranque de un nodo: # rocks set host installacmon compute 0 0 install o # rocks set host compute 0 0 acmon=install Para remover un nodo: # rocks remove host compute 0 1 # rocks sync config 13

14 Un usuario se agrega con: # useradd username # rocks sync users 14

15 ./configure prefix=$home/local make make install 15

16 TonaMuh dijo que Uds. al final del curso saldrían corriendo... en paralelo... je! 16

17 Let s rocks & rolls!!! Ricardo Francisco Mario Miguel Con el cuarteto del IAC... 17