II. DISEÑO DEL SISTEMA. Introducción Instalación por red Arranque por red

Transcripción

1 II. DISEÑO DEL SISTEMA Introducción Instalación por red Arranque por red

2 Qué es un cluster? Cluster de memoria Distribuida

3 Nuestro Diseño Login SERVER PXE, NFS,TFTP, DHCP Internet DISKS NODOS DE COMPUTO

4 Interconexión 2 Switches Gigabit Ethernet 1 para servicios normales (nfs,nis,dhcp...) 1 para trabajos paralelos (MPI) Hosts con IP pública: Login Servers (no necesario pero recomendable)

5 Sistema Operativo OpenSuse Linux 11.2 (x86_64) Kernel Software Libre Compiladores intel

6 Instalación por Red (PXE) PXE, sistema de arranque por red soportado por la gran mayoría de hardware Necesitamos: Servidor NFS, exporta repositorios SO Servidor DHCP, asigná IP a los nodos Servidor TFTP, almacena ficheros esenciales para arranque inicial mediante PXE

7 Instalación por Red (PXE) DHCP server TFTP server NFS server Host cliente Petición IP Entrega IP Petición Kernel & rootfs Entrega Kernel & rootfs Petición repositorios instalación Entrega repositorios instalación

8 DHCP Server Es un servicio de configuración automática de parámetros de red (ip, netmask, gateway, dnsservers...) /etc/dhcpd.conf Subnet netmask { filename "pxelinux.0"; # This is the name of the server they should get it from. next server ; } host host prueba { } hardware ethernet 00:19:D1:B1:D7:0E; fixed address ; } Curso Introducción al clustering y virtualización de sistemas

9 TFTP server Servicio simplificado de transferencia de ficheros Es utilizado por PXE para conseguir los ficheros necesarios para el arranque (kernel & rootfs) Fichero de configuración: /etc/xinet.d/tftp Directorio tftp: /srv/tftpboot pxelinux.0, arranque PXE pxelinux.cfg/default, opciones arranque Initrd & linux (kernel & rootfs)

10 Configuración PXE /srv/tftpboot.cfg/default PROMPT 1 DEFAULT install DISPLAY messages TIMEOUT 50 label install kernel vmlinuz append initrd=initrd vga=0x0314 autoyast=nfs://ipserver/media/disco/autoinstallbase.xml install=nfs://ipserver/media/disco/repo/oss/ label local LOCALBOOT 0

11 NFS server Sistema de Ficheros en Red Compartimos directorios comunes Directorio repositorios instalación /srv/repo Directorio scripts de configuración /srv/admin Directorio instalación SGE /usr/local/sge Directorio de Aplicaciones /apps/apps64 /etc/export /etc/sysconfig/nfs

12 Autoyast Herramienta que ofrece OpenSuse para automatizar la instalación Pasos: Instalamos 1 nodo Generamos fichero xml de configuración automática con yast2 autoyast Realizamos la instalación del resto de nodos

13 Arranque por Red Login SERVER PXE, NFS,TFTP, DHCP Internet DISKS NODOS DE COMPUTO MASTER

14 Arranque por Red Nodo Master: Instalación local Un nodo master por cada arquitectura Resto de nodos: Arranque PXE Importa por NFS sistema de ficheros que se encuentran en el servidor

15 Diagrama arranque DHCP server TFTP server NFS server Host cliente Petición IP Entrega IP Petición Kernel & rootfs inicial Entrega Kernel & rootfs inicial Petición Kernel & rootfs final Entrega Kernel & rootfs final

16 Directorios Objetivo: Crear una copia del nodo master en el servidor con una configuracion para cada nodo Directorios RO & RW El servidor exporta estos directorios a los nodos RSYNC NFS MASTER SERVIDOR NODO

17 RO & RW Read Only dirs: /bin /lib /lib64 /opt /sbin /usr /root /etc (*) Read Write dirs: /etc (*) /var Problema: /etc, RO & RW fstab, hostname, network... Solución: UnionFS kernel module

18 UnionFS Módulo del kernel que implementa sistema de ficheros virtual Permite montar 2 sistemas de ficheros sobre el mismo directorio Desventaja: Acceso a fichero mas costoso Ej. mount -t unionfs -o dirs=/root/etc=rw:/root/readonly/etc=ro none /root/etc

19 Estructura de Directorios root NFS directory /* (usually /srv/nfs) */ \ OS10.2 /* (operating system version identifier) */ \ 32 /* (architecture) */ \ readonly \ readwrite \ node1 /* one directory for each node */ \ node2 \... \ 64 \ readonly \ readwrite \ node100 \ node101 Curso Introducción al clustering y virtualización de sistemas

20 Sistema de Ficheros Final bin -> readonly/bin /* symlink */ dev /* void, filled on boot */ etc /* merged with unionfs */ home /* void, mounted by nfs */ lib -> readonly/lib /* symlink */ lib64 -> readonly/lib64 /* symlink */ media /* void */ mnt /* void */ opt -> readonly/opt /* symlink */ output /* void, mounted by nfs */ proc /* void, filled on boot*/ readonly /* mounted in early stages */ root -> readonly/root /* symlink */ sbin -> readonly/sbin /* symlink */ srv /* void */ sys /* void, filled on boot */ tmp /* read-write dir (shuld be empty) */ usr -> readonly/usr /* symlimk */ var /* read-write dir */

21 Kernel El kernel a utilizar es el estandar que viene con la versión OpenSuse 11.2 Se podría utilizar cualquier otro kernel con los modulos necesarios Copiamos el kernel del master al directorio correspondiente en servidor scp master:/boot/vmlinuz default /srv/tftpboot/kernels/

22 Initrd Pequeño sistema de ficheros necesario en la etapa de arranque Vamos a modificar el original para poder utilizar el módulo UnionFS gunzip c "path/al/initrd" cpio i Funcionalidad Añadida: Carga de módulos adicionales Configuración de red Portmap start NFS mount UnionFS mount

23 Modificaciones Initrd echo "Loading ethernet card" modprobe e1000 echo "Loading nfs file system" modprobe nfs echo "Loading UnionFS" modprobe unionfs echo "Setting up network" ifconfig lo dhclient eth0 route add default gw node=`ifconfig grep "inet addr: " cut -b 31-33` echo "Mounting nfs file systems" initrd-portmap mount -o rw,hard,intr :/srv/nfs/OS10.2/64/readwrite/node$node /root mount -o ro,hard,intr :/srv/nfs/OS10.2/64/readonly /root/readonly mount -t unionfs -o dirs=/root/etc=rw:/root/readonly/etc=ro none /root/etc

24 Añadir nuevo nodo a tabla de nodos Ejecutar PXE newnode.sh Crea ficheros ReadWrite correspondientes Configuramos el nodo en el Gestor de Colas Arrancamos el nodo

25 Preguntas