V. SERVICIOS DEL SISTEMA NIS LDAP NTP

Transcripción

1 V. SERVICIOS DEL SISTEMA NIS LDAP NTP

2 NIS Network Information Service Protocolo de Servicios de Directorio cliente servidor Desarrollado por Sun Microsystems Originalmente: Yellow Pages Ofrece información adicional al DNS Distribuye ficheros de información a los nodos de una red. Ej. /etc/passwd Ventaja: Muy Simple

3 NIS /etc/nsswitch.conf passwd: compat group: compat hosts: nis files Server Daemon: ypserv Client Daemon: ypbind

4 LDAP Protocolo Ligero de Acceso a Directorio Parecido a una BD Un directorio es un conjunto de objetos con atributos organizados de forma jerárquica Ej. Directorio Telefónico Personas, unidades organizacionales, documentos... Permite almacenar información de autenticación

5 LDAP Originalmente fue creado para acceder a los directorios X.500 mediante el uso de un protocolo simple (TCP/IP) X.500 utilizaba la pila OSI ( mas complicado ) La versión actual LDAPv3 Resumen: Protocolo de acceso unificado a un conjunto de información sobre una red Desventaja: Muy Complejo

6 Ejemplo dn: cn=john Doe,dc=example,dc=com cn: John Doe givenname: John sn: Doe telephonenumber: telephonenumber: mail: manager: cn=barbara Doe,dc=example,dc=com objectclass: inetorgperson objectclass: organizationalperson objectclass: person objectclass: top

7 NTP Network Time Protocol Protocolo para sincronizar los relojes de un Sistema de Información Utiliza UDP como capa de transporte Diseñado para resistir latencia variable NTPv4, sincronizado con una diferencia máxima de 10ms En uso desde 1985 Jerarquía de Estratos

8 NTP Estrato 1: Reloj GPS Estrato 2 y ss: Derivados de la capa anterior Resolución 2^ 32 (0.233 ns) Muy importante en Sistemas HPC /etc/ntp.conf

9 Preguntas

10 V. GESTOR DE RECURSOS Introducción Instalación Configuración Cómo usarlo

11 Por qué un Gestor de Recursos? Motivación: Uso más efectivo de los ordenadores Uso de los recursos 24h/dia Asignación de recursos de acuerda a reglas Carga balanceada (asignacion de jobs a los nodos menos cargados) Objetivo: El usuario le dice al sistema de batch el nombre de un script especificando sus necesidades El Gestor de Recursos garantiza que el trabajo se ejecutará lo antes posible

12 El proyecto Sun Grid Engine Desarrollado por Sun Microsystems Versión OpenSource N1 Grid Engine Versión Comercial Linux, Windows, Solaris... Oracle Grid Engine ARCO: Accounting & Reporting Console Interfaz Gráfica DRMAA, Job API en C++, java, python...

13 Instalación Descargamos SGE 6.1 update7 de Seguimos los pasos de instalación de N1 Grid Engine 6 Instalation Guide Instalación completa en servidor y se exporta por nfs a nodos de computo En los nodos sólo se arrancará el cliente de SGE Para la instalación de un cliente es necesario haber instalado anteriormente el servidor

14 Instalación del servidor SGE_ROOT=/usr/local/sge./install_qmaster Options: Classic Spooling (/var/sge/spool) Id range: El resto por defecto Para arrancar master: Source /usr/local/sge/default/common/settings.sh /etc/init.d/sgemaster start

15 Instalación de los nodos Instalamos el cliente en el nodo servidor SGE_ROOT=/usr/local/sge./install_execd Options: Classic Spooling (/var/sge/spool) Modificamos el nombre del servidor a /usr/local/sge/default/common/act_qmaster Debe poder resolverse mediante /etc/hosts

16 Tipos de nodos Execution host Nodos de cómputo Administrative host Todos Submit host Nodo de login

17 Añadir nodos como Execution hosts Opción 1: Mediante la interfaz gráfica Opción 2: Comandos Configuramos el nodo como Execution host: qconf Ae nodexx Configuración del nodo: Qconf Aconf filenodexx filenodexx: mailer xterm qlogin_daemon rlogin_daemon execd_spool_dir /admin/sbin/mail_wrapper.sh /usr/bin/x11/xterm /usr/sbin/in.telnetd /usr/sbin/in.rlogind /var/sge/spool

18 Submit host instalation Máquina de login Es un nodo cliente igual que los nodos de cómputo No se configura como execution host, todos los usuarios están en ese nodo. Configuración desde la interfaz gráfica

19 Daemons SERVER NODOS SGE_EXECD SGE_QMASTER SGE_EXECD SGE_SCHED SGE_EXECD SGE_EXECD

20 QMON: Configuration tool Configuracion de colas Configuración de usuarios Configuracion de hosts Configuracion Entornos Paralelos Resource quotas

21 Conceptos Host Group: Agrupamos distintos tipos de hosts en grupos Projects: Un usuario pertenece a uno o varios proyectos Queue: Formada por host groups; Cada usuario sólo puede mandar trabajos a una única cola ACL: Grupos de usuarios

22 Queue Configuration Curso Introducción al clustering y virtualización de sistemas

23 Policy Configuration 3 formas de asignar prioridad a los jobs Override: prioridades absolutas Functional: Se puede aumentar la prioridad a un usuario dentro de un grupo Share Tree: Es la que ofrece más funcionalidad. Ej. Bajar la prioridad a los usuarios que más horas llevan consumidas en los últimos 30 días

24 Policy Configuration Curso Introducción al clustering y virtualización de sistemas

25 Ejemplo Share Tree ProjectA (Total = 100) user1 => share 50 => equivalent to 50 % user2 => share 25 => equivalent to 25 % user3 => share 25 => equivalent to 25 % Half life decay Factor: Ej. Penalización con un factor de 7 días sobre un consumo de 1000: 500 a los 7 días 250 a los 14 días 125 a los 21 días...

26 SGE network master: 1 Create ~/default/common/hostsfile with: node1 giga node1 node2 giga node Restart master slaves: 1 Create ~/default/common/hostsfile with: node1 giga node1 node2 giga node Modify act_qmaster : lxsrv2 giga 3 Restart slave

27 Resorce Quota Disponible desde la versión SGE 6.1 Permite un mejor control de los recursos Ejemplo: { name test description limitamos el uso de la cola A enabled TRUE limit users!groupa queues {queuea} to slots=14 } Restringe el uso de la cola A, a los usuarios que no pertenecen al grupo A a usar un máximo de 14 cores

28 Resource Quota

29 Parallel Environment Curso Introducción al clustering y virtualización de sistemas

30 SGE Script #!/bin/bash #$ o $HOME/tutorial_mpi/sample2/test.out j y #$ N addition #$ M abcd@mydomain m bea #$ pe ge.mpich 4 ## Load Environment Variables source setup.mpi 64 mpich ## Launch the executable mpirun np $NSLOTS machinefile $TMPDIR/machines $HOME/tutorial_mpi/sample2/addition ## Submit the job ## qsub q RESERVED P BIFI2010 submit_addition.sh

31 Variables de entorno Tenemos unos scripts que sirven para cargar las variables de entorno necesarias para poder utilizar las aplicaciones ll /admin/bin/ rwxr xr x 1 root root :21 setup.amber rwxr xr x 1 root root :27 setup.charmm rwxr xr x 1 root root :23 setup.gaussian rwxr xr x 1 root root :22 setup.intelcomp rwxr xr x 1 root root :17 setup.intelmkl rwxr xr x 1 root root :21 setup.mpi

32 Setup.mpi if [ "$2" = "mpich" ] ; then MPIR_HOME=/apps/apps$ARCH/mpich$VERSION P4_RSHCOMMAND=ssh if [ z "${PATH}" ] ; then PATH="$MPIR_HOME/bin" else PATH="$MPIR_HOME/bin:$PATH" fi if [ z "${LD_LIBRARY_PATH}" ] then LD_LIBRARY_PATH="$MPIR_HOME/lib" else LD_LIBRARY_PATH="$MPIR_HOME/lib:$LD_LIBRARY_PATH" fi fi export P4_RSHCOMMAND MPIR_HOME PATH LD_LIBRARY_PATH

33 Cola SCRATCH Objetivo: Aprovechar huecos libres por trabajos de corta duración Está formada por todos los nodos del cluster Los trabajos que se lanzan a esta cola tienen priorida mínima La duración máxima de los jobs es 3 horas Puede utilizarla cualquier usuario

34 ARCO Accounting and Reporting Console Basado en SQL sge_qmaster genera datos en crudo $SGE_ROOT/$SGE_CELL/common/reporting Dbwriter: inserta estos datos en una BD que puede ser accedida mediante SQL BD soportadas (Oracle, MySQL, PostgreSQL) Basada en Java

35 ARCO

36 Preguntas