TALLER DE CLUSTERS HPC EN LINUX

Transcripción

1 Universidad Autónoma Metropolitana Unidad Iztapalapa TALLER DE CLUSTERS HPC EN LINUX Laboratorio de Supercómputo y Visualización en Paralelo Ing. Juan Carlos Rosas C. Responsable del Laboratorio jcarlos@xanum.uam.mx

2 Hoy en día los Cluster en Linux para HPC (High Performance Computing) son muy populares, ya que están al alcance de todos y se consideran como una herramienta fundamental para el desarrollo de la investigación de muchos teóricos.

3 Bases Teóricas para la Administración y uso de Clusters 1) Conceptos Básicos de Supercómputo 2) Arquitecturas de Cómputo de Alto Rendimiento 3) Historia y Evolución de los Clusters 4) Arquitectura de los clusters: CPU, Comunicaciones, etc. 5) Software para Clusters: SO (Distribuciones), Sistemas de Administración, Software de Paso de Mensajes, Compiladores,... 6) Clusters: Ventajas y Desventajas

4 Bases Teóricas para la Administración y uso de Clusters 1) Conceptos Básicos de Supercómputo

5 Bases Teóricas para la Administración y uso de Clusters Rendimiento: Es la efectividad del desempeño de una computadora, sobre una aplicación o un benchmark en particular. Flops: Es una medida de la velocidad del procesamiento numérico del procesador. Son operaciones de punto flotante por segundo. Alto Rendimiento (HPC): Gran demanda de procesamiento de datos en procesadores, memoria y otros recursos de hardware, donde la comunicación entre ellos es muy rápida. Latencia: Tiempo de transferencia de mensajes de una interfaz a otra. Ancho de Banda: Capacidad de transferencia que tiene un canal de comunicaciones en una unidad de tiempo.

6 Bases Teóricas para la Administración y uso de Clusters Alta Disponibilidad (HA): Disposición y acceso a servicios al 100% de manera ininterrumpida. Supercómputo: Cómputo masivo o comúnmente llamado HPC. Sistema Distribuido: Sistema en el que recursos de cómputo (CPU, memoria y dispositivos de I/O se comunican y trabajan entre si mediante un sistema o tecnología de comunicación). Programación en Paralelo: Estilo o método de programación que permite dividir en subprogramas a un programa para resolver un problema determinado. Tecnología VIA: Protocolo de comunicación con características gran Ancho de banda y baja latencia.

7 Bases Teóricas para la Administración y uso de Clusters 2) Arquitecturas de Cómputo de Alto Rendimiento

8 Bases Teóricas para la Administración y uso de Clusters Computadora Paralela: Máquina con dos o más procesadores que pueden trabajar simultánea y/o coordinadamente. Memoria Compartida: En una máquina paralela existe una sola memoria que puede ser accesada por todos los procesadores. Memoria Distribuida: Cada uno de los procesadores de un multiprocesador tiene asociado a él una unidad de memoria.

9 Bases Teóricas para la Administración y uso de Clusters Sistema de Memoria Compartida

10 Bases Teóricas para la Administración y uso de Clusters Sistema de Memoria Distribuida

11 Bases Teóricas para la Administración y uso de Clusters Sistema Híbrido

12 Bases Teóricas para la Administración y uso de Clusters 3) Historia y Evolución de los Clusters

13 Bases Teóricas para la Administración y uso de Clusters En el verano de 1994 Thomas Sterling y Don Becker, trabajando en CESDIS construyeron un Cluster que consistía en 16 procesadores DX4 conectadas por un canal Ethernet a 10Mbps. El esfuerzo del desarrollo para esta primera máquina creció rapidamente en lo que ahora llamamos el proyecto de Beowulf. Los Beowulf se distinguen por que no imponen una arquitectura del sistema. Los componentes primarios del sistema que manejan la arquitectura se pueden descomponer en el procesador, memoria, red de trabajo y sistema de almacenamiento secundario.

14 Bases Teóricas para la Administración y uso de Clusters Evolución de los Clusters en el tiempo

15 Bases Teóricas para la Administración y uso de Clusters 4) Arquitectura de los clusters: CPU, Comunicaciones, etc.

16 Bases Teóricas para la Administración y uso de Clusters Qué es un Cluster? Switch / Hub Nodo 1 Nodo 2 Nodo 3 Nodo n Nodo Maestro Un Cluster son varios nodos conectados entre sí atravez de la red.

17 Bases Teóricas para la Administración y uso de Clusters Hardware de un Cluster Procesador Memoria Dispositivos de Almacenamiento Comunicaciones

18 Bases Teóricas para la Administración y uso de Clusters Caracteristicas de comunicaciones Tipo Conexión Velocidad Latencia (Mbps) Costo Utilización Soporte de CPU Ethernet Switch/Hub Alta 10 a 1000 Bajo Bueno Alta Giganet Switch Baja 1250 Alto Medio Baja Infiniband Sswitch Baja 4250 Medio Bueno Baja Excesivamente 4250 Alto? 2400 Alto Bueno > Excesivamente Alto? Baja Baja Baja Dolphin Myrinet Cuadrix Switch Switch Switch Baja Baja Baja

19 Bases Teóricas para la Administración y uso de Clusters Tecnologías de Clusters y su Clasificación Clusters de Alto Rendimiento: Se utilizan para programas intensivos numericamente, como seriales tanto paralelos. No garantizan disponibilidad. Clusters de Alta Disponibilidad: Se utilizan para garantizar la disponibilidad de servicios o recursos. Clusters Heterogéneos: Son aquellos que se forman con distintos tipos de tecnologías o plataformas. Clusters Homogéneos: Son aquellos en donde la tecnología es homogénea, es decir que todas las PC's tienen el mismo tipo de tecnología o plataforma. Cluster dedicado: Es aquel que sólo funciona como Cluster y sólo como Cluster. Cluster no dedicado: Es aquel que de vez en cuando lo es y cuando no; sus nodos realizan otras funciones pero eso ya es decisión del usuario.

20 Bases Teóricas para la Administración y uso de Clusters Beowulf: Es un cluster de componentes commodity de cómputo dedicados a un problema paralelo. En un Beowulf los nodos se conectan por medio de una red privada, y sólo el "nodo maestro" es visible desde el exterior. El nodo maestro está reservado para accesar, compilar y manejar las aplicaciones a ejecutar. En general hay de dos tipos de Cluster 'stand alone' y 'diskless', el primero se refiere a que cada nodo tiene su propio sistema operativo y el segundo a que el sistema operativo reside en un solo nodo, por lo general en la máquina maestra.

21 Bases Teóricas para la Administración y uso de Clusters Clusters en Linux una alternativa tecnológica Necesidades actuales: Servidores de Alto Rendimiento y Alta Disponibilidad En el Sector Educativo Abatir Costos ( En equipo, licencias, software, etc... ) Ventajas de Clusters: Computo en paralelo (Comunicaciones entre dos o n máquinas ) Creación de máquinas virtuales Acceso a rendimientos mayores como una supercomputadora Investigación en este sistema Mejoramiento y Desarrollo constante barata, estable y poderosa Sistemas Distribuidos

22 Bases Teóricas para la Administración y uso de Clusters 5) Software para Clusters: SO (Distribuciones), Sistemas de Administración, Software de Paso de Mensajes, Compiladores,...

23 Bases Teóricas para la Administración y uso de Clusters Sistema Operativo Otro componente dominante para remitir compatibilidad, es el software de Clusters. Con la madurez y la robustez de Linux, el software GNU y de la estandarización de envío de mesajes vía PVM y MPI, los programadores ahora tienen una garantía que los programas que escriban correrán en un futuro en un Cluster Beowulf sin importar quien hace los procesadores o las redes de trabajo.

24 Bases Teóricas para la Administración y uso de Clusters Por que Linux? Codigo Abierto Desarrollo y correción de errores mas rápidos Estándares elaborados internacionalmente Estabilidad Software Disponible Rendimiento de Red Costo Soporte por fabricantes de Hw y Sw

25 Bases Teóricas para la Administración y uso de Clusters Sofware de un Cluster MPI: Message Passing Interface. Biblioteca estándar para programación paralela en el modelo de intercambio de mensajes. PVM: Máquina Virtual Paralela. Es una librería para el cómputo paralelo en un sistema distribuido de computadoras. Está diseñado para permitir que una red de computadoras heterogénea comparta sus recursos de cómputo, con el fin de aprovechar esto y para disminuir el tiempo de ejecución de un programa.

26 Bases Teóricas para la Administración y uso de Clusters Sistemas de Administración para Clusters Debe cumplir con: Sistema de administración Centralizado Fácil Recuperación de Fallas Sin perdida de Datos Un ambiente de administración e instalación centralizado y tolerante a fallas. instalación, configuración y Puesta punto de forma Centralizada Monitoreo Centralizado Sistema de Asignación de Recursos (Memoria y CPU) Automatizado Fácil manejo de Entrada/Salida de Datos

27 Bases Teóricas para la Administración y uso de Clusters 6) Clusters: Ventajas y Desventajas

28 Bases Teóricas para la Administración y uso de Clusters Mayor Disponibilidad Fácil Mantenimiento Crecimiento Bajo Costo

29 Bases Teóricas para la Administración y uso de Clusters * Una vez funcionando el Cluster debe de haber alguién responsable, de monitorear el estado del Cluster, para que cada nodo esté funcionando óptimamente, una posible solución a esto es instalar software de auditoria, de chequeo del sistema y un sistema de 'colas' para 'salvar' nuestros procesos o tareas. * También es muy importante tener una programación muy buena o debidamente estructurada en el software que se le instale. * Y en cuanto a hardware de comunicaciones todavía cuesta muy caro tener un equipo de comunicaciones de alta velocidad, por que entre más rápida sea la comunicación es mejor el desempeño de un Cluster, depende de la situación económica en la que no encontremos.

30 Bases Teóricas para la Administración y uso de Clusters * En cuanto a energía eléctrica y disipación de calor todavía los clusters consumen mucha energía eléctrica por los gabinetes en el que se aloja el CPU y disipan mucho calor, Por lo que se recomienda un buen lugar ventilado o aire acondicionado, se puede tener reguladores pero se corre el riesgo de que que se 'caiga' totalmente el sistema o Cluster cuando no haya energía eléctrica. * Es bueno también mencionar que el cluster al estar en funcionamiento se debe planear bien su uso, ya que cuando esta siendo utlizado al 100% (cada uno de sus nodos y procesadores), éste no se podrá utilizar para otra cosa, de modo contrario su rendimiento en algunas ocasiones se iria al suelo.

31 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters 1) a la Administración de Servidores Linux 2) Administración Básica 3) TCP/IP 4) Servicios TCP/IP Importantes para Clusters (rsh, xinetd, ssh, etc.)

32 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters 1) a la Administración de Servidores Linux

33 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters ADMINISTRACIÓN Responsabilidades del Administrador Administración de recursos Políticas (Uso, Seguridad, etc) Respaldo y recuperación de datos Root Buenas Prácticas

34 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters RESPONSABILIDADES DEL ADMINISTRADOR Mantenimiento periódico del sistema Administración de cuentas de usuarios Mantener en secreto datos importantes Respetar las politicas Asesorar a los usuarios Respaldos Monitoreo

35 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters ADMINISTRACION DE RECURSOS Planeación de recursos desde el principio (número de usuarios, espacio, etc.) Garantizar uso eficiente y balanceado Estimar potencial del equipo de cómputo Planeación a futuro

36 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters POLITICAS Establecer políticas de uso (espacio en disco, tiempo de procesador, prioridades, etc) Establecer políticas de seguridad (que tipo de servicios requiere, quien puede accesar, etc) Políticas en caso de falla

37 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters RESPALDOS EFECTUAR RESPALDOS PERIODICAMENTE!!! Diferenciar datos críticos y no críticos La recuperación en caso de falla debe de ser lo más rápida posible

38 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters COMO root? El usuario ROOT tiene todo el poder en un sistema Linux / UNIX...

39 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters BUENAS PRACTICAS... NUNCA usar ROOT, a menos que sea INDISPENSABLE Siempre hacer LOGIN como usuario Monitorear los permisos NUNCA usar Telnet y comandos R desde afuera Monitorear servicios TCP/IP activos y no activos Realizar actualizaciones necesarias Revisar probables bugs

40 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters 2) Administración Básica

41 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters ADMINISTRACION BASICA Administración de Cuentas Sistema de archivos de Linux Comandos Importantes Procesos y /proc Dispositivos y /dev Logs y /var/log Otros servicios Manuales, donde buscar información? Inicio y apagado del sistema

42 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters CUENTAS DE USUARIOS El esquema jerárquico: 1) Config. Manual 2) Comandos: useradd, userdel, passwd 3) Ambiente Gráfico 4) Otros métodos Archivos implicados: /etc/passwd, /etc/shadow, el/* /etc/group, /etc/sk Atención especial:.bash_profile,.bash_login,.bash_history Implementación de Quota para sistemas con muchos usuarios Propagacion del HOME de los usuarios...

43 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters PARTICIONES Cada disco para poder accesarlo debe de incluir particiones. Debe de haber una planeación de particiones en Linux (Clientes y Servidores) Comandos para manejo de particiones: FDISK, FCSK, DD El archivo /etc/fstab contiene la tabla de las asociaciones de particiones de discos con el sistema VFS de LINUX. Cada partición se monta como un directorio. NOTA: Las particiones se pueden montar manualmente, /etc/fstab esta un paso arriba en la jerarquía

44 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters SISTEMAS DE ALMACENAMIENTO Sistema de Archivos. Nos permite accesar a nuestros dispositivos de almacenamiento. Hay varios tipos los mas robustos y recomendados: EXT3 y XFS. Sistemas de Almacenamiento se dividen en 2 en general: 1) Local SAN (Storage Area Network). Sistema de almacenamiento por arreglo de discos a traves de fibre channel, SCSI, SAS, iscsi, etc 2) a traves de la Red (NAS del inglés Network Attached Storage).Tecnología dedicada a compartir la capacidad de almacenamiento de un Servidor con elementos clientes a través de una red p/e: CIFS, NFS, FTP o TFTP.

45 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters SISTEMA DE ARCHIVOS Todos los archivos pertenecen a un usuario (UID) y un grupo (GID) y tiene diferentes permisos para OWNER, GROUP y OTHERS Permisos: RWX Comandos: chown, chmod *NOTA: Va muy de la mano con passwd y group

46 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters SISTEMAS DE ARCHIVOS /bin Ejecutables mas importantes /usr Aplicaciones y datos para estas /usr/bin Ejecutables usados pero de menor importancia /sbin Ejecutables y scripts de ROOT /lib Librerias *.so y *.a /etc La configuración del sistema /proc Espacio del Kernel /dev Dispositivos /tmp Temporales /var Logs, spool, www

47 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters DISPOSITIVOS DE ALMACENAMIENTO Representados por diferentes dispositivos en Linux 1) SCSI, SAS, SATA, USB 2) IDE /dev/hdxx 3) TAPE /dev/rmtx /dev/sdxx 4) CD/DVDROM /dev/cdrom, /dev/cdwriter, /dev/dvdwriter, /dev/srx

48 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters COMANDOS IMPORTANTES Para manipulación de archivos y directorios: MV, CP, RM, MKDIR, RMDIR, CD, LDD, TYPE, FILE, DF, DU, MOUNT, UMOUNT, TAR, GZIP, ECHO, TOUCH, VI...

49 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters COMANDOS IMPORTANTES Para trabajar el SHELL (Interprete de comandos muy poderoso!): EXPORT, ENV, SETENV, FOR, WHILE, ECHO, GREP, SED, CUT, AWK...

50 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters PROCESOS Un proceso consiste de codigo ejecutable, segmento de datos y stack. El scheduler se usa para hacer intercambio de procesos. El Quantum es la unidad del tiempo que le toca a cada proceso antes de ser suspendido. Cada proceso gasta tiempo de Kernel y tiempo de Usuario. Cada proceso tiene una prioridad asignada (-20 a 19) (nice). En un momento dado, cada proceso esta en alguno de estos estados: Corriendo, Esperando, Durmiendo

51 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters ESTRUCTURA DEL ESPACIO DE PROCESOS INIT PROC1 PROC1_1 PROC2 PROC1_2 PROC3 PROC3_1

52 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters COMANDOS IMPORTANTES Para la administración de procesos: TOP, KILL, KILLALL, PS, PSTREE, NICE, NOHUP,...

53 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters PROCESOS O ESTADO DEL KERNEL /proc Directorios de todos los procesos (File handlers, argumentos,...) /proc Parametros del Kernel (Sistema de archivos, TCP/IP stack, información del sistema, hardware) /proc Interfaz entre el Kernel y el administrador

54 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters LOGS DEL SISTEMA (MONITOREO) El demonio SYSLOGD guarda todos los eventos importantes del sistema en varios archivos en /var/log. /var/log/messages y /var/log/secure son los mas importantes. Tambien existen comandos como DMESG para ver mensajes del Kernel y el UPTIME para monitorear la actividad del sistema

55 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters OTROS COMANDOS... Otros comandos importantes de Linux: CRON, AT, IPCS, IPCRM MC (Midnight Commander)

56 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters MANUALES Y AYUDA ON-LINE.. LDP (Linux Documentation Project) HOWTOs, Man Pages, Info, /usr/share/doc, Listas de correo de una aplicación especifica

57 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters INICIO DE LOS SISTEMAS TIPO I386 MBR, Boot record, Boot loader LILO, GRUB Runlevels /sbin/init y /etc/inittab /etc/fstab, montaje de particiones Scripts de inicio en /etc/rc.d/ /etc/sysconfig, /etc/rc.d/init.d/ /etc/rc.d/rc.local Mingetty (LOGIN)

58 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters ENCENDIDO Y/O APAGADO Asi como internamente un SO tiene un prodecimiento de encendido y apagado en cluster tambien hay procedimientos...

59 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters 3) TCP/IP

60 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters REDES DE COMPUTADORAS En general funcionan por medio de una serie de protocolos TCP/IP bajo el modelo OSI de redes. Tambien llamados INTRANET, pueden ser LAN's o WAN's. En el pasado acostumbraban usar IP's válidas, en la actualidad es más frecuente ver IP's no válidas principalmente para Clusters.

61 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters TIPOS DE REDES Tipo A: Redes WAN, pueden consistir de 256*256*256=1 millon de nodos Tipo B: Redes WAN, pueden consistir de 256*256=65536 nodos Tipo C: Redes LAN, maximo 256 nodos

62 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters CONECTIVIDAD TCP/IP Para que dos entidades de red puedan verse solo se necesita: 1) IP. Puede se homolaga y no homologada (/etc/sysconfig/network-scripts/ifcfg-ethx) 2) Msk. Mascara (/etc/sysconfig/network-scripts/ifcfgethx) 3) Gw (Op y depende) Gateway. (/etc/sysconfig/networkscripts/ifcfg-ethx y /etc/sysconfig/network) Y comando ROUTE e IP 4) Hostname. Nombre de la maquina o alias (/etc/sysconfig/network y /etc/hosts) 5) DNS (Op). Servidor de nombres (/etc/resolv.conf)

63 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters CONFIGURACION MANUAL Se usan comandos ifconfig y route 1) ifconfig ethx XXX.XXX.XXX.XXX netmask ) route add net XXX.XXX.XXX.XXX dev ethx 3) La ruta DEFAULT: route add default gw XXX.XXX.XXX.XXX Para revisar la conexion: PING a una máquina en la red local, p.ej. el Gateway. Revisar conexión a Internet: ping IP_INTERNET Revisar DNS: ping HOST_INTERNET

64 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters 4) Servicios TCP/IP Importantes para Clusters (rsh, xinetd, ssh, etc.)

65 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters XINETD XINETD es un demonio de Linux hecho para simplificar el manejo de algunos servicios básicos de Red, sobre todo aquellos que abren una nueva sesión por cada usuario Archivos: /etc/xinetd.conf Los archivos de configuración estan en /etc/xinetd.d/ Hay un archivo por cada servicio con el nombre de este

66 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters COMANDOS R Son transparentes y ligeros y se utilizan para hacer logins remotos y transferencia de archivos: Archivos de configuración: /etc/xinet.d/rx, /etc/hosts, /etc/hosts.equi v, /etc/securetty, /$HOME/.rhosts /etc/hosts.deny NOTA: X = login, exec, sh, sycn

67 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters SSH Tienen la misma funcion que los comandos R la diferencia es que utiliza un canal ecriptado. Archivos de configuración: /etc/ssh/ssh_config, /etc/sshd_config Comandos importantes: ssh, scp, sftp, ssh, ssh-keygen

68 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters NFS Exports Comandos Portmap Otros sistemas de archivos por red: SAMBA?, PNFS?, GFS?, LUSTRE?

69 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters FIREWALLS / IPTABLES Firewall, Por Qué? Diferentes tipos de Firewall Soluciones existentes Firewall en el Kernel de Linux Hace un filtrado de paquetes IP Ejemplo de reglas Se usa también para Forwarding, IP masq Es un tema aparte, require un curso completo de seguridad

70 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters OTROS SERVICIOS TCP/IP IMPORTANTES PARA CLSUTERS DNS? APACHE? SENDMAIL? TFTPBOOT? FTP?

71 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters CONCLUSIONES 1) Planeación 2) Configuración adecuada de SO 3) Configuración adecuada de Red y servicios 4) Procedimientos y politicas administrativas 5) Respaldos 6) Automatización de tareas 7) Monitoreo 8) Seguridad

72 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters a los compiladores de GNU Makefiles 1) El proposito 2) Secciones y opciones 3) Errores en Makefile Compilar un programa Errores

73 Conocimientos Prácticos Necesarios de Administracion de Linux para Manejo de Clusters MONITOREO Importancia de hacer monitoreo Comandos (df, top, etc) Logs Detectando intrusiones y fallas Acciones en caso de falla

74 Administración del Cluster 1) Explicar Diferencias de Administración de un Cluster de un solo Servidor 2) Sistemas de Administración 3) Sistemas de Asignacion de Recursos de Cómputo 4) Sistemas de Paso de Mensajes 5) Programación para Clusters (Que Tipo de Programas se puede Ejecutar en un Cluster) 6) Formas de Monitoreo de un Cluster

75 Administración del Cluster 1) Explicar Diferencias de Administración de un Cluster de un solo Servidor

76 Administración del Cluster La diferencia escencial entre la admiinstración de un servidor a un cluster es el numero de maquinas o grupos que tengamos en nuestra red, mientras mas organizado y planeado tengamos nuestro sistema mas eficiente sera nuestra administración

77 Administración del Cluster 2) Sistemas de Administración

78 Administración del Cluster Hoy en dia existen varios sistemas de administración para clusters que son centralizados, distribuidos, tolerantes a fallas y agradables al usuario: Rocks Scalli SCSC Kick-start CIA

79 Administración del Cluster 3) Sistemas de Asignacion de Recursos de Cómputo

80 Administración del Cluster Los Sistemas de Asignacion de Recursos de Cómputo sirver para asignar y aprovechar mejor los recursos de cómputo que se tienen, principalmente: 1) CPU 2) RAM 3) HD Existen varios sistemas: SGE, LSF, PBS, TORQUE, MAUI. Es altamente recomendable que un Cluster tengo uno por muy chico que sea, y mas si lo utiliza mas de un usuario.

81 Administración del Cluster 4) Sistemas de Paso de Mensajes

82 Administración del Cluster Normalmente se utiliza IMPI y se ha vuelto muy popular, en general hay dos versiones MPI ver. 1.X y MPI ver 2.X. Tanto para MPI 1 como MPI 2 funcionan de manera distinta y tienen sus caracteristicas. MPI 1 siempre ha utilizado de forma nativa el paso de mensajes y con el tiempo ha mejorado en algunos aspectos MPI 2 utiliza el pricipio de maquina virtual como PVM y a traves de esta ha mejorado la comunicacion multihilo y multicore.

83 Administración del Cluster 5) Programación para Clusters (Que Tipo de Programas se puede Ejecutar en un Cluster)

84 Administración del Cluster 6) Formas de Monitoreo de un Cluster Cómo se puede realizar? A traves de scripts automatizados A traves de aplicaciones o herramientas ya populares como Rocks, CIA, Ganglia, etc..

85 Uso de un Cluster con un Sistema de Administración EJERCICIOS 1) Revisión de Configuración de un Cluster en general 2) Comandos de Administración 3) Comandos de Monitoreo 4) Ejecución de Programas 5) Uso del Sistema de Asignación de Recursos 6) Apagado/Prendido del Cluster 7) Creación de Usuarios 8) Recuperación de Fallas

86 El LSVP en la UAM... Ejemplos Prácticos en el Laboratorio de Supercómputo y Visualización en Paralelo de la UAM Iztapalapa

87 Un Cluster para HPC o CAR depende de muchas variables pero principalmente de tres en general para su uso eficiente o adecuado: 1) De la Infraestructura. 2) De su Administración. 3) De su uso por parte de los usuarios.

88 GRACIAS!

89 Universidad Autónoma Metropolitana Unidad Iztapalapa TALLER DE CLUSTERS HPC EN LINUX Laboratorio de Supercómputo y Visualización en Paralelo Ing. Juan Carlos Rosas C. Responsable del Laboratorio jcarlos@xanum.uam.mx