Recursos computacionales y servicios

Transcripción

1 Recursos computacionales y servicios Grupo ArTeCS R. Cano, F. Mon, J.M. Roldán, R. Sampedro, J.C. Sáez ArTeCS 5 de julio de 2013

2 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios ArTeCS 2/56

3 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios Introducción ArTeCS 3/56

4 Introducción Objetivos 1 Presentar los recursos computacionales del grupo 2 Describir las novedades incorporadas en los servicios de ArTeCS 3 Introducir nuevos servicios y el sistema de reserva de máquinas 4 Dar algunas pautas acerca del uso de los servicios Disclaimer En la presentación hemos omitido muchos detalles técnicos Podéis encontrarlos en la Wiki de ArTeCS Recursos computacionales y servicios Introducción ArTeCS 4/56

5 Equipo de técnicos A tiempo completo: Roberto Cano <rcanofer@ucm.es> José Manuel Roldán <jomrolda@ucm.es> A tiempo parcial: Federico Mon <fmon@ucm.es> Raúl Sampedro <raulsamp@ucm.es> Datos de contacto tecnicos.artecs@fis.ucm.es Tfno.: Ext Recursos computacionales y servicios Introducción ArTeCS 5/56

6 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios Infraestructura ArTeCS 6/56

7 Infraestructura 2 clusters: etna y leviatan 9 servidores de propósito general 6 con arquitectura x86 Intel Atom, AMD Opteron Barcelona, Intel Sandy Bridge,... 2 servidores POWER: IBM Power7 710 e IBM Power5 1 Sun UltraSParc T2000 (Niagara) 5 servidores con GPUs y coprocesadores GPUs NVIDIA (Tesla, Fermi y K20) MIC: Coprocesador Intel Xeon Phi 4 servidores de virtualización 2 servidores de storage 1 máquina de cintas Recursos computacionales y servicios Infraestructura ArTeCS 7/56

8 Cluster etna Realmente, el nuevo etna Acceso a través de etnafw.dacya.ucm.es Nodos del cluster 1 frontend virtual Maestro del Grid Engine Alberga también los servicios de red necesarios para el clúster 7 nodos con CPUs AMD Opteron Interlagos 3 nodos con CPUs Intel Xeon E5@2.6GHz Sandy Bridge Recursos computacionales y servicios Infraestructura ArTeCS 8/56

9 Cluster etna Recursos computacionales y servicios Infraestructura ArTeCS 9/56

10 Cluster leviatan Acceso a través de leviatan.dacya.ucm.es Nodos del cluster 1 frontend físico Maestro del Grid Engine Servicios de red necesarios para el funcionamiento del resto de nodos 2 nodos con CPUs Intel Xeon X nodo Intel Xeon X nodos AMD Opteron 6172 Recursos computacionales y servicios Infraestructura ArTeCS 10/56

11 Cluster leviatan Recursos computacionales y servicios Infraestructura ArTeCS 11/56

12 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios Servicios ArTeCS 12/56

13 Wiki WIKI: wiki.dacya.ucm.es Hasta el momento, usada principalmente para almacenar documentación técnica Información pública: Novedades Servicios Manuales de uso y configuración Información privada para técnicos: Guías de instalación de nodos, gestión de LDAP, información de seguridad 1 Actualizada, mejorada y reorganizada 2 Incluida información exhaustiva acerca de: Máquinas y recursos hardware Recursos software Recursos computacionales y servicios Servicios ArTeCS 13/56

14 Wiki Recursos computacionales y servicios Servicios ArTeCS 14/56

15 Wiki: Infraestructura (I) Recursos computacionales y servicios Servicios ArTeCS 15/56

16 Wiki: Infraestructura (II) Recursos computacionales y servicios Servicios ArTeCS 16/56

17 Wiki: Diagramas (I) Laboratorio 220.c (sala servidores CC Físicas) Recursos computacionales y servicios Servicios ArTeCS 17/56

18 Wiki: Diagramas (II) Estructura sala servidores FdI Recursos computacionales y servicios Servicios ArTeCS 18/56

19 Estructura de la Wiki Artecs: Esta carpeta contiene todos los artículos de interés para los miembros del grupo. Se divide en tres sub-grupos: Hardware: Contiene todas las especificaciones de las máquinas del grupo. Servicios: Contiene una descripción de todos los servicios que ofrece el grupo de cara a los usuarios. Software: Contiene una descripción de uso de software que es de especial utilidad para los usuarios del grupo. Recursos computacionales y servicios Servicios ArTeCS 19/56

20 Sistema de tickets Sistema de tickets: tickets.dacya.ucm.es Recursos computacionales y servicios Servicios ArTeCS 20/56

21 Incidencias (I) Gestión de incidencias Utilizar SIEMPRE el sistema de tickets para abrir incidencias y realizar su seguimiento Para realizar otras consultas puntuales ponerse en contacto con los técnicos por mail o por teléfono Importancia de uso del sistema de tickets 1 Al abrir una incidencia, ésta se envía inmediatamente a los técnicos y al responsable de los técnicos Por cada incidencia hilo de discusión 2 En el sistema queda constancia de la fecha de apertura de la incidencia y del estado 3 Mecanismo de gestión más eficaz que el correo electrónico Recursos computacionales y servicios Servicios ArTeCS 21/56

22 Incidencias (II) Prioridad incidencias 1 Mantener funcionando los servicios críticos del grupo (LDAP, clusters, storage,...) 2 Tareas especiales orientadas a preparar los resultados para un artículo con deadline próximo 3 Mantener funcionando el resto de servicios 4 Otras tareas (instalar máquinas nuevas, tareas internas,...) Recursos computacionales y servicios Servicios ArTeCS 22/56

23 Web de ArTeCS Web de ArTeCS: artecs.dacya.ucm.es Recursos computacionales y servicios Servicios ArTeCS 23/56

24 Web de ArTeCS Contenidos principales: Historia del grupo Áreas de investigación Histórico de Artecs News Documentos de interés Presentaciones de seminarios Listado de papers Listado de miembros del grupo Recursos computacionales y servicios Servicios ArTeCS 24/56

25 Fusion forge Fusion forge: source.dacya.ucm.es Recursos computacionales y servicios Servicios ArTeCS 25/56

26 Fusion forge Sistema de gestión de proyectos Características: Control de versiones: subversion, git y CVS Foro Listas de correo Tareas Control de documentación Noticias Todo usuario de ArTeCS puede crear proyectos Los proyectos requieren aprobación por parte de los técnicos Recursos computacionales y servicios Servicios ArTeCS 26/56

27 GoSa GoSa: ldapvm.dacya.ucm.es Frontend para el servidor LDAP Interfaz simple donde los usuarios pueden cambiar: Contraseña LDAP Algunos de los datos que figuran sobre ellos en la Web de ArTeCS Recursos computacionales y servicios Servicios ArTeCS 27/56

28 Avisos generales Existe una lista de correo de la UCM para envío de notificaciones de interés general para todos los miembros de ArTeCS Responsables de la lista: técnicos, IPs, responsable(s) de técnicos, secretaria A la lista sólo pueden mandar los responsables Para añadir a más personas contactar con los técnicos Recursos computacionales y servicios Servicios ArTeCS 28/56

29 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios Servicios en Desarrollo ArTeCS 29/56

30 Cluster de GPUs Actualmente Propuesta GPUs desperdigadas por varios servidores en distintas ubicaciones Distintas versiones de GCC y CUDA en cada servidor Arbitraje en el acceso a los servidores Agrupación de todos los servidores con GPUs en un cluster Frontend con sistema de colas Recursos computacionales y servicios Servicios en Desarrollo ArTeCS 30/56

31 Nueva web de ArTeCS Problemas web actual de ArTeCS 1 Vulnerabilidades en MV e imposibilidad de actualización Versión antigua del CMS (Drupal 6) 2 Perfiles de usuario poco flexibles (información personal) Nueva web Soporte para páginas personales Beneficiarse de las nuevas características de la última versión del CMS Recursos computacionales y servicios Servicios en Desarrollo ArTeCS 31/56

32 Máquinas virtuales Windows Slots disponibles en nuevo servidor de virtualización Máquinas virtuales Windows para uso compartido Conexión por escritorio remoto Software: Labs FDI (docencia) Ej: Xilinx, ORCAD,... Otras herramientas con grandes requisitos de memoria/cpu Recursos computacionales y servicios Servicios en Desarrollo ArTeCS 32/56

33 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios Reserva de máquinas ArTeCS 33/56

34 Sistema de reservas: Motivación (I) Gestión de servidores que no pertenecen a ningún cluster Se incluyen nodos del cluster de uso específico La lista de servidores que pueden reservarse esta disponible en la Wiki Uso de estos servidores: Exploración de características de la arquitectura Medidas de temperatura/consumo Modificaciones en el software de sistema Recursos computacionales y servicios Reserva de máquinas ArTeCS 34/56

35 Sistema de reservas: Motivación (II) Los sistemas de colas no son efectivos en este escenario Acceso como administrador Reinicio frecuente de la máquina Evitar interferencia en medidas Necesario un mecanismo de gestión de acceso alternativo que permita: 1 Saber quién usa cada servidor en cada instante 2 Varios usuarios puedan compartir un servidor 3 Un usuario pueda hacer uso exclusivo del servidor durante un cierto tiempo 4 Evitar que los técnicos actúen de intermediarios en el proceso Recursos computacionales y servicios Reserva de máquinas ArTeCS 35/56

36 Sistema de reservas A través de Google Calendar Miembros de la UCM: Otros miembros de ArTeCS Existe un calendario de reservas por cada servidor Solicitud de acceso a cada calendario ticket Recursos computacionales y servicios Reserva de máquinas ArTeCS 36/56

37 Sistema de reservas: Normas Resumen de normas 1 Hay dos tipos de reserva Exclusiva: solo un usuario en la máquina No exclusiva: Varios usuarios conectados 2 Antes de poder entrar en la máquina se DEBE reservar Evento en el calendario Nombre Usuario (TipoReserva) 3 No se puede reservar indefinidamente Se reservará por intervalos de tiempo 3 días seguidos 4 Acabada la reserva, se debe dejar de usar la máquina Recursos computacionales y servicios Reserva de máquinas ArTeCS 37/56

38 Contenido 1 Introducción 2 Infraestructura 3 Servicios 4 Servicios en Desarrollo 5 Reserva de máquinas 6 Sistema de backup Recursos computacionales y servicios Sistema de backup ArTeCS 38/56

39 Sistema de backup Motivación No a la pérdida de datos importantes Objetivos Facilidad de uso Sistema discreto y no intrusivo Fiabilidad Seguridad Multiplataforma Premisas Aprovechamiento de los recursos Software Libre Recursos computacionales y servicios Sistema de backup ArTeCS 39/56

40 Alternativas probadas Sistemas operativos en backend FreeNAS Debian/kFreeBSD GNU/Linux con ZFS Programas de sincronización de ficheros Unison Bittorrent Sync Recursos computacionales y servicios Sistema de backup ArTeCS 40/56

41 Esquema Storage Máquina de cintas Recursos computacionales y servicios Sistema de backup ArTeCS 41/56

42 Solución Frontend Máquina virtual GNU/Linux Backend Storage Cintas Owncloud: Sistema de sincronización de archivos RAID 6 OpenIndiana: Sistema operativo basado en Solaris ZFS: Sistema de ficheros con soporte para snapshots Bacula Recursos computacionales y servicios Sistema de backup ArTeCS 42/56

43 Detalles de la solución 1 Los ficheros de nuestro ordenador se sincronizan con owncloud 2 El sistema de ficheros de owncloud está montado por NFS desde el storage 3 En el storage se realizan snapshots de ZFS estilo Time Machine 4 Se pasa periódicamente a cintas ubicadas en otro edificio en caso de desastre Recursos computacionales y servicios Sistema de backup ArTeCS 43/56

44 owncloud owncloud es un sistema de backup/sincronización de archivos libre similar a Dropbox o Google Drive Acceso: Interfaz web. Clientes: para Mac, Linux y Windows. Compartición de archivos y carpetas. Recursos computacionales y servicios Sistema de backup ArTeCS 44/56

45 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 45/56

46 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 46/56

47 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 47/56

48 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 48/56

49 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 49/56

50 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 50/56

51 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 51/56

52 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 52/56

53 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 53/56

54 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 54/56

55 Demo Recursos computacionales y servicios Sistema de backup ArTeCS 55/56

56 Preguntas/Sugerencias Recursos computacionales y servicios Sistema de backup ArTeCS 56/56