StaaS: Storage as a Service (2)

Transcripción

1 : Storage as a Service (2) Systems Integration Miguel Vidal Jose Castro Master on Free Software April 19th, / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

2 c Miguel Vidal, Jose Castro This work is licensed under a Creative Commons Attribution 3.0 License 2 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

3 Almacenamiento por red 3 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

4 Índice Almacenamiento por red 1 Almacenamiento por red 2 Aspectos generales rsync Bacula 4 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

5 Network-Attached Storage (NAS) Almacenamiento de datos orientados a fichero. Exportación de sistema de ficheros vía red a clientes heterogéneos. Cliente solicita el fichero completo al servidor y lo maneja en local. Protocolos antiguos e inseguros (aunque NFSv4 mejora seguridad y rendimiento). NFS (Network Filesystem): muy usado en sistemas Unix, aunque también disponible en muchos otros. CIFS/SMB (Common Internet File System): Muy popular en redes Windows. Implementado libremente para Un*x (Samba). 5 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

6 Storage Area Network (SAN) Opera solamente a nivel de bloque. SAN deja todo lo relacionado con el sistema de ficheros al cliente. Los protocolos SAN: SCSI, Fibre Channel, iscsi, ATA over Ethernet (AoE), o HyperSCSI. 6 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

7 iscsi Almacenamiento por red Almacenamiento por red basado en IP. Es un popular y relativamente nuevo protocolo SAN (opera a nivel de bloque). iscsi se compone de dos elementos: 1 Initiator 2 Target Los clientes (initiators) envían los comandos SCSI (CDBs) a los dispositivos de almacenamiento SCSI (targets) a través de redes IP. A diferencia del tradicional Fibre Channel, no requiere infraestructura o cableado especial. 7 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

8 ATA over Ethernet: almacenamiento de bajo coste 8 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

9 NAS vs. SAN Almacenamiento por red NAS provee al mismo tiempo el almacenamiento y el sistema de ficheros. SAN provee solo almacenamiento a nivel de bloque y deja que el cliente se encargue de lo relativo al FS. Diferentes protocolos. SAN y NAS no son excluyentes, pueden combinarse. 9 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

10 FreeNAS Almacenamiento por red Solución integrada y profesional de almacenamiento con interfaz web de configuración incluida. Soporta CIFS, FTP, NFS, rsync, iscsi, RAID (0,1,5)... y ZFS Basada en FreeBSD (m0n0wall) y con licencia BSD. En 2009 estuvo a punto de abandonarse el desarrollo y trasladarse a Debian Linux... El nombre fue adquirido por IXSystems, se mantuvo en FreeBSD, reescribió el código, actualizó su WebGUI a Django y toolkit Dojo, jails, etc. Surgió un fork, NAS4Free, que mantuvo el desarrollo de FreeNAS 7 para sistemas más modestos, embebidos, aunque también soporta instalación en HDD/SSD y ZFS. 10 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

12 Replicación del almacenamiento de disco El método más básico es el mirror de disco (similar a RAID-1), típico para discos conectados por red local. replicación síncrona: sin pérdida ( zero data loss ), operaciones atómicas de escritura (ACK), Replicación asíncrona: larga distancia, latencia alta. Incrementa el rendimiento, pero en caso de pérdida, no se garantiza que el almacenamiento remoto tenga copia actualizada de los datos. Opera a nivel de bloque (independiente del sistema de ficheros) DRBD en Linux HAST en FreeBSD AVS en derivados de Solaris. 12 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

13 DRBD Almacenamiento por red DRBD: Distributed Replicated Block Device: mirror (raid-1) de discos sobre LAN. Sistema de replicación para Linux: parte oficial de su kernel desde Con frecuencia desplegado en combinación con Heartbeat (Linux HA). Datos solo accesibles en nodo activo (salvo que se use un FS paralelo como GFS u OCFS2). 13 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

14 Arquitectura de DRBD 14 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

15 HAST - Highly Available STorage Orientado a redundancia en backends de almacenamiento. Específico para FreeBSD. Similar a RAID1 (mirror) por TCP/IP. Ofrece un dispositivo /dev/hast/ para operar como un dispositivo de bloques estándar (sincroniza a nivel de bloque). Funciona solo en modo activo-pasivo (actualmente limitado a dos nodos) HAST puede integrarse con Heartbeat, CARP (para IP failover) y con ZFS. 15 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

16 Arquitectura de HAST 16 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

17 Arquitectura de AVS Almacenamiento por red Sun StorageTek Availability Suite, replicación remota con *Solaris: 17 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

19 Sistemas de fichero distribuido Que pasa si tenemos un DRBD en 2 equipos y queremos montar al mismo tiempo la misma partición? 19 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

20 Sistemas de fichero distribuido Que pasa si tenemos un DRBD en 2 equipos y queremos montar al mismo tiempo la misma partición? Los FS tradicionales no lo permiten: necesario FS de tipo clúster ( distribuido, paralelo o compartido ). Se forma un cluster propio entre los nodos que pueden montar el FS compartido. Soportan montaje y acceso concurrente desde varios nodos a la vez: evita corrupción de datos cuando se accede a los ficheros desde diferentes hosts. 19 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

21 A diferencia del NFS, que exporta directorios, se exportan como un filesystem completo. Ejemplos: OCFS2, GFS (Global File System, no confundir con Google FS). Desventajas: Sistemas más complejos de configurar y de mantener. Rendimiento inferior. 20 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

22 : GlusterFS Cliente/servidor: El servidor NAS exporta filesystem como volúmenes. El cliente se conecta por TCP/IP o Infiniband y compone volúmenes en espacio de usuario (libglusterfs o FUSE) a través de traductores. Los traductores conectan uno o más subvolúmenes e incluyen las funcionalidades (mirror, stripping, balanceo de carga, cuotas, etc.) Evita el cuello de botella por múltiple concurrencia. No se compromete rendimiento. Muy simple. Apto para cloud. 21 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

23 : GlusterFS Figure: GlusterFS Un punto de montaje común 22 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

24 Swift Almacenamiento por red Componente de OpenStack, es la evolución del servicio Cloud Files de Rackspace. Provee al cloud de un contenedor de objetos (object store) altamente escalable y redundante. No debe confundirse con un sistema de ficheros; aunque funcionalmente es similar. No es accesible más que a través de la API de Swift. Conceptualmente similar al servicio S3 de Amazon. 23 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

25 Swift: Zonas Almacenamiento por red Son un agrupamiento lógico de servidores de almacenamiento (containers) mutuamente aislados para protegerse de fallos. Se escriben múltiples copias ( réplicas ) de cada objeto a múltiples servidores de almacenamiento en zonas separadas. Pueden ser aisladas en diferentes servidores, racks, secciones del datacenter o incluso diferentes datacenters. 24 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

27 : Virtualización del almacenamiento Abstracción transparente del almacenamiento físico. Los recursos de almacenamiento físico se agregan en pools, desde los que se crea el almacenamiento lógico. Implementado en los modernos arrays de disco. Storage as a Service: la separación (abstracción) permite incrementar la flexibilidad a los SysAdmins. es parte de soluciones cloud, clustering y HA. 26 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

28 Aspectos generales rsync Bacula 27 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

29 Índice Almacenamiento por red Aspectos generales rsync Bacula 1 Almacenamiento por red 2 Aspectos generales rsync Bacula 28 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

30 Aspectos generales (1) Aspectos generales rsync Bacula Proteger los datos es una de las tareas más importantes de un sysadmin. Desafortunadamente es también una de las tareas más tediosas. Los backups deben hacerse con cuidado y estrictamente planificados. 29 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

31 Aspectos generales (y 2) Aspectos generales rsync Bacula El sistema de backups y los medios de almacenamiento deben verificarse regularmente. Los sistemas de backups NO deben confundirse con sistemas tolerantes a fallos. La integridad de los medio de backup es vital y afecta directamente al balance de una empresa. 30 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

32 Métodos de backup Almacenamiento por red Aspectos generales rsync Bacula No estructurados: una pila de discos o CD-R/DVD-R con mínima información sobre lo que fue respaldado y cuándo. backups incrementales: backups sucesivos que contienen solamente los cambios desde el último backup. Una forma óptima de ahorrar espacio. Es muy eficiente Diferentes implementaciones. 31 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

33 Métodos de backup (y 2) Aspectos generales rsync Bacula diferenciales: coge todos los ficheros que han cambiado desde el último backup completo (full). La restauración requiere disponer del último backup completo. Backup completo: para ser recuperado completamente desde cero. Protección continua de datos: no se planifican backups periódicos, el sistema registra cada cambio de forma inmediata en el sistema anfitrión. 32 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

35 Aspectos generales rsync Bacula rsync: transferir ficheros de forma segura Puede sincronizar ficheros y directorios de una máquina a otra y puede ejecutarse junto con SSH para transferir datos de forma segura por la Red. Opcionalmente, dispone de compresión y recursión. Muy scriptable: Similar a scp pero es más escrupuloso a la hora de preservar links, fechas y permisos. Procura transmitir solo diferencias entre versiones. Forma parte del sistema base de muchas distribuciones. Es ampliamente usado. 34 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

37 Bacula Almacenamiento por red Aspectos generales rsync Bacula Bacula es una solución cliente/servidor de nivel empresarial que gestiona backups, restauración y verificación de ficheros a través de una red. Bacula corre en en Linux y en diversos Unixes. Dispone de agentes que permiten respaldar datos de muchos SOs, incluido Microsoft Windows. 36 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

38 Aspectos generales rsync Bacula Componentes de Bacula Bacula director: demonio que coordina las operaciones de respaldo, restauración y verificación. Bacula console: permite enviar trabajos manualmente al director para que los restaure o respalde. Un demonio cliente de Bacula corre en cada sistema que debe ser respaldado. 37 / 38 Miguel Vidal Jose Castro : Storage as a Service (2)

39 Aspectos generales rsync Bacula : Storage as a Service (2) Systems Integration Miguel Vidal Jose Castro Master on Free Software April 19th, / 38 Miguel Vidal Jose Castro : Storage as a Service (2)