StaaS: Storage as a Service (1)

Transcripción

1 Z StaaS: Storage as a Service (1) Systems Integration Miguel Vidal Jose Castro Master on Free Software April 12th, / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

2 Z c Miguel Vidal, Jose Castro This work is licensed under a Creative Commons Attribution 3.0 License 2 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

3 Course Contents Z Session 0: Presentation of the Course Session 1: Introduction to free software on Servers Session 2: Storage as a Service Session 3: The Art of Virtualization Session 4: From Virtualization to Cloud Computing Session 5: High Availability Clusters 3 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

4 Motivación Z Por qué estudiar las tecnologías de almacenamiento: Es una de las tecnologías básicas que se combina con clusters, virtualización y cloud computing. Rendimiento y escalabilidad, replicación, migración no disruptiva de datos... Virtualización del almacenamiento. Reducción de los requerimientos de espacio y ahorro en costes de energía. 4 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

5 Z Qué es un Niveles estándar de 5 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

6 Índice Z Qué es un Niveles estándar de 1 Qué es un Niveles estándar de 2 Gestión de Volúmenes Lógicos () Ejemplo de 3 4 Z 6 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

7 Qué es un Z Qué es un Niveles estándar de Redundant Array of Independent Disks Es un sistema que utiliza varios discos duros para distribuir y/o replicar datos a través de los discos. Evita pérdida de datos. Minimiza tiempos de caída asociados a fallos de hardware (a menudo los reduce a cero). También puede incrementar el rendimiento. Se puede implementar en el hardware o vía software. 7 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

8 Tipos de Z Qué es un Niveles estándar de Un puede hacer dos cosas básicas: 1 Puede mejorar el rendimiento dividiendo los datos a través de varios discos (stripping), que trabajan simultáneamente con un flujo único de datos. 2 Puede duplicar datos a través de varios discos (mirror), reduciendo el riesgo asociado al fallo de un disco. 8 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

9 Índice Z Qué es un Niveles estándar de 1 Qué es un Niveles estándar de 2 Gestión de Volúmenes Lógicos () Ejemplo de 3 4 Z 9 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

10 Niveles estándar de Z Qué es un Niveles estándar de 0: (stripping) discos divididos sin paridad ni espejo 1 (mirroring o duplicación) es el primer nivel que ofrece redundancia. 4 divide el volumen con paridad dedicada. Compite (y pierde en consistencia) con 5. 5 Volumen dividido (stripped) con paridad distribuida. 5 requiere al menos 3 discos (o 10) es un volumen de datos espejado ( 1) que a su vez es dividido ( 0). 10 requiere al menos 4 discos. 10 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

11 0 Z Qué es un Niveles estándar de 0 (discos divididos sin paridad ni mirroring): usa dos o más discos de igual tamaño para reducir los tiempos de acceso y escritura. Se emplea exclusivamente para mejorar rendimiento. Tolerancia a fallos: 0 discos 11 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

12 -1 Z Qué es un Niveles estándar de Volumen duplicado ( espejado ) sin paridad ni stripping: ofrece redundancia. Los datos son duplicados en dos o más discos de forma simultánea. Tolerancia a fallos: n-1 discos 12 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

13 -4 Z Qué es un Niveles estándar de Discos divididos con un disco dedicado a información de paridad. Por ello incurre en tiempos de espera cuando escribe la paridad, lo que hace que pierda con -5, su competidor. Requiere al menos 3 discos. Tolerancia a fallos: 1 disco Excepto que tengas una buena razón, descártalo en favor de / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

14 -5 Z Qué es un Niveles estándar de Volumen dividido con paridad distribuida: es el nivel estándar más completo de. Dividiendo datos e información de paridad, crea una arquitectura redundante que al mismo tiempo mejora los tiempos de lectura/escritura. Tolerancia a fallos: 1 disco. -5 requiere al menos 3 discos. 14 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

15 Z Qué es un Niveles estándar de Ejercicios con 15 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

16 Z Gestión de Volúmenes Lógicos () Ejemplo de 16 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

17 Z Antes de los volúmenes lógicos Gestión de Volúmenes Lógicos () Ejemplo de Al principio cada sistema de ficheros manejaba un único disco: Figure: No era muy grande. 17 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

18 Z Por qué existen volúmenes lógicos Gestión de Volúmenes Lógicos () Ejemplo de Los usuarios precisaban más espacio, ancho de banda, fiabilidad y flexibilidad: Figure: Fácil: inserta un volumen para juntar discos. 18 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

19 Índice Z Gestión de Volúmenes Lógicos () Ejemplo de 1 Qué es un Niveles estándar de 2 Gestión de Volúmenes Lógicos () Ejemplo de 3 4 Z 19 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

20 Ventajas de Z Gestión de Volúmenes Lógicos () Ejemplo de Más flexible que los esquemas de particionado convencionales. permite que el espacio sea dinámicamente asignado desde una partición grande a las particiones que van necesitándose. Permite concatenar, dividir, juntar o cualquier otra combinación entre particiones en una partición virtual mayor, que los sysadmins pueden cambiar el tamaño o mover. Idealmente sin interrupción del sistema. 20 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

21 Ventajas de Z Gestión de Volúmenes Lógicos () Ejemplo de ayuda a los sysadmins a asignar el espacio disponible en disco entre particiones. es una de las muchas formas de virtualización del almacenamiento. 21 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

22 Ejemplo de Z Gestión de Volúmenes Lógicos () Ejemplo de 22 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

23 Índice Z Gestión de Volúmenes Lógicos () Ejemplo de 1 Qué es un Niveles estándar de 2 Gestión de Volúmenes Lógicos () Ejemplo de 3 4 Z 23 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

24 Ejemplo de en Linux Z Gestión de Volúmenes Lógicos () Ejemplo de Creación de volúmenes físicos # pvcreate /dev/sdb1 # pvcreate /dev/sdb2 Creación del Virtual Group # vgcreate mynew vg /dev/sdb1 /dev/sdb2 Añadir nuevos volúmenes físicos a un grupo virtual # vgextend mynew vg /dev/sdb3 24 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

25 Ejemplo de Z Gestión de Volúmenes Lógicos () Ejemplo de Creación de Volúmenes Lógicos # lvcreate -L 400 -n vol01 mynew vg # lvcreate -L n vol02 mynew vg Mostrar Grupos y Volúmenes Lógicos # vgdisplay # lvdisplay Creación de un sistema de ficheros en volúmenes lógicos # mkfs.ext3 /dev/mynew vg/vol01 # mount /dev/mynew vg/vol01 /home/foobar 25 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

26 Z 26 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

27 Z Qué es un sistema de ficheros? () 1 Permite al SO almacenar, organizar, manipular y recuperar datos. 2 Es usado en toda clase de dispositivos de almacenamiento (discos duros, cdroms, etc.). 3 *BSD (U/F), Familia Solaris (Z, U) 4 Linux Second Extended Filesystem (ext2, ext3 o ext4): similar e inspirado por ufs/ffs. 5 Sistema de archivos de red: N, SMB (CI) 6 Sistemas de ficheros distribuidos: G, OC / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

28 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

29 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? Procesos 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

30 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? Procesos Puertos serie 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

31 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? Procesos Puertos serie Estructuras de datos del y parámetros de ajuste 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

32 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? Procesos Puertos serie Estructuras de datos del y parámetros de ajuste Canales de comunicación entre procesos 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

33 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? Procesos Puertos serie Estructuras de datos del y parámetros de ajuste Canales de comunicación entre procesos Ficheros 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

34 El sistema de ficheros Z Qué podemos encontrarnos en un sistema de ficheros? Procesos Puertos serie Estructuras de datos del y parámetros de ajuste Canales de comunicación entre procesos Ficheros Enfoque Unix: todo es un fichero 28 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

35 Z El sistema de ficheros de Unix En abstracto, el sistema de ficheros de Unix comprende cuatro componentes principales: Un espacio de nombres: un modo de nombrar las cosas y organizarlas en una jerarquía. Una API: un conjunto de llamadas al sistema para navegar y manipular objetos. Un modelo de seguridad: un esquema para proteger, olcutar y compartir cosas. Una implementación: software que enlaza el modelo lógico con el hardware real. 29 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

36 Z La organización del árbol de ficheros Estructura estándar de directorios: /bin Comandos necesarios para una mínima operabilidad del sistema /sbin Comandos para el arranque, reparación y recuperación del sistema /boot Kernel y ficheros necesarios para cargar el kernel /lib Librerías y partes del compilador C /etc Archivos de configuración y de inicio /dev Entradas de dispositivo para discos, impresoras, pseudo-terminales, etc. /proc Información sobre procesos ejecutándose /home Directorios personales de usuarios /var Datos variables /tmp Ficheros temporales que desaparecen entre reboots. /root Directorio personal del superusuario 30 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

37 El sistema de ficheros Z Órdenes relativas a sistemas de ficheros Unix: chmod El comando chmod cambia los permisos de un fichero. chown El comando chown cambia el propietario y el grupo de un fichero. umask Asigna los permisos por defecto. Atributos de un fichero: # ls -l /bin/gzip -rwxr-xr-x 1 root root :45 /bin/gzip 31 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

38 Journaling Z Un sistema de ficheros que hace seguimiento de los cambios en un journal antes de escribirlos en el sistema de ficheros. Incrementa la fiabilidad: puede mantener la consistencia del sistema de ficheros incluso ante incidencias inesperadas como cortes de energía, cuelgues o reinicios no previstos. Puede haber un gran impacto en el rendimiento (los datos se escriben dos veces): solo metadatos es un compromiso entre fiabilidad y rendimiento. Es una modificación conceptualmente simple que incrementa notablemente la fiabilidad: ext3, reiserfs, jfs, xfs, ext4, ntfs / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

39 ext3fs Z El sistema de ficheros principal de Linux. El código para ext2 fue escrito específicamente para Linux, adoptando muchos conceptos de Berkeley F/U (Unix BSD). Es una extensión a ext2fs que añade capacidad de journaling. Las extensiones ext3fs se implementaron sin cambiar la estructura de ext2fs: puede montarse un sistema ext3fs como ext2fs (simplemente el journaling quedaría desactivado). 33 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

40 X y J Z X (SGI) y J (IBM): mayores competidores de ext3 en Linux. Soportados nativamente por el kernel Linux y las distribuciones basadas en él. Alto rendimiento con journaling. X tiene mayor fragmentación y gestión extendida. El rendimiento general es similar a ext3fs (lo que ha motivado su escasa implantación). 34 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

41 Linux ext3 vs. ext4 Z 35 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

42 Z B-tree file system (btrfs) Se propone reeemplazar ext3 y trasladar muchas de las funcionalidades de Z al mundo Linux (copy-on-write, snapshots, optimizado para SSD, etc.). Incorporado al kernel Linux en enero No apto para producción. Futuro incierto (es de Oracle, también dueña de Z) Pero se puede experimentar con él instalando btrfs-tools y btrfsptogs en Ubuntu u OpenSUSE. 36 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

43 Z Z 37 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

44 Un vistazo a Z Z Z es un potente, escalable (128bit) y moderno sub-sistema de almacenamiento. Fiable, administración sencilla, integridad de datos y servicios integrados. Z combina la funcionalidad de, Volúmenes y Sistema de Ficheros. La idea es que el disco debería ser algo similar a los módulos DIMM de RAM, conectar y usar. Integración con SSD: Z sabe cómo usarlo. Fiabilidad e integridad de nivel empresarial (equiparable a soluciones privativas tipo NetApp). 38 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

45 Z Z: características únicas (1) Pool de almacenamiento: elimina por completo el viejo concepto de volumen lógico como capa aparte. Z es Copy-on-Write transaccional: si múltiples procesos piden recursos iguales, se les devuelven punteros al mismo recurso. Siempre consistente (no necesidad de fsck) Integridad de datos: detecta y corrige silenciosamente corrupción de datos. Inmensa escalabilidad 39 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

46 Z Z: características únicas (y 2) Características avanzadas: snapshots, clones, rollbacks, deduplicación, compresión, replicación, cifrado, compartición nativa vía nfs, cifs o iscsi... ZIL y L2ARC: único que permite combinar uso de HDDs mecánicos con SSDs de forma transparente y con lo mejor de cada. Administración simplificada: zfs y zpool. Estado del arte, marca el camino a los futuros (como btrfs) En el proceso de escritura (I/O), un bloque puede ser comprimido, cifrado, realizada la suma de comprobación y a continuación deduplicado, en ese orden. 40 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

47 Z: limitaciones Z Z no es un de tipo cluster ni un sistema distribuido o paralelo. Muy exigente en recursos. Nativo de Solaris y derivados. Incompatibilidad con la GPL. 41 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

48 Z Z: pools de almacenamiento Los sistemas de ficheros se crean sobre pools de almacenamiento virtual llamados zpools. Un zpool se construye a partir de dispositivos virtuales (vdevs) desde dispositivos de bloques: ficheros, particiones de disco duro o discos enteros. 42 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

49 Z Modo transaccional COW en Z 43 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

50 Z Volúmenes vs. Z Pools Partición/volumen para cada Crece o se reduce manualmente Cada tiene ancho de banda limitado El almacenamiento se fragmenta No hay particiones que manejar Crece o se reduce automáticamente Todo el ancho de banda está siempre disponible Todo el almacenamiento en el pool es compartido 44 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

51 -Z Z no estándar: específico de Z. Similar a 5, pero evita el write hole de 5 (si se produce un apagón durante una escritura, paridad o datos pueden quedar inconsistentes/corruptos). Existe también -Z2 que dobla (o triplica) la estructura de partidad alcanzando resultados similares a 6. En Julio de 2009, se incorporó -Z de triple paridad a OpenSolaris. No precisa ningún hardware especial. 45 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

52 Z Ejercicios con Z 46 / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)

53 Z StaaS: Storage as a Service (1) Systems Integration Miguel Vidal Jose Castro Master on Free Software April 12th, / 47 Miguel Vidal Jose Castro StaaS: Storage as a Service (1)