Tema 6 (parte1) Sistemas de ficheros

Transcripción

1 Tema 6 (parte1) Sistemas de ficheros Administración de Sistemas de Información 4º Grado en Ingeniería Informática Tecnologías Informáticas Curso 2015/16

2 Introducción (Tradicionalmente / simplificando) Discos duros: Conjunto de bloques de bytes en los que se puede escribir (se trata de un dispositivo, normalmente): A veces se dividían los discos en partes, llamadas particiones. El nombre del dispositivo varía de SO a SO. Sistema de ficheros: Organiza esos bloques de forma que podamos ver ficheros y directorios: UNIX: Bloques, superbloques, inodos Windows: FAT, posteriormente NTFS. Un disco (o partición) se formateaba para crear ahí un sistema de ficheros que permita guardar ficheros (relación 1:1).

3 Introducción Visión tradicional de los sistemas de ficheros Esta imagen muestra: Dos discos duros físicos. El primero dividido en dos particiones. El segundo en una. Cada partición (que sigue siendo un conjunto de bloques de bytes): Se formatea (ej: ext3, ext4) para crear un sistema de ficheros. Cada sistema de ficheros, para que sea visible, debe montarse sobre otro sistema de ficheros (excepto /).

4 Sistemas de ficheros tipos UNIX: ext4, ext3, ext2 (Linux), zfs (Solaris), VxFS, hfs (HP-UX), jfs2 (AIX). Todos los sistemas aceptan especificar permisos y tienen límites razonables: Ext4: Tamaño fichero 16TiB, tamaño completo: 1EiB, 256 caracteres (filename), 2 32 ficheros (inodos), nombre de fichero: cualquier cosa menos null y /. Concepto de inodo, superbloque y bloque (es necesario conocerlos). Microsoft: FAT32: No tiene permisos. Tamaño fichero: 4GiB, tamaño completo: 2TiB / 16TiB, 256 caracteres (filename), nombre de fichero: más limitado. NTFS: Tiene permisos. Similar, en cuanto a los límites a ext4.

5 Sistemas de ficheros uso Los sistemas de ficheros están alojados en una partición (*). Se tiene que crear el sistema de ficheros para que exista (mkfs, format). Se tiene que hacer algo para que el sistema de ficheros se pueda ver: En Windows: Suele aparecer como una unidad de disco. En UNIX: Hay que montar el sistema de ficheros en un directorio (preferiblemente vacío) dentro de un sistema de ficheros que ya esté montado.

6 Sistema de ficheros Un momento! Realmente interesa dividir un sistema en varios sistemas de ficheros? Si tengo un disco de xgbytes, no es mejor tener un único sistema de ficheros? La respuesta correcta depende de uso que se le de (si solo lo usa una persona, si se trata de un servicio de alojamiento web, o de correo, o si van a existir muchos usuarios con acceso a shell). En general, si el sistema es un poco grande, interesa tener un sistema de ficheros distinto para cada parte : / o /boot: Suele ser necesario que el sistema de arranque esté en una partición normal. (La /, además, debe existir antes que el resto). /usr/local: Para programas instalados manualmente. /home: Para los directorios de los usuarios. /var: Para correo, web Una partición para swap (ya veremos que es). /usr: Pues a veces también se crea un sistema de ficheros para esto. Se trata de guardar un equilibrio: Si separo sistemas de ficheros, lo que ocurra en uno (fallo, que se llene el disco, copias de seguridad) no afectará al otro. Pero si los separo mucho puedo encontrarme con que los he dimensionado incorrectamente => Existen soluciones. Si solo lo voy a usar yo, para hacer algunas pruebas => No merece la pena molestarse.

7 Sistemas de ficheros estructura de un disco Dispositivo de bloques: Es lo que necesita el SO para crear en él un sistema de ficheros. Un disco tendrá (MBR): Un mapa de particiones. Particiones: Contienen un sector de arranque y el espacio de disco asignado. Se usa: fdisk, cfdisk, parted (GPT), gparted (GPT). Para crear el sistema de ficheros: Mkfs /dev/dispositivo (ej: mkfs /dev/sda1). Opciones: -t <tipo_fs> ; -c => Comprueba bloques. Se puede usar /dev/loop => Permite tener un sistema de ficheros en un fichero (ya veremos para qué sirve esto).

8 Sistemas de ficheros dispositivos Las herramientas para crear/mantener un sistema de ficheros necesitan saber en qué dispositivo se almacena la información. En el modelo más básico se trata de discos físicos: Particiones: /dev/sda1, /dev/sdb2. Si se usa LVM o RAID, se usan otros dispositivos (se verá). Se puede usar un fichero como dispositivo: dd if=/dev/zero of=./fakefs bs=1024 count=10k losetup /dev/loop0./fakefs => A veces ni siquiera es necesario esto. Y luego se usa /dev/loop0 como si fuera un dispositivo de disco normal => Excepto para particiones. Se puede usar para montar una imagen de CD/DVD directamente, o para hacer pruebas.

9 Sistemas de ficheros persistencia de dispositivos Problema: /dev/sda, /dev/sdb, etc NO son persistentes. Más probable: Discos externos (USB). Solución: Usar mecanismos que aseguren la persistencia de una partición. UUID: Es un identificador único asignado universalmente. Referido a particiones. (blkid, blkid -c /dev/null). Usar /dev/disk

10 Sistemas de ficheros swap No es un sistema de ficheros, pero se instala en una partición de un disco. Qué es el swap? Se puede ver el uso mediante free y swapon -s. Se crea un espacio de swap con: mkswap : Se puede usar un fichero, sin agujeros. Se añade swap con: swapon <fichero> <disp>. Si se quiere que sea permanente: /etc/fstab

11 Sistemas de ficheros crear, montar, desmontar Crear sistema de ficheros: Se usa mkfs, indicando el tipo. (hay varios mkfs). Se monta con mount <dispositvo> <pto> : Ej: Mount /dev/sda1 /mnt. Ej: mount -a. Ej: mount. Se pueden pasar opciones de montaje (ver fstab): Mount -o ro /dev/sda2 /mnt. Mount -o remount,rw /mnt => remonta /mnt en rw. El pto de montaje debe esta vacío => Y si no? Se desmonta con umount. El sistema de ficheros no puede estar en uso.

12 Sistema de ficheros /etc/fstab # Fichero fstab contiene los sistemas de ficheros que se montarán en el arranque. # # En vez de usar (primer campo) el dispositivo se puede usar el UUID (blkid). por qué? # # <dispositivo> <pto_montaje> <tipo_sistema-fich> <opciones> <dump> <pass> # Monta /dev/sda (tipo ext4) en /. No usa dump y es primero en comprobarse. /dev/sda1 / ext4 errors=remount-ro 0 1 # Esto es swap (usa UUID, recortado para que se muestre bien). UUID=2eeee- none swap sw 0 0 # CDROM: Permite que los usuarios normales lo monten (con mount), no se monta solo /dev/sr0 /media/cdrom0 udf,iso9660 user,noauto 0 0 Opciones Defaults (rw, suid, dev, exec, auto, nouser, async). Noauto: No se monta al usar mount -a. User: Los usuarios normales pueden montarlo. Implica: noexec, nosuid, nodev. Owner: El propietario del dispositivo puede montarlo. Implica: nosuid, nodev Noexec: No se permite ejecutar binarios. Nosuid: No permite que se ejecuten binarios con el bit setuid o getgid. Ro: Se monta como solo lectura.

13 Sistemas de ficheros herramientas (1/2) Fsck: Permite comprobar el sistema de ficheros: Se puede ejecutar al arrancar el sistema. Requiere que no esté montado o que esté ro. Casi nunca nos va a dar problemas => Y si los da? Directorio lost+found.

14 Sistemas de ficheros Herramientas (2/2) Fuser -m /mnt: Muestra los PID de los procesos que usan ese sistema de ficheros. Lsof hace lo mismo, pero más detallado. Recuerde: No se puede desmontar un sistema de ficheros si está en uso. Uso de disco: du. Ej: du -h. Espacio libre: df. Ej: df.

15 Sistema de ficheros quotas Se puede especificar un tope de uso de disco: Bloques: bytes. Inodos: ficheros. Límite hard y soft. El sistema de ficheros tiene que estar montado con la opción quota. OJO a /etc/fstab. Debe existir un fichero de quotas (permisos) => quotacheck. Se editan las quotas con: edquota. Se arrancan con quotaon -a (se hace por defecto). OJO: chequeo de quotas => Al arrancar se verifica.

16 RAID Introducción Redundant Array of Inexpensive Disks. Redundant Array of Independent Disks. Consiste en agrupar varios discos de forma que el SO los vea como un único dispositivo. Objetivos (no necesariamente excluyentes): Sumar la capacidad de varios discos. Lograr un mayor rendimiento (uso en paralelo). Lograr tolerancia a fallos.

17 RAID Lineal y RAID-0 Modo lineal (JBOD): Concatena varios discos. No mejora el rendimiento. RAID-0: Se trata de dos o más discos iguales. Se mejora el rendimiento (r/w). Capacidad: la suma de los discos. Fiabilidad: Si falla uno, falla todo. Fuente: Unix and Linux System Administrator Handbook, 4th d.

18 RAID RAID-1 Son dos o más discos iguales. La capacidad es la de uno de ellos: El resto tienen una copia. Rendimiento: Mejora algo en lectura. Empeora algo en escritura. Fiabilidad: Mejora. ( num. fallos?) % de uso máximo? => 50% (para dos discos). Fuente: Unix and Linux System Administrator Handbook, 4th d.

19 Fuente: Unix and Linux System Administrator Handbook, 4th d. RAID-5 En síntesis: Se usan N- discos de los que N-1 tienen datos y 1 tiene control de paridad. En realidad el disco de paridad se distribuye (razones de rendimiento). OJO: Raid-5 no significa 5 discos. Mínimo: 3. %uso máximo? => 67% (tres discos), pero si tengo 10 discos el % uso es 90%. Cuántos discos pueden fallar? Rendimiento: OK en lectura, problemas en escritura.

20 RAID Otros aspectos RAID6: Usa dos discos para paridad. Eficiencia y fallos? RAID10, RAID50, RAID60: Son combinaciones de lo que ya conocemos. Analizar eficiencia (% de desperdicio) y número de fallos. Rendimiento? Problema: incoherencia de la paridad y/o mirror (debido a escrituras no atómicas): Denominado write hole.

21 RAID finale RAID se puede implementar en hard o en software. Suelen añadirse discos hot-spare. En el caso de Linux (implementación software): Md: Multiple disk driver. LVM: Logical Volume Manager: Permite RAID0, RAID1, RAID5 y RAID6. No implementa mecanismos de hot-spare. (al menos en 2013)

22 LVM LVM (Linux Logical Volume Manager) permite combinar particiones y discos para mostrar un volumen que los agrega (que se ve como un dispositivo de bloques). Permite mover volúmenes lógicos entre distintos discos físicos. Permite hacer creer y encoger un sistema de ficheros. Permite hacer snapshots de un sistema de ficheros. Permite reemplazar discos sin tener que parar el servidor. Permite el uso de RAID0 y RAID1 (además de JBOD). Las últimas versiones también permite RAID5 y RAID6.

23 Dispositivos de bloques (PV) Sistemas de ficheros Volúmenes lógicos (LV) Grupos de Volúmenes (VG) LVM /home /var /usr/local lv-home (900GB) lv-var (100GB) VolumeGroup1 (1300GB) lv-local (200GB) VG2 (200GB) /var/ www lv-web 1,5TB /var/ mail lv-mail 0,5TB VolGrp3 (2TB) sda1 (500GB) sdb1 (800GB) sdb2 (200GB) md1 (2TB - RAID5) PV (Ph. Vol): Se trata de o bien discos/particiones o de dispositivos de bloques que son una abstracción de un grupo de discos (ej: MD de la derecha). VG (Vol. Group): Es una agrupación de PV. No son dispositivos que pueda usar el SO. LV (Logical Vol.): Es el dispositivo de bloques en el que se crea el sistema de archivos. Toma el espacio de un grupo. No todo el espacio del grupo tiene que asignarse. Puede crecer y encoger.

24 LVM Gestión de Discos Pvcreate: formatea el disco para usarlo con LVM. (Ej: pvcreate /dev/sdb2) Preferible usar partición y no disco. Por qué? El propio programa establece el tipo de partición. Pvremove: Elimina el disco para su uso con LVM: Es necesario sacarlo de los grupos de volúmenes. Pvmove: Mueve el contenido del disco a otros PV del mismo grupo. (para poder eliminarlo). Pvresize: Modifica el tamaño del PV. En qué orden? Se usa si se incrementa el tamaño de la partición (o del dispositivo md ). También sirve para encoger el PV (hay que usar -- setphysicalvolumesize).

25 pvdisplay muestra la información extendida de todos los PV (que no discos). Pvs: muestra un resumen de los PV. LVM Gestión de Discos / info En este caso, los PV ya se ha asociado a un grupo (VG) => Se indica con VG Name. Indica el tamaño (PV Size). Indica el tamaño del Phyisical Extent => Al asignar espacio a un volumen lógico se hace en múltiplos de este valor. Indica el total de PE en el PV, los que están usados y los que están libres.

26 LVM Grupos de discos Vgcreate: Crea un grupo con el/los PV indicados. (ej: vgcreate ASI /dev/sdb1). Vgextend: Añade al grupo indicado uno o más PV. (ej: vgextend ASI /dev/sdc2). Vgreduce: Elimina el PV indicado del grupo (ej: vgreduce ASI /dev/sdc2): Es necesario que no tenga PE en uso (usar pvmove). Vgremove: Elimina el grupo.

27 Al igual que sucede con los PV. Existen dos herramientas para los VG: Vgdisplay Vgs NOTA: vgdisplay - v => muestra, además, los PV del grupo. LVM Grupos de disco / info Indica el nombre del grupo (VG Name). Indica los Volúmenes Lógicos (LV) que están asociados a ese VG. Indica el número de PV del VG. Indica el tamaño total y usado, tanto en PhysicalExtents como en bytes.

28 LVM crear volúmenes lógicos Lvcreate: Crea un nuevo LV. (ej: lvcreate -L50M ASI -n lv-jim). Opciones típicas: -L => Indica el tamaño (redondeará a múltiplo PE). -n => Indica el nombre del volumen (opcional): Ubicación (en el ejemplo): /dev/asi/lv-jim -s => Crea un snapshot del LV indicado. Existen más opciones: Para crear un mirror (-m), un RAID0 (-i), etc. Por defecto se crea un JBOD.

29 LVM redimensionar Permite encoger o extender un LV. Requiere que el sistema de ficheros lo soporte: Si extiendo: 1) amplío el LV, 2) amplío el FS. Si encojo: 1) encoger el FS, 2) encoger el LV. Se usa lvresize -L+/-tamaño <lv> : La opción -r hace que se ejecute también expanda el FS (ejecuta resize2fs con los parámetros adecuados). Si no se usa -r (o si hubo algún error y el tamaño del LV no es coherente con el del FS): resize2fs. Es posible redimensionar en caliente? (nov-2013): Se puede extender el FS sin desmontarlo. Pero, NO ES POSIBLE encoger el FS sin desmontarlo.

30 LVM otras operaciones Lvremove: Permite eliminar un LV (OJO a los datos). Lvdisplay, lvs, lvscan: Son herramientas para ver los LV activos y sus características. Lvextend y lvreduce: Son el mismo programa que lvresize.

31 LVM snapshots Qué ocurre si un backup tarda mucho? (coherencia de los datos). LVM permite crear un LV que es una foto fija de otro LV: Lvcreate -s ASI/lvol0 -L25M -n lv-snap => Crea un LV (lv-snap) que es un snapshot de lvol0 (del VG ASI), el tamaño del snapshot es de 25M. Una vez creado el LV, se monta (ya tiene creado el FS) y se hace el backup de ese FS. Las modificaciones del FS original no se trasladan al snapshot. La capacidad indicada es el buffer de escritura disponible: Si se excede, el LV del snapshot queda inservible.

32 LVM otras características LVM soporta (nov-2013) no solo RAID0 y RAID1 sino también RAID5: Pero sin las características de hot-spare de md. LVM también soporta crear LV thin, lo que permite crear un LV de un tamaño grande, sin que se asignen en ese momento todos los PE. Se suele usar (como veremos) junto con md.

33 RAID con mdadm Crear RAID Ej: mdadm --create /dev/md0 --level 0 --raiddevices 2 /dev/sda1 /dev/sdb1 Crea un RAID0 (stripping), usando dos dispositivos físicos: sda1 y sdb2. El disco resultante es /dev/md0. --level: Indica el nivel del RAID: 0,1,5 son los más usados. --raid-devices: indica cuantos discos físicos se van a usar. Con RAID0 y RAID1 suelen ser 2. Con RAID5 el mínimo es 3. Y, al final, los dispositivos de bloques de los discos.

34 RAID con mdadm Gestionar RAID En /proc/mdstat => Muestra información en tiempo real de los metadispositivos. Mediante dmesg o en /var/log/syslog se puede ver qué ha pasado. En /etc/mdadm/mdadm.conf (Debian) se guarda la info sobre los metadispositivos: No es obligatorio, pero es útil que ahí aparezca la información sobre los RAID que hemos creado (de lo contrario, no arranca automáticamente). Se puede generar con mdadm --detail --scan >> Para gestionar los discos del metadispositivo: mdadm /dev/md0 -f /dev/sda1 => Hace que sda1 se marque como failed. mdadm /dev/md0 -r /dev/sda1 => Elimina sda1 del RAID. No se puede hacer si el disco está activo. mdadm /dev/md0 -a /dev/sdb1 => Añade ese disco como hot-spare.

35 RAID con mdadm Gestionar RAID Para ver los componentes de un RAID: Mdadm --detail /dev/md1 Un RAID se puede parar con: Mdadm --stop /dev/md1 Un RAID se puede volver a arrancar con: Mdadm -A /dev/md1 Pero solo se hace de forma automática si mdadm.conf tiene la información correcta Para eliminar un RAID: 1) Mdadm --stop /dev/md1 2) Mdadm --remove /dev/md1 3) Para cada componente: Mdadm --zero-superblock

36 RAID (md) y LVM Opiniones? Se crea primero los dispositivos md y luego se usa LVM (es decir, LVM usa /dev/md0, etc). Se crean primero los dispositivos con LVM y luego se usa mdadm (es decir, mdadm usa /dev/asi/lvol0, etc). Da lo mismo?