Almacenamiento magnético, 3

Transcripción

1 Almacenamiento magnético, 3

2 Hemos visto o Fundamentos físicos o Algunas cuestiones de modelado

3 Hoy o Cómo se organiza el disco? o Cómo se organizan conjuntos de discos?

4 Los discos contienen archivos Tamaño fijo Tamaño variable Contiguos A C No contiguos B D

5 A: contiguos, tamaño fijo o Aparece fragmentación externa o Es preciso preveer el tamaño del archivo o Si se sobreestima, se pierde espacio

6 B: no contiguos, tamaño fijo o No tiene sentido o Ejercicio: por qué?

7 C: contiguos, tamaño variable o Mismo problema con la fragmentación externa o Un cambio de tamaño implica mover el archivo completo a otra localización

8 D: no contiguos, tamaño variable o Por encadenamiento o Por indexación o Mixto

9 D: por encadenamiento o Frágil o Elimina posibilidad de acceso aleatorio o Elimina fragmentación externa o Requiere poco espacio para implementarlo

10 D: por indexación o Más robusto o Permite acceso aleatorio o Elimina fragmentación externa o Los índices pueden colocarse cerca de los datos o Introduce fragmentación interna

11 D: mixto o Sistema FAT, en sus distintas versiones o Es simple o Ocupa mucho espacio o Los punteros están lejos de los datos o Los punteros de todos los archivos están mezclados o No requiere mapa de bits

12 Mejor solución: D, indexado o El disco se divide en un conjunto de unidades iguales llamadas bloques o Un bloque puede contener uno o varios sectores o Tamaños típicos de bloque: 1k, 2k, 4k o Cualquier bloque puede asignarse a cualquier archivo, luego

13 Mejor solución: D, indexado o Necesitamos saber qué bloques están ocupados y qué bloques libres Mapa de bits o Necesitamos saber cómo está distribuido un archivo, es decir, qué bloques lo componen Bloques de índices

14 Mapa de bits de bloques o El bit n a 1 indica bloque ocupado o Supongamos bloques de 4k, sobre un disco de 200 GB 54,428,800 bloques 1600 bloques para almacenar el mapa, aproximadamente 6,25 MB. Se tiene permanentemente en memoria o no?

15 Bloques de índices (1) o Mismo disco de 200 GB con bloques de 4k 54,428,800 bloques bloques de índices -> 0.01% o Pero, con 30,000 archivos se desperdician aprox. 15,000 bloques por fragmentación interna

16 Bloques de índices (2) o Así Si aumenta el tamaño del bloque disminuye proporcionalmente el espacio dedicado a los bloques de índices Pero aumenta el espacio desperdiciado por fragmentación interna Y a la inversa: si disminuye el tamaño del bloque disminuye la f.i. pero aumenta la proporción de espacio dedicado a bloques de índices

17 Bloques de índices (3) o Algunos punteros dentro de un b.i. no apuntan a bloques de datos, sino a b.i. o Si es preciso, pueden apuntar a bloques, cada una de cuyas entradas apunta a b.i., cada una de cuyas entradas apunta a bloques de datos

18 Características generales (1) o La distribución de tamaños no es uniforme: la inmensa mayoría de los archivos son muy pequeños. Una muy pequeña minoría son muy grandes o Queremos poder direccionar archivos muy grandes, eventualmente tan grandes como el disco

19 Características generales (2) Directorio /home 0-100k k k k k k k 8236 archivos 306 archivos 190 archivos 109 archivos 57 archivos 57 archivos 43 archivos

20 Características generales (3) Directorio /home 0-10k 10-20k 20-30k 30-40k 40-50k 50-60k 60-70k 5967 archivos 889 archivos 412 archivos 275 archivos 194 archivos 163 archivos 93 archivos

21 Características generales (4)

22 Características generales (5)

23 Características generales (6)

24 Características generales (7)

25 Características generales (8)

26 Características generales (9)

27 Otros problemas (1) o Problemas con los nombres largos o Ubicación mediante camino o Metadatos insuficientes o Datos y metadatos se tratan de igual manera

28 S.A. especiales: ISO-9660 (1) o Primera especificación de 1986, basada en HSG (1985) o Independencia de la plataforma (little y big endian) o 1 s. audio = 75 sectores o 1 sector = 16 bits, stereo, 44kHz = 2352 bytes = (sinc.+encab.+dat+error)

29 S.A. especiales: ISO-9660 (2) o No requiere FAT (sólo escritura) o Máxima profundidad de directorios: 8 o Existe una tabla con la dirección de cada archivo, lo que evita buscar por el árbol o Define varios modos, según se dedique más o menos espacio de un sector a detección de errores

30 S.A. especiales: ISO-9660 (3) o La norma define varios niveles: uno básico, otro que permite nombres largos y otro que permite fragmentación de archivos. o La extensión más importante es la grabación multisesión. o Otras extensiones: Joliet, El Torito, ISO (multisesión)

31 S.A. especiales: USBFS (1) o La memoria flash tiene características especiales que requieren software especial o Se compone de particiones. Puede simultáneamente escribirse/borrarse y leerse en el mismo dispositivo, en particiones distintas

32 S.A. especiales: USBFS (2) o La memoria existe en bloques de igual tamaño y en bloques de distinto tamaño o La memoria permite programar 1->0 pero no 0->1. Para volver al estado inicial, es preciso borrar el bloque entero

33 S.A. especiales: USBFS (3)

34 S.A. especiales: USBFS (4) o Existe memoria NAND y memoria NOR o La primera es poco fiable. Se asume que algunos bloques se estropearán. Será preciso mantener una lista de bloques defectuosos o Los bloques tienen vida limitada: es preciso distribuir las operaciones en todo el volumen

35 S.A. especiales: USBFS (5) o Alterar un archivos implica moverlo en su totalidad. Las localizaciones anteriores han de ser borradas de vez en cuando. o La gestión de particiones simples es distinta de la gestión de particiones múltiples

36

37

38

39 S.A. especiales: USBFS (6) o Más información: Flash File System Overview white paper INTEL

40 S.A. especiales: JFS (1) o IBM Journaled File System o 1990 (AIX) y 1999 (OS/2) o Posteriormente pasó a open source (versión Linux) o 64 bits o Árboles B+ para acelerar búsquedas en directorios grandes o Restauración rápida después de una caída

41 S.A. especiales: JFS (2) o Entrada/Salida concurrente para acelerar operaciones de base de datos o Los i-nodos se crean dinámicamente o Compresión/Encriptación transparente (sólo AIX) o Tamaño máximo de archivo de 4 PB y volumen de 32 PB

42 S.A. especiales: GoogleFS(1) o Sistema de archivos específico de Google, adaptado a la carga del sistema y al hardware en que se ejecuta: ordenadores baratos o Fallan varios cientos cada día, de las varias decenas de miles de máquinas que usa Google

43 S.A. especiales: GoogleFS(2) o Los fallos provienen de Fallos en discos Fallos en memoria Fallos en componentes de red Fallos de suministro eléctrico Fallos humanos Fallos en el software de aplicación o en el software del sistema

44 S.A. especiales: GoogleFS(3) o Se requiere por tanto Monitorización contínua Detección automática de fallos Tolerancia del sistema a esos fallos Recuperación automática de esos fallos

45 S.A. especiales: GoogleFS(4) o Otras características especiales: GFS trabaja con archivos de tamaños típicos de varios GB, no de kb La mayoría de los cambios en los archivos consisten en el añadido de datos, no en el borrado ni sobreescritura del archivo completo Las escrituras aleatorias son prácticamente inexistentes

46 S.A. especiales: GoogleFS(5) o Más características especiales Una vez escritos, los archivos sólo se leen, y casi siempre secuencialmente El sistema está optimizado para archivos grandes, no para pequeños El sistema está optimizado para servir muchas peticiones, no para bajos tiempos de latencia

47 S.A. especiales: GoogleFS(6)

48

49

50 S.A. especiales: GoogleFS(7) o Información completa en:

51 Preguntas (1) o Si la mayoría de los archivos son pequeños por qué no agruparlos en bloques más grandes? o Si la mayoría de los accesos son secuenciales por qué no reconsiderar el encadenamiento?

52 Preguntas (2) o Si la mayoría de los archivos son antiguos Por qué no centrarse en optimizar la lectura? o Si los discos son enormes por qué los bloques de índices no apuntan a bloques de tamaños crecientes. Así, habría un solo bloque por archivo.

53 Preguntas (3) o Por qué no hay metadatos más ricos? o Si la interfaz ya sólo puede usarse mediante programas adicionales por qué no rediseñarla? o Por qué se usa el mismo espacio y sistema para datos y metadatos?

54 Preguntas (4) o Por qué un sistema ha de soportar archivos enormes de varios GB cuando sólo hay uno o dos de estos archivos? o Los archivos muy grandes se leen secuencialmente -> encadenamiento o una tabla de parejas (origen,tamaño)

55 Preguntas (5) o Si una sesión trabaja con un número muy reducido de archivos por qué no elegir el almacenamiento más simple posible y acelerar las operaciones poniendo todos los metadatos en memoria?