Gestión de archivos y directorios. Sistemas operativos: una visión aplicada. Capítulo 8 Gestión de Archivos y Directorios.

Transcripción

1 Gestión de archivos y directorios Sistemas operativos: una visión aplicada Capítulo 8 Gestión de Archivos y Directorios Objetivos: Entender los conceptos de fichero y directorio Mostrar los métodos de acceso y los mecanismos de protección Estudiar las semánticas de compartición Comprender la estructura del sistema de ficheros Presentar las llamadas al sistema y ejemplos de programación en LINUX y Windows Presentar distintas técnicas de gestión de archivos y directorios a nivel de diseño. Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez Contenido Características para el usuario Visión del usuario del sistema de archivos Archivos Directorios Servicios de archivos Servicios de directorios Sistemas de archivos El servidor de archivos Puntos a recordar Almacenamiento permanente de información. No desaparecen aunque se apague el computador. Conjunto de información estructurada de forma lógica según criterios de aplicación. Nombres lógicos y estructurados. No están ligados al ciclo de vida de una aplicación particular. Abstraen los dispositivos de almacenamiento físico. Se acceden a través de llamadas al sistema operativo o de bibliotecas de utilidades. Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 5 J. Carretero, F. García, P. de Miguel, F. Pérez

2 Sistema de archivos Contenido El acceso a los dispositivos es: Incómodo Detalles físicos de los dispositivos Dependiente de las direcciones físicas No seguro Si el usuario accede a nivel físico no tiene restricciones El sistema de archivos es la capa de software entre dispositivos y usuarios. Objetivos: Suministrar una visión lógica de los dispositivos Ofrecer primitivas de acceso cómodas e independientes de los detalles físicos Mecanismos de protección Visión del usuario del sistema de archivos Archivos Directorios Servicios de archivos Servicios de directorios Sistemas de archivos El servidor de archivos Puntos a recordar Sistemas operativos: una visión aplicada 6 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 7 J. Carretero, F. García, P. de Miguel, F. Pérez Concepto de archivo Atributos del archivo Un espacio lógico de direcciones contiguas usado para almacenar datos Tipos de archivos: Datos: numéricos carácter binarios Programas: código fuente archivos objetos (imagen de carga) Documentos Nombre: la única información en formato legible por una persona. Identificación única del archivo y del usuario: descriptor interno del archivo, dueño y grupo del archivo Tipo de archivo: necesario en sistemas que proporciona distintos formatos de archivos. Tamaño del archivo: número de bytes en el archivo, máximo tamaño posible, etc. Protección: control de accesos y de las operaciones sobre archivos Información temporal: de creación, de acceso, de modificación, etc. Información de control: archivo oculto, de sistema, normal o directorio, etc. Sistemas operativos: una visión aplicada 9 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez

3 Representación del archivo Ejemplos de representación La información relacionada con el archivo se mantiene en el descriptor del archivo, al que se apunta desde los directorios. Es distinto en cada sistema operativo: nodo-i, registro Windows, etc. Tipos de archivos: Archivos normales: ASCII y binarios. Archivos especiales: de bloques y de caracteres Nombre Atrib. Size KB Agrup. FAT cabecera Atributos Tamaño Nombre Seguridad Datos Vclusters Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Nombres de Fichero y Extensiones Estructura del fichero Tiras de caracteres Longitud: fija o variable Sensibles a tipografía Extensión: obligatoria o no Los usuarios usan nombres lógicos de este estilo Los directorios relacionan nombres lógicos y descriptores internos de ficheros El sistema de ficheros trabaja con descriptores internos Extensión exe, com, bin, none c, s, asm, p pas, f77 Z, z, zip gif, jpg o, obj ps, dvi, pdf txt, doc tex, roff html Significado Programa ejecutable Código fuente en distintos lenguajes Archivos comprimidos Archivos de imágenes Archivos objeto, compilados pero sin montar Archivos ASCII o binarios en formato imprimible o visible Archivos de texto Archivos de entrada para formateadores de texto Archivos de hipertexto para World Wide Web Ninguna - secuencia de palabras o bytes (UNIX) Estructura sencilla de registros Líneas Longitud fija Longitud variable Estructuras complejas Documentos con formato (HTML, postscript) Fichero de carga reubicable (módulo de carga) Se puede simular estructuras de registro y complejas con una estructura plana y secuencias de control Quién decide la estructura? Interna: El sistema operativo Externa: Las aplicaciones Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez

4 Distintas estructuras lógicas Árbol de registros Archivos: visión lógica Estructura de un archivo: Archivos de estructura compleja Archivos indexados Archivos directos o de dispersión Ejemplo de archivo indexado: Registro Cabecera Clave Módulo objeto Fichero indice Byte o registro de longitud fija Registros de longitud variable Cabecera Módulo objeto Archivo de biblioteca Fichero principal Los archivos estructurados en registros y los archivos con estructuras complejas se pueden construir como una capa sobre la visión de tira de bytes. Sistemas operativos: una visión aplicada 5 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 6 J. Carretero, F. García, P. de Miguel, F. Pérez Estructura de archivo ejecutable LINUX Archivos: visión lógica y física. Número mágico Cabecera primaria Número de secciones Tamaño segmento texto Usuario: Visión lógica. Cabecera de sección Cabecera de sección n Sección Sección 2 Tipo de sección, tamaño de la sección dirección virtual Tipo de sección, tamaño de la sección dirección virtual Código Datos con valor inicial Tamaño segmento datos Tamaño datos sin valor inicial Tamaño tabla de símbolos Valor inicial de registros Dirección inicial... Opciones Posición Sistema operativo: visión física ligada a dispositivos. Conjunto de bloques. Sección n Datos con valor inicial Información de carga Tabla de símbolos Otra información Sistemas operativos: una visión aplicada 7 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 8 J. Carretero, F. García, P. de Miguel, F. Pérez

5 Archivos: visión física Descripción física en UNIX (nodo-i) Bloque Unidad de transferencia 2 n sectores Parámetro fijo por sistema de archivos Agrupación Unidad de asignación 2 p bloques Aumenta la secuencialidad del archivo Descripción de la estructura física: Bloques utilizados Tipo de Fichero y Protección Número de Nombres Propietario Grupo del Propietario Tamaño Instante de creación Instante del último acceso Instante de la última modificación Puntero a bloque de datos Puntero a bloque de datos Puntero a bloque de datos 9 Puntero indirecto simple Puntero indirecto doble Puntero indirecto triple nodo-i Tamaño máximo del archivo: Sb+(Sb/4)Sb +(Sb/4) 2 Sb +(Sb/4) 3 Sb Sb el tamaño del bloque y direcciones de bloques de 4 bytes. Punteros a Bloques de Datos Punteros a Bloques de Datos Punteros a Bloques de Datos Punteros a Bloques de Datos Punteros a Bloques de Datos Punteros a Bloques de Datos Sistemas operativos: una visión aplicada 9 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Descripción física en MS-DOS (FAT) Directorio Raíz Nombre Atrib. KB Agrup. pep_dir dir 5 27 fiche.txt 2 45 Directorio pep_dir Nombre Atrib. KB Agrup. FAT de 2 bits 4K agrupaciones FAT de 6 bits 64K agrupaciones 27 <eof> 45 5 <eof> 58 <eof> carta.wp R prue.zip <eof> 9 FAT 58 5 Métodos de Acceso Acceso secuencial: lectura de los bytes del archivo en orden ascendente, empezando por el principio. read next, write next, reset, no read after last write, rewind: ir al principio para buscar hacia delante Lectura -> posición = posición + datos leídos Dispositivos de cinta ISAM: método de acceso secuencial indexado Acceso Directo: read n, write n, goto n, rewrite n, read next, write next, n = número de bloque relativo al origen Dispositivos: discos magnéticos Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 22 J. Carretero, F. García, P. de Miguel, F. Pérez

6 Archivos: semántica de coutilización Archivos: semántica de coutilización (II) Cualquier forma de acceso tiene problemas cuando varios usuarios trabajan con el archivo simultáneamente. Semántica de coutilización: especifica el efecto de varios procesos accediendo de forma simultánea al mismo archivo y cuando se hacen efectivas las modificaciones. Tipos de semánticas: Semántica UNIX (POSIX) Las escrituras son inmediatamente visibles para todos los procesos con el archivo abierto. Los procesos pueden compartir archivos. Si existe relación de parentesco pueden compartir el puntero. La coutilización afecta también a los metadatos. Semántica de sesión Las escrituras que hace un proceso no son inmediatamente visibles para los demás procesos con el archivo abierto. Cuando se cierra el archivo los cambios se hacen visibles para las futuras sesiones. Un archivo puede asociarse temporalmente a varias imágenes. Semántica de versiones Las actualizaciones se hacen sobre copias con nº versión. Sólo son visibles cuando se consolidan versiones. Sincronización explícita si se requiere actualización inmediata Semántica de archivos inmutables Una vez creado el archivo sólo puede ser compartido para lectura y no cambia nunca Sistemas operativos: una visión aplicada 23 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 24 J. Carretero, F. García, P. de Miguel, F. Pérez Contenido Concepto de directorio Visión del usuario del sistema de archivos Archivos Directorios Servicios de archivos Servicios de directorios Sistemas de archivos El servidor de archivos Puntos a recordar Objeto que relaciona de forma unívoca un nombre de usuario de archivo con su descriptor interno Organizan y proporcionan información sobre la estructuración de los sistemas de archivos Una colección de nodos que contienen información acerca de los archivos Sistemas operativos: una visión aplicada 25 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 26 J. Carretero, F. García, P. de Miguel, F. Pérez

7 Directorios: visión lógica Estructura de los directorios Esquema jerárquico. Cuando se abre un archivo el SO busca el nombre en la estructura de directorios. Operaciones sobre un directorio: Crear (insertar) y borrar (eliminar) directorios. Abrir y cerrar directorios. Renombrar directorios. Leer entradas de un directorio. Montar (combinar) La organización jerárquica de un directorio Simplifica el nombrado de archivos (nombres únicos) Proporciona una gestión de la distribución => agrupar archivos de forma lógica (mismo usuario, misma aplicación) Tanto la estructura del directorio como los archivos residen en discos Los directorios se suelen implementar como archivos Copias de respaldo en cintas, por seguridad Información en un directorio: nombre, tipo, dirección, longitud máxima y actual, tiempos de acceso y modificación, dueño, etc. Hay estructuras de directorio muy distintas. La información depende de esa estructura. Dos alternativas principales: Almacenar atributos de archivo en entrada directorio Almacenar <nombre, identificador>, con datos archivo en una estructura distinta. Esta es mejor. Sistemas operativos: una visión aplicada 27 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 29 J. Carretero, F. García, P. de Miguel, F. Pérez Ejemplo de entradas de directorio Organización del directorio Nombre Código de usuario Nombre Tipo de archivo archivo extendido Directorio de CP/M Tipo de archivo Nodo-i: Puntero al descriptor del archivo Contador de bloques Directorio de MS-DOS Nombre... Números de bloque Número del primer Reservado Hora bloque Atributos Fecha Tamaño Eficiencia: localizar un archivo rápidamente Nombrado: conveniente y sencillo para los usuarios Dos usuarios pueden tener el mismo nombre para archivos distintos Los mismos archivos pueden tener nombres distintos Nombres de longitud variable Agrupación: agrupación lógica de los archivos según sus propiedades (por ejemplo: programas Pascal, juegos, etc.) Estructurado: operaciones claramente definidas y ocultación Sencillez: la entrada de directorio debe ser lo más sencilla posible. Directorio de UNIX Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez

8 Directorio de un nivel Directorio de dos niveles Un único directorio para todos los usuarios Problemas de nombrado y agrupación Un directorio por cada usuario Camino de acceso automático o manual El mismo nombre de archivo para varios usuarios Búsqueda eficiente, pero problemas de agrupación carta mapa.gif lista.txt... Directorio... programa.o Archivos datos lista.c... Directorio... del usuario... archivos... Directorio marivi miguel elvira maestro claves mail lista.c... Directorio... mio.o del usuario test agenda... Directorio... claves del usuario... archivos archivos... Sistemas operativos: una visión aplicada 32 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 33 J. Carretero, F. García, P. de Miguel, F. Pérez Directorio con estructura de árbol Búsqueda eficiente y agrupación Nombres relativos y absolutos -> directorio de trabajo correo datos lista.c claves agenda marivi miguel... elvira mio.o tmp home... Directorio... usr raíz test agenda claves bin include mail stdio.h sh rm vi buzon Directorio con estructura de árbol Los nombres absolutos contienen todo el camino Los nombres relativos parten del directorio de trabajo o actual Cambio de directorio: cd /spell/mail/prog cd prog Borrar un archivo: rm <nombre-archivo> Crear un subdirectorio: mkdir <nombre_dir> Ejemplo: cd /spell/mail mkdir count ls /spell/mail/count Borrar un subdirectorio: rm -r mail Sistemas operativos: una visión aplicada 34 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 35 J. Carretero, F. García, P. de Miguel, F. Pérez

9 Directorio de grafo acíclico I Directorio de grafo acíclico II Tienen archivos y subdirectorios compartidos Este concepto no existe en Windows correo datos lista.c claves agenda marivi miguel... elvira claves tmp home... Directorio... usr raíz test agenda claves bin include mail stdio.h sh rm vi buzon link: Un archivo con varios nombres -> control de enlaces un único archivo con contador enlaces en descriptor (e. Físicos) archivos nuevos con el nombre destino dentro (e. simbólicos) Borrado de enlaces: a) decrementar contador; si borrar archivo b) recorrer los enlaces y borrar todos c) borrar únicamente el enlace y dejar los demás Problema grave: existencia de bucles en el árbol. Soluciones: Permitir sólo enlaces a archivos, no subdirectorios Algoritmo de búsqueda de bucle cuando se hace un enlace Limitación de implementación en UNIX: sólo enlaces físicos dentro del mismo sistema de archivos. Sistemas operativos: una visión aplicada 36 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 37 J. Carretero, F. García, P. de Miguel, F. Pérez Nombres jerárquicos Interpretación de nombres en LINUX. I Nombre absoluto: especificación del nombre respecto a la raíz (/ en LINUX, \ en Windows). Nombre relativo: especificación del nombre respecto a un directorio distinto del raíz Ejemplo: (Estamos en /users/) miguel/claves Relativos al dir. de trabajo o actual: aquel en el se está al indicar el nombre relativo. En Linux se obtiene con pwd Directorios especiales:. Directorio de trabajo. Ejemplo: cp / users/miguel/claves... Directorio padre. Ejemplo: ls.. Directorio HOME: el directorio base del usuario claves textos Sistemas operativos: una visión aplicada 38 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 39 J. Carretero, F. García, P. de Miguel, F. Pérez

10 Interpretación de nombres en LINUX. II Jerarquía de directorios Interpretar /users/miguel/claves Traer a memoria entradas archivo con nodo-i 2 Se busca dentro users y se obtiene el nodo-i 342 Traer a memoria entradas archivo con nodo-i 342 Se busca dentro miguel y se obtiene el nodo-i 256 Traer a memoria entradas archivo con nodo-i 256 Se busca dentro claves y se obtiene el nodo-i 758 Se lee el nodo-i 758 y ya se tienen los datos del archivo Cuándo parar? Se ha encontrado el nodo-i del archivo No se ha encontrado y no hay más subdirectorios Estamos en un directorio y no contiene la siguiente componente del nombre (por ejemplo, miguel). Árbol único de directorios? Por dispositivo lógico en Windows (c:\users\miguel\claves, j:\pepe\tmp,...) Para todo el sistema en UNIX (/users/miguel/claves, /pepe/tmp,...). Hacen falta servicios para construir la jerarquía: mount y umount. mount /dev/hda /users umount /users Ventajas: imagen única del sistema y ocultan el tipo de dispositivo Desventajas: complican la traducción de nombres, problemas para enlaces físicos entre archivos Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez Montado de Sistemas de archivos o particiones Contenido Volumen raiz (/dev/hd) / /lib /bin /usr Volumen sin montar (/dev/hd) / /d /d2 /d3 mount /dev/hd /usr Volumen montado / /lib /bin /usr Visión del usuario del sistema de archivos Archivos Directorios Servicios de archivos Servicios de directorios Sistemas de archivos El servidor de archivos Puntos a recordar /d3/f /d3/f2 /usr/d3 /usr/d /usr/d2 /usr/d3/f /usr/d3/f2 Sistemas operativos: una visión aplicada 42 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 89 J. Carretero, F. García, P. de Miguel, F. Pérez

11 Sistemas de archivos y particiones Tipos de particiones El sistema de archivos permite organizar la información dentro de los dispositivos de almacenamiento secundario en un formato inteligible para el sistema operativo. Previamente a la instalación del sistema de archivos es necesario dividir físicamente, o lógicamente, los discos en particiones o volúmenes [Pinkert 989]. Una partición es una porción de un disco a la que se la dota de una identidad propia y que puede ser manipulada por el sistema operativo como una entidad lógica independiente. Una vez creadas las particiones, el sistema operativo debe crear las estructuras de los sistemas de archivos dentro de esas particiones. Para ello se proporcionan mandatos como format o mkfs al usuario. #mkswap c /dev/hda2 28 #mkfs -c /dev/hda3 b Partición 2 Partición 3 Partición 4 Partición 5 Sistemas operativos: una visión aplicada 9 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 9 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas de archivos y particiones (II) Sistemas de archivos y particiones (III) Sistema de archivos: conjunto coherente de metainformación y datos. Ejemplos de Sistemas de archivos: MS-DOS Boot UNIX Boot Dos copias de la FAT Super Bloque Mapas de bits Directorio Raíz nodos-i Datos y Directorios Datos y Directorios Descripción de sistemas de archivos: El sector de arranque en MS-DOS El superbloque en UNIX Relación sistema de archivos-dispositivo: Típico: dispositivo N sistemas de archivos (particiones) Grandes archivos: N dispositivos sistema de archivos Típicamente cada dispositivo se divide en una o más particiones (en cada partición sistema de archivos) La tabla de particiones indica el principio, el tamaño y el tipo de cada partición. Sistemas operativos: una visión aplicada 92 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 93 J. Carretero, F. García, P. de Miguel, F. Pérez

12 Bloques y agrupaciones Tamaño bloque, ancho banda y uso disco Bloque: agrupación lógica de sectores de disco y es la unidad de transferencia mínima que usa el sistema de archivos. Optimizar la eficiencia de la entrada/salida de los dispositivos secundarios de almacenamiento. Todos los sistemas operativos proporcionan un tamaño de bloque por defecto. Los usuarios pueden definir el tamaño de bloque a usar dentro de un sistema de archivos mediante el mandato mkfs. Agrupación: conjunto de bloques que se gestionan como una unidad lógica de gestión del almacenamiento. El problema que introducen las agrupaciones, y los bloques grandes, es la existencia de fragmentación interna. Ancho de Banda (Kbytes/sec) ancho de banda uso del disco K 2K 4K 8K 6K 32K Tamaño de Bloque % Uso del Espacio de Disco Sistemas operativos: una visión aplicada 94 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 95 J. Carretero, F. García, P. de Miguel, F. Pérez Estructuras de sistemas de archivos Superbloque de sistemas de archivos en LINUX Sistemas operativos: una visión aplicada 96 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 97 J. Carretero, F. García, P. de Miguel, F. Pérez

13 Otros sistemas de archivos Estructura del FFS Fast File System EXT2 (extended file system) Archivos con bandas LFS (log structured file system) Sistemas de archivos paralelos... Sistemas operativos: una visión aplicada 98 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 99 J. Carretero, F. García, P. de Miguel, F. Pérez Estructura de un sistema de archivos con bandas Contenido Conjunto de bandas Partición Lógica Disco Disco Disco 2 Disco 3 Partición del sistema bloque bloque bloque 4 bloque 2 bloque 3 Visión del usuario del sistema de archivos Archivos Directorios Servicios de archivos Servicios de directorios Sistemas de archivos El servidor de archivos Puntos a recordar Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez

14 Servidor de archivos Para proporcionar un acceso eficiente y sencillo a los dispositivos de almacenamiento, todos los sistemas operativos tienen un servidor de archivos que permite almacenar, buscar y leer datos fácilmente. Dicho servidor de archivos tiene dos tipos de problemas de diseño muy distintos entre sí: Definir la visión de usuario del sistema de entrada/salida, incluyendo servicios, archivos, directorios, sistemas de archivos, etc. Definir los algoritmos y estructuras de datos a utilizar para hacer corresponder la visión del usuario con el sistema físico de almacenamiento secundario. Estructura del servidor de archivos Proceso de Usuario Proceso de Usuario 2 Proceso de Usuario 3... Módulo de Organización de Archivos ext2 msdos ffs... proc Servidor de Bloques... Sistema de Archivos Virtual Cache de Bloques Manejadores de Dispositivo Proceso de Usuario n Nivel de usuario Nivel de sistema Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez Sistema de archivos virtuales Estructura de un nodo virtual de UNIX S.A. Virtual: interfaz de llamadas de entrada/salida del sistema y de pasar al módulo de organización de archivos la información necesaria para ejecutar los servicios pedidos por los usuarios. Servicios: manejo de directorios, gestión de nombres, algunos servicios de seguridad, integración dentro del servidor de archivos de distintos tipos de sistemas de archivos servicios genéricos de archivos y directorios. Nodo virtual: estructura de información que incluye las características mínimas comunes a todos los sistemas de archivos subyacentes y que enlaza con un descriptor de archivo de cada tipo particular. nodo-v Información del archivo virtual Direcciones de las operaciones virtuales Dirección del nodo-i específico Direcciones de las operaciones específicas de SA nodo-i Tabla de funciones del SA Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 5 J. Carretero, F. García, P. de Miguel, F. Pérez

15 Módulo de organización de archivos Servidor de bloques Proporciona el modelo del archivo del sistema operativo y los servicios de archivos. Relaciona la imagen lógica del archivo con su imagen física, proporcionando algoritmos para trasladar direcciones lógicas de bloques a sus correspondientes direcciones físicas. Gestiona el espacio de los sistemas de archivos, la asignación de bloques a archivos y el manejo de los descriptores de archivo (nodos-i de UNIX o registros de Windows NT). Un módulo de este estilo por cada tipo de archivo soportado (UNIX, AFS, Windows NT, MS-DOS, EFS, MINIX, etc.). Dentro de este nivel también se proporcionan servicios para pseudo-archivos, tales como los del sistema de archivos proc. Las llamadas de gestión de archivos y de directorios particulares de cada sistema de archivos se resuelven en el módulo de organización de archivos. Para ello, se usa la información existente en el nodo-i del archivo afectado por las operaciones. Sistemas operativos: una visión aplicada 6 J. Carretero, F. García, P. de Miguel, F. Pérez Se encarga de emitir los mandatos genéricos para leer y escribir bloques a los manejadores de dispositivo. La E/S de bloques de archivo, y sus posibles optimizaciones, se lleva a cabo en este nivel del servidor de archivos. Las operaciones se traducen a llamadas de los manejadores de cada tipo de dispositivo específico y se pasan al nivel inferior del sistema de archivos. Esta capa oculta los distintos tipos de dispositivos, usando nombres lógicos para los mismos. Por ejemplo, /dev/hda3 será un dispositivo de tipo hard disk (hd), cuyo nombre principal es a y en el cual se trabaja sobre su partición 3. Los mecanismos de optimización de la E/S, como la cache de bloques, se incluye en este nivel. Sistemas operativos: una visión aplicada 7 J. Carretero, F. García, P. de Miguel, F. Pérez Descomposición en operaciones de bloques Descomposición en operaciones de bloques (II) Archivos con estructura de bytes Escritura leer Fichero (tira de bytes) Archivos de registros de tamaño fijo R R2 R3 R4 R5 R6 Bloque Bloque 2 Bloque 3 Bloques R R2 R3 R4 R5 R6 Bloque Bloque 2 Bloque 3 Sistemas operativos: una visión aplicada 8 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 9 J. Carretero, F. García, P. de Miguel, F. Pérez

16 Manejadores de dispositivos Flujo de datos en el S. de A. read (fd, buffer, tamaño) Un manejador por cada dispositivo, o clase de dispositivo, del sistema. Su función principal es recibir ordenes de E/S de alto nivel, tal como move_to_block 234, y traducirlas al formato que entiende el controlador del dispositivo, que es dependiente de su hardware. Habitualmente, cada dispositivo tiene una cola de peticiones pendientes, de forma que un manejador puede atender simultáneamente a varios dispositivos del mismo tipo. Una de las principales funciones de los manejadores de dispositivos es recibir las peticiones de entrada/salida y colocarlas en el lugar adecuado de la cola de peticiones del dispositivo afectado. La política de inserción en cada cola puede ser diferente, dependiendo del tipo de dispositivo o de la prioridad de los dispositivos. Para un disco, por ejemplo, se suele usar la política CSCAN. Usuario archivo lógico (VFS) archivo lógico (FFS) Bloques lógicos (Servidor de bloques) Manejador de disco y dispositivo buffer tamaño bloques del archivo bloques del dispositivo bloques del disco Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada J. Carretero, F. García, P. de Miguel, F. Pérez Estructuras de datos asociadas al S. de A. (I) Estructuras de datos asociadas al S. de A. (II) Tabla de nodos-v: almacena en memoria la información del nodo-v existente en el disco y otra que se usa dinámicamente y que sólo tiene sentido cuando el archivo está abierto. Problema: si sólo hay un campo de apuntador, cada operación de un proceso afectaría a todos los demás. Posible solución: incluir la información relativa al archivo dentro del bloque de descripción del proceso (BCP). Tabla de archivos abiertos (tdaa) por un proceso, dentro del BCP, con sus descriptores temporales y el valor del apuntador de posición del archivo para ese proceso. El tamaño de esta tabla define el máximo número de archivos que cada proceso puede tener abierto de forma simultánea. El descriptor de archivo fd indica el lugar de tabla. La tdaa se rellena de forma ordenada, de forma que siempre se ocupa la primera posición libre de la tabla. En los sistemas UNIX cada proceso tiene tres descriptores de archivos abiertos por defecto: entrada estándar, fd =, salida estándar, fd =, error estándar, fd = 2. Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Tabla intermedia nodo-i-posición: entre la tabla de archivos del BCP y la tabla de nodos-i. Dicha tabla incluye, entre otras cosas: La entrada del nodo-i del archivo abierto en la tabla de nodos-i. El apuntador de posición correspondiente al proceso, o procesos, que usan el archivo durante esa sesión. El modo de apertura del archivo Tabla de nodos-i: almacena en memoria la información del nodo-i existente en el disco y otra que se usa dinámicamente y que sólo tiene sentido cuando el archivo está abierto. Esta tabla limita el número de máximo de archivos abiertos en el sistema de forma simultánea. Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez

17 Tablas que usa el servidor de archivos Correspondencia bloques-archivos Tabla de archivos abiertos. P fd Tabla de nodos-i 98 Tabla de archivos abiertos. P2 fd Tabla de archivos abiertos. P3 fd Nodo-i Posición Tabla intermedia de nodos-i y posiciones Cómo asignar los bloques de disco a un archivo y cómo hacerlos corresponder con la imagen del archivo que tiene la aplicación? Asignación de bloques contiguos. Sencillo de implementar y el rendimiento de la E/S es muy bueno. Si no se conoce el tamaño total del archivo cuando se crea, puede ser necesario buscar un nuevo hueco de bloques consecutivos cada vez que el archivo crece. Fragmentación externa -> compactar el disco. Asignación de bloques discontiguos. Se asigna al archivo el primer bloque que se encuentra libre. No hay fragmentación externa del disco ni búsqueda de huecos. Los archivos pueden crecer mientras exista espacio en el disco. Complica la implementación de la imagen de archivo -> mapa de bloques del archivo. Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 5 J. Carretero, F. García, P. de Miguel, F. Pérez Mecanismos enlazados Listas o índices enlazados: desde cada entrada de un bloque existe un enlace al siguiente bloque del archivo. Ejemplo: tabla FAT de Windows FAT archivo A: archivo B: Mecanismos indexados Cada archivo tiene sus bloques de índice que incluyen apuntadores a los bloques de disco del archivo. El orden lógico se consigue mediante la inserción de los apuntadores en orden creciente, a partir del primero, en los bloques de índices. Ventaja: basta con traer a memoria el bloque de índices donde está el apuntador a los datos para tener acceso al bloque de datos. Si un apuntador de bloque ocupa 4 bytes y el bloque es de 4 Kbytes, con un único acceso a disco tendremos 24 apuntadores a bloques del archivo. Problema: el espacio extra necesario para los bloques de índices. Ese problema, fue resuelto en UNIX BSD combinando un sistema de índices puros con un sistema de índices multinivel, que es que se usa actualmente en UNIX y LINUX. Permite almacenar archivos pequeños sin necesitar bloques de índices. Permite accesos aleatorios a archivos muy grandes con un máximo de 3 accesos a bloques de índices. archivo C: 3 3 Sistemas operativos: una visión aplicada 6 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 7 J. Carretero, F. García, P. de Miguel, F. Pérez

18 Mapa de bloques en un nodo-i Gestión de espacio libre nodo-i Información del archivo Direcciones de los primeros bloques Indirecto simple Indirecto doble Indirecto triple Bloque indirecto DISCO 675 Mapas de bits, o vectores de bits: un bit por recurso existente (descriptor de archivo, bloque o agrupación). Si el recurso está libre, el valor del bit asociado al mismo es, si está ocupado es. Ejemplo, sea un disco en el que los bloques 2, 3, 4, 8, 9 y están ocupados y el resto libres, y en el que los descriptores de archivo 2, 3 y 4 están ocupados. Sus mapas de bits de serían: MB de bloques:... M MB de descriptores:... Fácil de implementar y sencillo de usar. Eficiente si el dispositivo no está muy lleno o muy fragmentado. Listas de recursos libres: mantener enlazados en una lista todos los recursos disponibles (bloques o descriptores de archivos) manteniendo un apuntador al primer elemento de la lista. Este método no es eficiente, excepto para dispositivos muy llenos y fragmentados Uso de agrupaciones. Sistemas operativos: una visión aplicada 8 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 9 J. Carretero, F. García, P. de Miguel, F. Pérez Ejemplo de listas de recursos Incremento de prestaciones Bloques libres (A) Bloques libres 7,, 4, 6,3 (B) Basados en el uso de almacenamiento intermedio de datos de entrada/salida en memoria principal. Estos mecanismos son de dos tipos: Discos RAM, cuyos datos están almacenados sólo en memoria. Aceptan todas las operaciones de cualquier otro sistema de archivos y son gestionados por el usuario. Pseudodispositivos para almacenamiento temporal o para operaciones auxiliares del sistema operativo. Su contenido es volátil. Cache de datos, instaladas en secciones de memoria principal controladas por el sistema operativo, donde se almacenan datos para optimizar accesos posteriores. Se basan en la existencia de proximidad espacial y temporal en las referencias a los datos de entrada/salida. Dos caches importantes dentro del servidor de archivos: cache de nombres y cache de bloques. Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 2 J. Carretero, F. García, P. de Miguel, F. Pérez

19 Cache de bloques Cache de bloques (II) Fundamento: Proximidad espacial Proximidad temporal Dos clases de flujos de E/S: Usan una sola vez cada bloque Usan repetidamente los bloques Acceso a disco mucho más lento que el acceso a memoria Estructura de datos en memoria con los bloques más frecuentemente utilizados Proceso Proceso Cache Cache Disco Disco Lecturas adelantadas Limpieza de la cache (sync) Principal problema: fiabilidad del sistema de archivos. Sistemas operativos: una visión aplicada 22 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 23 J. Carretero, F. García, P. de Miguel, F. Pérez Flujo datos con cache de bloques Políticas de reemplazo read (fd, buffer, tamaño) Usuario archivo lógico (VFS) archivo lógico (FFS) Bloques lógicos (Servidor de bloques) Cache de bloques (Servidor de bloques) Manejador de disco y dispositivo buffer tamaño bloques del archivo bloques del dispositivo bloques del disco Algoritmo: Comprobar si el bloque a leer está en la cache. En caso de que no esté, se lee del dispositivo y se copia a la cache. Si la cache está llena, es necesario hacer hueco para el nuevo bloque reemplazando uno de los existentes: políticas de reemplazo. Si el bloque ha sido escrito (sucio): política de escritura. Políticas de reemplazo: FIFO (First in First Out), segunda oportunidad, MRU (Most Recently Used), LRU (Least Recently Used), etc. La política de reemplazo más frecuentemente usada es la LRU. Esta política reemplaza el bloque que lleva más tiempo sin ser usado, asumiendo que no será referenciado próximamente. Los bloques más usados tienden a estar siempre en la cache y, por tanto, no van al disco. La utilización estricta de esta política puede crear problemas de fiabilidad en el sistema de archivos si el computador falla. La mayoría de los servidores de archivos distinguen entre bloques especiales y bloques de datos. Sistemas operativos: una visión aplicada 24 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 25 J. Carretero, F. García, P. de Miguel, F. Pérez

20 Políticas de escritura Montado de sistemas de archivos o particiones Escritura inmediata (write-through): se escribe cada vez que se modifica el bloque. No hay problema de fiabilidad, pero se reduce el rendimiento del sistema. Escritura diferida (write-back): sólo se escriben los datos a disco cuando se eligen para su reemplazo por falta de espacio en la cache. Optimiza el rendimiento, pero genera los problemas de fiabilidad anteriormente descritos. Escritura retrasada (delayed-write), que consiste en escribir a disco los bloques de datos modificados en la cache de forma periódica cada cierto tiempo (3 segundos en UNIX). Compromiso entre rendimiento y fiabilidad. Reduce la extensión de los posibles daños por pérdida de datos. Los bloques especiales se escriben inmediatamente al disco. No se puede quitar un disco del sistema sin antes volcar los datos de la cache. Escritura al cierre (write-on-close): cuando se cierra un archivo, se vuelcan al disco los bloques del mismo que tienen datos actualizados. Sistemas operativos: una visión aplicada 26 J. Carretero, F. García, P. de Miguel, F. Pérez Oculta el nombre del dispositivo físico o partición Volumen raiz (/dev/hd) / /lib /bin /usr Volumen sin montar (/dev/hd) En MS-DOS c:\tmp\datos.txt / /d /d2 /d3 /d3/f /d3/f2 mount /dev/hd /usr Volumen montado Sistemas operativos: una visión aplicada 27 J. Carretero, F. García, P. de Miguel, F. Pérez / /lib /bin /usr /usr/d /usr/d2 /usr/d3 /usr/d3/f /usr/d3/f2 Enlaces Enlace físico Permite que dos o más nombres hagan referencia al mismo archivo. / / Dos tipos: Enlace físico El archivo sólo se elimina cuando se borran todos los enlaces Sólo se permiten enlazar archivos (no directorios) del mismo volumen. Enlace simbólico El archivo se elimina cuando se borra el enlace físico. Si permanece el enlace simbólico provoca errores al tratar de accederlo. Se puede hacer con archivos y directorios. Se puede hacer entre archivos de diferentes sistema de archivos Sistemas operativos: una visión aplicada 28 J. Carretero, F. García, P. de Miguel, F. Pérez usr datos.txt pepe... datos.txt prog.c lib pepe user prog.c juan juan... prueba.txt prueba.txt 8 6 ln /user/pepe/datos.txt /user/juan/datos2.txt Sistemas operativos: una visión aplicada 29 J. Carretero, F. García, P. de Miguel, F. Pérez usr datos.txt pepe... datos.txt prog.c lib pepe user prog.c juan prueba.txt datos2.txt juan. 8.. nodo-i 28 prueba.txt 6 enlaces = 2 datos2.txt 28 descripción del fichero

21 Enlace simbólico Ejemplo de montado / / / usr lib user usr lib user pepe juan pepe juan datos.txt prog.c prueba.txt datos.txt prog.c prueba.txt datos2.txt = punto de montado pepe... datos.txt prog.c juan. 8.. prueba.txt 6 nodo-i 28 enlaces = descripción del fichero pepe... datos.txt prog.c juan. 8.. prueba.txt 6 datos2.txt 3 nodo-i 3 enlaces = /user/pepe/ datos.txt ln -s /user/pepe/datos.txt /user/juan/datos2.txt Punto de montado Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 3 J. Carretero, F. García, P. de Miguel, F. Pérez Fiabilidad del sistema de archivos Fallos HW y SW pueden provocar fallos en un volumen Soluciones: Hardware: Controladores que tratan con sectores con fallos Discos con información redundante (RAID) Backups (copias de respaldo) En discos ABAB Redundancia con paridad Dispositivo RAID Disco Disco Disco 2 Disco 3 bloque bloque bloque 2 paridad bloque 3 En cintas Backups incrementales Sistemas operativos: una visión aplicada 32 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 33 J. Carretero, F. García, P. de Miguel, F. Pérez

22 Consistencia del sistema de archivos (I) Consistencia del sistema de archivos (II) Dos aspectos importantes: Comprobar que la estructura física del sistema de archivos es coherente. Verificar que la estructura lógica del sistema de archivos es correcta. Estrucutra física: se comprueba la superficie del dispositivo de almacenamiento. Estructura lógica:. Se comprueba que el contenido del superbloque responde a las características del sistema de archivos. 2. Se comprueba que los mapas de bits de nodos-i se corresponden con los nodos-i ocupados en el sistema de archivos. 3. Se comprueba que los mapas de bits de bloques se corresponden con los bloques asignados a archivos. 4. Se comprueba que ningún bloque esté asignado a más de un archivo. 5. Se comprueba el sistema de directorios del sistema de archivos, para ver que un mismo nodo-i no está asignado a más de un directorio. Consistencia sobre archivos: Contador de enlaces > contador real Contador de enlaces < contador real Número de nodo-i > Número total de nodos-i Archivos con bits de protección 7 Archivos con privilegios en directorios de usuario UNIX y LINUX: fsck fsck /dev/dsk/ctd3s Comprueba el dispositivo físico ctd3s Sistemas operativos: una visión aplicada 34 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 35 J. Carretero, F. García, P. de Miguel, F. Pérez Estado de los bloques Cerrojos Cerrojo C Número de bloque Número de bloque Fichero 2 3 n 2 3 n CASO Referencias Libres 2 3 n 2 3 n CASO 2 Referencias Libres Fichero Cerrojo C Cerrojo C Cerrojo Ex Cerrojo C Número de bloque Número de bloque Fichero 2 3 n n CASO 3 Referencias Libres 2 3 n 2 3 n 2 CASO 4 Referencias Libres Cerrojo C Cerrojo C Tipos: Compartido Exclusivo Importante para trabajo colaborativo Cerrojo Ex Sistemas operativos: una visión aplicada 36 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 37 J. Carretero, F. García, P. de Miguel, F. Pérez

23 Cerrojos en POSIX #include <sys/types.h> #include <unistd.h> #include <fcntl.h> int fcntl(int fd, int cmd, struct flock *f); cmd puede ser: F_SETLK => no bloqueante F_SETLKW => bloqueante La estructura struct flock l_type => F_RDLCK indica un cerrojo compartido F_WDLCK indica un cerrojo exclusivo F_UNLCK Elimina un cerrojo l_whence origen del desplazamiento (SEEK_SET, SEEK_CUR, SEEK_END) l_start desplazamiento en bytes. l_len número de bytes sobre los que se establece el cerrojo Otros servicios Actualización atómica, o indivisible: asegura a los usuarios que sus operaciones están libres de interferencia con las de otros usuarios y que la operación se realiza completamente o no tiene ningún efecto en el sistema. Transacciones: permite ejecutar operaciones atómicas que agrupan a varias operaciones de entrada/salida y que se ejecutarán con semántica todo o nada. Replicación: mantener varias copias de los datos y otros recursos del sistema. Gestión de copias: Copia primaria Gestión colectiva Sistemas operativos: una visión aplicada 38 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 39 J. Carretero, F. García, P. de Miguel, F. Pérez Gestión de la replicación Contenido P P 2 Escribir f Leer f2 Escribir f GR primario Escribir f GR secundario Modelo de copia primaria Leer f GR secundario Visión del usuario del sistema de archivos Archivos Directorios Servicios de archivos Servicios de directorios Sistemas de archivos El servidor de archivos Puntos a recordar P P 2 Escribir f, Leer f2 Escribir f, 2 Gestor de Réplicas Escribir f, Escribir f, Gestor de Réplicas Escribir f, 2 Gestor de Escribir f, 2 Réplicas Modelo de gestión colectiva Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez Sistemas operativos: una visión aplicada 4 J. Carretero, F. García, P. de Miguel, F. Pérez

24 Puntos a recordar (I) Puntos a recordar (II) Los archivos y los directorios son los elementos centrales del sistema. Archivo: unidad de almacenamiento lógico no volátil que agrupa un conjunto de información relacionada entre sí bajo un mismo nombre. Todos los sistemas operativos tienen un descriptor de archivo que almacena atributos del mismo. Todos los sistemas operativos proporcionan mecanismos de nombrado que permiten asignar un nombre a un archivo en el momento de su creación. Desde el punto de vista del usuario, la información de un archivo puede estructurarse como una lista de caracteres, un conjunto de registros secuencial o indexado, etc. Las dos formas de acceso más habituales son el acceso secuencial y el directo (o aleatorio). La semántica de coutilización especifica qué ocurre cuando varios procesos acceden de forma simultánea al mismo archivo. Un directorio es un objeto que relaciona de forma unívoca el nombre de usuario de un archivo y el descriptor interno del mismo usado por el sistema operativo. Sistemas operativos: una visión aplicada 42 J. Carretero, F. García, P. de Miguel, F. Pérez Hay dos posibles formas de especificar un nombre: nombre completo del archivo, denominado nombre absoluto, o nombre de forma relativa a algún subdirectorio del árbol de directorios, denominado nombre relativo. Previamente a la instalación del sistema operativo es necesario dividir físicamente, o lógicamente, los discos en particiones o volúmenes. Una vez creadas las particiones, el sistema operativo debe crear las estructuras de los sistemas de archivos dentro de esas particiones. Para ello se proporcionan mandatos como format o mkfs al usuario. El superbloque, los mapas de bloques y los mapas de descriptores constituyen la metainformación de un sistema de archivos. Si el superbloque se estropea, todo el sistema de archivos queda inaccesible. Existen distintos tipos de estructuras de sistemas de archivos: tradicional, FFS, LFS, con bandas, etc. Cada una de ellas es más apropiada para determinados propósitos. El FFS es muy usado en la actualidad. Los servidores de archivos tienen una estructura interna que, en general, permite acceder a los distintos dispositivos del sistema mediante archivos de distintos tipos, escondiendo estos detalles a los usuarios. Sistemas operativos: una visión aplicada 43 J. Carretero, F. García, P. de Miguel, F. Pérez Puntos a recordar (III) El sistema de archivos virtuales proporciona una interfaz de llamadas de entrada/salida genéricas válidas para todos los tipos de sistemas de archivos instalados en el sistema operativo. Los mecanismos de asignación hacen corresponder la imagen lógica del archivo con la imagen física que existe en el almacenamiento secundario. Hay dos políticas de asignación básicas: bloques contiguos y bloques discontiguos. Dos mecanismos populares para gestionar el espacio libre son los mapas de bits y la lista de bloques libres. Para optimizar el rendimiento del sistema de entrada/salida, el servidor de archivos incorpora mecanismos de incremento de prestaciones tales como discos RAM, caches de nombres, caches de bloques y compresión de datos. La destrucción de un sistema de archivos es, a menudo, mucho peor que la destrucción de un computador. Es importante salvaguardar los datos. Un sistema de archivos puede quedar en estado incoherente por mal uso, caídas de tensión, apagados indebidos del sistema operativo, etc. Actualmente, algunos servidores de archivos incorporan servicios avanzados tales como actualizaciones atómicas, transacciones o replicación. Sistemas operativos: una visión aplicada 44 J. Carretero, F. García, P. de Miguel, F. Pérez