Tema 5: Servicios de. Ficheros. Sistemas de almacenamiento y sus. Web. Memoria principal. Almacén de objetos persistentes 1 Servicios de objetos

Transcripción

1 Tema 5: Servicios de Ficheros 1 Sistemas de almacenamiento y sus propiedades. Compartición Persistencia Caché/réplicas distribuidas Mantenimiento de consistencia Ejemplo Memoria principal Sistema de archivos Sistema de archivos distribuido Web Memoria compartida distribuida 1 1 RAM Sistema de archivos UNIX Sun NFS (RMI-NFS) Servidor Web Ivy (Cap. 16, Couloris) Objetos remotos (RMI/ORB) CORBA Almacén de objetos persistentes 1 Servicios de objetos persistentes de CORBA Almacén de objetos persistentes distruibuido PerDiS, Khazana 1 2

2 Qué es un sistema de ficheros (I) Conjunto de datos almacenados de forma persistente. Espacio de nombres jerárquico. API con las siguientes caracteristicas: operaciones de acceso y modificación, modelo de acceso secuencial. Compartición de datos entre usuarios, con control de acceso. Acceso concurrente: Lectura, Escrituras multiples. 3 Qué es un sistema de ficheros (II) Módulo de directorio: relaciona nombres de archivos con ID de archivos Módulo de archivos: Módulo de control de acceso: Módulo de acceso a archivos: Módulo de bloques: Módulo de dispositivo: relaciona ID de archivos con archivos concretos comprueba los permisos para una operación solicitada lee o escribe datos o atributos de un archivo accede y asigna bloques de disco E/S de disco y búferes 4

3 Operaciones del sistema de archivos de UNIX. desarchivo = open(nombre, modo) desarchivo = creat(nombre, modo) estado = close(desarchivo) recuento = read(desarchivo, búfer, n) recuento = write(desarchivo, búfer, n) pos = lseek(desarchivo, despl, desde) Abre un archivo existente con un nombre determinado. Crea un archivo nuevo con un nombre determinado. Ambas operaciones devuelven un descriptor de archivo que referencia el archivo abierto. El modo es read, write u otro. Cierra el archivo abierto desarchivo. Transfiere n bytes del archivo referenciado por desarchivo sobre búfer. Transfiere n bytes al archivo referenciado por desarchivo desde búfer. Ambas operaciones retornan al número de bytes transferidos realmente y adelanta el apuntador de lectura-escritura. Desplaza el puntero de lectura-escritura hasta despl (relativo o absoluto, dependiendo del valor de desde). estado = unlink(nombre) estado = link(nombre1, nombre2) estado = stat(nombre, búfer) Elimina el nombre de archivo de la estructura de directorios. Si el archivo no tuviera otros nombres, sería también eliminado. Añade un nombre nuevo (nombre2) a un archivo (nombre1). Obtiene los atributos de archivo del archivo nombre sobre búfer. 5 if((fdold = open(oldfile, READ))>=0) { fdnew = creat(newfile, FILEMODE); while (n>0) { n = read(fdold, buf, BUFSIZE); Aplicación if(write(fdnew, buf, n) < 0) break; close(fdold); close(fdnew); Cliente NFS Cliente RPC Open() Copiar Ficheros Remotos ooldfile.txt Lookup() l d f i Servidor NFS n e Newfile.txt Servidor RPC fdold Create() fdnew while (n>0) { read() n, data Write(data) m filehandler create() filehandler read() n, data write(data) m 6

4 Servicio Ficheros: Requerimientos Diseño if((fdold = open(oldfile, READ))>=0) { fdnew = creat(newfile, FILEMODE); while (n>0) { n = read(fdold, buf, BUFSIZE); Aplicación if(write(fdnew, buf, n) < 0) break; close(fdold); close(fdnew); PC1 Tolerancia a Fallos: Caidas de servidor. Consistencia: Todos los clientes ven la misma copia: en escritura!! Eficiencia. Seguridad. Red Oldfile.txt Newfile.txt PC2 Concurrencia: multiples cliente leyendo, escribiendo. Transparencia: acceso: no modificar aplicación. localización: no necesitar conocer lugar. Heterogeneidad: servicio en diferentes plataformas. 7 Arquitectura Servicio de Ficheros: NFS Network File System Client computer Server computer UNIX system calls Application program Application program UNIX kernel Operations on local files Virtual file system UNIX file system Other file system NFS client Operations on remote files Virtual file system NFS server UNIX file system NFS protocol (remote operations) El cliente NFS hace totalmente transparentes las operaciones remotas. 8 *

5 Sistemas de archivos virtual (I) Servidor 1(Shadow) Export (raíz) Applic1 Montado remoto... vmunix usr nfs Software Cliente (Stone) Servidor 2 (raíz) (raíz) x Personal Montado remoto usuarios pub lib auto... juan ana eva jaime Nota: El sistema montado en /usr/software en el cliente, en realidad es un sub-árbol ubicado en /export/applic1 en el Servidor 1; el sistema de archivos montado en /usr/personal en el cliente es realmente el sub-árbol /nfs/users ubicado en el Servidor 2. 9 Sistemas de archivos virtual (II) shadow:~> ls /export/applic1 Config pub lib auto En máquina shadow: Arrancar RPC server, configurar NFS, arrancar servidor NFS En máquina stone: Arrancar RPC clients, configurar NFS stone:~> mount shadow.example.com:/export/applic1 /usr/software stone:~> ls / usr/software Config pub lib auto stone:~>cp /usr/software/lib./ Servicio de Mount: Servicio paralelo al NFS para obtener filehandlers remotos iniciales. Transparencia de localización. 10

6 Interface Servidor de Ficheros NFS El interface del servidor es diferente al API Unix: Read y Write tienen información de posición de lectura El servidor no necesita mantener estado para cada sesión. Tolerancia a fallos del servidor. No existen operaciones open/close En cada operación hay que enviar información sobre el usuario para control de acceso (si no hay transporte seguro). El servidor implementa abre fichero en modo random por cada lectura o escritura. Es necesario un identificador de fichero único para toda la red FileHandler = id_fichero + id_servidor + tiempo_servidor Operaciones NFS en Servidor position of first byte read(fh, inicio, count) -> attr, data write(fh, inicio, count, data) -> attr create(dirfh, name, attr) -> newfh, attr remove(dirfh, name) status getattr(fh) -> attr setattr(fh, attr) -> attr lookup(dirfh, name) -> fh, attr position of first byte FileHandler 11 * if((fdold = open(oldfile, READ))>=0) { fdnew = creat(newfile, FILEMODE); while (n>0) { n = read(fdold, buf, BUFSIZE); Aplicación if(write(fdnew, buf, n) < 0) break; close(fdold); close(fdnew); Cliente NFS Cliente RPC Open() fdold Create() Copiar Ficheros Remotos Oldfile.txt Lookup() filehandler create() Newfile.txt Servidor NFS Servidor RPC while (n>0) { fdnew read() filehandler read() n, data Write(data) n, data write(data) m m 12

7 Implemetación de las llamadas al sistema en NFS: remote operations Proceso de usuario Núcleo UNIX Cliente NFS Red Servidor NFS open(nombrearchivo, modo) Si NombreArchivo no local, pasa la petición a Cliente NFS. read(descriptorarchivo, Si descriptor no local, pasa peticion a Cliente Búfer, tamaño) NFS Devuelve datos.. write(descriptorarchivo, Si descriptor no local, pasa peticion a Cliente Búfer, tamaño) NFS close(descriptorarchivo) Si descriptor no local, pasa la peticiona a Cliente NFS. Envía una petición de lookup() Guarda en la tabla ficheros abiertos una fila con FileHandler y otros atributos. devuelve el descriptor Devuelve el numero de fila como valor del de archivo a la aplicación. descriptor. Devuelve resultado. Resuelve FileHandler, Envía una petición de read() Modifica puntero, y devuelve datos.. Obtiene FileHandler Envía una petición de write() Modifica puntero, y devuelve resultado.. Elimina fila de tabla ficheros abiertos. Devuelve el filehandlers del fichero. Abrir fichero con Random Access, Buscar posición, Leer datos, Devuelve datos, Cierra fichero. Abrir fichero con Random Access, Buscar posición, Escribir datos, Devuelve OK/NOK, Cierra fichero. 13 Rendimiento NFS Latencia buena. NFS sobre RPC sobre UDP habitualmente. Carga alta en servidor. 1 operación local 1 operación remota. Cache en servidor: UNIX cache: Read-ahead. Write-through: cambios se escriben en disco cuando se reciben (tolerancia a fallos). Delayed Commit: cuando cliente realiza close() entonces se guarda el fichero en disco en el servidor. Cache en cliente: Disminuir operaciones remotas (generan tráfico y carga). 14

8 Caches en Clientes NFS (I) Operaciones Read(), Write(), lookup(), getattr(), readdir() puede cachearse localmente. Tráfico de red y carga en servidor disminuyen mucho. Problema de inconsistencia cuando varios clientes comparten el mismo fichero. Aplicación Cliente NFS Cache Servidor NFS Cliente NFS Aplicación Cache read(fd) read(fd) Data leido de Caché. read(fh) Inconsistente write(fh,data) ok write(fd,data) ok 15 Caches en Clientes NFS (II) Solución (parcial) a inconsistencia: En cliente NFS todos los ficheros de cache tienen marca temporal de validez. Si T< (Tc +t) usar datos en cache T tiempo actual, Tc tiempo ultima lectura, t configurable (3sec) sino comprobar validez en servidor. Inconsistencia es posible durante t, pero muy poco probable. t Tc Aplicación read(fd) read(fd) read(fd) Cliente NFS Cache read(fh) T< Tc + t Data de Caché. T>Tc + t Remote Check getattr(fh) attr Servidor NFS 16

9 User-APP NFS sobre RMI (I) Es un ejemplo para aplicar RMI y aprender como funciona NFS, pero no se usa ya que es poco eficaz. RMI-NFSCliente.java RMI (Stub) NFSc.Open() Stub.lookup() RMI- NFSServer.java RMI while (n>0) { fdold NFSc.Create() fdnew NFSc.read() n, data NFSc.Write(data) Res Stub.create() Res Stub.read() Res Stub.write(data) m Res 17 NFS sobre RMI (II) Código dentro de User-App (ejemplo de uso de la clase RMI-NFSClient.java) RMI-NFSClient NFSc = new RMI-NFSClient(); FileHandle fhold=nfsc.open(oldfile,"r"); FileHandle fhnew=nfsc.open(newfile, w"); while(!c.iseof(fh)){ int n=nfsc.read(fhold,buf); if (NFSc.write(fhnew,buf))<0 break; NFSc.close(fhold); NFSc.close(fhnew); NFSc.exit();. 18

10 NFS sobre RMI (III) /* La clase RMI-NFS-Server.java implementa este interface */ public interface FSServerAPI extends Remote { /* Si el fichero existe devuelve su descriptor de fichero dentro de la estructura Res */ public Res lookup (String path) throws IOException, RemoteException; /* Escribir datos comenzando en la posicion inicio. */ public Res write(filehandle fh, int inicio, byte[] data) throws RemoteException; /* Leer n bytes desde posicion inicio; */ public Res read(filehandle fh, int inicio, int n) throws RemoteException; /* Crea un nuevo fichero con el nombre path, devuelve el descriptor de fichero */ public Res create(string path) throws RemoteException; /* Borrar el fichero */ public Res delete(filehandle fh) throws RemoteException; /* Devuelve la fecha de la ultima modificacion */ public Res lastmodified(filehandle fh) throws RemoteException; /* Devuelve la longitud del fichero fh */ public Res length(filehandle fh) throws RemoteException; /* Libera los recursos en el servidor asociados con el descriptor de fichero fh */ public Res release (FileHandle fh) throws RemoteException; 19 NFS sobre RMI (IV) /* La clase RMI-NFS-Client.java tiene estos metodos */ public class RMI-NFSClient { /* url tiene formato IP:port/path. Mode puede ser r lectura o bien w escritura. */ /*Si el fichero no existe entonces lo crea. */ public FileHandle open (String url, String mode) throws IOException; /* Escribir datos comenzando en la pos actual del puntero */ public boolean write(filehandle fh, byte[] data) throws IOException; /* Leer data.length bytes desde pos actual; si end-of-file retorna -1; */ /*si no, devuelve el numero de bytes leidos y pos avanza a la posicion del siguiente byte */ public int read(filehandle fh, byte[] data) throws IOException; /* Borrar el fichero en el lado del servidor */ public boolean delete (FileHandle fh) throws IOException; /* Cerrar fichero */ public boolean close(filehandle fh) throws IOException; /* Comprobar si estamos al final del archivo */ public boolean iseof(filehandle fh) throws IOException; /* Desconexion del servidor de ficheros remoto */ public void exit() throws IOException; 20

11 Servicio de Ficheros en Internet (I) Otros requerimientos: Escalabilidad: muchos clientes -> disminuir carga servidor. Acceso remoto: gran latencia -> disminuir interacciones remota. bajo ancho banda -> cachear datos. Desconexión de clientes -> replica local. Seguridad: grandes riesgos -> protocolos seguros. cruzar cortafuegos -> protocolos estandar mínimos. 21 Servicio de Ficheros en Internet (II) AFS: diseño escalable. FTP: servidor de ficheros no transparente. HTTP: servidor de documentos. Rsync: sincronizar sistemas de ficheros. WebNFS: NFS para Web. Servidores Video: (lectura) ficheros muy grandes y populares. Servicios sin servidor: Todos los clientes son servidores: xfs, redes peer-to-peer, 22

12 Web como servicio de ficheros Unidad acceso es el fichero (vs. bloque). Util para lectura (Escritura con protocolo WebDAV) Ventajas: Servidor sin estado muy concurrente. Implementaciones multiples. Eficiente en Internet (descarga de fichero entero). Servidores cache. Seguridad incorporada. Desventajas: No tiene transparencia acceso o localización. No hay mecanimos de consistencia. 23 WebDAV como servicio de ficheros HTTP extendido para escritura. (implementado en apache, Tomcat, IIS.) Acceso no transparente: shadow:~>webdavclient ls Config pub lib auto Operaciones: Leer fichero (read) Guardar fichero (write). Borrar fichero (delete) Mover fichero (mv), solo en un servidor. Copiar fichero (copy) Crear directorio (mkdir). Listar ficheros en directorio. (ls). Nombre Servidor en identificador fichero Metodo HTTP: GET URL file. PUT file URL. DELETE URL. MOVE URL URL. COPY URL URL. MKCOL URL. PROPFIND URL. 24

13 Servicio de Ficheros vs. Web Transparencia Acceso: Transparencia Localización: Concurrencia: NFS Total: modulo cliente mapea API de Unix Requiere configuración con Mount. Lectura / Escritura. Web No. No. Muy grande en lectura. Heterogeneidad: Tolerancia Fallos: Servicio en diferentes plataformas. Servidor sin estado. Servicio en diferentes plataformas. Servidor sin estado. Consistencia: Bastante buena. No. Eficiencia: Seguridad: Buena para LAN, aunque carga alta en servidor. Secure RPC. Buena para Internet. HTTPS, muy extendida. 25