Construcción de Sistemas Distribuidos para Almacenamiento Masivo de Información. Resumen

Transcripción

1 Construcción de Sistemas Distribuidos para Almacenamiento Masivo de Información Por Moisés Quezada Naquid Resumen La información se ha convertido en un recurso valioso, tanto para las empresas como para los usuarios domésticos; sin embargo surge el problema para almacenarla. Por otra parte, debido al incremento en la cantidad de información generada, los investigadores se han dado a la tarea de crear nuevos sistemas de almacenamiento para resolver diversos problemas que conlleva su diseño e implementación. Por otro lado, día con día se generan nuevas tecnologías que permiten aumentar la confiabilidad e integridad de los datos, los cuales serán almacenados en diversos sitios dentro de una red, tal es el caso de las redes Peer-to-Peer (P2P), con las cuales es posible crear nuevos sistemas combinando esquemas de almacenamiento con protocolos de encaminamiento y búsqueda. Otra tendencia que ha tomado fuerza en los últimos años es la idea de almacenamiento en la nube (Cloud Storage), con la cual se puede almacenar gran cantidad de datos con recursos de bajo costo. En la presente propuesta de investigación se pretende crear un sistema novedoso de almacenamiento distribuido que permita guardar información de forma masiva, basado en una arquitectura que permita resolver los problemas del almacenamiento y recuperación de datos. 1. Introducción En las últimas dos décadas, la generación de información en formato electrónico se ha incrementado, lo cual lleva a la necesidad de almacenar estos datos; ya no de forma centralizada, si no de forma distribuida ocupando los recursos de diversas fuentes tanto a pequeña escala como gran escala. El principal problema a resolver en los sistemas de almacenamiento distribuido es garantizar la confiabilidad y la disponibilidad de los datos, para que en el momento que un usuario los requiera estén presentes. El tener un gran número de recursos de almacenamiento, hace que la disponibilidad de los datos en el sistema se vea afectada principalmente por las fallas que puedan presentar dichos recursos. Para almacenar los datos en un sistema de almacenamiento distribuido, existen diversos esquemas propuestos, por ejemplo, utilizando algoritmos de dispersión de información [1], entre otros. Con estos esquemas el sistema puede garantizar, mediante ciertas operaciones, que los datos se pueden recuperar al presentarse una falla en los recursos de almacenamiento; además, pueden garantizar la disponibilidad de los datos. Estos esquemas de almacenamiento pueden combinarse con diversas arquitecturas de red y así formar un sistema que permita distribuir los datos. Debido al auge de las redes Peer-to- Peer (P2P) se han desarrollado propuestas basadas en este tipo de redes [2], en las cuales cada computadora conectada, sirve para almacenar información y los usuarios pueden acceder a ésta de forma fiable. Las ventajas que las redes P2P ofrecen son, tolerancia a fallas, escalabilidad, disponibilidad y rendimiento [3]; además, por otro lado

2 ofrecen un control descentralizado, a comparación de los sistemas de almacenamiento distribuido clásicos, en los cuales todas las operaciones se realizan de forma centralizada. Otra idea para almacenar los datos es la llamada Cloud Storage [4]. Este modelo se refiere a almacenamiento en línea basado en redes. Los datos se almacenan en diversos servidores virtuales y los usuarios pueden acceder a los datos mediante pools; la idea que hay detrás de éstas es la virtualización de los recursos para que a la vista de dichos usuarios, los procesos de almacenamiento y recuperación sean transparentes. Esta tendencia ha ganado popularidad entre los desarrolladores en los últimos años; sin embargo, actualmente la mayoría de los sistemas basados en esta idea son propietarios. Por otra parte, debido a que los datos se distribuyen en diversos sitios, surge el problema de cómo almacenar los datos y en cuál o cuáles de esos sitios se realizará esta operación. En los sistemas P2P el principal problema se presenta cuando un usuario busca un dato específico, pero el recurso de almacenamiento no está disponible; el sistema deberá buscar en otros recursos, mediante los cuales pueda recuperar el dato. Debido a lo anterior, la forma en que se almacene la información, determinará la forma en la cual se podrán realizar búsquedas. Así, al considerar un esquema de almacenamiento, también se debe tomar en cuenta la operación de búsqueda y elegir la solución que equilibre el desempeño para ambos problemas. Los problemas anteriormente descritos, han dado pie a realizar diversos proyectos basados en redes P2P [2] y en Cloud Storage [4]. A continuación se describen algunos de éstos, los cuales se presentarán divididos en tres clases: Sistemas de Almacenamiento Distribuido, Protocolos y Esquemas, y Sistemas Distribuidos de Archivos. Sistemas de Almacenamiento Distribuido Las redes P2P ofrecen grandes prestaciones para la creación de sistemas de almacenamiento distribuido. A continuación se presentan algunos sistemas basados en este tipo de redes. Freenet La base de este sistema, desarrollado por Ian Clarke, es la descentralización [5]. Fue desarrollado para compartir documentos, de forma descentralizada, almacenados en una gran cantidad de nodos y recursos en red, para así, dar a estos archivos una gran disponibilidad. El sistema está enfocado al anonimato y a ser resistente a la censura. Para almacenar un archivo, se le asocia un nombre código mediante el cual se realizará la búsqueda. Cada nodo dentro del sistema, posee una lista de los nombres códigos de los archivos que posee y una tabla de encaminamiento. Cada nodo puede realizar funciones de encaminamiento o de nodo final, es decir, al realizar una búsqueda sobre uno de los nodos, éste busca en su tabla para saber si tiene almacenado el archivo o si alguno de sus vecinos puede ayudar en la búsqueda. Gnutella Este sistema se basa en la interconexión no estructurada de nodos [2]. Un nuevo integrante se puede conectar a cualquier otro dentro de la red. Cuando se realiza una búsqueda de un archivo, se determina de forma local si un nodo lo contiene,

3 en caso negativo, se realiza una difusión de la petición sobre todos los nodos a los que está conectado y los demás, realizan su búsqueda local o siguen difundiendo la petición, generando así, una inundación de la red. El algoritmo de búsqueda impide que se formen ciclos infinitos en la operación. Al encontrar el archivo en alguno de los nodos, éste envía la confirmación al que inicio la búsqueda. Past En este sistema, desarrollado por Microsoft [6], los nombres de los archivos están cifrados y ligados al contenido, por lo tanto son únicos para cada uno. La forma en que se almacenan los archivos es mediante replicas sobre un conjunto de nodos que se elige de forma pseudo-aleatoria, lo cual le proporciona al sistema balance de carga. Este sistema emplea un protocolo llamado Pastry para localizar y auto organizar los datos dentro del sistema. Napster Es un sistema de intercambio de archivos mp3 ( Los usuarios del sistema comparten sus recursos de almacenamiento, aunque el intercambio se lleva acabo sólo si se encuentran en estado conectados, es decir, si un usuario no se encuentra disponible sus recursos tampoco lo están. La búsqueda y la indexación se realizan de forma centralizada en el sitio Napster, mediante metadatos asignados a los archivos. Estas operaciones se realizan directamente entre usuarios. BigTable Este sistema de almacenamiento distribuido está diseñado para manejar datos con un tamaño del orden de peta bytes a través de servidores de escasos recursos, para las aplicaciones y servicios de Google [7]. Protocolos y Esquemas de Encaminamiento y Búsqueda Al crear un sistema de almacenamiento distribuido, es necesario implementar un mecanismo que permita dirigir los datos a sus destinos y también realizar búsquedas o consultas sobre esos datos; para lograr esto, se pueden diseñar Protocolos y Esquemas que permitan realizar estas operaciones de forma eficiente. A continuación se listan algunos protocolos basados en redes P2P. Pastry Es un protocolo genérico, escalable y eficiente para redes P2P [8]. La idea de este protocolo es usar identificadores aleatorios asignados a los nodos que forman la red y mediante tablas de encaminamiento en cada nodo, se crea un esquema para envío y recepción de mensajes, teniendo como complejidad O(log N), donde N es el número de nodos vivos dentro de la red Pastry. Las prestaciones de Pastry constan de tolerancia a fallas, balance de carga, localización determinística de nodos, un eficiente encaminamiento y auto organización de la red sobre internet.

4 Tapestry Es un esquema de búsqueda sobre redes P2P [8], que permite encaminar peticiones de contenido de manera eficiente, aún en presencia de fallas en los nodos o condiciones de alta carga en la red. Este esquema está basado en la arquitectura de encaminamiento de Plaxton [9], la cual asigna a cada nodo una tabla de encaminamiento local llamada mapa de vecinos (en inglés, neighbour maps), que se encarga de enviar mensajes a un determinado identificador. Chord Este protocolo distribuido de búsqueda, diseñado por Ion Stoica [10], permite realizar búsquedas de información sobre una red P2P, dando soporte para una sola operación, mapear una llave a un nodo de la red. La localización de datos se realiza en la aplicación que corre sobre este protocolo, asociando la llave a cada ítem que se almacenará. La complejidad del algoritmo del protocolo es de orden O(log N), donde N es el número de nodos en la red. Content-Addressable Network (CAN) CAN emplea un espacio cartesiano de dimensión d para implementar una abstracción de una Tabla Hash Distribuida [11]. Cada nodo se sitúa dentro de un híper-cubo, llamado zona. Cada nodo almacena una tabla de encaminamiento, en la cual se encuentran todos sus nodos vecinos. La operación de búsqueda se lleva a cabo mediante el envío de un mensaje de consulta a lo largo de un camino que se aproxima a una línea recta en el espacio de coordenadas. La complejidad del algoritmo de búsqueda es O(dN 1/d ), donde N es el número de nodos en la red. Sistemas Distribuidos de Archivos A diferencia de un sistema de almacenamiento, los sistemas de archivos contienen una estructura lógica, sobre la cual se implementan mecanismos de control para el acceso concurrente de datos y usuarios. A continuación se presentan algunos sistemas existentes. Cooperative File System (CFS) Este sistema, desarrollado por el MIT [12], está diseñado para almacenamiento de información que estará disponible en modo de sólo lectura. La forma en que se almacena la información es mediante el uso de bloques. El sistema consta de tres capas: un sistema de archivos (FS), que se encarga de interpretar los bloques como archivos; una tabla hash distribuida (DHash), la cual almacena los bloques de datos de forma confiable; y el protocolo Chord, el cual permite dar mantenimiento a las tablas de encaminamiento para realizar búsquedas y consultas.

5 Google File System (GFS) Es un sistema distribuido propietario para el manejo de archivos [13]. Fue diseñado para manejar la gran cantidad de datos generados por las aplicaciones de Google. El principio de funcionamiento de este sistema se basa en la división de los datos en pedazos (chunks, en inglés) de 64 MB. La mayoría de los datos almacenados son mutados añadiendo nueva información en lugar de sobrescribir los ya existentes. Para realizar el almacenamiento y recuperación emplea BigTable. FarSite Farsite es un sistema distribuido de archivos basado en la duplicación de archivos [14]. Cada cliente contribuye intercambiando recursos de almacenamiento para que se pueda ofrecer una alta disponibilidad y confiabilidad. En una vista global se observa como un solo sistema de archivos, pero a un nivel más bajo de abstracción, los archivos se duplican y distribuyen en los clientes. No existe una a administración central y no se asume confianza mutua entre los clientes. Los datos son cifrados y posteriormente almacenados. Ivy Es un sistema distribuido de archivos para redes P2P de lectura y escritura, capaz de soportar la concurrencia de conexiones de los usuarios [15]. A la vista de los usuarios, el sistema se comporta como un NFS, además puede detectar modificaciones en conflicto y recuperarse de fallas en la red. Cada nodo dentro del sistema registra los cambios realizados en éste. Cada usuario lee y sincroniza los registros, no obstante, el sistema tiene un mecanismo para tomar una imagen instantánea y mantener de forma coherente el registro más reciente. Kelips Este es un sistema de archivos para redes P2P que tiene un alto rendimiento en cuanto a tiempo de búsqueda [16]. Además, tiene como características una alta tolerancia a fallas y al fenómeno de churn en la red. Sin embargo, para lograr este rendimiento incrementa de forma significativa el uso de memoria y la comunicación en segundo plano. La complejidad de la búsqueda de datos es de O(1). FastTrack Este sistema es uno de los más populares en cuanto a sistemas de intercambio de archivos [3]. Este es un híbrido entre gnutella y napster. De todos los nodos de la red, el sistema toma ventaja de los nodos en mejores condiciones. FastTrack está construido a base de súper nodos los cuales almacenan una lista que mapea los nombres de los archivos hacia un nodo en específico. Cualquier nodo en la red puede convertirse en súper nodo.

6 BitTorrent Es un protocolo de descargas de archivos que se basa en otros componentes, tales como sitios web, para realizar búsquedas [17]. La forma en que funciona BitTorrent, es partiendo los archivos en miles pedazos de tamaño fijo y los usuarios que realizan descargas sobre un archivo, intercambian los pedazos subiéndolos y descargándolos entre sí. Hadoop Distributed File System (HDFS) Es un sistema distribuido de archivos tolerante a fallas, el cual tiene la característica de ser altamente escalable [18]. La idea principal es utilizar recursos de bajo costo para crear clústeres donde se almacenarán datos de gran tamaño, partiéndolos en bloques. La forma en que este sistema garantiza la tolerancia a fallas es mediante la duplicación. Amazon Web Services Es una plataforma de servicios en internet [19]. Existen dos servicios de almacenamiento dentro de esta plataforma. Amazon S3, es el servicio más simple, el cual permite almacenar cualquier cantidad de datos y la forma en que se garantiza su integridad, es mediante la redundancia sobre conjuntos de recursos de almacenamiento llamados regiones. El segundo servicio que se ofrece, es Amazon EBS, el cual crea volúmenes de almacenamiento a nivel de bloque, con una gran disponibilidad y fiabilidad. OpenStack Object Storage Es un servicio de almacenamiento basado en la idea de cloud computing [20]. La forma en que garantiza la integridad de los datos es mediante redundancia física. El sistema en el cual se basa se llama Swift, que permite almacenar un sinfín de archivos de tamaño máximo de 5 Gbytes. Tanto la operación de almacenamiento como recuperación se lleva a cabo mediante un simple servicio Web. OpenNebula Es una herramienta, basado en cloud computing, para manejar centros de datos de forma distribuida [21]. La forma en que se almacena la información es mediante virtualización de recursos. Además soporta el uso de diversas plataformas de hardware. Eucalyptus Es una infraestructura de software para implementar cloud computing de código libre, sobre clústeres de computadoras [22]. Eucalyptus maneja la información mediante Walrus, que es un servicio de almacenamiento que implementa una interface de Amazon S3 y provee un mecanismo para almacenar y acceder a imágenes de máquinas virtuales y datos de los usuarios..

7 2. Proyecto de Investigación En este proyecto de investigación se propone la creación un sistema de almacenamiento masivo basado en la idea de cloud storage. Este sistema tendrá como principal característica el uso de dos tipos de servidores de almacenamiento: fijos y altruistas. Los servidores fijos aportarán sus recursos de almacenamiento en todo momento, mientras que los altruistas sólo contribuirán al sistema por intervalos de tiempo. Ambos tipos de servidores estarán coordinados mediante una arquitectura P2P, así cada capa funcional de ésta deberá resolver un problema correspondiente a las funciones que realizará. Por ejemplo, la capa inferior deberá garantizar integridad de los datos; otro ejemplo es que la capa más alta, que servirá como interface entre el sistema y los usuarios, permitirá realizar búsquedas basadas en un protocolo o esquema de encaminamiento y búsqueda. El sistema estará basado en un conjunto de celdas de almacenamiento que se comunican entre sí mediante una arquitectura de red [23]. A este conjunto de celdas se le denominará Confederación. La idea es que cada celda contribuya con sus recursos de almacenamiento, tanto de la misma celda como de otras celdas y así ofrecer un almacenamiento masivo con tolerancia a fallas. Los problemas principales a desarrollar en este proyecto de investigación son: garantizar la integridad de los datos, proponer un esquema de indexación y uno de búsqueda. Además se propondrá un prototipo de sistema que pueda realizar operaciones en condiciones reales sobre una red. Otro problema que debe resolverse es la integridad de la información dentro del sistema, a fin de garantizar que los datos estarán seguros dentro de los recursos de almacenamiento. Una vez que se haya revisado el estado del arte del proyecto, se definirá cada una de las capas de la arquitectura del sistema, proponiendo una solución innovadora al problema del almacenamiento masivo. 3. Referencias [1] RABIN, M. O. Efficient dispersal of information for security, load balancing, and fault tolerance, J. ACM, vol. 36, no. 2, 1989, pp [2] YIANILOS, Peter N. and Sumeet Sobti, "The Evolving Field of Distributed Storage", IEEE Internet Computing, vol. 5, no. 5, 2001, pp [3] HASAN, Ragib, Zahid Anwar, William Yurcik, Larry Brumbaugh, and Roy Campbell. A Survey of Peer-to-Peer Storage Techniques for Distributed File Systems, in Proceedings of the International Conference on Information Technology: Coding and Computing (ITCC'05), vol. 2, 2001, pp [4] BHASKAR, P. R. et al., A Taxonomy and Survey of Cloud Computing Systems, Fifth International Joint Conference on INC, IMS and IDC, 2009, pp [5] CLARKE, Ian. et al. Freenet: A Distributed Anonymous Information Storage and Retrieval System, in Proc. ICSI Workshop on Design Issues in Anonymity and Unobservability, Int l Computer Science Inst., [6] ROWSTRON, A. and P. Druschel. Storage Management and Caching in Past, a Large-Scale, Persistent, Peer-toPeer Storage Utility, in Proc. of the 18 th ACM Symp. Operating Systems Principles, 2001.

8 [7] CHANG, F., et al., Bigtable: A Distributed Storage System, in Proc. of the 7 th conference on usenix symposium on operating systems design and implementation for Structured Data, 2006, pp [8] ROWSTRON, A. and P. Druschel. Pastry: Scalable, Distributed Object Location and Routing for Large-Scale Peer-to-Peer Systems, in Proc. of the 18 th IFIP/ACM International Conference on Distributed Systems Platforms, 2001, pp [9] HILDRUM, K. et al., Distributed Object Location in a Dynamic Network, in Proc. of the 14 th ACM Symp. on Parallel Algorithms an Architectures, [10] STOICA, I. et al., Chord: A Scalable Peer-to-Peer lookup services for Internet Applications, in Proc. ACM SIGCOMM, [11] RATSANAMY, S. et al., A Scalable Content-Addressable Network, in Proc. ACM SIGCOMM, 2001, pp [12] DABEK, F., et al. Wide-area Cooperative Storage with CFS, in Proc. of the 18 th ACM Symp. on Operating Systems Principles, [13] GHERMAWAT, S., H. Gobioff and S. Leung. The Google File System, in Proc. of the 19th ACM Symposium on Operating Systems Principles, [14] BOLOSKY, W. J. et al., Feasibility of a Serverless Distributed File System Deployed on an Existing Set of Desktop PCs, in Proc. of the Int l Conf. Measurement and Modeling of Computer Systems, 2000, pp [15] MUTCHITACHAROEN, A. et al., Ivy: A Read/Write Peer-to Peer File System, SIGOPS Oper. Syst. Rev., Vol. 36, 2002, pp [16] GRUPTA, I. et al., Kelips: Building an Efficient and Stable P2P DHT Through Increased Memory and Background Overhead, IPTPS, [17] COHEN, B. Incentives Build Robustness in BitTorrent, Workshop on Economics of Peer-to-Peer Systems, [18] Hadoop, [19] Amazon, [20] OpenStack, [21] OpenNebula, [22] NURMI, D., et al. The Eucalyptus Open-source Cloud-computing System, In Proc. of the 9 th IEEE International Symposium on Cluster Computing and the Grid, Vol. 0, 2009, pp [23] GONZÁLEZ, J. L. and Ricardo Marcelín-Jiménez. Phoenix: a Fault-tolerant Distributed Web Storage based on URLs, Manuscript submitted for publication.