Motivación (1/2) BIBLIOTECAS DIGITALES. Objetivos. Motivación (2/2) Contenido Parte II. Según Lesk (1997):

Transcripción

1 BIBLIOTECAS DIGITALES Asignatura Sistemas de Información Distribuidos Máster en Ingeniería de Sistemas e Informática Zaragoza, de febrero de 2008 José Hilario Canós Cerdá Departamento de Sistemas Informáticos y Computación Universidad Politécnica de Valencia jhcanos@dsic.upv.es Motivación (1/2) Según Lesk (1997): Hacia 2000, la producción mundial de cinta magnética será suficiente para que no haga falta eliminar nada de lo creado con un ordenador y llegará un momento en el cual ser capaz de encontrar la información será más importante que poseerla Motivación (2/2) Proyectos exitosos de Bibliotecas digitales: Google (!) Desafíos: nuevos tipos de documentos, nuevos tipos de medios Objetivos Clarificar la noción de BiD y sus implicaciones Presentar los modelos más aceptados de BiD Introducir los principales aspectos a tener en cuenta en el desarrollo de Bibliotecas Digitales Multimedia, incluyendo, entre otros: arquitecturas de BiD catalogación, conservación flujos de trabajo almacenamiento y recuperación de información interoperabilidad Revisar el estado del arte en investigación y desarrollo en el campo Presentar las líneas de investigación del Grupo ISSI en el ámbito de las BiD: Gestión de bibliografía Sistemas de gestión de emergencias Otros Contenido Parte I 1. Fundamentos Introducción Arquitectura de Bibliotecas Digitales 2. Organización de la Información Metadatos Flujos de trabajo (Workflows) Conservación a largo plazo de la información digital Contenido Parte II El grupo SIA@ISSI: 1. Bibshare 2. Sistemas de gestión de emergencias 3. Otros proyectos 3. Recuperación de Información Recuperación de Información textual Búsquedas en la Web Interoperabilidad Descripción Estado actual Desafíos 1

2 Bibliografía/Material Bibliografía básica Lesk, Michael. Understanding Digital Libraries, 2nd edition. Morgan Kauffman, Lesk, Michael. Practical Digital Libraries: books, bytes & bucks. Morgan Kauffman, Arms, William Y. Digital Libraries. MIT Press, Borgman, Christine L. From Gutenberg to the Global Information Infrastructure. MIT Press, Borgman, Christine L.. Scholarship in the Digital Age. MIT Press, Stefik, Mark. Internet Dreams. MIT press, Baeza, R. and Ribeiro, B. Modern Information Retrieval. Addison Wesley, INTRODUCCIÓN Por qué Bibliotecas Digitales? Definiciones de BiD Contenidos vs. Tecnología Requisitos de las BiD Desafíos de las BiD Recursos sobre BiD Bibliotecas Digitales J.H. Canós - DSIC Curso Juegos de palabras... digital object library multimedia library electronic library virtual library Information SuperHighway (I way) National Information Infrastructure (NII) Son sinónimos? Por qué BiD? (I) Problemas de las bibliotecas: Gran aumento en los costes de edición Coste de las publicaciones Grandes recortes en los presupuestos de las bibliotecas La tecnología digital facilita la producción de libros, y su almacenamiento y distribución. Además de libros, pueden crearse documentos multimedia Los editores están cada vez más orientados al mundo digital, con el fin de reducir costes de producción e incrementar beneficios Por qué BiD? (II) Cada vez hay más información disponible a través de las redes de comunicaciones. Es más valioso ser capaz de encontrar información que poseerla in situ. Grandes oportunidades para editores y escritores de ganar dinero Evolución de la tecnología Hardware: Procesadores cada vez más potentes Memoria más barata y rápida Mayor capacidad de almacenamiento 2

3 Evolución de la tecnología Fuente: Lesk, Software: Sistemas distribuidos, BD,... WWW (Berners-Lee) Mosaic (Andreesen) Explosión de servidores en el Web Lecturas recomendadas Michael Lesk: How much information is there in the World? Peter Lyman and Hal Varian: How much Information? Página Web de Berkeley: much info 2003/ Pioneros Vannevar Bush (1945): As we may think J. R. C. Licklider (1965): Libraries of the Future Ernesto García Camarero: El mundo de la Informática. Cuadernos para el diálogo, Octubre 1971 Grandes esfuerzos a partir de primeros de los 90 en EE.UU. Orientados principalmente a explotar la tecnología desarrollada en los 80. Proyecto más importante: Digital Library Initiative (DLI, Las BiD... son bibliotecas? "The broad goal of the Digital Libraries Initiative is to dramatically advance the means to collect, store, organize and use widely distributed knowledge resources containing diverse types of information and content stored in a variety of electronic forms. (DLI Mission Statement) The mission of the Carnegie Library of Pittsburgh is to be a force for education, information, recreation, and inspiration in the communities it serves. (CL Pittsburgh Mission Statement) BiD: Definiciones Digital library is a concept that has different meanings in different communities: To the engineering and computer science community, digital library is a metaphor for the new kinds of distributed data base services that manage unstructured multimedia data. To T the political i l and business communities, ii the term represents a new marketplace for the world's information resources and services. To futurist communities, digital libraries represent the manifestation of Wells' World Brain. (Gary Marchionini) 3

4 BiD: Definiciones The generic name for federated structures that provide humans both intellectual and physical access to the huge and growing worldwide networks of information encoded in multimedia digital formats. (The University of Michigan Digital Library: This Is Not Your Father's Library, Birmingham, 1994) BiD: Definiciones Digital libraries are a set of electronic resources and associated technical capabilities for creating, searching, and using information. In this sense they are an extension and enhancement of information storage and retrieval systems that manipulate digital data in any medium (text, images, sounds; static or dynamic images) and exist in distributed networks. The content of digital libraries includes data, metadata that describe various aspects of the data (e.g., representation, creator, owner, reproduction rights), and metadata that consist of links or relationships to other data or metadata, whether internal or external to the digital library. (UCLA NSF Social Aspects of Digital Libraries Workshop) BiD: Definiciones Digital libraries are constructed collected and organized by a community of users, and their functional capabilities support the information needs and uses of that community. (...) In this sense they are an extension, enhancement, and integration of a variety of information institutions as physical places where resources are selected, collected, organized, preserved, and accessed in support of a user community. These information institutions include, among others, libraries, museums, archives, and schools, but digital libraries also extend and serve other community settings, including classrooms, offices, laboratories, homes, and public spaces. (UCLA NSF Social Aspects of Digital Libraries Workshop) BiD: Definiciones A Digital Library is an organized database of digital information objects in varying formats maintained to provide unmediated ease of access to a user community, with these further characteristics: an overall access tool (e.g. a catalog) provides search and retrieval capability over the entire database; organized technical procedures exist through which the library management adds objects to the database and removes them according to a coherent and accessible collections policy. (Peter Graham, Rutgers University Libraries) BiD: Definiciones Palabras clave A digital library is a distributed technology environment which dramatically reduces barriers to the creation, dissemination, manipulation, storage, integration, and reuse of information by individuals and groups. (Edward A. Fox, editor, Source Book on Digital Libraries, pág. 65) 4

5 Dimensiones Aspectos fundamentales de las BiD: Contenidos Servicios Tecnología Sociedad Relacionados entre sí! Contenidos Cualquier objeto puede ser representado digitalmente: Texto Animales de un zoo... Todos los contenidos presentan desafíos de tipo intelectual, técnico y cultural Niveles de descripción Trabajo: concepto abstracto La Ilíada, la 5ª de Beethoven, Unix Expresión: un trabajo se hace real a través de una expresión: La Ilíada: oral > > escrita (secuencia de palabras) Unix: código fuente/ejecutable Manifestación: una expresión toma forma en una o más manifestaciones: 5ª Beethoven: CD, TV, radio,... Unix: CD, cinta, ftp... Ítem: cada una de las copias de una manifestación Tipos de contenido: Texto El tipo más frecuente Escáner + OCR > ASCII, Unicode Se puede buscar de diferentes maneras: Búsqueda de cadenas simple Métodos más sofisticados Manuscritos representados como imágenes Requiere participación humana Errores de OCR Traducciones Marcado de textos (SGML, XML,...) Modelo IFLA, 1998: Otros tipos de contenido monomedia Lo primero es determinar el formato a utilizar Imágenes: GIF, TIFF, JPEG,... Video (sin sonido): Quicktime, AVI, MPEG,... Sonido: AU, WAV, AIFF,... No siempre se puede optar por un único formato (plataformas múltiples) Cuál es la resolución adecuada? Problema principal: búsquedas por contenido Contenidos multimedia Ejemplos: Video a la demanda, textos animados, juegos,... Simulaciones por ordenador, mundos virtuales,... Pueden ser interactivos: Se proporciona un punto de entrada y el usuario toma decisiones 5

6 Gestión de contenidos Selección y adquisición Indexación Almacenamiento Acceso Manejo de colecciones y preservación Servicios Quiénes son los clientes de una BiD? Qué tipos de servicio ofrecer en una BiD? Servicios de búsqueda Referencias y servicios de respuesta esta Filtrado y diseminación selectiva de información Enseñanza Quiénes son los clientes de una BiD? Una BiC suele dar servicio a una comunidad concreta... Debería una BiD estar igualmente restringida a esa comunidad? Una BiC a menudo posee servicios a usuarios con necesidades especiales (rampas de acceso, libros en Braille,...) Debe procurarse extender los servicios en entornos digitales Tipos de servicio (I) Búsqueda Es el servicio de acceso más básico En BiC: metadatos En BiD: metadatos + contenido Mecanismos de búsqueda: Línea/formulario Navegación (browsing) Basada en clasificación jerárquica Ideal: aproximación híbrida Tipos de servicio (II) Referencias Uno de los servicios básicos de las BiC En BiD: Anticipación a las preguntas (FAQ) Usuarios nuevos, tópicos interesantes... Interacción asíncrona usuario bibliotecario E mail, requiere participación humana, mucho uso del servicio ante las expectativas Combinación de servicios automáticos y humanos FAQ + e mail si la FAQ falla Interacción en tiempo real con el bibliotecario Hotline, chat,... Agentes software que reemplacen a los humanos Procesamiento del lenguaje natural Tipos de servicio (III) Filtrado y distribución selectiva Perfiles de usuario Cada nueva incorporación se chequea frente a los perfiles, y se envía a los usuarios apropiados Más sofisticado que la recuperación de información Filtrado colaborativo: clasificación por interés de un colectivo de usuarios 6

7 Tecnología Pilares básicos de las BiD: Hardware Redes de alta velocidad Seguridad d Interoperabilidad El kit del bibliotecario digital Tipos de herramientas requeridas: Herramientas de construcción de BiD Visualizadores de directorios Convertidores de formatos Chequeadores de consistencia de interfaces Visores de objetos Encriptación de datos Definición de metadatos Gestores de índices Analizadores de log Copias de seguridad Simuladores de interfaces para comprobar el comportamiento en distintas plataformas... Tecnología vs. contenidos (I) La tecnología no siempre ha dirigido los cambios en el manejo de la información: Antes de la imprenta ya se vendía libros... y la imprenta no representó un cambio en la estructura de los mismos. En el siglo XVIII cambió notablemente el contenido de los libros, sin cambios tecnológicos destacables... mientras que en el siglo XIX cambia la tecnología, pero no hay cambios sustanciales en los contenidos Tecnología vs. contenidos (II) En nuestra época asistimos a la revolución digital: Durante más de una década, la mayor parte de los libros ha sido escrita en un ordenador... sin embargo, la gente sigue leyendo versiones en papel pp Las bibliotecas permiten consultar libros escritos mucho tiempo atrás, y versiones en papel de las obras actuales... qué van a hacer con la avalancha de información en formato electrónico? Revolución? El cambio provocado por las nuevas tecnologías va a transformar radicalmente la sociedad El acceso a información on line proporciona recursos que nunca antes habían estado disponibles Bibliotecas, museos, editoriales, etc., se transformarán radicalmente o, de lo contrario, desaparecerán Nuevas relaciones entre los actores: Autores/editores Lectores/bibliotecas Universitarios/publicaciones Evolución? Las tecnologías surgen porque la sociedad toma decisiones que conducen a ellas Las redes de ordenadores son continuación de redes de comunicaciones previas (telégrafo, teléfono, radio, televisión,...) Los medios digitales y los digitalizados son extensiones de otros previamente existentes, y las instituciones que los gestionan se adaptarán a ellos como lo hicieron con los anteriores (de Abdul Kassem Ismael a nuestros días...) El papel convivirá con los bits Editoriales, bibliotecas, universidades, etc., tienen unas funciones sociales que continuarán en el futuro, posiblemente de forma diferente 7

8 Co evolución Requisitos de las BiD Technology pushes, while demand pulls BiD como BiC: características y circunstancias bajo las cuales una BiD debería emular a una BiC que contenga libros, imágenes y otros objetos materiales (Christine L. Borgman, 2000) Requisitos funcionales de las BiD Requisitos: BiD como BiC users are usually elsewhere than the information they want, and often wish to correlate things from several sources; whoever wants to use a library must show permission to do so; different patrons are permitted different actions and to see different parts of each collection; to find specific information, each user must understand the catalog structure; the catalog may describe items not actually held as part of the collection at hand; the catalog and the collected items are used differently and not necessarily housed in the same place; documents are cataloged with text descriptors and also with conventional properties, such as author names; Requisitos: BiD como BiC documents contain cross references to other documents; document identifiers are different from document names; a document may have several names, one for each context, e.g., "Tales of Hoffmann" in English, "Les contes d'hoffmann" in French, and "Hoffmanns Erzaehlungen" in German; translations of a document may express essentially the same information, e.g., versions of classic literature in different languages; each stored item is valuable, often with part of its residual value owned by its authors or authors assignees; part of the value provided by a library is the provenance information it holds for each item; items are put into libraries because, while each is thought valuable for future reference, the specific individuals who will read it and the times when this will occur are not known. (DL94: Digital Library: Gross Structure and Requirements: Report from a March 1994 Workshop) Requisitos funcionales (I) 1. *DL should allow the user to follow citation links forward and backwards (preferably to full documents; otherwise to location information) 2. *DL should include an online meta thesaurus that users can search and browse. The meta thesaurus should integrated existing thesaurae across disciplines. It should also allow users to incorporate their own terms and edit existing terms. The thesaurus should allow users to type in a few letters of a word and see corresponding terms, should suggest or reference alternatives to users' terms. Users should be able to view no. and type of documents associated with terms and link automatically from thesaurus terms to documents. 3. DL should include an acronym list to help users identify and search for terms. 4. Users should be allowed to save a record of their searches and what each search retrieved. 5. *Users should be able to search and view individual components of a document (e.g., author/title, abstract, figures, references) in a dynamic manner, specifying for each search which elements should be searched and which displayed. 6. *Users should be able to customize their interfaces so that search options, procedures are presented in the manner they like best. 7. Users should be able to view an overview description of the contents of the testbed. Requisitos funcionales (II) 8. *Display of full documents should mimic the look and feel of the article's print version in both page layout and page "flipping" (i.e., users should be able to view multiple pages at once and in quick succession) 9. *Users should be able to design and launch their own user profiles for any particular search session, defining what they want and how they want to get it. 10. *Users should be able to move easily from query to results and back, rather than moving in the linear fashion common in online systems today, revising a query upon viewing results without having to lose sight of the results or start a query over. 11. *Users should be able to easily create personal electronic article collections as a subset of the DL, manipulate and share that collection. 12. Users should be able to define and set their own access points for searching personal collections derived from the DL 13. DL should allow on screen highlighting, bookmarking to help in reading full articles. 14. Users should have access to DL from home and office. 15. DL should allow printing of full documents 8

9 Requisitos funcionales (y III) 16. *Users should be able to jump to and view individual document components. They should be able to skim, open, or skip individual document components. 17. DL should facilitate colleage networks: allow users to view list of contact info for authors, construct mailing list of colleagues to send documents to. 18. *DL should provide complete and intuitive online help: help balloons, full documentation, help with basic computing, gripe button, sample searches. 19. DL should allow users to make own links to commonly used external network resources (e.g., preprint databases, listservs) 20. Search parameters should include physical location of material not available online 21. DL should facilitate browsing at shelf, ToC, and article levels: users need overview and zoom capabilities. 22. *Interface should resemble a "natural topography" of the information landscape... with a physical layout, dynamically defined (topic, material type, author, etc.) 23. *DL should allow serendipitous discovery of "other books on the shelf," "other articles in the journal." Perhaps set browse mode as a purposeful search option: by call no., journal title, etc. (University of Illinois at Urbana Campaign, 1994) Situación actual de las BiD gran cantidad de materiales disponibles gran diversidad de temas organización muy pobre calidad y estabilidad variables gran parte desfasado difícil de obtener o referenciar frecuentes reorganizaciones de los sitios Web los documentos pueden (o no) estar en formatos apropiados para imprimir o citar Desafíos de las BiD Lecturas recomendadas Crear una BiD supone crear toda una organización de máquinas y personas, quizás incluso una cultura, en la cual la gente es capaz de buscar, obtener y usar la información Cap. 1 de Lesk, Arms, Borgman (Lesk, pág. 5) Recursos sobre BiD D Lib: JBIDI Communications of the ACM (abril 1995, abril 1998) IEEE Computer DLI Exploring the Digital Domain, 2nd edition: Virtual Library Implementation: Problems, Opportunities and Issues fortoday s Librarian: Cursos de BiD en diferentes Universidades Conferencias sobre BiD JCDL: ECDL: ICADL: RCDL: JBIDI: 9

10 MODELOS Y ARQUITECTURAS Historia de las arquitecturas de BiD Kahn & Wilensky framework Forma almacenada, presentación y diseminación Visión global Fedora Historia de las arquitecturas de BiD Dos aproximaciones principales: Construir clientes y servidores ad hoc (usando Motif/X11, Tcl/Tk, etc.), y usar TCP/IP sólo como protocolo de transporte pros: gran funcionalidad cons: costes de desarrollo altos, problemas con la distribución y heterogeneidad de los clientes Curiosidad: muchos de los proyectos de este tipo gastaron más tiempo en desarrollar interfaces, protocolos, búsquedas, etc., que poblando las BiD! Historia de las arquitecturas de BiD Dos aproximaciones principales (cont): Uso de protocolos estándar, de más alto nivel, basados en TCP/IP: SMTP, FTP, Gopher, WAIS, http, etc. cons: menos funcionalidad pros: menor coste de desarrollo, dado que usan clientes normalmente disponibles Esta aproximación ha dominado la segunda mitad de los 90 Primeras BiD sobre TCP/IP Netlib Comenzó en 1985, distribuyendo software matemático via e mail (SMTP) Posteriormente se añadieron otros métodos y protocolos (ftp, cliente X11, http) Accesos a Netlib Primeras BiD sobre TCP/IP Zaragoza, Febrero de 2008 Bibliotecas Digitales J.H. Canós - Servidor de pre prints de Física Comenzó en 1991 como servicio de e mail para el intercambio de fuentes de pre prints prints en TeX Pronto se añadieron accesos ftp y http Fuente: 10

11 Primeras BiD sobre TCP/IP Anonymous FTP Usado por numerosos departamentos de Informática para la distribución de informes técnicos y software ftp://techreports.larc.nasa.gov/ comenzó a finales de 1992 El acceso http se añadió en 1994 Primeras BiD sobre TCP/IP Características: Útiles Se podía encontrar lo que buscabas Limitadas por el protocolo de transporte Interfaces SMTP, FTP, etc. inherentemente pobres Búsquedas, formateos, browsing,... difíciles de implementar Escala reducida Hubiesen funcionado bien con colecciones de millones de items? Primeras BiD sobre HTTP Dienst: protocolo http es un protocolo de transporte muy general, y es posible construir protocolos de mayor nivel sobre él Combinando esto con clientes WWW más expresivos, hay un potencial grandísimo Dienst Implementa un auténtico protocolo de BiD sobre http Repository Service Describe Verb Disseminate Formats List Authorities List Binders List Contents List Encodings List Meta Formats List Partitions List Verbs List Versions New Version Submit Submit Formats Structure Terms Withdraw Index Service Describe-Verb Header-Tags List-Verbs SearchBoolean Query Mediator Service Describe-Verb List-Verbs SearchBoolean Collection Service Describe-Verb List-Verbs Regions Collection Publishers QueryMediators Indices Repositories Info Service Describe-Verb List-Verbs Identity List-Services A Framework for Distributed Digital Object Services Kahn/Wilensky Framework (KWF, 1995) Es un documento de alto nivel que define los conceptos clave que forman la próxima generación de BiD DLs beyond make the ftp server look nice Términos clave en KWF Objeto Digital (digital object, DO) Unidad de intercambio en una BiD, con una estructura de datos y unas características particulares Repositorio (repository) El lugar donde viven los DO Handle Un nombre único y persistente para un DO 11

12 KWF Originator makes a Digital Object which can go in a Repository which is accessed by Data which consists of Handle which h comes from a handle generator which registers the DOs handle with a Objetos digitales Objeto Digital: elemento almacenado en una BiD Ninguna referencia a contenido, estructura, etc. Sinónimos: ítem, material, documento Repository Access Protocol (RAP) Handle Server at which point the DO becomes a registered DO Objeto Digital Objeto digital DO = datos + key metadata Los datos son tipados: tipos básicos incluyen: bit sequence / set of bit sequences digital object / set of digital objects handle / set of handles key metadata incluye el handle, y posiblemente otros metadatos (no especificados en KWF) Objetos digitales compuestos Son DO con datos de tipo digital object Los objetos digitales tienen estructura interna: Una edición de un diario electrónico está almacenada en varios objetos separados (páginas HTML, imágenes digitalizadas de las páginas,...), pero puede percibirse como un objeto único Los DO compuestos pueden usarse para agrupar items relacionados: Un DO para agrupar todas las obras de Cervantes Un DO para agrupar todas las versiones o todos los formatos del Quijote... Handles Nombres que persisten aunque el recurso al que identifican pueda cambiar su forma, ser almacenado en diversos repositorios, o cambiar en cualquier otra vía a lo largo del tiempo. Handle system: sistema distribuido que almacena handles e información asociada, que se utiliza para localizar y acceder al ítem identificado por el handle 12

13 Handles: sintaxis Handles: estructura interna GLOBAL LOCAL hdl:cnri.dlib/july95 arms Indicador de handleautoridad de Nombramiento (repositorio) Identificador único en el repositorio handle inmutable Datos del handle: (tipo, valor) (almacenados en un servidor de handles) Pueden cambiar Transparente a los clientes Handles: resolución Resolver un handle: Presentar un handle a un servidor Obtener como respuesta información relacionada Usualmente, la dirección adonde encontrar el ítem identificado por el handle El sistema Handle: Distribuido (muchos ordenadores alrededor del mundo) Registro global de handles (en CNRI) Servicios de handle locales (e.g. LOC) Más información: Repositorios (I) Un sistema de almacenamiento,accesible por red, en el cual los DO pueden ser almacenados para posibles accesos posteriores (KWF) Un DO almacenadoes un DO que reside en un repositorio i Un DO registrado es un DO que el repositorio ha registrado en un servidor de handles Almacenaje y registro pueden ser el mismo proceso, o procesos diferentes Repository Access Protocol (RAP) Mecanismo sencillo de acceso a repositorios Diseñado para ser simple KWF define 3 clases de operaciones básicas: ACCESS_DO DEPOSIT_DO ACCESS_REF Repositorios (II) Estructura de un repositorio: Sobre ellas se pueden definir meta servicios... 13

14 Repositorios (III) Repositorios (y IV) Arquitectura de un repositorio: Forma almacenada La forma almacenada de un objeto digital es el formato en el que está almacenado en el repositorio Un simulador de vuelo es un conjunto de programas, archivos de datos, etc. No tiene por qué coincidir con la forma en que el objeto digital se disemina Presentación y diseminación Presentación: la manera en que un objeto digital es mostrado al usuario Un piloto que use el simulador percibe imágenes, sonidos sintetizados y secuencias de control Diseminación: la transformación de la forma almacenada a la presentación requiere la ejecución de algún programa (rendering) 1 Almacenamiento,n Presentaciones Visión global Referencias Usuarios Sistemas de localización Repositorios Sistemas de búsqueda Arms, W. et al.: An Architecture for Information in Digital Libraries. D Lib Magazine, February Arms, W.: Key Concepts in the Architecture of the Digital Library. D Lib Magazine, July 1995 IFLA: Functional Requirements for Bibliographic Records Kahn, R. & Wilensky, R.: A Framework for Distributed Digital Object Services w.html 14

15 Qué es Fedora? FEDORA Fedora es una Arquitectura de Gestión de Recursos Digitales, sobre la que se pueden construir muchos sistemas de Bibliotecas Digitales. Flexible Extensible Digital Object Repository Architecture Fedora es la arquitectura de soporte de un repositorio digital, pero NO PROPORCIONA: El servicio completo de gestor, indexador, buscador y proveedor de servicios Herramienta de catalogación Servicio de conservación Qué es Fedora? (II) Proporciona una capa de gestión de propósito general para objetos digitales. Define un modelo de objetos digital genérico que puede ser usado para representar datastreams (unidades de contenido) tales como documentos, imágenes, libros electrónicos, objetos multimedia, conjuntos de datos, metadatos,... y colecciones de estos. Los objetos pueden ser vistos como contenedores que le proporcionan un formato adecuado a la información que se almacena en ellos. Qué es Fedora? (III) El contenido puede ser almacenado tanto localmente en el repositorio como fuera de éste y referenciado por el objeto digital como un fichero El modelo es simple y flexible: Se pueden crear muchos tipos de objetos digitales. Los objetos se manejan de manera homogénea en el repositorio. Objetos Digitales de Fedora ID Persistente ( PID) Relaciones (REL-Ext) Dublin Core (DC) Traza de Auditoría Datastream (item) Datastream (item) Identificador del objeto Digital (Handle) Metadatos necesarios para el manejo del objeto Datastreams: Conjunto de datos y metadatos Datastream (item) Diseminadores: Punteros a Diseminador por defecto definición de servicios para Diseminador proporcionar vistas en función de los servicios Diseminador PID = uva-lib:100 Metadatos del sistema Image (mrsid) Thumbnail (jpg) DC (xml) BDEF 2 Componentes de un objeto digital de Fedora ID Persistente ( PID ) Relaciones (REL-Ext) Dublin Core (DC) Traza de Auditoría Datastream (item) Datastream (item) Datastream (item) Diseminador por defecto Diseminador PID (parecido al Handle según K&W): Identificador único y persistente (no cambia) para el objeto dentro del Repositorio Metadatos o Propiedades del Objeto: Conjunto de propiedades descriptivas definidas por el sistema necesarias para gestionar y llevar un seguimiento del objeto en el Repositorio. Todos los objetos tienen un metadato Dublin Core por df defecto. Datastreams: Representan contenidos de tipo MIME. Un objeto puede tener uno o más datastreams. Pueden estar almacenados en el repositotio o fuera de este (en este caso, Fedora mantiene un puntero a este en forma de URL). Diseminadores: Servicios para transformar o representar un objeto. Asocia un servicio externo con el objeto para proporcionar vistas flexibles o funcionalidades del objeto. Un objeto puede tener de 0 a N diseminadores. Diseminador 15

16 Datastreams y Diseminadores Datastream y diseminadores (IV) Datastream (Managed) Fedora almacena y gestiona el contenido bytestream Datastream (External) Fedora almacena una referencia (URL) al contenido Datastream (Redirect) Fedora almacena una referencia (URL) al contenido, Pero no proporciona acceso al contenido. Datastream (XML) Fedora almacena un bloque de contenido XML en un fichero XML. Tipos de objetos digitales Tipos de objetos digitales (II) Se diferencian en cómo el repositorio trabaja con ellos. Tipos: Objetos de datos Objetos de definición de comportamiento Objetos de mecanismos de comportamiento Los 2 últimos se usan para construir bloques para diseminadores que definen las operaciones que se pueden hacer con los objetos de datos y sus enlaces oportunos para proporcionar el servicio. Objetos de datos: Representan entidades de contenido digital Contenido heterogéneo (imágenes, libros,...) Objetos de definición de comportamiento Almacenan una definición abstracta del servicio, en la forma de un conjunto abstracto de métodos. Cuando un diseminador apunta a un ODC, en realidad indica que soporta los métodos que contiene este ODC. Tipos de objetos digitales (III) Objetos de mecanismos de comportamiento Almacenan servicios a metadatos. Cuando un diseminador apunta a un OMC, en realidad indica que el diseminador usa esa implementación del servicio para los métodos abstractos que contiene el ODC. Contiene varios metadatos que indican en tiempo de ejecución como invocar los métodos del servicio. Metadatos Su información ió de metadatos tdt más importante t es la información ió de llamada al servicio contenida en Web Services Description Language (WSDL) Usada en tiempo de ejecución para atender las peticiones de servicio de representación virtual de un objeto Permite invocar múltiples servicios de una manera estándar. Contiene metadatos que definen el contrato entre el objeto de datos y el servicio. Son los "Datastream Input Specification Especificar los tipos de datastreams que están disponibles para un objeto de datos en este servicio. Permiten especificar los servicios disponibles para cada objeto de datos. Por ejemplo, no interesa asociar un servicio de conversión de texto con un objeto de tipo imagen. Tipos de objetos digitales (IV) Data Object Persistent ID (PID) Disseminators System Metadata Datastreams Behavior Definition Object Persistent ID (PID) System Metadata Datastreams Behavior Definition Metadata behavior contract Persistent ID (PID) System Metadata Datastreams Service Binding Metadata (WSDL) Web Service Behavior Mechanism Object 16

17 Ejemplo: Definición de objeto de imagen 2 def de Objetos de datos: Fichero de Imagen Versión de Alta Resolución: tif Versión de Baja Resolución: jpg 2 Definiciones de comportamiento gethighresolutiontif getlowresolutionjpg 2 Mecanismos de comportamiento gethighresolutiontif Permite visualizar en formato TIF getlowresolutionjpg Permite visualizar en formato JPG Ejemplo: Utilización de objeto de imagen MrSID Objeto de datos: Fichero de Imagen Objeto de mecanismos de comportamiento gethighresolutiontif procesa el fichero MrSID y devuelve un fichero de imagen TIF getlowresolutionjpg procesa el fichero MrSID y devuelve un fichero de imagen JPG Arquitectura del Servidor Fedora Zaragoza, Febrero de 2008 Bibliotecas Digitales J.H. Canós - 1. Interfaz Servicio Web para Acceso/Búsqueda Servicio Web para Gestión OAI Provider (API) 2. Lógica de Aplicacion Implementación de la funcionalidad en términos del modelo de objetos digitales de Fedora. 3. Almacenamiento BBDD Cache de objetos (mejor rendimiento) Registro de objetos digitales Serializaciones de objetos XML Objeto con versiones Operaciones de gestión en XML Arquitectura (II) Client Web Batch Server App Browser Program App HTTP SOAP HTTP SOAP HTTP SOAP HTTP Web Service Exposure Manage Access Search OAI Provider Layer User Authentication Management Se curity Access Subsystem stem Subsystem Subsystem Policy Mgmt External HTTP Content Source External Content Retriever HTTP Object Mgmt Policy Enforcement Object Validation Users/Groups PID Generation Policies Storage Subsystem Datastreams Content Search ObjectReflection Dissemination Digital Objects RDBMS XML SOAP HTTP Remote Service Local Service Servicios de acceso API de Fedora 2 tipos de servicios de acceso: Un cliente para gestionar la introducción de contenidos, su mantenimiento, y la exportación de objetos. Proporciona el servicio básico si no se necesitan diseminadores personalizados. Una API para personalizar los accesos vía web para servicios construidos en HTTP o SOAP. Así Fedora sería el soporte de interfaces personalizadas. Servicios de Gestión (API M) Ingest XML encoded object submission Create interactive object creation via API requests Maintain interactive object modification via API requests Validate application of integrity rules to objects Identify generate unique object identifiers Security authentication and access control Preserve automatic content versioning and audit trail Export XML encoded object formats Servicios de Acceso (API A y API A LITE) Search search repository for objects Object Reflection what disseminations can the object provide? Object Dissemination request a view of the object s content Servicio de proveedor OAI PMH OAI DC records 17

18 Historia Investigación (desde 1997) : DARPA y el grupo de investigación de Bibliotecas Digitales de la Universidad de Cornell. El desarrollo de referencia se hizo en Cornell Primera aplicación ( ) : Prototipo hecho por la Universidad de Virginia Pruebas de stress para 1 millón de objetos. Software Open Source (desde 2002): Andrew W. Mellon Foundation hace aportaciones económicas importantes para su desarrollo. Fedora 1.0 se liberó en Mayo de Actualmente por la versión 2.1 Distribución de Fedora Código abierto 100% Java Tecnologías soportadas Apache Tomcat 4.1 y Apache Axis (SOAP) Xerces para XML Saxon Schematron MySQL y Mckoi Oracle 9i Plataformas de desarrollo Windows 2000, NT, XP Solaris Linux Más información Más software de repositorio adore ve/ DSpace html METADATOS Contenidos Motivación Aplicaciones de los metadatos Catálogos MARC Dublin Core RDF MODS/METS Otros esquemas de metadatos 18

19 Motivación Objetivo fundamental de una BiD: ayudar a los usuarios a encontrar información En muchas ocasiones, la información no se busca en los documentos, sino en propiedades de los mismos Metadatos Datos estructurados acerca de los datos Describen propiedades del contenido Descriptivos: información bibliográfica, géneros,... Estructurales: información sobre formatos y estructuras Administrativos: derechos, permisos,... Generalmente expresados como texto Texto: autor, fecha, páginas, etc. Imagen: resolución, formato, etc. Aunque pueden referirse a otro tipo de medio Para los usuarios, son el camino hacia los contenidos Catálogos Generación tradicional de catálogos Colecciones de metadatos descriptivos Compuestos de registros: descripciones breves de documentos, realizadas de acuerdo a reglas sistemáticas Reglas de catalogación Anglo American Cataloguing Rules (AACR2) Sirven para más cosas que la mera recuperación de información Informan de propiedades que no se derivan directamente de los documentos: información sobre los autores, en qué museo se encuentran, etc. objeto digital Datos de referencias Registro de metadatos (MARC) Fuente: W. Arms: Curso de BiD. Cornell, 2000 Fuente: W. Arms: Curso de BiD. Cornell, 2000 MARC: Ejemplo (I) Caroline R. Arms, editor, Campus strategies for libraries and electronic information. Bedford, MA: Digital Press, tag value r Z675.U5C / Campus strategies for libraries and electronic title statement information/caroline Arms, editor. 260 {Bedford, Mass.} : Digital Press, c1990. publisher 300 xi, 404 p. : ill. ; 24 cm. collation 440 EDUCOM strategies series on information technology series title 504 Includes bibliographical references (p. {373} 381). 020 ISBN X : $34.95 MARC : Ejemplo (y II) 650 Academic libraries United States Automation. subject heading 650 Libraries and electronic publishing United States. 650 Library information networks United States. 650 Information technology United States. 700 Arms, Caroline R. (Caroline Ruth) 040 DLC DLC DLC 043 n us 955 CIP ver. br02 to SL APIF/MIG Fuente: W. Arms: Curso de BiD. Cornell,

20 Fuente: W. Arms: Curso de BiD. Cornell, 2000 MARC: codificación tag: 260 subfield a: {Bedford, Mass.} : subfield b: Digital Press, subfield c: c1990. MARC encoding: &2600#abc#{Bedford, Mass.} :#Digital Press,#c1990.% Catálogos compartidos OCLC: repositorio de metadatos en formato MARC Cuando una biblioteca cataloga un libro, deposita el registro MARC en OCLC Otras bibliotecas pueden copiar el registro La base de datos de OCLC tiene más de 57 millones de registros Online public access catalog (OPAC) Servicio imprescindible hoy en día en BiC Dos etapas de implantación Primera etapa La biblioteca deposita sus registros MARC en un servidor Proporciona acceso al servidor por terminales dedicados Búsqueda booleana por campos (ver tema 5) La mayor parte de BiC universitarias lo tienen desde primeros de los 90 Segunda etapa La biblioteca conecta su servidor a la red del campus e Internet Transforma paulatinamente sus fichas catalográficas a MARC Comentarios sobre MARC Un gran avance Desarrollado en los 60 Ampliamente difundido Muy complejo No se diseñó pensando en su tratamiento algorítmico No es Unicode Transición muy costosa Generación tradicional de metadatos La experiencia de los humanos produce catálogos e índices de alta calidad Muy cara (más de 50$ por registro) Cuesta mucho tiempo Reglas de catalogación engorrosas Lenta adaptación a los cambios Dublin Core Conjunto simple de metadatos para información on line 15 elementos básicos Aplicable a todo tipo de material digital Todos los elementos opcionales Todos los elementos repetibles Desarrollado por un grupo internacional, liderado por Stuart Weibel 20