Proyecto OAC. Garikoitz Echebarria Contreras OAI-PMH. Protocolo para la transmisión. DELi - UD Junio de 2004

Transcripción

1 Proyecto OAC Garikoitz Echebarria Contreras OAI-PMH Protocolo para la transmisión de metadatos DELi - UD Junio de 2004

2 Índice Open Archives Initiative (OAI). El origen del protocolo OAI-PHM. OAI Protocol for Metadata Harvesting (OAI-PMH). Cuestiones técnicas Situación ió actual Referencias

3 Índice Open Archives Initiative (OAI). El origen del protocolo OAI-PHM. OAI Protocol for Metadata Harvesting (OAI-PMH). Cuestiones técnicas Situación ió actual Referencias

4 La OAI Archive Sinónimo de depósito de documentos científicos a texto completo NO concepto tradicional de archivo con connotaciones de preservación y conservación

5 La OAI Open Se refiere al punto de vista de la arquitectura del sistema Definir interfaces que faciliten la disponibilidad de contenidos procedentes de una variedad de proveedores NO gratuidad o acceso ilimitado

6 Para qué nace la OAI? Desarrollar y promover estándares de interoperabilidad para la difusión de contenidos en Internet Mejorar el acceso a publicaciones electrónicas (eprints) Objetivo más amplio: abrir el acceso a un rango de materiales digitales

7 Para qué nace la OAI? Por lo tanto, la OAI trata la comunicación de metadatos sobre cualquier material almacenado en soporte electrónico La OAI no define esquemas para la gestión de derechos sobre los datos

8 Los orígenes de OAI Búsqueda de alternativas a los modelos tradicionales de comunicación científica Distintas disciplinas crearon sus archivos o repositorios de documentos electrónicos (arxiv, CogPrints, NCSTRL, )

9 Los orígenes de OAI Paul Ginsparg, Rick Luce, & Herbert Von de Sompel: Convocan a expertos en archivos de eprints (Julio 1999) mobilize core group to work towards achieving a universal service for author self-archived scholarly literature. Octubre Reunión en Santa Fe (Nuevo México, USA) Interoperabilidad I t d de estos archivos

10 Los orígenes de OAI Santa Fe. Creación de la OAI Santa Fe. Interoperabilidad de archivos Sistemas de identificación comunes Formatos de metadatos Protocolo (basado en el antiguo Dienst)

11 Los orígenes de OAI Santa Fe. Decisión importante de interoperabilidad Metadata Harvesting vs Cross Searching Santa Fe. En general, soluciones minimalistas Amplia adopción de la comunidad de eprints

12 Los orígenes de OAI No exentos de dificultades Resultados públicos Interés más allá de las comunidades de eprints Además, credibilidad incierta en el esfuerzo debido a la falta de una estructura organizacional

13 Los orígenes de OAI Como respuesta: Agosto de 2000 La DFL (Digital Library Federation) y el CNI (Coalition of Networked Information) anunciaron que ofrecerían soporte de organización a la iniciativai i A partir de ahí, empezaron a funcionar dos comités, uno de gestión y otro técnico Formación de un comité de dirección de la OAI con participación internacional de comunidades interdisciplinares

14 Los orígenes de OAI Como respuesta: Revisión de las decisiones tomadas en Santa Fe para ampliar el objeto de trabajo más allá de los eprints para incluir disciplinas que no tuvieran este tipo de documentación Junto con esta revisión se publicó el OAI- PMH versión 1.0

15 Los orígenes de OAI A partir de ahí la implementación del protocolo comenzó y las primeras instituciones comenzaron a utilizarlo para poner sus metadatos en Internet Adopción lenta y progresiva Con la implementación, comenzó el trabajo del comité técnico, que en junio de 2002, elaboró la versión 2 del protocolo

16 Índice Open Archives Initiative (OAI). El origen del protocolo OAI-PHM. OAI Protocol for Metadata Harvesting (OAI-PMH). Cuestiones técnicas Situación ió actual Referencias

17 Arquitectura de OAI-PMH Enfoque Harvesting a nivel de metadatos t Divide el mundo en proveedores de datos y de servicios Sobre HTTP, XML y Dublin Core

18 Enfoque harvesting Enfoques de interoperabilidad Búsqueda distribuida: buscar y descubrir información y servicios remotos Recopilación: Los datos/metadatos son tranferidos desde d la fuente remota al destino en el cuál se realizarán los servicios de búsqueda, (ej. Unión de catálogos) OAI-PMH es un protocolo de recopilación

19 Enfoque harvesting Rechazo búsqueda distribuida Estandar Z39.50 Implementación costosa Obsesión con Facilitar la implementación del protocolo OAI- PMH Garantizar la interoperabilidad con el menor costo posible de implementación

20 Dos roles Proveedores de datos Albergan un repositorio con los recursos que se quieren publicar y exponen los metadatos de dichos recursos para ser recuperados por los proveedores de servicios Proveedores de servicios Recuperan metadatos de los proveedores de datos y los utilizan para dar servicios sobre dichos datos (interfaz de búsqueda, )

21 Dos roles

22 HTTP y XML OAI-PMH funciona sobre el protocolo HTTP Las peticiones son operaciones HTTP GET o POST Las respuestas son documentos XML válidos

23 Metadatos Gran discusión En Santa Fe definieron i un formato de metadatos (OAMS) Ampliación ió objetivos: Dublin Core sin cualificar OAI soporta y anima a usar otros formatos de metadatos El proveedor de metadatos t almacena los metadatos en el mejor esquema para los recursos que almacena Mapeo a esquemas más simples

24 Resources, Items y Records Resource se refiere a la información en sí. Aquello a lo que se refiere el metadato t Item es una colección de propiedades p sobre un recurso (e.g. title, author, etc.) Record es un item expresado en un específico formato de acuerdo a un XSD OAI se centra en los metadatos, dando por supuesto que los metadatos contienen enlaces útiles al recurso

25 Resources, Items y Records Cada Item tiene un identificador único

26 Record Tiene tres partes: Header: Contiene información común a todos los records. Necesaria para el proceso de recopilación ió Identificador único Datestamp Metadata: Contiene los metadatos en un formato concreto About

27 OAI-PMH. Especificación Subconjunto del protocolo Dienst (NCSTRL) Peticiones URL Base. El host y puerto del servidor HTTP que actua como repositorio. Puede tener un path adicional Argumentos. Lista de pares clave=valor. Como mínimo toda petición tiene un argumento para indicar el tipo de petición (verb)

28 OAI-PMH. Especificación OAI VERBS Identify ListMetadataFormats ListSets ListIdentifiers ListRecords GetRecord Proveedor de servicios Proveedor de datos H A R V E S T E R OAI HTTP Request (OAI Verb) HTTP Response (Valid XML) OAI R E P O S I T O R Y

29 OAI-PMH. Especificación Petición de/oai dc Recopilación selectiva Basada en fechas (from, until) Basada en sets (set) &from= &until= &set=doctypes:dissertations Control del flujo ResumptionToken Errores y excepciones

30 OAI-PMH. Especificación

31 OAI-PMH. Implementación Prerrequisitos. Proveedor de datos Metadatos (almacenados en BD) Servidor web API Programación (Perl, PHP, Zope, ) Identificador de archivo/url Base Identificador único para cada item Formato de metadatos Jerarquía lógica de sets Control del flujo (opcional)

32 OAI-PMH. Implementación Componentes. Proveedor de datos Parser de argumentos para validar las peticiones Generador de errores (Respuestas XML) Acceso a BD para extraer los metadatos de acuerdo al formato de metadatos requerido Generador XML para crear las respuestas

33 OAI-PMH. Implementación OAI request (HTTP request) Programming extension (e.g. PHP, Perl) Web server (e.g. Apache, IIS) OAI response (XML instance) SQL request SQL- Database DB response OAI Data Provider

34 OAI-PMH. Implementación Prerrequisitos. Proveedor de servicio Servidor conectado a internet Un sistema de BD (relacional o XML) Un entorno de programación

35 OAI-PMH. Implementación Componentes. Proveedor de servicio Selección de repositorios de datos a recopilar Recopilación selectiva Planificador de recopilaciones Control del flujo Mecanismo de actualización Parser XML Detector de duplicidades Módulo de servicio al público

36 OAI-PMH. Implementación User Harvester User Administrator Service module Database OAI Service Provider Normaliser Scheduler Update mechanism Duplication checker XML Parser Flow control Data Provider Data Provider Data Provider

37 OAI-PMH. Más sencillo OAI Static Repository Para organizaciones con colecciones de metadatos de entre 1 y registros Es un fichero XML Static Repository Gateway No soportan: Sets Resumption Token Recopilación selectiva. Sólo por fechas

38 OAI-PMH. Más sencillo OAI Static Repository

39 Índice Open Archives Initiative (OAI). El origen del protocolo OAI-PHM. OAI Protocol for Metadata Harvesting (OAI-PMH). Cuestiones técnicas Situación ió actual Referencias

40 Situación actual Proyectos: (digital) libraries Museos Repositorios de e-prints Proyectos y de investigación OAI-PMH es estable N bi f i l ól bi No cambios funcionales, sólo cambios tipográficos

41 Situación actual No hay planes para una versión 3.0 El núcleo del protocolo no será extendido Podrían surgir versiones 2.x (a medio plazo) Guías de implementación adicionales (a medio plazo) Los proveedores de datos implementan DC en espera de mejores metadatos Muchas implementaciones!!

42 Situación actual Propiedad intelectual Los metadatos ricos son un producto intelectual El protocolo puede ser usado para transmitir cualquier cosa (p.ej. Contenido) que puede ser codificado en XML Generalmente los metadatos nos llevan al contenido...

43 Situación actual Propiedad intelectual El objetivo es investigar y desarrollar modos de expresar derechos sobre los metadatos y recursos en la plataforma OAI El resultado será una adición a las guías de implementación que especifiquen mecanismos para expresar derechos en OAI- PMH No requerirá cambios al núcleo del protocolo

44 Actividades de OAI en Europa Overview of OAI activity y( (continents) Europe 40 America 30 Australia 20 Asia (números de enero de 2003) 0 UK Overview of european countries engaged in OAI implementation Germany France Sweden 14 Italy 12 Netherlands 12 Austria 10 Finland Belorussia 6 Belgium 6 Denmark 4 3 Ireland Norway Portugal 0 Russia Switzerland

45 Índice Open Archives Initiative (OAI). El origen del protocolo OAI-PHM. OAI Protocol for Metadata Harvesting (OAI-PMH). Cuestiones técnicas Situación ió actual Referencias

46 Referencias Documentos Noticias FAQs Herramientas Comunidad (sólo listas de distribución)

47 Referencias Comunidad de interés en OAI Workshops Tutorial ( magnífico!!) Base de datos de Proveedores de datos Proveedores de servicios Proyectos Software