Primeros pasos: Perspectiva general del proceso de publicación de datos en la red GBIF Versión 1.0 Abril 2011
Cita bibliográfica sugerida: GBIF (2011). Primeros pasos: Perspectiva general del proceso de publicación de datos en la red GBIF, (versión original producida por Remsen, D., Ko, B., Chavan, V., Raymond, M., traducida del inglés por Vargas, M.). Copenhague: Global Biodiversity Information Facility, 16 pp. Disponible en http://links.gbif.org/getting_started_publishing_es ISBN: no disponible URI persistente: http://links.gbif.org/getting_started_publishing_es Idioma: Español Copyright Global Biodiversity Information Facility, 2011 Licencia: Este documento se publica bajo una licencia Creative Commons Attribution 3.0 Unported Control del documento: Versión Descripción Fecha Autor(es) 1.0 Review, edits and final styling 5 April 2011 DR, BK, VC, MR 1.0 es Primera versión en español Septiembre 2011 MV, AGT Créditos del arte en la portada: Gregory Basco Pelícano café, Pelecanus occidentalis i
Acerca de GBIF El Sistema Mundial de Información sobre Biodiversidad (Global Biodiversity Information Facility, GBIF) fue establecido como una iniciativa de megaciencia para atender uno de los retos más grandes del siglo XXI aprovechar el conocimiento sobre la diversidad biológica de la Tierra. La visión de GBIF es 'un mundo en el que la información sobre biodiversidad está disponible de manera libre y universal para la ciencia, la sociedad y un futuro sostenible'. La misión de GBIF es ser el mayor recurso global de información sobre biodiversidad y engendrar soluciones para el bienestar del medio ambiente y del ser humano 1. Para lograr esta misión, GBIF alienta a una gran variedad de proveedores de datos de todo el planeta a descubrir y publicar datos a través de su red. 1 GBIF (2011). GBIF Strategic Plan 2012-16: Seizing the future. Copenhagen: Global Biodiversity Information Facility. 7pp. ISBN: 87-92020-18-6. Accesible en http://links.gbif.org/sp2012_2016.pdf Abril 2011 iii
Contenidos Acerca de GBIF... iii Contenidos... iv Introducción... 1 Alcance... 2 Los tres tipos fundamentales de datos... 2 1. Datos primarios de biodiversidad o datos de ocurrencia (localización)... 2 2. Datos taxonómicos... 3 3. Metadatos sobre recursos (o conjuntos de datos)... 3 Flujo de trabajo de la publicación de datos... 3 Publicación de datos primarios de biodiversidad o datos de ocurrencia/localización... 5 El formato de Archivo Darwin Core (Darwin Core Archive)... 5 Protocolos de intercambio de datos... 6 1. Servicio de Acceso a Colecciones Biológicas (Biological Collections Access Service, BioCASe)... 6 2. Protocolo de Acceso del TDWG para la Recuperación de Información (TDWG Access Protocol for Information Retrieval, TAPIR)... 6 3. Protocolo Distribuido de Obtención de Información (Distributed Generic Information Retrieval, DiGIR)... 7 Para publicar datos de ocurrencia/localización... 7 Publicación de Datos Taxonómicos... 8 Para publicar datos taxonómicos... 9 Publicación de Metadatos sobre Recursos... 9 Para publicar metadatos sobre recursos... 10 Otras guías de referencia... 11 Feliz publicación!... 11 Abril 2011 iv
Introducción Este documento brinda una perspectiva general del proceso de publicación de datos de biodiversidad a través de la red GBIF. La palabra publicar en este contexto, se refiere a poner los conjuntos de datos de biodiversidad en el dominio público de una forma estandarizada, por medio de un punto de acceso que típicamente es una dirección web (una URL). Este punto de acceso queda almacenado en el registro de GBIF, el cual permite que los conjuntos de datos puedan ser localizados desde cualquier lugar del mundo. GBIF mantiene también un Portal de Datos 2. El portal proporciona servicios de localización y acceso a los datos indexados a partir de las bases de datos publicadas a través de GBIF. Este índice de datos, accesible a través del portal, se actualiza aproximadamente una vez al mes. GBIF proporciona los medios para compartir datos de biodiversidad. Los datos compartidos permanecen en la ubicación desde la que se comparten y bajo el control de quien los publica. El índice que GBIF mantiene en el Portal es un conjunto de datos de acceso rápido que se actualiza regularmente. En esta guía se tratan los dos casos más frecuentes a la hora de compartir datos: 1. Una conexión en tiempo real a una base de datos, desde la cual se extrae y transfiere una copia al usuario bajo demanda. 2. Acceso a un archivo de datos en formato estándar, que es una copia de los datos originales que ha sido extraída y se publica como un archivo completo por medio de una URL en un servidor web. Esta guía provee una visión general de los tipos de datos de biodiversidad que pueden publicarse a través de la red GBIF. Presenta el ámbito de aplicación de los tipos de datos fundamentales que GBIF acepta actualmente, así como las opciones de publicación para cada uno. Su objetivo principal es ayudar a potenciales proveedores de datos a buscar la opción y/o herramienta más adecuada para lograr la meta de publicar datos a través de GBIF. La guía en sí misma no provee detalles específicos para cada opción de publicación. En su lugar, ofrece una perspectiva general de esas opciones con enlaces a documentación más detallada y a recursos en internet. 2 El Portal de Datos de GBIF - http://data.gbif.org Abril 2011 1
Alcance Desde el punto de vista de la publicación de datos, GBIF realiza las siguientes distinciones: Los datos de biodiversidad publicados a través de GBIF están organizados en conjuntos de datos o recursos de datos. Un conjunto de datos es una colección de registros de datos. Figura 1. Alcance Los conjuntos de datos se describen por medio de metadatos. En el contexto de GBIF, los metadatos proveen información acerca de los proveedores de los datos y acerca del origen y el propósito de esos datos. Un registro de datos es una colección de elementos de datos o propiedades. Por ejemplo, un registro de datos puede describir un espécimen conservado en un museo. Uno de los elementos de datos de este registro sería seguramente el elemento "nombre científico". Un elemento de datos contiene los valores de los datos (i.e., los datos). Un ejemplo de un valor en un elemento de datos correspondiente al "nombre científico" de un registro sería "Limulus polyphemus". Los tres tipos fundamentales de datos La plataforma de publicación de datos de GBIF permite la publicación de tres clases primarias de datos. 1. Datos primarios de biodiversidad 3 o datos de ocurrencia (localización) Esta categoría de información se refiere a los datos o la información relacionada con una aparición específica de un taxón (usualmente una especie), ya sea en la naturaleza, en una colección o en un conjunto de datos. Un ejemplo de conjunto de datos de este tipo podría ser una colección de registros de observaciones de aves en la que un registro de datos provee detalles sobre un determinado avistamiento de aves. Otro ejemplo sería el de una colección de registros de datos de especímenes de un museo de historia natural. Un mismo taxón puede estar representado en muchos registros de un conjunto de datos. La aparición de una especie biológica en términos espaciales y temporales es la unidad de 3 Los datos primarios de biodiverisidad se definen como: textos digitales o registros de datos multimedia que detallan hechos acerca de la instancia de aparición de un organismo, i.e. sobre el qué, dónde, cuándo, cómo y quién de la aparición y el registro correspondiente (Fuente: Programa de trabajo de GBIF 2009-2010, disponible en http://www2.gbif.org/wp2009-10.pdf). Abril 2011 2
datos fundamental sobre la que se basan los servicios y los flujos de trabajo analíticos. 2. Datos taxonómicos Esta categoría de información se refiere a datos o información relacionados con un taxón pero no necesariamente a una instancia específica (aparición) de un individuo perteneciente al mismo. Un ejemplo de conjunto de datos podría ser una lista anotada de especies de aves (checklist) en la que cada registro proporciona información sobre una especie. Por lo general, cada registro del conjunto de datos taxonómicos corresponde a un único taxón. 3. Metadatos sobre recursos (o conjuntos de datos) Los metadatos son registros de datos que proveen información descriptiva sobre conjuntos de datos. En el contexto de GBIF, los metadatos proveen información acerca de los proveedores de datos de biodiversidad, del origen y del propósito de dichos datos, junto con una valoración de cuán adecuados son para su uso (fitness-for-use). GBIF promociona que tanto la creación como la publicación de metadatos se ajusten al Perfil de Metadatos de GBIF (GBIF Metadata Profile, GMP) 4. Los metadatos son indispensables en todos los conjuntos de datos publicados a través de GBIF. Son importantes para facilitar la localización de los conjuntos de datos y para dar a los usuarios potenciales información sobre cuán adecuados para el uso son los datos descritos. Los metadatos pueden describir tanto conjuntos de datos digitales como no digitales: los proveedores de datos también pueden publicar metadatos acerca de conjuntos de datos que aún no están listos para ser publicados. Las distintas opciones dentro de la plataforma de publicación de datos de GBIF admiten cada una de estas tres clases de datos, los cuales serán detallados a continuación. Flujo de trabajo de la publicación de datos La publicación de sus datos a través de GBIF se realiza siguiendo una serie de pasos. La figura 1 muestra un modelo de flujo de trabajo para la publicación de datos. Los principales pasos que llevan a la localización y el acceso a los datos de biodiversidad a través de la red GBIF son: (a) la selección de herramientas (u opciones) de publicación adecuadas de acuerdo con el tipo de datos, las habilidades y la capacidad técnica Know your data Select a tool Prepare data Publish your data Register data Figura 2. Flujo de trabajo de la publicación de datos Discover through portal 4 El Perfil de Metadatos de GBIF - http://rs.gbif.org/schema/eml-gbif-profile/ Abril 2011 3
Primeros pasos: Una perspectiva general sobre la publicación de datos en la red GBIF Versión 1.0 disponibles; (b) la preparación del conjunto de datos para que se ajuste al formato estándar de intercambio; (c) la publicación de los conjuntos de datos mediante el empleo de la herramienta apropiada; y (d) el registro del punto de acceso a los datos en el Registro de GBIF. Una vez que se completan estos pasos, sus datos estarán listos para ser localizados y accesibles a través de la red GBIF y su Portal de Datos (http://data.gbif.org). Which type of data? Metadata Dataset Metadata Metadata Taxonomic Data Occurrence Data GBIFS developed tools Select a tool 11 21 31 Community tools 41 TAPIR Integrated Publishing Spreadsheet Processor Toolkit DwC-A Assistant Publish your data Register with GBIF G B I F N E T W O R K http://data.gbif.org Discovery through the Portal Figura 3. Un resumen de las opciones de publicación de datos en la red de GBIF Abril 2011 4
Publicación de datos primarios de biodiversidad o datos de ocurrencia/localización Los datos de ocurrencia/localización pueden publicarse a través de GBIF por medio de dos métodos: 1. Mediante el acceso a conjuntos o subconjuntos de datos disponibles como archivos de acceso rápido (caché) o bien archivos comprimidos, que se ajustan a un formato estándar. Este es el método recomendado para los que quieren publicar datos en GBIF por primera vez. 2. A través del uso de protocolos de intercambio de datos que permiten a los usuarios conectarse con una base de datos en tiempo real (o en vivo ) vía Internet. Esta es la forma más habitual de publicar datos a través de GBIF y todavía es una opción a día de hoy. El formato de Archivo Darwin Core (Darwin Core Archive) El uso de Archivos Darwin Core es la opción recomendada para la publicación de datos taxonómicos y de ocurrencia/localización en la red GBIF para nuevos proveedores. También representa el siguiente paso evolutivo para los que ya están publicando datos a través de otras opciones. El formato de Archivo Darwin Core (Darwin Core Archive, DwC-A) es un estándar de datos de biodiversidad reconocido a nivel internacional y ratificado formalmente. Simplifica la publicación de datos de biodiversidad mediante la combinación del uso de un glosario de términos estable y ratificado internacionalmente (el Darwin Core), con la simplicidad y legibilidad de los archivos de texto de valores separados por comas (Comma-Separated-Values, CSV). En este contexto, "Archivo" es una colección de ficheros que se ajustan al estándar descrito y que se comprimen como un único fichero en el disco. Los Archivos Darwin Core no requieren que el proveedor de datos instale software especializado y pueden generarse y publicarse fácilmente simplemente publicando en un servidor web el archivo comprimido (nótese que existen Servicios de Alojamiento de Datos (Data Hosting Services) para aquellos proveedores que no tengan acceso a un servidor web). GBIF provee una amplia oferta de herramientas y de servicios de apoyo para la publicación de datos en formato de Archivo Dawin Core, así como para adaptar el formato para incluir nuevos tipos de datos y obtener así aún más flexibilidad. Puede leer la Guía Práctica de los Archivos Darwin Core en http://links.gbif.org/gbif_dwc-a_how_to_guide_en_v1 (versión en inglés). Abril 2011 5
Además de los archivos de datos, un Archivo Darwin Core requiere la inclusión de un documento de metadatos sobre recursos (Vea más abajo la sección de Publicación de Metadatos sobre Recursos). Protocolos de intercambio de datos Hay tres protocolos de intercambio de datos de biodiversidad aceptados por GBIF, aunque ya no son el método recomendado para publicar datos en la red GBIF. Cada uno de estos protocolos define un proceso particular para interactuar con una base de datos. Los usuarios pueden utilizar estos procesos para realizar consultas específicas a la base de datos y obtener subconjuntos de datos como respuesta. Los datos le son devueltos al usuario en un formato estándar. Para habilitar estos protocolos y respuestas, los proveedores de datos deben instalar y configurar un programa encapsulador (software wrapper) que interactúa con la base de datos y permite a los usuarios conectar en tiempo real. 1. Servicio de Acceso a Colecciones Biológicas (Biological Collections Access Service, BioCASe) BioCASe es el acrónimo del Servicio de Acceso a Colecciones Biológicas y es el protocolo que recibe mejor soporte técnico y mantenimiento en la actualidad. El acrónimo se refiere tanto al protocolo (BioCASe) como al proyecto (BioCASE), el cual se enfoca en colecciones europeas de historia natural. El protocolo BioCASe devuelve registros de datos en un formato XML llamado "Acceso a Datos de Colecciones Biológicas" (Access to Biological Collections Data, ABCD 5 ), el cual puede representar datos complejos y anidados. La implementación principal de BioCASe es el Software Proveedor de BioCASe 6 y es mantenida activamente por BioCASe. Visite el sitio web de BioCASe para obtener más información. http://www.biocase.org/ 2. Protocolo de Acceso del TDWG para la Recuperación de Información (TDWG Access Protocol for Information Retrieval, TAPIR) TAPIR es un estándar abierto desarrollado en el marco del Grupo de Trabajo en Bases de Datos Taxonómicas (Taxonomic Databases Working Group, TDWG 7 ). TAPIR se usa actualmente para transmitir datos de biodiversidad a la red GBIF mediante el uso de una versión antigua del estándar Darwin Core que no está actualizada respecto al estándar 5 Esquema ABCD - http://www.bgbm.org/tdwg/codata/schema/ 6 Software Proveedor de BioCASe - http://www.biocase.org/products/provider_software/index.shtml 7 Nota del traductor: En el momento de la traducción de este documento (setiembre de 2011), el nombre de TDWG se había cambiado ya por el de Estándares de Información sobre Biodiversidad (Biodiversity Information Standards). El acrónimo sigue siendo el mismo. Abril 2011 6
ratificado. Existen diferentes implementaciones para el cliente y el servidor, pero el servicio técnico de GBIF no da soporte técnico para ninguna de ellas. Protocolo TAPIR - http://www.tdwg.org/standards/449/ Software para TAPIR - http://wiki.tdwg.org/twiki/bin/view/tapir/tapirsoftware 3. Protocolo Distribuido de Obtención de Información (Distributed Generic Information Retrieval, DiGIR) DiGIR fue la implementación pionera de los protocolos de intercambio de datos de biodiversidad y aún se usa en la red GBIF. El software DiGIR no está actualmente en desarrollo activo y GBIF no lo apoya de manera activa. Visite el sitio web de DiGIR para más información. http://digir.sourceforge.net/ Para publicar datos de ocurrencia/localización Hay dos mecanismos (descritos arriba) para publicar datos de ocurrencia/localización a través de GBIF: los Archivos Darwin Core y los Protocolos de Intercambio de Datos. La primera decisión que debe tomar un proveedor de datos es cuál es el mecanismo más apropiado en su caso. La publicación mediante Archivos Darwin Core es el mecanismo recomendado para publicar a través de GBIF y ya hay disponibles varias herramientas para hacer posible su publicación. Estas herramientas están diseñadas para ofrecer una amplia gama de métodos de trabajo para la publicación a los distintos proveedores de datos, desde los que desean publicar datos usando simples hojas de cálculo, los que quieren usar un servicio de alojamiento de datos, los que son capaces de crear sus propios Archivos Darwin Core a partir de bases de datos existentes, o los que desean instalar una herramienta de publicación de datos en un servidor exclusivo con una conexión permanente a Internet. La Guía Práctica sobre Archivos Darwin Core explica las opciones disponibles y cómo elegir la herramienta más apropiada. Flujo de trabajo para publicar datos de localización mediante Archivos Darwin Core: 1. Para publicar los metadatos asociados a su conjunto de datos, vea la sección Para Publicar Metadatos sobre Recursos (abajo) 2. Consulte los siguientes manuales: Abril 2011 7
a. Guía Práctica de los Archivos Darwin Core 8 b. Guía de Referencia para los Términos del Darwin Core 3. Estos manuales ayudarán a los usuarios a seleccionar una solución para publicar entre las siguientes: Solución para publicar Formato de datos Guía para el usuario Integrated Publishing Toolkit - Archivo Darwin Core http://links.gbif.org/ipt_user_manual IPT Plantillas para Hojas de Cálculo Archivos Darwin Core http://links.gbif.org/xls Cómo hacer su propio DwC-A Archivos Darwin Core http://links.gbif.org/dwc-a_own 4. Consulte Publicación y Registro de Datos con GBIF 9 Los Protocolos de Intercambio de Datos pueden usarse para publicar datos de ocurrencia/localización a través de la red GBIF. Para usar protocolos para publicar datos se requiere la instalación y configuración de aplicaciones de software dedicadas (llamadas envoltorios, encapsuladores o wrappers) sobre una base de datos activa. Los enlaces de abajo proporcionan mayor información acerca de cada una de estas aplicaciones. Flujo de trabajo para publicar datos de ocurrencia mediante el uso de Protocolos de Intercambio de Datos: 1. Seleccione una solución para publicar de la tabla siguiente: Solución para publicar Formato de datos Guía para el usuario BIOCASE ABCD http://links.gbif.org/biocase TapirLink Darwin Core en XML http://links.gbif.org/tapirlink DiGIR Darwin Core XML http://links.gbif.org/digir 2. Consulte las guías para usuarios mencionadas en la tabla de arriba. 3. Los procesos de publicación y registro están incluidos en las herramientas y se activan en la fase de configuración. Publicación de Datos Taxonómicos El formato de Archivos Darwin Core es el único que GBIF acepta para la publicación de datos de especies a través de su red. Nótese que es obligatorio documentar el origen y el ámbito/alcance del conjunto de datos para publicar los datos en la red GBIF. Además de los archivos de datos, el Archivo Darwin Core necesita de la inclusión de un documento de metadatos sobre recursos (vea más abajo la sección Publicación de Metadatos sobre Recursos). 8 9 http://links.gbif.org/gbif_dwc-a_how_to_guide_en_v1 (versión en inglés) http://links.gbif.org/dwc-a_publishing_guide_en_v1 (versión en inglés) Abril 2011 8
La posibilidad de publicar datos de especies de una manera estándar no está restringida a listas simples. La extensibilidad del formato de Archivos Darwin Core permite compartir: Catálogos taxonómicos y datos monográficos Descripciones de especies como las que podrían aparecer en la página de especies de un sitio web Imágenes y otros datos multimedia Detalles de la distribución Medidas y otros datos Y mucho más Para publicar datos taxonómicos La única forma de publicar datos taxonómicos a través de la red GBIF es usando el formato de Archivos Darwin Core. GBIF ha desarrollado varias herramientas para ayudar con la creación y publicación de datos en este formato. Puede encontrar su descripción en la Guía sobre Archivos Darwin Core. Flujo de trabajo para la publicación de datos taxonómicos mediante Archivos Darwin Core: 1. Para publicar los metadatos asociados a su conjunto de datos, vea Publicación de Metadatos de Recursos (abajo) 2. Consulte los siguientes manuales a. Guía Práctica de Archivos Darwin Core 10 b. Mejores prácticas para la publicación de listas de especies 11 c. Perfil GBIF GNA: Guía de Referencia 12 3. Seleccione una solución para publicar de la tabla siguiente: Solución para publicar Formato de datos Guía para el usuario Integrated Publishing Toolkit - Archivos Darwin Core http://links.gbif.org/ipt_manual IPT Plantillas para Hojas de Cálculo Archivos Darwin Core http://links.gbif.org/xls Hacer su propio DwC-A Archivos Darwin Core http://links.gbif.org/dwc-a_own 4. Vea Publicación y Registro de Datos con GBIF Publicación de Metadatos sobre Recursos 10 11 12 http://links.gbif.org/gbif_dwc-a_how_to_guide_en_v1 (versión en inglés) http://links.gbif.org/checklist_best_practices (versión en inglés) http://links.gbif.org/gbif_gna_profile_reference_guide (versión en inglés) Abril 2011 9
Los metadatos son literalmente 'datos acerca de los datos'. Proveen información sobre aspectos tales como el quién, qué, dónde y cuándo de los datos y pueden ser considerados desde el punto de vista tanto del generador como del usuario de los datos. GBIF permite la publicación y el intercambio de documentos de metadatos que describen las propiedades de los conjuntos de datos de biodiversidad, particularmente de los de ocurrencia/localización (como por ejemplo colecciones de historia natural), así como conjuntos de datos taxonómicos y de especies (tales como los catálogos taxonómicos). Para el que genera los datos, los metadatos se usan para documentarlos y así informar a los potenciales usuarios sobre sus características. Para el usuario, los metadatos se usan tanto para descubrir/localizar datos como para estimar su aptitud para fines particulares su 'adecuación para el uso'. Así, los metadatos complementan las dos clases fundamentales de datos de biodiversidad permitidas por la plataforma de publicación de datos de GBIF: los conjuntos de datos de ocurrencia/localización (citas) y los conjuntos de datos de taxonomía/especies. Un documento de metadatos también puede ser usado para describir un conjunto de datos que no disponga de servicio de acceso a los datos, como una colección de historia natural no digitalizada, o un conjunto que contenga datos en un formato que no se pueda publicar fácilmente a través de la infraestructura normal de GBIF, pero que aún así esté disponible para su acceso y extracción manual por parte de un usuario interesado en él. GBIF ha desarrollado un perfil específico para descripción de metadatos sobre recursos que está basado en el estándar Lenguaje Ecológico de Metadatos (Ecological Metadata Language, EML), reconocido internacionalmente. Otros estándares para metadatos pueden ser aceptados por GBIF, sin embargo sus herramientas no permiten por el momento la creación de metadatos usando otros estándares. Para publicar metadatos sobre recursos Es obligatorio que los metadatos sobre recursos acompañen a todos los conjuntos de datos taxonómicos o de ocurrencias publicados a través de la red GBIF. Las herramientas de GBIF que permiten la publicación de Archivos Darwin Core también ayudan a los proveedores de datos en la creación y publicación de metadatos sobre recursos. Flujo de trabajo para publicar metadatos sobre recursos usando el Perfil de Metadatos de GBIF: 1. Consulte los siguientes manuales a. Perfil de Metadatos de GBIF: Guía Práctica 13 b. Perfil de Metadatos de GBIF: Guía de Referencia 14 13 http://links.gbif.org/gbif_metadata_profile_how-to_en_v1 (versión en inglés) Abril 2011 10
2. Estos manuales guiarán a los usuarios para seleccionar una solución para publicar de entre las siguientes: Solución para publicar Formato de Guía para el usuario metadatos Integrated Publishing Toolkit - Perfil GBIF EML http://links.gbif.org/ipt_manual IPT Plantillas para Hojas de Cálculo Perfil GBIF EML http://links.gbif.org/xls Cree su propio EML Perfil GBIF EML http://links.gbif.org/dwc-a_asst Otras guías de referencia Archivos Darwin Core Guía de Referencia al Archivo Descriptor XML (para usuarios técnicos) Feliz publicación! Si necesita cualquier tipo de ayuda para publicar datos, por favor contacte a helpdesk@gbif.org. 14 http://links.gbif.org/gbif_metadata_profile_guide_en_v1 (versión en inglés) Abril 2011 11