Bases de Datos XML. Índice. Requisitos de las BD XML

Transcripción

1 Bases de Datos XML Índice Requisitos de las BD XML Soluciones BD XML BD XML nativas Definición y características Tipos Productos Tamino XML Server y X-Hive Extensiones de BD para XML Requisitos de las BD XML Representación de información Representación detallada (Fine-grained) Representación tipada (basada en tipos) Control de versiones (Versioning) Acceso a los contenidos Acceso detallado (Fine-grained): DOM. XQuery, XPath Acceso tipado: enteros, listas, objetos Actualizaciones detalladas Estructuras de índices de valores (árboles B), texto y paths (rutas de acceso) 1

2 Requisitos de las BD XML Esquemas de información Validación de esquemas (evitar documentos no válidos) Inferencia de representaciones tipadas nuevos tipos a partir del esquema Optimización de acceso Extensibilidad Con funcionalidad funciones y procedimientos Con estructuras de índices indización personalizada Funcionalidad de los SGBD clásicos Propiedades ACID: Atomicity, Consistency, Isolation, Durability Transacciones Control de concurrencia Control de acceso Backup y recuperación Soluciones BD XML Almacenamiento y Gestión de documentos XML BD XML nativas Extensiones de BD (BDR o BDOO) para XML Soluciones BD XML Extensiones de BD BD XML nativas Almacenamiento no estructurado Almacenamiento estructurado Mapeo excelon XIS Comercial GoXML DB Infonyte-DB Tamino TEXTML X-Hive/DB IBM DB2 XML Extender Microsoft SQLXML Oracle XML DB Oracle XML DB/ Mapeo Estructurado Código abierto dbxml exist Xindice Ozone/XML (OO) Investigación Lore Natix PDOM TIMBER Monet XML Shimura et al. XML Cartridge 2

3 BD XML nativas Son bases de datos, y como tales soportan transacciones, acceso multi-usuario, lenguajes de consulta, etc., diseñadas especialmente para almacenar documentos XML En una BD XML nativa el aspecto principal de los productos es el almacenamiento de los documentos XML. El término nativa se utiliza por los vendedores de los productos comerciales especializados en soluciones de BD XML. Estrategia de Marketing diferenciar sus soluciones de las extensiones para XML ofrecidas por los vendedores de SGBD convencionales (BDR, BDOO, ) BD XML nativas Características: Emplean como unidad lógica fundamental de almacenamiento el documento XML (relacional tabla) Define un modelo (lógico) para un documento XML (para el documento, no para los datos) Almacena y recupera documentos de acuerdo a ese modelo Modelos de ejemplo: Xpath, XML Infoset,DOM y los eventos de SAX Soportar lenguajes de consulta XML Preservar el orden del documento, las instrucciones de procesamiento, los comentarios, las secciones CDATA y las entidades Como mínimo, el modelo debe incluir elementos, atributos, manejo de PCDATA y orden dentro del documento No se requiere un modelo subyacente de almacenamiento Puede ser una BD relacional, orientada a objetos o jerárquica; o un formato de almacenamiento propietario BD XML nativas Características: Almacenamiento de documentos en colecciones Las colecciones juegan en las bases de datos nativas el papel de las tablas en las DB relacionales Los documentos se suelen agrupar, en función de la información que contienen, en colecciones que a su vez pueden contener otras colecciones. Validación de los documentos Consultas La mayoría de las BD XML soportan uno o más lenguajes de consulta Uno de los más populares es XQuery Indexación XML Se ha de permitir la creación de índices que aceleren las consultas realizadas frecuentemente Creación de identificadores únicos A cada documento XML se le asocia un identificador único por el que será reconocido dentro del repositorio Actualizaciones y Borrados Las BD nativas tienen una gran variedad de estrategias para actualizar y borrar documentos Muchos sistemas soportan el XUpdate para llevar a cabo esta funcionalidad 3

4 BD XML nativas: Tipos 1. Almacenamiento basado en texto (ficheros de texto): Almacena el documento XML entero en forma de texto y proporciona alguna funcionalidad de base de datos para acceder a él. Aplican (como mucho) técnicas de compresión para reducir el espacio de almacenamiento Mantienen índices adicionales para aumentar la eficiencia en el acceso a la información. Pueden definirse sobre BD o sistemas de ficheros: Posibilidad sencilla: Almacenar el documento como un BLOB en una base de datos relacional, o mediante un fichero, y proporcionar algunos índices sobre el documento que aceleren el acceso a la información Posibilidad sofisticada: Almacenar el documento en un almacén adecuado con índices, soporte para transacciones, etc. BD XML nativas: Tipos 2. Almacenamiento basado en modelo: Definen un modelo de datos lógico (como DOM) para la estructura jerárquica de los documentos XML Almacenan los documentos de acuerdo con este modelo usando el modelo de almacenamiento físico que se desee (mapeo a BD relacional, Persistent DOM, etc.): Posibilidad 1: Traducir el DOM a tablas relacionales como Elementos, Atributos, Entidades, etc. Posibilidad 2: Traducir el DOM a objetos en una BDOO Posibilidad 3: Utilizar un almacén creado especialmente para esta finalidad 3. Soluciones desarrolladas específicamente para la gestión de documentos XML. Productos BD XML nativas Productos Comerciales Surgen por la necesidad de gestión eficiente de grandes cantidades de documentos XML Argumentan: los documentos XML no se pueden almacenar en SGBD convencionales por su naturaleza jerárquica y semi-estructurada Desarrollo de Sistemas especializados: Tamino de Software AG (2001) X-Hive/DB de X-Hive Corp. (2002) GoXML DB (XStreamDB) de XML Global Technologies Inc. (2001) Infonyte-DB de Infonyte GmbH (2002) 4

5 Productos BD XML nativas Productos Comerciales Vendedores de SGBD OO: Adaptación de sus SGBD a SGBD XML nativas. excelon XIS de excelon Corp. (2001) ObjectStore Vendedores de Sistemas de Gestión de Documentos: Adaptación de sus sistemas a SGBD XML nativas. TEXTML de IXIASOFT Inc. (2001) Productos de Libre Distribución Xindice: Apache XML Project Sucesor de dbxml (dbxml Project) exist Sobre BD relacional: MySQL o PostgresSQL Productos BD XML nativas Productos de Investigación Lore: Prototipo para almacenamiento de información semi-estructurada Permite representar estructuras de grafos irregulares (incluyendo jerarquías) Lenguaje de consulta potente para la gestión de documentos XML (Lorel) Primero se insertan los datos y luego se crea un resumen (esquema DataGuide) Natix Gestor de almacenamiento dedicado permitiendo un clustering de árboles y subárboles de documentos XML en registros de disco físico de tamaño limitado de forma flexible y eficiente. TIMBER Se construye sobre el gestor de almacenamiento multi-propósito Shore. Productos BD XML nativas Sistema propietario: 5

6 Productos BD XML nativas Sistema relacional: Sistema orientado a objetos: Tamino XML Server Formado por 3 capas: servicios de núcleo, servicios de permisos y soluciones (componentes externos) Los servicios del núcleo incluyen, entre otros, una BD XML nativa y una BD relacional integrada El motor XML utiliza DataMap, que describe donde se almacena el contenido de un documento XML es posible combinar el contenido XML con datos de diferentes orígenes Tamino XML Server Software AG 6

7 Tamino XML Server Ventajas Muchos interfaces Gran variedad de plataformas soportadas Herramientas estándar para trabajar con Tamino Desventajas Principalmente para grandes aplicaciones Necesidad de entrenamiento específico con las herramientas X-HIVE/DB X-Hive/DB Developer: X-Hive Corporation URL: License: Commercial X-Hive/DB is a native XML database that includes support for XQuery, XPath, DOM Level 3, XSLT, and XSL-FO, as well transactions, userand group-level access control, load balancing across multiple servers, and BLOB storage. Additional features include: Indexes. X-Hive/DB supports structural, content, full-text, and custom indexes. Full-text indexes use a proprietary indexing mechanism; these indexes can be searched from XQuery through the xhive:fts (full-text search) function. In addition, users can integrate their own full-text index engines. Custom indexes are based on a user-implemented DOM NodeFilter. Linking. A link engine that implements XLink and XPointer supports bidirectional links, link-bases, and link management. X-HIVE/DB 7

8 X-HIVE/DB External data. The SQL Loader can retrieve a snapshot of relational data (JDBC) or text files. The data is converted to XML using a table model and can be integrated into other documents. WebDAV. Remote clients can directly access collections and documents in the database through WebDAV J2EE Resource Adapter. An implementation of J2EE Resource Adapter allows X-Hive/DB applications to use the transaction management facilities of an EJB application server Versioning. Both linear and branched versioning (multiple versions of the same document) are supported In addition, an implementation of XUpdate (from the XML:DB Initiative) that uses Lexus may be downloaded from the X-Hive Web site. Extensiones de BD para XML Diferentes aproximaciones: 1. Almacenamiento no estructurado: Almacenamiento del documento XML directamente en formato de texto en un CLOB (Character Large OBject). Lo soportan la mayoría de los SGBD relacionales. Incluyen además funciones para acceder el contenido de los documentos del SQL. Oracle XML DB IBM DB2 XML Extender Microsoft SQLXML 2. Almacenamiento estructurado: un metamodelo detallado de documentos XML capaz de representar árboles de nodos de documentos XML arbitrarios se construye utilizando primitivas de modelado del SGBD convencional que hay por debajo. Los contenidos de los documentos XML se pueden consultar utilizando las facilidades proporcionadas por el SGBD. Extensiones de BD para XML Extensiones de BD de prototipos de investigación para el almacenamiento estructurado de documentos XML (mayoritariamente para SGBD relacionales). XML Cartridge Oracle Shimura et. al. PostgreSQL Monet XML Monet Extensiones de BD en proyectos de libre distribución: ozone/xml: es una librería para clases persistentes para el SGBD OO ozone que implementa el estándar DOM para la representación de documentos XML en una BD. 8

9 Extensiones de BD para XML 3. Mapeo: el contenido de documentos XML se mapea en esquemas BD específicamente diseñado para este contenido. Permite utilizar las capacidades de modelado de los SGBDs convencionales para la representación eficiente y adecuada del contenido de los documentos. Existen gran cantidad de herramientas y formalismos para la especificación de el mapeo entre un formato XML y un esquema de BD. Mucha investigación respecto a la generación automática de esquemas de bases de datos relacionales a partir de documentos XML y el mapeo automático entre los mismos. Oracle XML DB Oracle XML DB Índice: Historia Almacenamiento Generación de XML a partir de SQL Consulta de datos XML Oracle XML DB Historia Oracle 8 (1997) / 8i (1999): Carga de librerías Java para el entorno XDK de Oracle JServer Creación de paquetes PL/SQL para XML sobre procedimientos almacenados en Java Oracle 9i Release 1 (2002): XMLType Tipo nativo para XML. Permite almacenar y consultar datos XML. Oracle 9i Release 2 (2003): Almacenamiento de datos a partir del XMLType basados en un XML Schema Repositorio XML DB: para gestión de documentos (enfoque document-centric) Nuevas funciones para manejar XMLType, SQL/XML y paquetes basados en C para procesamiento de XML mediante PL/SQL Oracle 10g (2005): Soporta evolución del XML Schema Más funcionalidad XML nativa Oracle XDK permite conectar BD a través de ODBC para la creación de aplicaciones de capa intermedia 9

10 Oracle XML DB Bases de la gestión XML Repositorio de datos: Organizado jerárquicamente, consultable Almacenamiento y visualización de contenido XML como un directorio jerárquico de carpetas Acceso a los documentos y representación de las relaciones entre documentos con: Xpath URLs HTTP/FTP SQL y PL/SQL XMLType Tipo de datos nativo Usado para: definir tablas, columnas, parámetros, valores devueltos por funciones o variables en procedimientos PL/SQL Funciones predefinidas: crear instancias XMLType, validar contenidos XML contra XML Schemas, aplicar hojas XSLT Oracle XML DB Almacenamiento: Tablas relacionales o XMLType? Decisión basada en el formato de los datos XML y en la necesidad de conservar fidelidad a nivel DOM para los contenidos XML Formato de los datos XML Data-Centric: tablas relacionales Estructura regular de los datos Poco contenido o no mezclado Fidelidad DOM no requerida Document-Centric: XMLType Estructura de datos poco regular o irregular Contenido mezclado Muchas consultas sobre el contenido XML 10

11 Basado en esquema o no? XMLType NO basado en esquema: Almacenado en CLOBS (opción por defecto) Óptimo para documentos XML basados en DTD o en XML Schemas que varían frecuentemente XMLType basado en esquema: Los documentos XML se parten y se almacenan como un conjunto de objetos SQL (tablas, columnas ) Óptimo para consultas detalladas Puede preservar fidelidad DOM Puede validarse el contenido XML con un XML Schema XMLType: Columna o Tabla? Dos formas de almacenamiento basadas en el tipo XMLType Columnas XMLType Tablas de objetos a partir del tipo XMLType Crear las tablas utilizando sentencias SQL: CREATE TABLE OF XMLType Crear las tablas cuando se registra un XML Schema depositado en el repositorio de Oracle XML DB Ejemplos: Almacenamiento con XMLType No basado en esquema (como columna en una tabla) CREATE TABLE books (isbn VARCHAR(10), title VARCHAR2(100), author_details XMLType); INSERT INTO books(isbn,title,author_details) VALUES( 02375', 'XMLDevelopers Kit', XMLTYPE( <Author age= 35 > <Name>John Smith</Name> </Author>') ); SELECT author_details.extract( /Author/Name/text()').getStringVal() Name FROM books; UPDATE books SET author_details = XMLType ( <Author age= 40"> <Name>Mark Smith</Name> </Author> ); 11

12 Ejemplos: Almacenamiento con XMLType Basado en esquema: la transformación a objetos SQL se realiza durante el proceso de registro del esquema asociado de validación BEGIN DBMS_XMLSCHEMA.registerURI( local=>true, gentypes=>true, gentables=>true, genbeans=>true); END; Se utilizan atributos especiales en la definición de elementos y atributos del XML Schema (es importante que los valores de estas anotaciones estén en mayúsculas) Las anotaciones más usadas son: xdb:defaulttable especifica el nombre de la tabla en la que las instancias XML de este esquema serán almacenadas xdb:sqlname especifica el nombre del objeto SQL que se corresponde con el elemento XML que se está definiendo xdb:sqlcolltype especifica el nombre de la colección SQL que corresponderá al elemento SQL que tiene maxoccurs > 1 xdb:sqltype especifica el nombre del tipo SQL correspondiente al elemento XML Ejemplos: XML Schema <xsd:schema xmlns:xsd= xmlns:xdb=" xdb:storevarrayastable="true"> <xsd:element name="customer" type="customertype" xdb:defaulttable="customer"/> <xsd:complextype name="customertype" xdb:maintaindom="false"> <xsd:sequence> <xsd:element name="name" type="xsd:string xdb:sqlname="name xdb:sqltype="varchar2"/> <xsd:element name="description" type="contenttype"/> </xsd:sequence> </xsd:complextype> <xsd:complextype name="contenttype" mixed="true" xdb:sqltype="clob xdb:maintaindom="true"> </xsd:complextype> </xsd:schema> Ejemplo UML-XMLSchema Centro Usuario <?xml version="1.0" encoding="utf-8"?> -Centro_id -Usuario_id Estudio <xs:schema xmlns:xdb=" -Nombre Pertenece -Apellido1 accede -Estudio_Id xmlns:xs=" -Domicilio -Apellido2 -Descripción -Teléfono -Nombre elementformdefault="qualified" -Fax 1 1..* -Password 1..* 0..* -Fecha_Inicio attributeformdefault="unqualified"> - -Login <xs:element name="fichero_info" 1 analiza xdb:sqltype="fichero_info 1 carga 1..* xdb:defaulttable="tabla_fichero_info"> 0..* <xs:complextype> Grupo de control <xs:choice> 1 1 Fichero Imagen Fichero Información -Tipo_id <xs:element name="fichero_info_dicom -Fichero_ID -Descripción -Fecha_Upload type="fichero_info_dicom_type" /> contiene <xs:element name="fichero_info_analyze 1 participa type="fichero_info_analyze_type" /> 0..* </xs:choice> Fichero Info 1..* Fichero Info Analyze DICOM </xs:complextype> Tarea genera 1 -Tarea_id <xs:complextype name="fichero_info_dicom_type -Descripción 1 1 xdb:sqltype="fichero_info_dicom_type"> contiene contiene <xs:sequence> 0..* 0..* <xs:element name="elemento_info_dicom Elemento Info Analyze Elemento Info DICOM type="elemento_info_dicom_type" -Description -GroupTag minoccurs="0" -Value -ElementTag maxoccurs="unbounded" -VR -Description xdb:defaulttable="tabla_elemento_info_dicom" -Value xdb:sqlinline ="false"/> </xs:sequence> </xs:complextype> <xs:complextype name="elemento_info_dicom_type xdb:sqltype="elemento_info_dicom_type"> <xs:all> <xs:element name="description" type="xs:string" minoccurs="0" maxoccurs="1" /> <xs:element name="grouptag" type="xs:string" minoccurs="0" maxoccurs="1" /> 12

13 XMLType basado en esquema Definir una columna como XMLType basado en esquema CREATE TABLE books( isbn VARCHAR(10), title VARCHAR2(100), author_details XMLType) XMLType COLUMN author_details XMLSCHEMA " ELEMENT Author ; INSERT INTO books(isbn, title, author_details) VALUES( ', XML Developer''s Kit, XMLTYPE('<Author age= 35 > <Name>John Smith</Name> </Author>').CreateSchemaBasedXML(' Definir una tabla a partir de XMLType basado en esquema CREATE TABLE books_xmltype_tbl OF XMLTYPE XMLSCHEMA ELEMENT Author"; XML en tablas relacionales Usado por aplicaciones que requieren un acceso detallado a los datos pero sin necesidad de mantener la estructura jerárquica ( fidelidad DOM ) Herramientas XSU (XML SQL Utility) Carga datos XML: interfaz Java o PL/SQL Soporta la conversión XML Relacional Canonical Mapping Funciones: :// awcourse/oracle/ /oracle/appdev.920/a96612/toc.htm XSQL Servlet: interfaz para HTTP XML SQL Utility Canonical Mapping : Normas El elemento <ROWSET> es el elemento raíz del documento XML Los elementos hijos se llaman <ROW> y se corresponden con las filas de la tabla en la que se almacenarán los datos Los nombres de los elementos por debajo de <ROW> se corresponden con los nombres de las columnas de la tabla El atributo num de los elementos <ROW> son números que representan el orden de la información a almacenar 13

14 Ejemplo: SQL Utility Creación de una tabla relacional: CREATE TABLE employee (NAME VARCHAR2(100), ADDRESS VARCHAR2(200), VARCHAR2(200)); Procedimiento de inserción del documento en la tabla: CREATE OR REPLACE PROCEDURE insertar(xmldocument IN VARCHAR2, NomTabla IN VARCHAR2) is insctx DBMS_XMLSave.ctxType; rows number; Begin insctx := DBMS_XMLSave.newContext (NomTabla); rows := DBMS_XMLSave.insertXML(insCtx,xmlDocument); DBMS_XMLSave.closeContext(insCtx); End; Inserción del documento XML en forma canónica: DECLARE xmldoc VARCHAR2(3267); BEGIN xmldoc:= <?xml version= 1.0 > <ROWSET> <ROW num= 1 > <NAME>John Smith</NAME> <ADDRESS>London,Ontario, Canada</ADDRESS> < >John.Smith@yahoo.com</ > </ROW> </ROWSET> ; insertar (xmldoc, Tabla_XML'); END; Generación de datos XML El estándar SQL/XML forma parte del estándar ISO/IEC 9075, que especifica el estándar SQL para las operaciones con datos XML Funciones SQL/XML: XMLELEMENT() XMLATTRIBUTES() XMLFOREST() XMLCONCAT() XMLAGG() Generación de datos XML Funciones que ofrece Oracle (aparte de las estándar) SYS_XMLGEN() XMLSEQUENCE() SYS_XMLAGG() XMLCOLATTVAL() UPDATEXML() XMLTRANSFORM() EXTRACTVALUE() Sintaxis básica para la utilización de las funciones de SQL/XML: SELECT [XMLELEMENT XMLATTRIBUTES XMLFOREST XMLCONCAT XMLAGG ] FROM nombre_tabla, [tabla (XMLSEQUENCE)] WHERE condiciones_de_busqueda 14

15 Generación de datos XML: ejemplo Consulta: SELECT XMLELEMENT("Employee", XMLATTRIBUTES(emp_id AS "empno"), XMLELEMENT("Name,first_name ' ' last_name), XMLFOREST( , PHONE)) FROM employees WHERE rownum=1; Documento XML resultante: <Employee empno="101" > <Name>John Smith</Name> <PHONE> </PHONE> </Employee> Generación de datos XML: ejemplo Consulta: SELECT SYS_XMLGen ( XMLELEMENT( Employee, XMLATTRIBUTE(empno), XMLELEMENT( Address, Address.City Address.Province)) FROM Employee WHERE empno=1 Documento XML resultante: <?xml version 1.0 > <Employee empno= 1 > <address> Mostoles MADRID</address> </Employee> Generación de datos XML Existen otras funciones asociadas al tipo XMLType y funciones SQL/XML para recuperar y crear documentos XML: XMLType() createxml() createschemabasedxml() createnonschemabasedxml() existsnode() extract() getclobval() getnumberval() getstringval() isschemabased() getschemaurl() getrootelement() getnamespace() isschemavalidate() isschemavalid() schemavalidation() setschemavalidate() 15

16 Consulta de datos XML Tipos de búsquedas de datos XML Basadas en XPath: utilizando expresiones XPath Oracle Text: para búsquedas de texto dentro del contexto de un elemento Funciones más utilizadas para búsquedas: EXISTSNODE(XMLType_instance,XPath_string [, namespace_string ] ) EXTRACT(XMLType_instance,XPath_string[, namespace_string ] ) EXTRACTVALUE(XMLType_instance, XPath_string [, value_expr] ) Consulta de datos XML: Ejemplo CREATE TABLE books( isbn VARCHAR(10), title VARCHAR2(100), auth_details XMLType); INSERT INTO books(isbn,title,author_details) VALUES( 02375', 'XML Developer s Kit', XMLTYPE( <Author age= 35 > <Name>John Smith</Name> </Author>')); SELECT isbn, title FROM books WHERE EXISTSNODE(auth_details, '//*[contains(.,"john Smith")')>0 Consulta de datos XML: Ejemplo SELECT isbn, title FROM books WHERE EXISTSNODE(auth_details,'/author[@age="35"]')>0; SELECT isbn, EXTRACT(auth_details, /Author/Name ) Name FROM books ISBN Name 2375 <Name>John Smith</Name> SELECT EXTRACTVALUE(auth_details,'/Author/text()') FROM books; (devuelve un VARCHAR2 por defecto, por lo tanto el valor del nodo no puede tener más de 4K; habría que utilizar Extract() para conseguir el nodo en binario y la función de XMLType getclobval() para extraer el contenido en un CLOB) 16

17 Consulta de datos: Texto Se utiliza Oracle Text para buscar aquellos documentos XML que contienen determinadas frases o palabras Forma de uso: Crear un índice de tipo CONTEXT sobre la colección de documentos XML Utilizar la función CONTAINS() para recuperar el contenido Ejemplo: CREATE INDEX author_idx ON books(auth_details) INDEXTYPE IS CTXSYS.CONTEXT; SELECT title FROM books WHERE CONTAINS(auth_details, John Smith')>0; Consulta de datos: Texto Es posible combinar CONTAINS() con otros operadores para búsquedas avanzadas en datos XML: WITHIN busca un término en una sección de texto (elementos y atributos XML) palabra WITHIN etiqueta, palabra WITHIN atributo@etiqueta HASPATH, INPATH permiten consultas XPath HASPATH(xpath) HASPATH(xpath= value ) INPATH(xpath) Consulta de datos: Texto Ejemplos: SELECT isbn, title FROM books WHERE CONTAINS(auth_details, John INPATH(/Author/Name)')>0; SELECT isbn, title FROM books WHERE CONTAINS(auth_details,'HASPATH(/Author[@age= 35 ])')>0; 17

18 BIBLIOGRAFÍA Oracle Database 10g XML & SQL Design, Build & Manage XML Applications in Java, C, C++ & PL/SQL Mark V. Scardina, Ben Chang, Jinyu Wang - McGraw-Hill/Osborne Oracle 9i XML Database Developer s Guide Oracle XML DB (Release 2) XML Data Management: Native XML and XML-Enabled Database Systems Roberto Zicari - Addison Wesley Professional 18