Clase # 3 - Modelo Semiestructurado y XML. Modelo de Datos Semiestructurado HTML vs. XML Sintaxis básica de XML DTD y XML-Schema

Transcripción

1 Clase # 3 - Modelo Semiestructurado y XML Modelo de Datos Semiestructurado HTML vs. XML Sintaxis básica de XML DTD y XML-Schema 1

2 Cultura Web vs. Cultura BD Estándares que soportan intercambio de documentos. (Protocolos HTTP, TCP/IP). HTML para presentación. Interfaces para recuperación. XML para el intercambio de documentos con estructura. Técnicas de almacenamiento y lenguajes de consulta para acceso eficiente a grandes repositorios de datos estructurados. Modelos de datos para representar datos estructurados. Mecanismos para mantener consistencia e integridad de los datos. El modelo de datos semiestructurado. 2

3 Datos Semi-Estructurados Nombre: Luis Perez, Tel: , Nombre: Juan, Apellido: Rodriguez, Tel:976789, Nombre: Jose, Apellido: Martinez, Altura:183 Nombre: Marcos Rodriguez, Tel: , profesion: Ingeniero Nombre: Juan Rodriguez, Tel: , profesion: Ingeniero Primer Apellido: Gonzalez, Segundo Apellido: Perez, Primer Nombre: Maria, Segundo Nombre: Eugenia, Tel Casa: , Tel Trab: , Cel: , Dir: (Calle: 2, Res: La Colina, Apto: 53, Urb: La Colina, Ciudad: Caracas ), profesion: Medico, lugartrabajo:(empresa: Centro de Hospitales,ciudad: Caracas ) 3

4 Datos Semiestructurados Características: Pueden ser irregulares y no respetan un esquema particular. Puede ser incompletos. La estructura puede evolucionar muy rápidamente. Sus componentes pueden cambiar de tipo. Nuevos datos pueden no respetar la estructura de los datos existentes previamente. Alta frecuencia de modificaciones en las propiedades estructurales. Datos débilmente tipeados. Son descritos por sí mismos (no existe una separación entre la descripción del tipo, la de su estructura y la de su valor). Pueden no tener esquema o el esquema impone restricciones débiles sobre los datos. 4

5 Por qué existen Datos Semiestructurados? Objetos del mundo de real se describen de una manera particular. Muchas fuentes de datos como el WWW deberían ser tratadas como BD, pero no se puede por la ausencia de un esquema. Es deseable tener un formato flexible para Intercambio de datos e Integración de Datos que provienen de distintas bases de datos. Se quiere visualizar la información estructurada como semiestructurada para poder hacer browsing. 5

6 Por qué los Datos Semiestructurados en la Web? La Web es una colección de Fuentes de Datos Autónomas. Lo tratamos como BD para: Mantener integridad Para consultar basados en estructura y no en contenido Para introducir algo de organización Cada fuente de datos publica sus datos a su manera. Ejemplo: El Web no tiene estructura, solo se puede decir que es un enorme grafo. 6

7 Formatos de Datos Los datos en el mundo siguen algún formato, que se define para poder intercambiar y archivar. En el mundo científico existen esquemas fijos. Pero este formato es difícil de traducir a una representación objeto o relacional. 7

8 Integración de Datos y Browsing Se debe poder integrar todo tipo de información, incluyendo la no estructurada. Los modelos de datos actuales no se adaptan a grupos de datos heterogéneos. Es difícil construir software para hacer conversiones entre diferentes modelos de datos. El esquema a veces limita la consulta que se quiere hacer sobre una BD. Ej. Qué objetos de la BD tienen un atributo que empieza con abc? dónde se puede encontrar el string árbol?. Aunque se han propuesto extensiones a SQL para este tipo de consultas, no existe una forma estándar para interpretarlos. 8

9 El Modelo Se representan los datos como algún modelo tipo grafo o árbol. Se parte de listas de asociación con pares etiqueta-valor. La información sobre la estructura está en los lados o arcos, los nodos pueden tener datos (valores). Es difícil contruir software para hacer conversiones entre diferentes modelos de datos. Se puede representar bases de datos relacionales y orientadas a objetos de forma directa. 9

10 Representando Bases de Datos Relacionales A a1 a2 B b1 b2 C c1 c2 C c2 c3 c4 D d2 d3 d4 {R1:{row:{a:a1, b:b1, c:c1}, row:{a:a2, b:b2, c:c2}}}, {R2:{row:{c:c2, d:d2}, row:{c:c3, d:d3}, row:{c:c4, d:d4}}} a1 a R1 R2 row row b c a b c row row d a2 c row d b1 c1 b2 c2 c d c c2 d2 c3 d3 c4 d4 10

11 Representando Bases de Datos Orientadas por Objetos Maria tiene 45 años y tiene dos hijos. José de 17 y Fernanda quien vive en Canadá {person: &o1 {name: Maria, age: 45, child:&o2, child:&o3}, person: &o2 {name: Jose, age:17, relatives:{mother: &o1, sister:&o3}}, person: &o3 {name: Fernanda, country: Canada, mother: &o1}} 11

12 Representando Bases de Datos Orientadas por Objetos name person person person child mother &o1 child &o2 &o3 age age name relatives name country Maria 45 Jose 17 Fernanda Canada mother sister 12

13 Modelos de Datos Semiestructurados Lógica de Primer Orden: (Prolog, Datalog). Lenguajes funcionales: (Lisp). F-Logic: Extensión de la Lógica de Primer Orden para representación de esquemas Orientados por Objetos. Object Exchange Model (OEM). Fue descrito para intercambio de datos entre BD heterogéneas en el contexto de Tsimmis (sistema para integración de fuentes de datos heterogéneas). Extensible Markup Language (XML). Estandar para la publicación e intercambio de datos entre fuentes de datos en el Web. 13

14 Datalog Lenguaje basado en la Lógica de Primer Orden para representar caraterísticas estructurales de los datos. BD en Datalog: Base de Datos Extensional: conjunto de hechos. Person( Luis Perez,20, ) Base de Datos Intensional: conjunto de reglas que permiten inferir nuevos elementos a partir de los ya existentes. Ancestro(X,Y):-padre(X,Z),padre(Z,Y) 14

15 Datalog+ person(<id,&o1>,<name, Maria >, <age,45>,<child,&o2>,<child,&o3>) person( <id,&o2>, <name, Jose >,. <age,17>,<relatives,&o4>) relatives(<id,&o4> <mother,&o5>,<sister,&o6>) 15

16 F-Logic Extensión de la Lógica de Primer Orden para representar las características estructurales y de comportamiento de los objetos. Una Base de Datos F-Logic es: Base de Datos Extensional: person(name->string,age@birthdate->integer) person(name-> Luis Perez,Age@ ) Base de Datos Intensional: Ancestro(X,Y):- padre(padre->x,hijo->z), padre(padre->z,hijo->y) 16

17 F-Logic person(name-> Maria, age->45,child->&o2,child->&o3) person( name-> Jose, 17

18 OEM Definición Original: Objeto es una tupla (label, oid, type, value), donde: label: es una cadena de caracteres que representa el nombre del objeto. oid: identificador del objeto. type: puede ser complex o un identificador denotando un objeto simple (interger, string, gif-image, ). value: valor del objeto. Cuando el objeto es complex, valor es un conjunto de oids. 18

19 OEM Un objeto OEM es de la forma: (person, &o1,complex,{(name,&o4), (age,&o5), (child,&o2),(child, &o3)}) (name, &o4,string, Maria ) (age, &o5,number,45) (person,&o2, complex, {(name, &o7),(age, &o8 ),(relatives, &o9)}). (relatives, &o9,complex,{ (mother, &o1), (sister, &o3)}) 19

20 OEM Un esquema de datos OEM es un grafo, en el cual los nodos corresponden a los objetos y los arcos a las relaciones. Formalmente, una BD OEM es una 4-tupla (N,A,v,r) donde: N es un conjunto de identificadores de objetos. A de arcos etiquetados (p,l,c). Un arco (p,l,c), donde: p y c son nodos en N. l es un string. Nodos sin arcos de salida son objetos atómicos. Objetos atómicos tienen un valor de tipo enteros, reales, strings, etc. 20

21 Ejemplo Datos Semiestructurados guide n4 restaurant restaurant cuisine name parking parking n6 Indian n1 n7 name price address Bangkok price address comment Janta 10 street city Lytton lot Lytton Usually full moderate Lytton Palo Alto 21

22 HTML Lenguaje basado en tags para la especificación del formato en el cual deben ser presentados los datos en un browser. En un documento HTML el texto está intercalado con tags o banderas que describen: El diagrama en que debe ser presentado el documento. Las páginas a las que estará enlazado el documento. Los dibujos o formas que serán incluidas en el documento. Un documento HTML presentado por el browser puede ser leido por un ser humano. 22

23 HTML (Problemas) El documento HTML no es fácilmente entendido por un programa. El significado de los datos no puede ser extraido a partir de la especificación en HTML. Procesos de extraccion son requeridos para separar los datos del texto usado para especificar el formato. HTML fue definido para describir presentación y no contenido. 23

24 HTML (Problemas) Para intercambiar datos entre documentos HTML y programas, deben ser utilizados wrappers o traductores que se encarguen de extraer los datos relevantes y colocarlos en las estructuras que el programa puede manejar. Cada wrapper debe ser particular a un documento HTML. Dado que los documentos HTML cambian frecuentemente, los wrappers deben ser continuamente modificados. Sistemas de Catalogación de documentos pueden ser poco precisos. 24

25 HTML (Ejemplos) <h1> Personas en el piso 4</h1> <p> <b> Jose Perez </b>, 42 años <i> </i> </p> <p> <b> Luis Gonzalez </b>,45 años <i> </i> </p> <p> <b> Maria Perez </b>, 35 años <i> </i> </p> <p> <b> Juan Dominguez </b>, 30 años <i> </i> </p> 25

26 XML Lenguaje basado en tags para la especificación de datos semi-estructurados. Ha sido tomado como estándar por World Wide Web Consortium (W3C) para el intercambio de datos. Los tags son definidos por el usuario y representan el significado de los datos que encierran. 26

27 Diferencias entre XML y HTML Nuevos tags pueden ser definidos. Las estructuras pueden ser anidadas a cualquier profundidad. Un documento XML puede contener una descripción opcional a su gramática. No provee ninguna instruccion para especificar cómo los datos deben ser presentados. 27

28 Sintaxis Básica de XML Elementos XML. Componentes basicos en un documento XML. Atributos XML. Representan propiedades de los elementos. Comentarios. Instrucciones de Procesamiento: Permite al documento contener instrucciones para aplicaciones. Entidades: Permiten definir macros DTD (Document Type Definition): Define el esquema de un documento XML 28

29 Sintaxis Básica de XML Atributos XML: Representan propiedades de los elementos. Son definidos como pares (nombre,valor) en un tag. En un tag pueden ser definidos múltiples atributos. En un tag un atributo puede ser definido una sola vez. Los atributos no están predefinidos. Atributos pueden introducir ambiguedad de cómo representar las características estructurales de un objeto del mundo real. 29

30 Diferentes usos de los atributos en XML <persona> <nombre> Jose Perez </nombre> <edad> 24 </edad> < > </ > </persona> O <persona nombre= Jose Perez edad= 24 e- mail= jp@cbi.ocm /> O <persona edad= 24 > <nombre> Jose Perez</nombre> < > jp@cbi.ocm</ > </persona> 30

31 Representando Documentos XML haciendo uso de un árbol persona Los nodos están etiquetados nombre edad Jose Perez 24 persona nombre Jose Perez edad

32 Representando Interrelaciones en Documentos XML XML permite: asociar identificadores a elementos, como el valor de un cierto atributo. <estado id= s2 > <codigoestado> MD </codigoestado> <nombreestado>maryland</nombreestado> </estado> hacer referencias entre elementos haciendo uso del atributo idref <ciudad id= c2 /> <cciudad> </cciudad> <cnombre> </cnombre> <estado idref= s2 /> </ciudad> 32

33 Data Type Definition Un Data Type Definition (DTD) definine la estructura de un documento XML. Un DTD se expresa en XML. Un DTD es una gramática libre de contexto para un documento. <!DOCTYPE name [markupdeclarations]> Donde: [markupdeclaration] puede ser: <!ELEMENT name TYPE> <!ATTLIST elementname name atttype Const > 33

34 DTD s <!DOCTYPE pais [ <!ELEMENT pais (estado,ciudad)*> <!ELEMENT estado (codest,nombreest,capital,ciudades-en*)> <!ATTLIST estado id ID #REQUIRED> <!ELEMENT codest (#PCDATA)> <!ELEMENT nombreest (#PCDATA)> <!ELEMENT capital EMPTY> <!ATTLIST capital idref IDREF #REQUIRED> <!ELEMENT ciudades-en EMPTY> <!ATTLIST ciudades-en idref IDREF #REQUIRED> <!ELEMENT ciudad (codciudad, nombreciudad,estado-de)> <!ATTLIST ciudad id ID> <!ELEMENT codciudad (#PCDATA)> <!ELEMENT nombreciudad (#PCDATA)> <!ELEMENT estado-de EMPTY> <!ATTLIST estado-de idref IDREF #REQUIRED> ]> 34

35 Ejemplo XML Schema The Purchase Order, po.xml <?xml version="1.0"?> <purchaseorder orderdate=" "> <shipto country="us"> <name>alice Smith</name> <street>123 Maple Street</street> <city>mill Valley</city> <state>ca</state> <zip>90952</zip> </shipto> <billto country="us"> <name>robert Smith</name> <street>8 Oak Avenue</street> <city>old Town</city> <state>pa</state> <zip>95819</zip> </billto> <comment>hurry, my lawn is going wild!</comment> </purchaseorder> 35

36 Ejemplo XML Schema (cont.) <items> <item partnum="872-aa"> <productname>lawnmower</productname> <quantity>1</quantity> <USPrice>148.95</USPrice> <comment>confirm this is electric</comment> </item> <item partnum="926-aa"> <productname>baby Monitor</productName> <quantity>1</quantity> <USPrice>39.98</USPrice> <shipdate> </shipdate> </item> </items> </purchaseorder> 36

37 Lenguaje XML-Schema El esquema de datos se define en base a: Un elemento schema Varios subelementos: element complextype Contiene elementos, referencias a elementos y atributos (attribute). Los atributos solo pueden ser simpletype. simpletype: Hay tipos primitivos de datos sequence Determina un orden de los elementos. Restricciones de número de ocurrencias. Definiciones de tipos anónimos 37

38 Ejemplo XML - Schema <xsd:schema xmlns:xsd=" <xsd:annotation> <xsd:documentation xml:lang="en"> Purchase order schema for Example.com. Copyright 2000 Example.com. All rights reserved. </xsd:documentation> </xsd:annotation> <xsd:element name="purchaseorder type="purchaseordertype"/> <xsd:element name="comment" type="xsd:string"/> 38

39 Ejemplo XML - Schema (cont...) <xsd:complextype name="purchaseordertype"> <xsd:sequence> <xsd:element name="shipto" type="usaddress"/> <xsd:element name="billto" type="usaddress"/> <xsd:element ref="comment" minoccurs="0"/> <xsd:element name="items" type="items"/> </xsd:sequence> <xsd:attribute name="orderdate" type="xsd:date"/> </xsd:complextype> 39

40 Ejemplo XML - Schema (cont...) <xsd:complextype name="items"> <xsd:sequence> <xsd:element name="item" minoccurs="0 maxoccurs="unbounded"> <xsd:complextype><xsd:sequence> <xsd:element name="productname" type="xsd:string"/> <xsd:element name="quantity"> <xsd:simpletype> <xsd:restriction base="xsd:positiveinteger"> <xsd:maxexclusive value="100"/> </xsd:restriction> </xsd:simpletype> </xsd:element> <xsd:element name="usprice" type="xsd:decimal"/> <xsd:element ref="comment" minoccurs="0"/> <xsd:element name="shipdate" type="xsd:date" minoccurs="0"/> </xsd:sequence> 40

41 Algunas Consideraciones sobre XML- Schema Elementos pueden tener número mín. y max. de ocurrencias, además se puede especificar valor fixed o default. Atributos pueden tener valor fixed o default. Además se puede especificar required u optional. Los elementos y atributos globales son los hijos del elemento schema y pueden ser referenciados por otros elementos. No pueden contener referencias, no pueden tener min. y max. de ocurrencias. Se pueden definir tipos simples a partir de otros tipos simples utilizando alguno de 15 facets existentes. Uno de éstos es el enumeration. Se pueden crear tipos lista a partir de tipos atómicos existentes (por ejemplo una lista de enteros). 41

42 XML-Propiedades Separación de Contenido Estructura Presentación Documentos son estructurados Estructura de árbol La estructura puede reflejar significado Lenguajes para definir esquemas pueden ser usados para forzar cierta estructura Existen Múltiples Vocabularios 42

43 Contribuciones de XML a la Web Semántica Mejora a HTML en Lenguaje dependiente del dominio. Correspondencias entre XML y HTML (XSL) Separa la estructura de los datos de la forma en que serán presentados. Permite auto-describir los datos. Estandariza el intercambio de datos y conocimiento. Permite la integración de datos con diferentes esquemas y propiedades. XML DTD s o XMLSchema para definir la estructura del documento. Permite una validación mínima 43

44 Limitaciones de XML Muchas posibilidades diferentes de codificar un universo de discurso. No se dice nada sobre el significado de las estructuras. Difícil de entender otros documentos. Se debe entender el significado de cada vocabulario. No se logró una estandarización. 44

45 XML y The Semantic Web Datos pueden intercambiarse. SI Semántica de los datos es explícita NO Propiedades de los datos y de los metadatos pueden ser inferidas. NO 45