Web 3.0. & Big Data. Miguel A. Martínez Prieto migumar2@infor.uva.es. #bigdatacyl Web 3.0. Hacia donde vamos...

Transcripción

1 & Big Data Miguel A. Martínez Prieto #bigdatacyl de Mayo de 2014 Miguel A. Martínez Prieto & Big Data 1

2 Índice La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data Miguel A. Martínez Prieto & Big Data 2

3 Información vs. Datos La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data Los números validan las 3 Vs en la pero, podemos considerar la WWW como Big Data? Información vs. Datos: Las páginas web son las unidades mínimas de contenido con identidad propia dentro de la WWW. Cada página cocina un pequeño conjunto de datos y obtiene una determinada información que publica bajo la identidad de una URL. Por lo tanto, la WWW ofrece diferentes interpretaciones de los datos (entendibles por humanos), pero esconde el raw data. Big Data raw data. Miguel A. Martínez Prieto & Big Data 3

4 Información vs. Datos La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data - Clint Eastwood actuó en El bueno, el feo y el malo. - El título de El bueno, el feo y el malo en italiano es Il buono, il brutto, il cattivo. - Clint Eastwood ganó el Oscar a mejor director por Million Dollar Baby.... Miguel A. Martínez Prieto & Big Data 4

5 A pesar de todo... La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data La irrupción de las redes sociales ha roto parcialmente la visión de Web documental: Se pueden identificar varias unidades de contenido dentro de una página (URL). Estamos más próximos al concepto de raw data. Cada tweet es una unidad de contenido... y podemos acceder a su raw data mediante la API de Twitter. Miguel A. Martínez Prieto & Big Data 5

6 Fundamentos de la La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data El objetivo de la es el de construir una Web de Datos: Rompe con la visión documental de la WWW y da identidad propia al raw data. Obtiene una estructura de grafo comparable a la de la WWW: Los nodos representan a cada uno de los datos publicados. Las aristas describen la semántica que caracteriza la relación entre los datos. La se despliega sobre la infraestructura de la WWW: El acceso a los datos se realiza mediante HTTP, facilitando la reutilización de la experiencia adquirida en la WWW. Miguel A. Martínez Prieto & Big Data 6

7 Principios Básicos La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data Utilizar URIs para identificar y nombrar los datos. Por ejemplo, para identificar a Clint Eastwood podríamos utilizar la URI: Eastwood Hacer las URIs dereferenceables vía HTTP. Al colocar la URI anterior en un browser semántico, se deberían recuperar (mediante HTTP) todos los datos enlazados con ella. Utilización de estándares. La descripción de los datos, los mecanismos de consulta, etc. deben implementarse utilizando estándares (RDF, SPARQL...). Tim Berners-Lee Creador de la WWW y uno de los precursores principales de la Establecer relaciones entre los datos para facilitar su navegación. Dado que Clint Eastwood fue el director de Mystic River, su URI podría enlazarse con River. Miguel A. Martínez Prieto & Big Data 7

8 RDF La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data RDF (W3C Recommendation) es un modelo lógico que facilita la descripción de recursos en forma de triples: El sujeto denota el recurso que está siendo descrito. El predicado representa la propiedad que se está describiendo. El objeto describe el valor que tiene el recurso para la propiedad descrita. - El siguiente triple RDF describe que Clint Eastwood es el director de Mystic River : http : //dataweb.infor.uva.es/persona/clint Eastwood http : //dataweb.infor.uva.es/propiedad/director http : //dataweb.infor.uva.es/pelicula/mystic River RDF permite describir cualquier tipo de datos con independencia de cuál sea su semántica: Esta propiedad lo convierte en una buena opción para afrontar la variedad del Big Data. Miguel A. Martínez Prieto & Big Data 8

9 RDF La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data Miguel A. Martínez Prieto & Big Data 9

10 SPARQL La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data SPARQL (W3C Recommendation) es un lenguaje de consulta basado en patrones de triples: Estos patrones tienen la misma forma que un triple RDF, pero permite que cualquiera de sus tres componentes sea una variable. Las variables recuperan los resultados que satisfacen la consulta. La conjunción (join) de los patrones es la forma de consulta habitual en SPARQL: SPARQL también provee otros operadores: UNION, OPTIONAL (left outer join) y FILTER (para el establecimiento de condiciones). SPARQL puede utilizarse para consultar cualquier colección RDF: Su semántica garantiza la expresión de cualquier tipo de consulta, facilitando su uso en entornos Big Data. Miguel A. Martínez Prieto & Big Data 10

11 SPARQL La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data Miguel A. Martínez Prieto & Big Data 11

14 Triple Stores La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data Los triple stores son la tecnología central de la Web 3.0: Desempeñan el rol de bases de datos semánticas. Virtuoso, Jena, OWLIM... Ofrecen diferentes variantes para el almacenamiento de RDF: El almacenamiento basado en tecnología relacional resulta demasiado estricto para el relaxed schema de RDF. El almacenamiento basado en tecnología no relacional (principalmente soluciones orientadas a grafos) facilita la representación de los datos y optimiza los requisitos de espacio. Soportan consulta SPARQL: Para obtener un buen rendimiento en la consulta se suelen utilizar multi-índices (por sujeto, predicado y objeto). Se requieren configuraciones computacionales muy potentes para grandes colecciones de RDF. Miguel A. Martínez Prieto & Big Data 14

15 La WWW es Big Data? Fundamentos de la Esta ndares y tecnologı as Linked Open Data Linked Open Data Miguel A. Martı nez Prieto & Big Data 15

16 Clint Eastwood en LOD La WWW es Big Data? Fundamentos de la Estándares y tecnologías Linked Open Data http : //dbpedia.org/resource/clint Eastwood http : //xmlns.com/foaf /0,1/name Clint http : //dbpedia.org/resource/clint Eastwood http : //dbpedia.org/ontology/birthdate http : //dbpedia.org/resource/mystic River (film) http : //dbpedia.org/property/director http : //dbpedia.org/resource/clint Eastwood http : //dbpedia.org/resource/mystic River (film) http : //dbpedia.org/ontology/abstract Mystic River is a 2003 American drama film directed, produced and scored by Clint Nuestra descripción podría enlazarse fácilmente... http : //dataweb.infor.uva.es/persona/clint Eastwood http : // http : //dbpedia.org/resource/clint Eastwood Miguel A. Martínez Prieto & Big Data 16

17 Índice Problemas y soluciones Big Problemas y soluciones Real-Time Solid Miguel A. Martínez Prieto & Big Data 17

18 Escenario objetivo Problemas y soluciones Big Problemas y soluciones Real-Time Solid Publicación de Linked Data en tiempo real: Gestión de una gran base de conocimiento RDF en crecimiento progresivo (Big Semantic Data). Captura y exposición de nuevos fragmentos de RDF en tiempo real: - Sensores meterorológicos/estado del tráfico/contaminación. - Transacciones bancarias/transporte/turismo. - Publicaciones en redes sociales... Exposición de los datos ( históricos y recientes ) para su reutilización: - Dereferenciación de URIs. - Consulta SPARQL. Miguel A. Martínez Prieto & Big Data 18

19 Escenario objetivo Problemas y soluciones Big Problemas y soluciones Real-Time Solid Dónde podría ser útil una solución así? Integración de diversas fuentes de datos en una base de conocimiento central. Reutilización de los datos por diferentes tipos de aplicaciones. Intranets: los diferentes departamentos/unidades de negocio publican sus datos (de acuerdo a su operativa habitual), quedando disponibles para su utilización en aplicaciones corporativas de diferente naturaleza. Sistemas de toma de decisiones: capturan los datos provistos por las fuentes de interés y los integran en su almacén para obtener respuestas actualizadas utilizando las consultas SPARQL correspondientes. Instituciones públicas: implementan sus Open Data de forma que los datos estén accesibles en tiempo real, facilitando su reutilización vía derenferenciación de URIs o consulta SPARQL. Proyectos de Smart-cities, Internet of Things... Miguel A. Martínez Prieto & Big Data 19

20 Los problemas Big Problemas y soluciones Big Problemas y soluciones Real-Time Solid Almacenamiento: RDF fue diseñado, en sus orígenes, para describir individualmente pequeños recursos: Los formatos de serialización utilizados para almacenar RDF están orientados al consumo humano. RDF se utiliza, actualmente, para describir grandes colecciones de recursos enlazados entre sí: Los formatos de serialización resultan demasiado redundantes para este nuevo propósito. Incremento innecesario de los costes de almacenamiento... y de los costes de intercambio en red. Miguel A. Martínez Prieto & Big Data 20

21 Los problemas Big Problemas y soluciones Big Problemas y soluciones Real-Time Solid Consulta: La resolución eficiente de los patrones SPARQL requiere multi-indices (uno o varios para cada uno de los elementos del triple): Las soluciones más competitivas suelen utilizar seis tipos diferentes de índices. El coste de almacenamiento se dispara y el rendimiento de las consultas está fuertemente penalizado por las transferencias disco-memoria (E/S). Las soluciones existentes son poco escalables y eso limita la adopción de los principios de la para la resolución de problemas relacionados con Big Data. Miguel A. Martínez Prieto & Big Data 21

22 Problemas y soluciones Big Problemas y soluciones Real-Time Solid Nuestra solución para los problemas Big Se necesita un nuevo formato de serialización: Los humanos no leemos Big Semantic Data: serialización binaria. El acceso al Big Semantic Data se realiza en forma de patrones de triples: serialización binaria como grafo. El Big Semantic Data ocupa mucho: serialización comprimida como grafo. Miguel A. Martínez Prieto & Big Data 22

23 W3C Submission (HDT) Problemas y soluciones Big Problemas y soluciones Real-Time Solid Miguel A. Martínez Prieto & Big Data 23

24 HDT Problemas y soluciones Big Problemas y soluciones Real-Time Solid Cuáles son los beneficios de HDT? I. Menor espacio: Reducción de los requisitos de almacenamiento y los tiempos de intercambio. II. Mejor organización: Mejora en el acceso a los datos: navegación nativa sujeto objeto. III. Consulta eficiente: La compresión reduce sustancialmente los costes (E/S): más datos en memoria. HDT se puede convertir en un multi-índice con una sobrecarga moderada en espacio!! - Las representaciones HDT no se pueden actualizar en tiempo real: - Actualización diferida (en batch). Miguel A. Martínez Prieto & Big Data 24

25 HDT en cifras Problemas y soluciones Big Problemas y soluciones Real-Time Solid Miguel A. Martínez Prieto & Big Data 25

26 Proyecto RDF/HDT Problemas y soluciones Big Problemas y soluciones Real-Time Solid Miguel A. Martínez Prieto & Big Data 26

27 Los problemas Real-Time Problemas y soluciones Big Problemas y soluciones Real-Time Solid Captura: Los fragmentos de RDF llegan de forma continua en el tiempo (la velocidad a la que lo hacen depende del escenario de aplicación): Hay que garantizar un throughput de escritura que asegure que no se pierde ningún dato. Consulta: Los nuevos datos deben exponerse una vez capturados: Estos datos deben integrarse de forma dinámica en los mecanismos utilizados para la dereferenciación de URIs y la resolución de SPARQL. Miguel A. Martínez Prieto & Big Data 27

28 Problemas y soluciones Big Problemas y soluciones Real-Time Solid Nuestra solución para los problemas Real-Time Se necesita un triple store con capacidad para capturar los datos al vuelo y hacerlos directamente consultables: Alto throughput de escritura y capacidad de re-indexación dinámica. Estas propiedades se deterioran progresivamente con el volumen de datos almacenados y, además, el rendimiento de los triple stores se reduce también en grandes colecciones. Los datos gestionados en tiempo real nunca deben alcanzar un volumen Big. Miguel A. Martínez Prieto & Big Data 28

29 Solid Problemas y soluciones Big Problemas y soluciones Real-Time Solid Solid es una arquitectura multi-capa que aisla las complejidades de gestión de los datos Big y Real-Time. Miguel A. Martínez Prieto & Big Data 29

30 Organización de los Datos Problemas y soluciones Big Problemas y soluciones Real-Time Solid La capa Data implementa un almacenamiento inmutable y compacto del Big Semantic Data: El raw data es eternamente cierto (nunca se modifica). La capa ofrece una interfaz acceso a los datos para la resolución de patrones SPARQL. La capa Index auto-indexa la capa Data: La capa ofrece una interfaz de consulta SPARQL. La capa Online gestiona los nuevos fragmentos de RDF que llegan al sistema: La capa ofrece una interfaz de consulta SPARQL. La capa Merge integra los datos Real-Time en el Big Semantic Data: Proceso en batch altamente paralelizable. La capa se responsabiliza de que Online conserve su rendimiento. Miguel A. Martínez Prieto & Big Data 30

31 Consulta de los Datos Problemas y soluciones Big Problemas y soluciones Real-Time Solid Los datos están repartidos entre los almacenes Big y Real-Time : Se necesita un intermediario que haga que esta distribución sea transparente a la consulta. La capa Service realiza una arquitectura filtro-tubería orientada al procesamiento/ optimización de las consultas SPARQL: Implementa filtros para los operandos SPARQL. Combina estos filtros de acuerdo a la semántica de la consulta. Resolver las consultas requiere... Resolución independiente en cada uno de los almacenes. Resolución combinada entre cada uno de los almacenes: la capa Online se utiliza como índice para el acceso al Big Semantic Data. Miguel A. Martínez Prieto & Big Data 31

32 Índice Miguel A. Martínez Prieto & Big Data 32

33 Triple Store inmutable (capas Data+Index): Motor de almacenamiento basado en HDT compresión + velocidad de acceso a los datos. Sistema de consulta basado en Jena/Sesame resolución SPARQL de alto rendimiento sobre Big Semantic Data. Triple Store dinámico (capa Online): Evaluación del estado del arte y elección de la solución más eficiente. Diseño de un algoritmo Map-Reduce que aproveche el orden interno de HDT (capa Merge). Implementación de la capa Service: Evaluación de posibles optimizaciones en la consulta combinada de los almacenes de datos. Miguel A. Martínez Prieto & Big Data 33

34 El objetivo inicial es obtener una implementación mono-nodo de Solid y dar el paso hacia su despliegue en cluster: Distribución de las capas Data+Index: particionamiento horizontal de HDT y resolución distribuida de SPARQL. Desplegar soluciones basadas en Solid y analizar su viabilidad en escenarios que trasciendan a los casos de estudio de laboratorio. Miguel A. Martínez Prieto & Big Data 34

35 Direcciones de Interés Proyecto RDF-HDT DataWeb Research Miguel A. Martínez Prieto & Big Data 35

36 Disclaimer Esta presentación se difunde únicamente con fines docentes. Las imágenes utilizadas pueden pertenecer a terceros y, por tanto, son propiedad de sus autores. Miguel A. Martínez Prieto & Big Data 36