Integración de datos

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Integración de datos"

Luz Vargas Naranjo
hace 5 años
Vistas:

1 Departamento de Lenguajes y Sistemas Informáticos BLOQUE II: Integración de Sistemas Software Integración de datos Tema 8 Arquitectura e Integración de Sistemas Software Curso 2012/2013 1

2 Definición de integración de datos Data integration involves combining data residing in different sources and providing users with a unified view of these data. [Maurizio Lenzerini, 2002] 2

Integración de datos Query Interfaz de consulta única Fuentes de datos Fuente de

aplicaciones Integración de datos: Declarativa (Ej.

00 ORDER BY title; Integración de aplicaciones Programática (Ej. Java).

3 Integración de datos Query Interfaz de consulta única Fuentes de datos Fuente de datos 1 Fuente de datos 2 Fuente de datos 3 Integración de datos vs Integración de aplicaciones Integración de datos: Declarativa (Ej. SQL) SELECT * FROM Book WHERE price > ORDER BY title; Integración de aplicaciones Programática (Ej. Java)... connection1 = connectto(app1); booklist = connection.get(books); for(book book:booklist) { if(book.getprice() > 100) result.add(book); } sortbytitle(result); return result; 3

4 Retos de la integración de datos Fuentes de datos heterogéneas: las fuentes de datos pueden tener formatos diferentes (XML, RDF, Relacional, etc.) y los datos contenidos pueden tener esquemas diferentes ( Ej. libros con sus autores y libros con sus editoriales) Datos actualizados: Es importante que los datos de la vista única estén siempre actualizados, es decir, si se modifica la información en alguna de las fuentes, estos cambios se deben reflejar en los resultados lo antes posible. Tiempo de respuesta: Es necesario que el tiempo de respuesta a las consultas de los usuarios no sea muy alto, especialmente si el número de fuentes de datos es alto. 4

5 Tipos de integración de datos ETL (Extract, Transform, Load) 5

6 Extract, Transform, Load (ETL) ETL: Es un proceso en el que se extrae la información de las fuentes de datos, se transforman para que sean homogéneos y luego se cargan en una fuente destino. La idea es ofrecer una fuente de datos única que contiene toda la información contenida en las distintas fuentes de datos. 6

7 Ejemplo de ETL ETL ETL Ventajas: La información está físicamente en un repositorio único Las consultas se resuelven de forma más rápida Desventajas: La información no suele estar actualizada: hay que ejecutar el proceso ETL para sincronizar los datos en caso de que las fuentes se actualicen. 7

8 Virtualización Definición: Ofrece una vista virtual que responde las consultas de los usuarios. La integración de los datos se hace en tiempo real, consultando cada una de las fuentes de datos cada vez que un usuario hace una consulta, es decir, ofrecer una vista en tiempo real de los datos. Se utiliza mapeo (mapping) para dividir consultas y componer datos: 8

9 Virtualización Ventajas: Ofrece una vista actualizada de los datos en tiempo real Las fuentes trabajan de forma independiente (No hay que estar actualizando de forma continua) Desventajas: Es más difícil resolver las consultas para dividirlas en las distintas fuentes y hacer el mapeo entre las fuentes y la vista de datos (Supone más tiempo para resolver las consultas) 9

10 Ejemplo Esquemas de datos: Fuente y destino 10

11 Mapping 1/3 Mapping 2/3 11

12 Mapping 3/3 Reglas generadas automáticamente Rule_v2_v0_ : for each x26: IBDBookSet(title: x26) -> exist Y27: BookSet(title: x26, pubid: Y27). Rule_v4_v0_ : for each x28, x29: IBLBookSet(title: x28, pubid: x29) -> BookSet(title: x28, pubid: x29). Rule_v5_v1_ : for each x30, x31: IBLPublisherSet(id: x30, name: x31) -> PublisherSet(id: x30, name: x31). Rule_v3_v0v1_ : for each x32, x33: LOCSet(title: x32, publisher: x33) -> exist Y34: BookSet(title: x32, pubid: Y34), PublisherSet(id: Y34, name: x33). Y34: SK(Tuples=[BookSet.Book.title: [x32]], [PublisherSet.Publisher.name: [x33]]**joins=[[publisherset.publisher.name: [x33]].publisherset.publisher.id=[bookset.book.title: [x32]].bookset.book.pubid]) 12

13 SQL generado automáticamente create table work.pos_cqwn_ AS select distinct rel_v3.id AS v3id, rel_v3.name AS v3name, rel_v1.title AS v1title, rel_v1.pubid AS v1pubid from source.iblpublisherset AS rel_v3, source.iblbookset AS rel_v1 where rel_v3.id = rel_v1.pubid; create table work.cqwn_ AS select distinct * from work.pos_cqwn_ EXCEPT select distinct work.pos_cqwn_ * from work.pos_cqwn_ , work.pos_cqwn_ where work.pos_cqwn_ v0publisher = work.pos_cqwn_ v3name AND work.pos_cqwn_ v0title = work.pos_cqwn_ v1title ; insert into target.publisherset select distinct cast(work.target_values_rule_v0_v5v4_ v5id as text) as v5id, cast(work.target_values_rule_v0_v5v4_ v5name as text) as v5name from work.target_values_rule_v0_v5v4_ UNION select distinct cast(work.target_values_rule_v3_v5_ v5id as text) as v5id, cast(work.target_values_rule_v3_v5_ v5name as text) as v5name from work.target_values_rule_v3_v5_ ; Mapping de las entidades 13

14 Algunas herramientas The Clio Project 14

15 Bibliografía Tutorial de integración de datos (Maurizio Lenzerini-2002): Survey sobre integración de datos:(alon Y. Levy-2001) Integración de datos basada en vistas (Yannis Katsis, Yannis Papakonstantinou-2009) Disclaimer and Terms of Use All material displayed onthis presentation is for teaching and personal use only. Many of the images that have been used in the presentation are Royalty Free images taken from Other images have been sourced directly from the Public domain, from where in most cases it is unclear whether copyright has been explicitly claimed. Our intention is not to infringe any artist s copyright, whether written or visual. We do not claim ownership of any image that has been freely obtained from the public domain. In the event that we have freely obtained an image or quotation that has been placed in the public domain and in doing so have inadvertently used a copyrighted image without the copyright holder s express permission we ask that the copyright holder writes to us directly, upon which we will contact the copyright holder to request full written permission to use the quote or images. 15

Documentos relacionados

Consumo de Servicios RESTful (II)

Departamento de Lenguajes y Sistemas Informáticos Consumo de Servicios RESTful (II) Práctica 6 Arquitectura e Integración del Software Curso 2012/2013 Índice Introducción Consumo de servicios RESTful con