Tema 5: Integración de Datos Distribuidos

Transcripción

1 Tema 5: Integración de Datos Distribuidos

2 Integración de Datos Distribuidos El problema de la integración de datos distribuidos consiste en integrar datos de fuentes distribuidas, heterogéneas y posiblemente autónomas. Heterogéneas Sistema De Integración Distribuidas Autónomas Poco estructuradas

3 Clasificación Sistemas Integración de Datos Criterio 1: Materializados vs Virtuales Datos se copian a un gran almacén central (materializado) o se mantienen en las fuentes y sistema hace de intermediario (virtual). Criterio 2: Tipo de información que tratan: Información no estructurada: Motores de recuperación y clasificación automática de información. Materializado. Útiles en Gestión del conocimiento, portales, etc. Información estructurada: Data Warehouse (almacén de datos). Materializado. Bases de Datos Federadas. Virtual. Información estructurada y semi-estructurada: Sistemas EII: Enterprise Information Integration. Virtual

4 Data Warehouse (1) Los datos de las fuentes se copian periódicamente a un almacén central. Pueden copiarse todos los datos o sólo un subconjunto. Para disminuir la carga de las actualizaciones, las fuentes pueden enviar sólo los cambios producidos. Requiere dicho soporte por parte de las fuentes. Ventajas: No es necesario rehacer aplicaciones ni volver a formar a los usuarios Eficiente

5 Problemas: Data Warehouse (2) Datos no actualizados Puede no ser posible o muy ineficiente con fuentes autónomas Organizaciones quieren mantener el control sobre sus datos. No es factible hacer copias masivas periódicas. Sistema de integración pesado Contiene gran cantidad de datos. Conclusión: muy útil para informes, tratamiento de históricos, análisis de tendencias, etc. Menos útil en otros ámbitos. En informes/análisis de tendencias, a menudo no es importante tiempo real, pero sí lo es mucho la eficiencia (a veces, los procesos son muy pesados).

6 Data Warehouse (y 3) Arquitectura típica de una instalación Data Warehouse: Herramienta ETL (Extraction, Transformation and Load) para extraer la información de las bases de datos origen, transformarla de la forma deseada y volcarla en el repositorio central. Base de datos OLAP. Base de datos especial optimizada para consultas que involucren grandes cantidades de datos. Herramienta de generación de informes. Permite crear de forma sencilla informes complejos que utilicen la información almacenada en el repositorio central.

7 Sistemas EII (1) La capa lógica de las bases de datos fue creada para aislar a los programas de aplicación de la necesidad de ocuparse de la lógica de combinación de datos: En su lugar, se utiliza una capa específica, independiente de la aplicación. Ventajas: No es necesario codificar cada operación de combinación de datos (simplemente escribimos una consulta SQL). El sistema implementa las principales operaciones y se ocupa de la optimización de consultas. El sistema se ocupa de las políticas de control de acceso a datos. Independencia lógica. El sistema se ocupa de tratar condiciones especiales: e.g. swapping a disco si la consulta devuelve muchas tuplas, evitando desbordamientos.

8 En los entornos distribuidos y heterogéneos de hoy, las aplicaciones (ad-hoc o EAI) se ven forzadas a combinar los datos por sí mismas (como en los viejos tiempos ). Implementar operaciones de combinación de datos Optimización. Condiciones especiales. Sistemas EII (2) Además, los nuevos entornos necesitan aún más de la capa de combinación de datos: Heterogeneidad: e.g. combinar datos en modelo relacional con datos en modelo XML. Distribución: consideraciones de eficiencia llevan a la necesidad de técnicas específicas (e.g. cache).

9 Sistemas EII (3) EII: Enterprise Information Integration. Datos permanecen en las fuentes y se define un esquema virtual de integración. Cuando el sistema recibe una consulta, la subdivide en consultas para los esquemas de las fuentes origen. El sistema EII combina los resultados de las fuentes y devuelve la respuesta unificada de acuerdo al esquema global. Pueden tratar fuentes como bases de datos, servicios web, XML, CSV, aplicaciones paquetizadas. A veces, incluso fuentes web (mediante aplicaciones de automatización web).

10 Sistemas EII (4): Ejemplo APLICACIÓN USUARIO R={TITULO,AUTOR,PRECIO,PUNTOS} DATOS R SELECT * FROM R WHERE TITULO= Moby Dick DATOS R=(DATOS A) (DATOS B) NIVEL LÓGICO NIVEL FÍSICO SELECT * FROM A WHERE TITULO= Moby Dick DATOS A DATOS B SELECT * FROM B WHERE TITULO= Moby Dick SOAP HTTP ENVOLTORIO1 ENVOLTORIO 2 A={TITULO,AUTOR,PRECIO} XML B={TITULO,AUTOR,PUNTOS}

11 Sistemas EII (5) En ocasiones, pueden permitir inserciones: En fuentes que implementen Two-Phase Commit. Problema de inserciones sobre vistas: algunas vistas pierden información, con lo cuál no es factible hacer inserciones. Ventajas: Datos en tiempo real. Válidos para fuentes autónomas. Sistema de integración ligero. Tratan fuentes semi-estructuradas. Inconveniente: Menos eficiente. Puede usar precargas para las fuentes que se desee. En realidad, contiene lógicamente al esquema Data Warehouse, aunque los paquetes software actuales no siempre proporcionen esta funcionalidad.

12 Sistemas EII (6) Tareas principales: Reformulación y ejecución de consultas. Traducir consulta general sobre el esquema global en una lista de subconsultas sobre las fuentes. Optimización de consultas. Tener en cuenta retardos de red, trabajar con poca información de costes de las fuentes, etc. Diversidad de formatos. Heterogeneidad de taxonomías, convenciones semánticas, esquema, etc. Heterogeneidad en las capacidades de consulta de las fuentes (e.g. un formulario web). Acceso y recuperación de datos puede ser complejo (e.g. traducción de consulta SQL a invocación SOAP).

13 Sistemas EII (y 7): Arquitectura APP1 APP2 APP3 APP4 SOAP JDBC ODBC XQUERY Web Services JDBC ODBC XQuery ACCESS INTERFACES SQL / XQuery / XPath Full Text Result Sets / XML EII SYSTEM Caché Metadata Repository Query Analyzer and Decomposer Plan Generator Optimizer Execution Engine Wrapper Creator Database Wrapper JDBC/ODBC Proprietary Wrappers Proprietary APIS and Protocols Web Services Wrapper SOAP Web Wrapper HTTP HTML Graphical Tool AI - Based Web Wrapper Generation JDBC/ODBC Propietary Interface Web Services http Local Databases and Data Warehouses Backoffice and Propietary Applications Partner s Applications External Websites

14 Valoración EII (1) Idea análoga al EAI, pero con la integración de datos. Se crea una sola vez un wrapper para cada fuente Para los tipos de fuentes más comunes, el EII permitirá que el wrapper se cree sólo mediante configuración. Después, cada necesidad de combinación de datos se realiza de forma declarativa, sin programar: Se requerirá sólo definir una vista en el lenguaje del sistema EII (SQL, Xquery, ).

15 Valoración EII (2) Ventajas similares al EAI pero en el contexto de integración de datos: Crear un nuevo proceso de combinación de datos no implica programar El sistema se encarga de tareas complejas como la reformulación de consultas, el swapping de conjuntos de resultados muy grandes su optimización o la interacción con las fuentes. La respuesta a cambios es más rápida. Independencia Lógica: cambios en las fuentes no obligan a modificar los programas de aplicación.

16 Valoración EII (y 3) Todos los procesos de combinación de datos son gestionados desde un único punto: Facilidad de administración y obtención de informes. Facilita la implantación de políticas globales: autenticación, seguridad, etc. Las herramientas traen ya implementados wrappers configurables, para los tipos principales de fuentes: Bases de datos. Servicios Web. Fuentes XML Aplicaciones típicas de fabricantes populares: ERPs, CRMs, etc.