Tema 5: Integración de Datos

Transcripción

1 Tema 5: Integración de Datos Distribuidosib id

2 Integración de Datos Distribuidos El problema de la integración de datos distribuidos consiste en integrar datos de fuentes distribuidas, heterogéneas y posiblemente autónomas. Heterogéneas Sistema De Integración Distribuidas Autónomas Poco estructuradas

3 Tipos de Heterogeneidad Heterogeneidad a múltiples niveles: Nivel de estructuración: Información estructurada (bases de datos), Información semi-estructurada (servicios web, XML, aplicaciones, ). Modelo de datos (e.g. Modelo relacional vs Modelo jerárquico). Convenciones sintaxis ( Calle Alcalá, nº 32, C\Alcalá, 32 ). Heterogeneidad de esquema. Ejemplo: representación de información de criminales y tipos de delito: Una BD tiene una tabla CRIMINALES y una tabla DELITOS con una relación M:N. Otra BD tiene una única tabla CRIMINALES que indica el tipo o tipos de delito. Otra BD tiene en una tabla distinta a los criminales de cada tipo de delito: tablas ASESINOS, LADRONES, ESTAFADORES, etc.

4 Base de Datos Universal Se construye un nuevo sistema integrando todos los datos -> Modelo de datos único compartido por todas las aplicaciones. Las fuentes de información originales desaparecen. Problemas: Hay que rehacer todas las aplicaciones Hay que volver a formar a los usuarios Requiere un caro y crítico servidor central No es válido para fuentes autónomas Difícil il o imposible ibl que un único modelo tenga en cuenta las necesidades de todas las aplicaciones. Te obliga a usar aplicaciones desarrolladas ad-hoc, en lugar de paquetes comerciales (no pueden saberse tu modelo). Conclusión: inviable muchas veces. Cuando es viable, largo, costoso y con problemas graves inherentes como enfoque global. Puede ser una opción para una parte del problema.

5 Data Warehouse (1) Los datos de las fuentes se copian periódicamente a un almacén central. Pueden copiarse todos los datos o sólo un subconjunto. Ventajas: No es necesario rehacer aplicaciones ni volver a formar a los usuarios Eficiente

6 Problemas: Datos no actualizados Data Warehouse (2) Puede no ser posible o muy ineficiente con fuentes es autónomas as Organizaciones quieren mantener el control sobre sus datos. No es factible hacer copias masivas periódicas. Sistema de integración pesado Contiene gran cantidad de datos. Conclusión: muy útil para informes, tratamiento de históricos, análisis de tendencias, etc. Menos útil en otros ámbitos. En informes/análisis de tendencias, a menudo no es importante tiempo real, pero sí lo es mucho la eficiencia (a veces, los procesos son muy pesados).

7 Data Warehouse (y 3) Arquitectura típica de una instalación Data Warehouse: Herramienta ETL (Extraction, Transformation and Load) )para extraer la información de las bases de datos origen, transformarla de la forma deseada y volcarla en el repositorio central. Base de datos OLAP. Base de datos especial optimizada para consultas que involucren grandes cantidades de datos. Herramienta de generación de informes. Permite crear de forma sencilla informes complejos que utilicen la información ió almacenada en el repositorio central.

8 CDC (1) CDC: Change Data Capture Se utiliza una ETL para una carga inicial Un demonio en cada fuente monitoriza los logs de las fuentes de datos y notifica inserciones, actualizaciones y borrados. Los cambios se actualizan en el Data Warehouse.

9 Ventajas: Consultas eficientes Información actualizada. Problemas: CDC (y 2) No válido para fuentes autónomas (normalmente sólo BDs). Puede no escalar si demasiadas actualizaciones (inserciones en el Data Warehouse son costosas).

10 Virtualización de Datos (1) La capa lógica de las bases de datos fue creada para aislar a los programas de aplicación de la necesidad de ocuparse de la lógica de combinación de datos: En su lugar, se utiliza una capa específica, independiente de la aplicación. Ventajas: No es necesario codificar cada operación de combinación de datos (simplemente escribimos una consulta SQL). El sistema implementa las principales operaciones y se ocupa de la optimización de consultas. Independencia lógica. Punto único para gestionar multiples aspectos de acceso a datos: e.g. control de acceso. El sistema se ocupa de tratar condiciones especiales: e.g. swapping a disco.

11 Virtualización de Datos (2) En los entornos distribuidos y heterogéneos de hoy, las aplicaciones (ad-hoc o EAI/ESB) se ven forzadas a combinar los datos por sí mismas (como en los viejos tiempos ). Implementar operaciones de combinación de datos Optimización. Condiciones i especiales. Además, los nuevos entornos necesitan aún más de la capa de combinación de datos: Heterogeneidad: e.g. combinar datos en modelo relacional con datos en modelo XML. Distribución: consideraciones de eficiencia llevan a la necesidad d de técnicas específicas (e.g. cache).

12 Arquitectura de Referencia Aplicaciones finales de usuario App1 App2 App3 App4 Gobernanza Componentes reusables de Lógica de negocio: JEE/.NET/ ESB /EAI Seguridad Gestión Capa de Acceso e Integración de Datos Integración de Plataforma Aplicaciones Proveedoras de Servicios CRM ERP SRM Web Services Web Docum entos Ficher os

13 Arquitectura de referencia (2) Capa de Acceso e Integración de Datos Punto único de acceso a datos. Generalización del patrón DAO (Data Access Object). Ofrece API única de acceso a datos, independiente de arquitectura de almacenamiento. Proporciona componentes de acceso a datos reusables. Ejemplo: Obtener los datos de un cliente junto con sus incidencias graves abiertas y nuestro nivel de facturación con él. Independencia Física y Lógica. Si hay cambios en la localización/esquemas de las fuentes de datos, sólo hay que tocar esta capa, no las aplicaciones. Ejemplos Una fuente cambia su esquema de datos. Una fuente (e.g. Mainframe) es sustituida por otra. Los datos que antes venían de una fuente ahora vienen de dos (fusiones). Los datos que antes venían de dos fuentes ahora vienen de una (reingeniería).

14 Arquitectura de referencia (3) Capa de Acceso e Integración de Datos (cont) Gobernanza. Punto único para: Definir políticas de acceso a datos: permisos. Determinar el impacto de cambios. Monitorizar el acceso a fuentes de datos: e.g. Limitar accesos concurrentes, detectar errores Software de soporte a esta capa puede incorporar: Maneras declarativas de crear combinaciones de datos: Ejemplo: join entre información de CRM, aplicación de incidencias y aplicación de facturación. Componentes reusables sin escribir código. Optimización de consultas distribuidas. Definición de vistas virtuales. Múltiples modos de acceso: JDBC, SOAP,......

15 Virtualización de Datos (3) Datos permanecen en las fuentes y se define un esquema virtual de integración. Cuando el sistema recibe una consulta, la subdivide en consultas para los esquemas de las fuentes origen. El sistema combina los resultados de las fuentes y devuelve la respuesta unificada de acuerdo al esquema global. Pueden tratar fuentes como bases de datos, servicios web, XML, CSV, aplicaciones paquetizadas. A veces, incluso fuentes web (mediante aplicaciones de automatización web).

16 Virtualización de Datos (4): Ejemplo APLICACIÓN USUARIO R={TITULO,AUTOR,PRECIO,PUNTOS} DATOS R SELECT * FROM R WHERE TITULO= Moby Dick DATOS R=(DATOS A) (DATOS B) NIVEL LÓGICO NIVEL FÍSICO SELECT * FROM A WHERE TITULO= Moby Dick SOAP DATOS A DATOS B ENVOLTORIO1 ENVOLTORIO 2 SELECT * FROM B WHERE TITULO= Moby Dick HTTP A={TITULO,AUTOR,PRECIO}, B={TITULO,AUTOR,PUNTOS}, XML

17 Ventajas: Virtualización de Datos (5) Datos en tiempo real. Válidos para fuentes autónomas. Sistema de integración ligero. Tratan fuentes semi-estructuradas. Inconveniente: Menos eficiente. i Puede usar precargas para las fuentes que se desee. Contiene lógicamente al esquema Data Warehouse, aunque los paquetes software actuales no siempre proporcionen esta funcionalidad.

18 Virtualización de Datos (6) Tareas principales: Reformulación y ejecución de consultas. Traducir consulta general sobre el esquema global en una lista de subconsultas sobre las fuentes. Optimización de consultas. Tener en cuenta retardos de red, trabajar con poca información de costes de las fuentes, etc. Diversidad de formatos. Heterogeneidad de taxonomías, convenciones semánticas, esquema, etc. Heterogeneidad en las capacidades de consulta de las fuentes (e.g. un formulario web). Acceso y recuperación de datos puede ser complejo (e.g. traducción de consulta SQL a invocación SOAP).

19 Virtualización de Datos (y 7) APP1 APP2 APP3 APP4 SOAP JDBC ODBC XQUERY Web Services JDBC ODBC XQuery ACCESS INTERFACES SQL / XQuery / XPath Full Text Result Sets / XML EII SYSTEM Caché Metadata Repository Query Analyzer and Decomposer Plan Generator Optimizer Execution Engine Wrapper Creator Database Wrapper JDBC/ODBC Proprietary Wrappers Proprietary APIS and Protocols Web Services Wrapper SOAP Web Wrapper HTTP HTML Graphical Tool AI - Based Web Wrapper Generation JDBC/ODBC Propietary Interface Web Services http Local Databases anddata Warehouses Backoffice and Propietary Applications Partner s Applications External Websites