La integración de información. Presente y futuro de la empresa moderna

Transcripción

1 La integración de información. Presente y futuro de la empresa moderna Ing. Josue Carralero Iznaga, MSc. ISPJAE, Facultad de Ingeniería Informática, Departamento de Ingeniería de Software. Complejo de Investigaciones Tecnológicas Integradas (CITI), Jefe del Programa de Investigación Informática Aplicada. Julio de 2010

2 Objetivos Ofrecer un recorrido por las distintas técnicas y las tecnologías fundamentales que se emplean para lograr el tratamiento integral de la información en la empresa moderna.

3 Agenda de trabajo La empresa moderna (situación actual, estado deseado), Los niveles de integración de información, Arquitectura para la integración de información (Técnicas y tecnologías) y Herramientas.

4 La empresa moderna Situación actual Llegam os a situaciones donde no sabem os si gritar o correr!!!

5 La empresa moderna Situación actual Portal Desktop B2B Móviles Toma de decisiones Empresa integrada Sistemas operacionales Trabajo disperso

6 La empresa moderna Situación actual Portal Desktop B2B Móviles Toma de decisiones Empresa integrada Sistemas operacionales Trabajo disperso Dpto 1 Dpto 2 Dept 3 Dpto 4 Dpto 5 Dpto n

7 La empresa moderna Estado deseado Portal Desktop B2B Móviles Toma de decisiones Empresa integrada Imágenes unificadas de datos Procesos de negocio traducidos en tecnología Sistemas operacionales Trabajo disperso Dpto 1 Dpto 2 Dept 3 Dpto 4 Dpto 5 Dpto n

8 Como llegar al estado deseado?

9 Integración de información Definición La integración de información es la combinación de información de diversas fuentes con diferentes representaciones conceptuales y contextuales

10 Integración de información Niveles Datos Aplicacione Procesos s de Interacci negocios ón del usuario

11 Integración de información Niveles (Datos) Datos Aplicacione Procesos s de Interacci negocios ón del usuario Vista unificada de los datos (Bajo costo de implementación)

12 Integración de información Niveles (Aplicaciones) Datos Aplicacione Procesos s de Interacci negocios ón del usuario Vista unificada de las aplicaciones de negocio a través del manejo y coordinación del flujo de eventos (transacciones, mensajes o datos) entre las aplicaciones

13 Integración de información Niveles (Procesos de negocios) Datos Aplicacione Procesos s de Interacci negocios ón del usuario Vista unificada de los procesos de negocio de la organización (rompe con la visión departamental, conocimiento de los procesos de la empresa)

14 Integración de información Niveles (Interacción del usuario) Datos Aplicacione Procesos s de Interacci negocios ón del usuario Interfaz que permite a los usuarios tener acceso a la información integrada y además colaborar y compartir datos

15 Capas Las técnicas constituyen enfoques conceptuales que definen el proceso de integración de datos, Las tecnologías implementan una o varias técnicas de integración de datos y definen como se realiza el proceso de integración, Las herramientas son soluciones comerciales que soportan una o varias técnicas o tecnologías y Las aplicaciones de la empresa son construidas a la medida de las necesidades, soportadas por las herramientas.

16 Técnicas (Vistazo) Consolidación de datos datos centralizado s Tecnología Federación de datos vista virtual de los datos Tecnología Propagación de datos Captura de los cambios en los datos Tecnología datos distribuid os

17 Técnica Consolidación de datos (Características) Consolidación de datos Tecnología Captura la información de las diferentes fuentes de datos y la almacena en un único repositorio central, Existe un retraso, o latencia, en cuanto a la actualización de la información y Permite que grandes volúmenes de datos sean transformados, reestructurados, limpiados cuando viajan hacia las fuentes

18 Técnica Federación de datos (Características) Provee una vista virtual única de la información que es recuperada de diferentes fuentes de datos. Empleo de metadatos, El acceso a los datos es en tiempo real ya que los mismos se mantienen en su lugar de origen y No permite recuperar grandes volúmenes de datos y realizar grandes transformaciones a los Federación de datos Tecnología

19 Técnica Propagación de datos (Características) Distribución de datos de una o varias fuentes de datos a otros, Permite que grandes volúmenes de datos sean movidos de un sistema a otro y Se emplean varios métodos que determinan el intercambio de los datos. Propagación de datos Tecnología

20 Técnica Propagación de datos (Métodos de intercambio) Extracción de la carga: se extrae la totalidad de los datos, los cuales son transportados a la fuente de datos destino, Comparación de archivos: compara los datos extraídos con los de la versión anterior; se crea un registro de cambios incrementales que son aplicados como actualizaciones al servidor de destino y Propagación de datos modificados: se un archivo de cambios incrementales para almacenar los cambios capturados. Capturar los cambios tal y como ocurrieron es usualmente más eficiente que comparar versiones de un archivo.

21 Técnica Captura de los cambios en los datos (CDC) Estrategia de integración de datos para determinar los datos que han sido cambiados, está basada en la identificación, captura y entrega de los cambios, Sin CDC, todos los datos deben ser accedidos en y movidos a la fuente que lo necesite, Existen dos variantes fundamentales: Orientada a Lotes (Pull) y Orientada a Tiempo Real (Push) y Utiliza varios métodos para localizar y capturar los datos que han sido cambiados: Time-stamp (marca de tiempo), Números de versiones, triggers, registro de transacciones.

22 Técnicas (Resumen) Consolidación de datos datos centralizado s Tecnología Modelo integrado de información (Enfoque híbrido) Federación de datos vista virtual de los datos Tecnología Captura de los cambios en los datos Grandes volúmenes Propagación de de datos datos y Los datos son movidos de una ubicación a otra. Tecnología datos distribuid os

23 Tecnologías (Vistazo) Extraer, Transformar y Cargar (Extract, Transform, Load, ETL), Integración de Información Empresarial (Enterprise Integration Information, EII), Integración de Aplicaciones Empresariales (Enterprise Application Integration, EAI), Gestión de Contenido Empresarial (Enterprise Content Management, ECM), Replicación de Datos Empresariales (Enterprise Data Replication, EDR), Servicios Web y Bus de Servicios Empresariales (Enterprise

24 Tecnología ETL (Definición) proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes, reformatearlos, limpiarlos y cargarlos en un repositorio destino. El repositorio destino debe estar preparado para soportar el proceso de carga por parte de la herramienta ETL. Esta tecnología soporta la técnica de consolidación de datos

25 BI, Cuadros de mando, Reportes, Alertas Tecnología ETL (Arquitectura) Repositorio destino L Limpiar T Combin ar Organiz ar Optimiz ar Proces ar E Diferentes fuentes de datos

26 Tecnología EII (Definición) permite visualizaciones federadas (vistas virtuales) de la información existente en sistemas dispersos y heterogéneos (Bases de datos, documentos XML, aplicaciones Web, etc.), sin la necesidad previa de mover físicamente los datos hasta un repositorio centralizado. Esta tecnología soporta la técnica de federación de datos

27 Tecnología EII (Arquitectura) JDBC API WS (XML) Nuevas aplicaciones EII Modelo de datos exportado Wrapper Metadatos _ Base de Datos Repositorio Virtual Wrapper Ficheros Planos Cac hé Wrapper <HTM L> Web Modelo Unificado Vistas Wrapper e Web Services XML Todo tipo de Fuentes de Información

28 Tecnología ECM (Definición) permite la integración de datos no estructurados, se centra en la gestión de los documentos, información de la Web, y multimedia relacionados con los procesos de una organización. Proporciona la gestión de metadatos, control de versiones, plantillas y flujo de trabajo. Permite centralizar la información en un solo lugar y sobretodo mejorar la toma de decisiones. Esta tecnología soporta la técnica de consolidación de datos

29 Tecnología EDR (Definición) permite la transferencia de datos entre base de datos; capta los cambios que ocurren en una base de datos y los propaga hacia otra. Se utiliza no sólo para la integración de datos, sino también para salvas y recuperación de bases de datos. Esta tecnología soporta las técnicas de CDC y propagación de datos

30 Tecnología EAI (Definición) permite conectar entre sí aplicaciones, tanto adquiridas como de desarrollo propio, con el fin de que puedan apoyar mejor un determinado proceso de negocio. Esta tecnología soporta la técnica de propagación de datos

31 Tecnología EAI (Antecedentes) Aplicació n A Aplicació n C Aplicació n B Comunicación Punto a Punto Desventajas de la Comunicación Punto a Punto Incremento del número de conexiones a medida que se incorporan aplicaciones, Requiere desarrollo de funciones complejas para comunicación, transformaciones, etc., No hay gestión ni visibilidad de los procesos de negocio y

32 Tecnología EAI (Características) Comunicación basada en mensajes con posibilidades de: Almacenar Transformar Enrutar Entrega del mensaje El transporte de mensajes puede ser de forma asincrónica o sincrónica

33 Tecnología EAI (Componentes de las soluciones) Message-oriented Middleware (MOM) (asincrónica), Servidor de aplicaciones (sincrónica), Adaptadores, Plataforma para el desarrollo de nuevos adaptadores, Flujo de trabajo y herramientas de gestión de procesos y Mecanismos de transformación de datos.

34 Adaptado r E Arquitectura de la integración Tecnología EAI (Arquitectura Hub/ Spoke) Aplicació n E Aplicació n A Adaptador A Adaptado r B Intermediario de Mensajes Servidor Motor de integración Adaptado r C Adaptador D Aplicació n D Aplicació n B Aplicació n C

35 Adaptado r D Adaptado r E Adaptado r A Arquitectura de la integración Tecnología EAI (Arquitectura Message Bus) Aplicació n A Aplicació n E Aplicació n D Intermedia rio de Servid Mensajes Motor de or integració n Message Bus Adaptad or B Intermedia rio de Servid Mensajes Motor de or integració n Intermedia rio de Servid Mensajes Motor de or integració n Adaptado r C Aplicació n B Aplicació n C

36 Tecnología Servicio Web (Definición) conjunto de protocolos y estándares abiertos que sirven para intercambiar datos entre aplicaciones. Estas aplicaciones pueden estar desarrolladas en lenguajes de programación diferente, ejecutada desde cualquier plataforma y pueden utilizar los servicios web para intercambiar datos ya que estos son interoperables, pueden ser desarrollados en una gran variedad de lenguajes. Además de permitir la integración de aplicaciones, las funcionalidades que exponen los servicios web pueden actuar como una fuente de datos a la cual se puede acceder y extraer información en el entorno de integración de datos

37 Tecnología ESB (Definición) solución de integración distribuida, basada en mensajes y en estándares abiertos, que garantiza la interconexión entre aplicaciones y servicios que están distribuidos por toda la organización. Permite configurar lógica de enrutamiento compleja, que soporta múltiples patrones de interacción y que permite transformar el formato de los mensajes. Esta tecnología soporta la técnica de propagación de datos

38 Tecnología ESB (Antecedentes) Punto a Punto SOA

39 Tecnología ESB (Antecedentes - Continuación) SOA ESB

40 Tecnología ESB (Características) Definición de servicios independientemente de su plataforma tecnológica real, Incorporan capacidad de registro de servicios, Alta extensibilidad y escalabilidad, Balanceo de carga, recuperación a fallos, Capacidades de auditoría, Colección de adaptadores y Alto uso de la configuración en vez de la codificación.

41 Tecnología ESB (Funcionalidades) Mensajería distribuida, Transparencia de las ubicaciones, Transparencia del transporte, Transformación de mensaje, Calidad de servicio, Patrones de intercambio de mensajes, Enrutamiento basado en el contenido, Orquestación de servicios y Seguridad.

42 Tecnología ESB (Estándares) Estándares de Transporte: HTTP(S), FTP, SMTP, JMS, JMX, JDBC, RPC y SOAP. Estándares de Conectividad: Simple Object Access Protocol (SOAP), Universal Description, Discovery, and Integration(UDDI), y Web Services Description Language (WSDL). Estándar de Orquestación: BPEL. Estándares de Portabilidad: Web Services, J2EE y.net. Estándares de Transformación: XSLT, Xpath, Xquery.

43 Tecnología ESB (Beneficios) Integraciones más rápidas y económicas de los sistemas, Mayor flexibilidad ante cambios, Basado en estándares, Servicios predefinidos que ahorran costes de desarrollo, Más configuración que código a la hora de integrar, Mayor control del sistema, Reglas de negocio manejadas por analistas de negocio y Seguridad en la integración entre aplicaciones.

44 Tecnologías (Resumen) Técnicas Consolidación Federación Propagación CDC Tecnologías Extraer, Transformar y Cargar (ETL) SI NO NO NO Integración de Información Empresarial (EII) Gestión de Contenido Empresarial (ECM) Replicación de datos Empresariales (EDR) Integración de Aplicaciones Empresariales (EAI) NO SI NO NO SI NO NO NO NO NO SI SI NO NO SI NO Servicios web SI SI SI NO Bus de Servicios Empresariales (ESB) SI SI SI NO

45 Herramientas (Vistazo Gestión de identidades) Microsoft Forefront Identity Manager 2010, Novell Identity Manager 3.6.1, RadiantOne VDS Context Edition y Symlabs Virtual Directory Server.

46 Herramienta Microsoft FIM 2010 (Arquitectura)

47 Herramienta Symlabs VDS (Arquitectura)

48 Herramientas (Vistazo Integración) Oracle Data Service Integrator, Microsoft Bistalk Server, Informatica, SAP NetWeaver MDM, XI, PI, Talend Suite (Open Source, Consolidación, Federación, MDM), Microsoft Office Sharepoint Server 2007, 2010 y Pentaho Data Integration.

49 Herramientas (Gartner Group )

50 La empresa moderna Estado deseado (Conclusiones) Portal Desktop B2B Móviles Toma de decisiones Empresa integrada Workflow BPM Imágenes unificadas de Integración datos Traducción Sistemas operacionales Trabajo disperso ES B Transformació Procesos n de Procesos negocio de traducidos negocio en tecnología Aplicaciones compuestas Dpto 1 Dpto 2 Dept 3 Dpto 4 Dpto 5 Dpto n

51 Muchas Gracias

52 Tecnología EII (Arquitectura) JDBC API WS (XML) Nuevas aplicaciones EII Modelo de datos exportado Wrapper Metadatos _ Base de Datos Repositorio Virtual Wrapper Ficheros Planos Cac hé Wrapper <HTM L> Web Modelo Unificado Vistas Wrapper e Web Services XML Todo tipo de Fuentes de Información

53 Tecnología ESB (Funcionalidades - Transparencia de las ubicaciones) Servicio web B Servicio web B Repositori o UDDI Servicio web A

54 Tecnología ESB (Funcionalidades Transformación del mensaje) Servicio web C Servicio web B Repositori o UDDI Servicio web A

55 Tecnología ESB (Funcionalidades Enrutamiento basado en contenido) Servicio web C Servicio web B Repositori o UDDI Servicio web A

56 Tecnología ESB (Funcionalidades Orquestación) Servicio web C Servicio web D Servicio web B Repositori o UDDI Servicio web A