Integración de datos: Desde el batch. Prácticas, Enfoques y Realidades

Transcripción

1 Integración de datos: Desde el batch hasta Servicios Federados de Datos. Prácticas, Enfoques y Realidades Jorge Arias (jorge.arias@oracle.com) Senior Principal Consultant Oracle Consulting Latinamerica

2 El negocio es un objetivo en movimiento que necesita soportarse en datos e información consistente y en tiempo real.

3 Objetivo Abordar los enfoques actuales de integración de Abordar los enfoques actuales de integración de datos desde las marcadas necesidades del negocio definidas en términos de flexibilidad, tiempo real, consistencia e integridad y agilidad y velocidad de responder a estrategias cambiantes.

4 Agenda Contexto Cómo soportamos el negocio actualmente: ETL, DB Link, ODS, Objetos canónicos, Modelos dl Federados, d EAI/ESB Soportan la siguiente generación: ELT, Datos Federados, SOA+ MDM Conclusiones & Preguntas

5 Contexto: Estrategias de negocio Cambiantes Estrategia de Negocio Ciclos de reconovación más cortos Define Define Define Procesos de negocio Modelo de información Aplicaciones Tecnología Iniciativa o Proyecto #1 Iniciativa o Proyecto #2 Iniciativa o Proyecto #N Cultura y Gestión del Cambio Gobernabilidad ESENCIA FLEXIBLE? SOA + Datos consistentes + Vistas reales de la información

6 Contexto: Estrategias de negocio Cambiantes Cualquier iniciativa o proyecto de negocio/it obedece a una respuesta a la estrategia de negocio La complejidad de un proyecto tiene que ser gestionada desde diferentes dimensiones. Considerar una visióntisimplistasólo simplista sólo terminará en fracasos Necesitamos de un estilo de arquitectura lo suficientemente flexible y basada en datos consistentes que permita soportar dicha estrategia de negocio cambiante. Datos consistentes y de calidad son pieza estructural de cualquier estilo de arquitectura seleccionado para soportar este negocio cambiante. 6

7 Contexto: Realidad de nuestras organizaciones (Qué viva la duplicidad) Procesos Solicitar crédito en línea Indicadores Grupo Gerencial Cómo va este negocio? Clientes Porqué hecho el desembolso o no me han notificado? Por qué no cumplimos las Portal (SOLO ES TEMPORAL) metas? Base de datos temporal 12 horas Digitar solicitud Validar referencias y Realizar ar análisis Validar riesgo Crear datos crediticio Productos 6 horas 8 horas 4 horas 4 horas 4 horas ECM CRM Análisis Scoring Core de crédito Bancario Área de Gestión Documental Área comercial Área de crédito Área de Riesgo Área de operaciones (Procedimientos)

8 Contexto: Empresas orientadas al cliente vía procesos de negocio (1) Las compañías están orientando su estrategia hacia un modelo centrado en clientes más que en el tradicional modelo dl de orientación a productos. Los clientes solicitan procesos de negocio como medio de atención y prestación de los servicios ii (Orientación ió al trámite) tá Los procesos de negocio motivan estrategias de medición a nivel ejecutivo (KPI & Dashboard). Información segmentada SI, pero inconsistente NO: Tanto Datos operacionales como Datos Analíticos soportados en datos maestros (Clientes, Productos, Proveedores) como medio de entregar fuentes únicas de verdad orientadas al cliente.

9 Contexto: Empresas orientadas al cliente vía procesos de negocio (2) PORTAL BPM CLIENTES Proceso: Gestión solicitud crédito SOA ataca problemas GRUPO de funcionalidades EJECUTIVO de negocio fragmentadas, pero no resuelve problemas de datos fragmentados. Incluso si no se ataca el problema; SOA podría ser BAM un acelerador de problemas Dashboard, KPI (Key Performance Indicator) Crear cliente Realizar Análisis crediticio SERVICES Validar Riesgo Crear Crédito Desembolsar crédito CRM Crédito Riesgo Core Bancario EIS EMPLEADOS

10 Contexto: Requerimientos del día a día: Vistas 360 Cerca del 75% de las empresas son incapaces de generar un vista 360 de sus clientes Gartner 2007 DWH Información de productos OLTP: TC, Credito, Hipotecas, etc. Perfil & Segmento del cliente Dashboards OLTP: Seguimientos a problemas (CRM) Indicadores de gestión Seguimiento e de PQRs Screen shot tomado de Novell IDM - Novell Derechos Reservados

12 Cómo estamos soportando estos requerimientos? Replicaciones Batch/ETL? Como resolvemos la tendencia tiempo real? Qué tan consistencia y confiable es la información?

13 Contexto: De donde partimos (1) Cliente Cobol Oracle SAP SQL Server MS-Access Excel

14 Contexto: De donde partimos (2) Cliente Cliente Cliente Cliente Cliente Cliente Cobol Oracle SAP SQL Server MS-Access Excel

15 Contexto: De donde partimos (3) Sistemas de información Siebel SAP Vision + FACT Systematics Remedy Trouble Ticket Cliente RW RW RW R RW R Cuentas R RW RW Como RW podremos ir desde Múltiples Tarjetas RW RWpuntos RWde entrada de la misma información a una simple vista Facturas R RW RW R R consistente del negocio? Pagos R RW RW RW Entidades de negocio Más de un sistema es dueño de la misma entidad: Problemas de calidad e inconsistencia de datos.

16 Contexto: Resumen La orientación al cliente más que a productos es mucho más que cambiar una visión al interior de la fuerza de ventas, es cambiar parte de la estructural conceptual y física de nuestros sistemas de información. Los requerimientos de negocio a los cuales debemos enfrentarnos hoy en día son cada vez más complejos y ambiciosos. Al parecer los modelos actuales de integración no nos alcanzan para soportar dichos requerimientos. Emerge sobre el horizonte SOA: Pero es tan sólo parte de la solución, incluso puede ser parte del problema Y al final del día lo único que pareciera ser importante para el grupo ejecutivo son: Indicadores de negocio en tiempo real vía procesos medibles, tableros de control cercanos al tiempo real y vistas 360

17 Agenda Contexto Cómo soportamos el negocio actualmente: ETL, DB Link, ODS, Objetos canónicos, Modelos Federados, d EAI/ESB Soportando la siguiente generación: ELT, Datos Federados, SOA + MDM, SOA+BPM+BAM Conclusiones & Preguntas

18 De donde partimos: Tipos de datos Datos Operacionales (OLTP) Representa el estado operacional de la organización Datos de la Datos Analíticos organización (OLAP) Representa el desempeño de la organización (Soporte a la toma decisiones ) Datos Maestros (Master Data) Representa las entidades d de negocio sobre las cuales operan las transacciones & Dimensiones sobre las cuales los análisis son realizados

19 De donde partimos: Taxonomía de integración Integración Datos Batch ETL, ELT, DB Link GRANDES VOLUMENES DE INFORMACIÓN Aplicación Linea Sincróna Acomplamiento fuerte Acomplamiento débil EII, ODS Sockets RPC /DCOM RMI CORBA WebServices Presentación Asincrona Screen Scrapper EAI MOM / JMS / MQ Series Conectores HTTP Conectores Telnet Copyright Lucasian Labs Jorge Arias

20 Cómo operamos?: Procesos integrados sobre dt datos inconsistentes i t (SOA Actual) At CRM Reglas de negocio Modelos de datos Clientes Productos ERP Clientes Productos Facturador Ordenes SOA/BPM Proceso integrado y soportado sobre datos duplicados e inconsistentes. Clientes Productos Clientes Productos

21 Cómo operamos?: Decisiones potenciadas por SOA vía datos dt inconsistentes i t Reglas de negocio Modelos de datos Soporte a toma de decisiones CRM Clientes Productos ETL Reportes Dashboards ERP SOA/BPM Clientes Productos ETL ETL DWH Datamart Ad Hoc Queries Facturador Ordenes Cualquier cambio sonbre los datos a nivel del ETL o del DHW es invisible a los sistemas OLTP Necesidad de operacionalizar el DWH Clientes Productos Clientes Productos ETL Cubos Analisis OLAP

22 Cómo operamos?: Problemas Carencia de dueños de datos (entidades de negocio) Modelo de dueños de objetos Duplicidad de datos Necesidad de publicación de servicios de datos Datos inconsistentes Necesidad de sincronización entre fuentes replicadas Millonarias pérdidas por entregas de correspondencia a clientes. No se es flexible Reduce time 2 market

23 Necesitamos integraciones de datos que permitan tener fuentes replicadas en estado sincronizadas y consistentes. Td Toda iniciativa i i SOA necesita primera asegurar la existencia de datos integrados y consistentes. it t

24 Cómo integramos?: ETL (1) Datos inconsistentes CRM Extracción Transformación Carga ERP Las duplica (off-line) / Las lee en línea Tablas de listas de valores Funciona bastante bien. Sin embargo, puede tener problemas de desempeño por movimientos de data entre el engine y el target MOTOR ETL

25 Cómo integramos?: ETL N * (N 1) Interfaces Integraciónen en batch declientes CRM ETL (5) ETL (6) ETL (9) ETL (2) N*(N 1) Interfaces ETL (10) ERP ETL (7) ETL (8) ETL (3) Facturador ETL (4 Ordenes Situación inmanejable

26 Cómo integramos? Podríamos ir a un EAI ( Pero ) Grandes Volúmenes de Información ERP CRM ERP CRM Ordenes Bus de Integración Ordenes Facturador Facturador Punto a Punto (N * (N-1)) Interfaces EAI (N Interfaces)

27 Cómo integramos?: ETL basado en objetos genéricos (Reutilización) (1) Entidades genericas ( Sustantivos) que determinan el que hacer del negocio. ( Modelo de objetos genericos) En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas. Defínición Cliente ERP (Objeto Especifico) Definición i ió Cliente CRM (Objeto Especifico) Definición cliente Generica (Objeto genéricos) Definición Cliente Facturador (Objeto Especifico) 22/09/

28 Cómo integramos?: ETL basado en objetos genéricos (Reutilización) (2) MOTOR ETL Extracción Transformación CRM 2 Genérica CRM Transformación Transformación Genérica 2 ERP Genérica 2 Order Carga Generica 2 Facturador Carga ERP Order Facturador

29 Cómo integramos?: DB Links (1) Manejador Ordenes Ode es Qué sucede sí al pasar grandes volúmenes de información falla la comunicación? Aplico nuevamente todos los registros? Como puedo validar en qué registro voy?

30 Cómo integramos?: DB Links (2) Sistema Sste B Sistema C Sistema A Sistema D Si quisiéramos llevar el sistema A a un data center? Acaso los DB Links no s generan un acoplamiento demasiado fuerte? Sistema E

31 Cómo integramos?: ODS Fuente de datos compartida, accedida por varios sistemas en producción(oltp) y la cual consolida información de diversas fuentes de datos o sistemas tanto OLAP, como OLTP. 5 Minutos NRT Aplicación ió 1 Aplicación 2 ODS 2 Horas CRM Aplicación 3 Copia compartida de datos. ERP Aplicación 4 Integración por base datos 5 Días DWH

32 Cómo integramos?: Modelos Federados (EII) Aplicaciones Clientes (Canales) Orientado a la consulta Servicio(Interfaz) :Ciclo de vida del cliente EII: Enterprise Information Integration Agregador g Virtual de información Metadata: Schema Virtual Sub-queries Sub-queries Sub-queries Sub-queries Adapter Adapter Adapter Adapter ERP CRM Facturador Ordenes

33 Cómo integramos?: Definir modelos canónicos (1) Contexto Entidades genericas ( Sustantivos) que determinan el que hacer del negocio. ( Modelo de objetos genéricos) Este modelo considera la relaciones semanticas existentes entre los objetos. A nivel de negocio debe existir una única definición ( Sistema Dueño) En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas. Tambien conocidas como Ontologías

34 Cómo integramos?: Definir modelos canónicos (2) Relaciones Semanticas Semantica de las relaciones Entidades de negocio 22/09/2008 Copyright Lucasian Labs Jorge Arias

35 Cómo integramos?: Definir modelos canónicos (3) Dialectos Empleado Factura Cuenta Balance Tarjeta Credito Sistema de Cuentas de Ahorro Sistema de Tarjeta de Credito IFX, FIX Sistema de Credito Hipotecario Empleado Cuenta Factura Balance Tarjeta Credito Empleado Factura Cuenta Balance Tarjeta Credito

36 Cómo integramos?: Definir modelos canónicos (3) Dueños de datos Siebel SAP Vision + FACT Systematics Remedy Trouble Ticket Cliente RW R R R R R Cuentas R RW R R Tarjetas RW R R Facturas R RW R R R Pagos R RW R R Un sólo dueño de la entidad: SAP debe publicar un servicio de datos que permite manejar el ciclo de pagos 36

37 Agenda Contexto Cómo soportamos el negocio actualmente: ETL, DB Link, ODS, Objetos canónicos, Modelos Federados, d EAI/ESB Soportando la siguiente generación: ELT, Datos Federados, SOA+ MDM Conclusiones & Preguntas

38 ELT: Extraction Loader & Transformation (1) El modelo ETL tradicional presenta varias falencias: Costos en tiempos de respuesta inherente a llevar datos desde el destino o el origen al motor de ETL para facilitar las transformación en este último (Listas de valores, tablas maestras). En ambientes de bastante integración ETL, el motor puede llegar a ser un cuello de Botella. (Uso intensivo de CPU) Requiere un servidor dedicado para el servidor ETL. Emerge ELT como una alternativa para: Transformar en el destino ó en el origen. Estudios reflejan mejora en tiempos de integración ió ETL de cerca dl del 40% 52%. El motor ETL simplemente se limita a ser un orquestador de agentes remotos de carga. No necesita un servidor dedicado para el motor ETL

39 ELT: Extraction Loader & Transformation (2) Diseñador / Consola de Intercambio ELT Adapter Adapter CRM Extracción Carga Ordenes Transformación Transformación

40 Cómo integramos?: Modelos Federados (EII) Aplicaciones Clientes (Canales) Orientado a la consulta Servicio(Interfaz) :Ciclo de vida del cliente EII: Enterprise Information Integration Agregador g Virtual de información Metadata: Schema Virtual Sub-queries Sub-queries Sub-queries Sub-queries Adapter Adapter Adapter Adapter ERP CRM Facturador Ordenes

41 Master Data Management (1) Definición Master Data Management (MDM) es la correcta combinación de aplicaciones y tecnologías que permiten consolidar, limpiar y extender (actualizar/crear) el ecosistema de datos maestros de la organización; y sincronizar estos mismos con todas las aplicaciones, procesos y herramientas analíticas que soportan la operación del negocio Beneficios: Eficiencia Operacional Información consistente en todo momento de los datos maestros de la organización Permite tener DWH Operacionales Promueve un plataforma confiable para la toma de decisiones.

42 Master Data Management (2) OLTP Canales Portal IVR Internet ATM CRM ERP FACT. SOA SOA SOA EL-T EL-T EL-T Enterprise Service Bus (ESB) SOA EL-T Soporte a toma de decisiones Reportes Dashboards MDM (Clientes, Productos, Proveedores, etc) ETL / EL-T DWH Ad Hoc Queries Cubos Analisis OLAP

43 SOA + BPM + BAM (1) CLIENTES GRUPO EJECUTIVO PORTAL BPM Proceso: Gestión solicitud crédito BAM Dashboard, KPI (Key Performance Indicator) Crear cliente Realizar Análisis crediticio SERVICES Validar Riesgo Crear Crédito Desembolsar crédito CRM Crédito Riesgo Core Bancario EIS EMPLEADOS

44 SOA + BPM + BAM (2) Eventos Alertas de negocio Métricas de negocio Tablero de control (Dashboard) Numero de créditos de consumo otorgados en Bogotá en la última út asemana? a Dimensión: Geografía Ciudad de Guatemala Fact: Créditos Otorgados Dimensión: Tiempo Último año Dimensión: Tipo Crédito Consumo Modelo Estrella

45 SOA + BPM + BAM (3) Canales Presenciales Agencias Asesores Fuerza Ventas 35 Créditos de consumo aprobados en las ultimas dos horas en Bogotá BAM: Business Activity Monitoring Evento: Tipo de crédito, Fecha Evento: Geografía Evento: Otorgado Repositorio de eventos de negocio estionar Solicitud de édito de consumo Capturar Solicitud Digitalizar/Digitar Solicitud Realizar Análisis crediticio & Riesgo

46 ODS + EII + SOA Vistas consolidadas de datos (Clientes, Empleado,etc.) Portal Página Web (Visiones centralizadas) Ficha del cliente (Vista compuesta de datos) Actualizaciones i Consulta SOAP JMS RMI MQ Series Remoting File Bus de Servicios Servicio de Información (Vista 360 ) ODS Sincronización Tarjeta de Crédito Créditos Cuentas de ahorro Sistemas operacionales DHW

47 Agenda Contexto Cómo soportamos el negocio actualmente: ETL, DB Link, EAI, ODS, Base de datos temporales, Objetos canónicos Soportan la siguiente generación: ELT, Datos Federados, SOA + MDM Conclusiones & Preguntas

48 Conclusiones

49 Preguntas