Creando el próximo Data Warehouse: Integración y Calidad de Datos

Transcripción

1 Creando el próximo Data Warehouse: Integración y Calidad de Datos Sesión 1: Fundamentos del DWH Josep Tarruella 1 Agenda Sesión 1: Fundamentos del DWH Sesión 2: Fundamentos de la Calidad de Datos Sesión 3: Caso práctico: Un DWH con Calidad 2 1

2 Agenda Sesión 1 Presentación PowerData Presentación asistentes: Conocimientos y Expectativas Fundamentos DWH Introducción al DWH Arquitectura de un DWH Modelado de Datos y Metadatos Esquemas en Estrella Procesos y Estrategias de carga del DWH Herramientas de Integración de Datos Herramientas de Reporting y Análisis 3 Presentación PowerData 4 4 2

3 Presentación PowerData Representantes de Informatica Corporation (Nasdaq:INFA) en España, Portugal, Mexico y Argentina Informatica Nacida en 1993 Redwood City (CA) colaboradores Powerdata Nacida en 1999 Barcelona 70 colaboradores 5 La solución: los servicios de datos Necesidades empresariales Mejorar decisiones y cumplir con la normativa Modernizar el negocio y reducir los costes de TI Fusiones y adquisiciones Aumentar la rentabilidad del negocio Subcontratar funciones secundarias Iniciativas de TI Inteligencia empresarial Eliminación de sistemas heredados Consolidación de aplicaciones Hubs de productos, proveedores y clientes BPO SaaS Proyectos de integración de datos Almacenamiento de datos Migración de datos Consolidación de datos Gestión de datos maestros Sincronización de datos Servicios de datos Servicios de datos Solución de Informatica Informatica PowerExchange Plataforma de productos de Informatica Informatica Data Explorer Informatica Data Quality Informatica PowerCenter 6 3

4 La plataforma de productos de Informatica Automatización de todo el ciclo de vida de la integración de datos Auditoría, control y creación de informes Garantizar la coherencia de los datos, realizar análisis de impacto y supervisar constantemente la calidad de la información Data Explorer Data Quality Acceso A cualquier sistema, por lotes o en tiempo real Detección Buscar y perfilar cualquier tipo de datos de cualquier fuente Limpieza Validar, corregir y estandarizar datos de todo tipo Integración Transformar y conciliar datos de todo tipo Entrega Entregar los datos adecuados en el momento y formato adecuados PowerExchange PowerCenter Desarrollo y gestión Desarrollar y colaborar con un repositorio común y metadatos compartidos 7 Presentación Asistentes: Conocimientos y Expectativas 8 8 4

5 Fundamentos del DWH 9 Fundamentos del DWH Introducción al DWH: Qué es? Arquitectura de un DWH Modelado de Datos y Metadatos Esquemas en Estrella Procesos y Estrategias de carga del DWH Herramientas de Integración de Datos Herramientas de Reporting y Análisis 10 5

6 Fundamentos del DWH Introducción al DWH: Qué es? 11 Qué es un Data Warehouse? Orientado a un Tema Colección de información relacionada organizada alrededor de un tema central Integrado Datos de múltiples orígenes; consistencia de datos Variable en el tiempo Fotos en el tiempo Basado en fechas/periodos No-volátil Sólo lectura para usuarios finales Menos frecuencia de cambios/actualizaciones Usado para el Soporte a Decisiones y Análisis de Negocio 12 6

7 Orientado a Tema Los usuarios piensan en términos de cosas y sus relaciones, no en términos de procesos, funciones o aplicaciones. Proveedor Pedido Realiza Cliente Proporciona Contiene Orden de Compra Compuesta por Producto Recuperado desde Inventario 13 Integrado Contiene Convenciones de Nombres Descripciones Atributos físicos de los datos Valores de los datos Consistentes Admin. Marketing Datos Operaciones Ventas Cuentas 14 7

8 Variable en el tiempo Entorno Operacional Data Warehouse Datos en fotos Datos con valores actuales Horizonte de 5 10 años Horizonte de días Refleja la perspectiva desde un momento en el tiempo Exactitud en los accesos Id de cliente nombre dirección teléfono ratio de crédito Id de cliente fecha desde fecha hasta nombre dirección teléfono ratio de crédito 15 No-Volátil inserción cambio carga lectura borrado Sistema OLTP (dinámico) Sistema DSS (más estático) 16 8

9 Un Data Warehouse es... un modelo de datos de soporte a decisiones que representa la información que una compañía necesita para tomar BUENAS decisiones estratégicas. basado en la estructura de un sistema de gestión de base de datos relacional el cual puede ser usado para INTER-RELACIONAR los datos contenidos en él. con el propósito de proporcionar a los usuarios finales un acceso SENCILLO a la información. un CONCEPTO, no una COSA 17 Para qué construir un Warehouse? Para tener un mayor conocimiento del negocio Para tomar mejores decisiones y en un tiempo menor Para mejorar y ser más efectivos Para no perder distancia con la competencia en definitiva 18 9

10 Visión del Usuario Usuarios Finales Panel de Consulta Representación de Negocio Base de Datos Solución integrada de: Consultas, informes y análisis. Capa semántica que da una representación de los datos desde el punto de vista de negocio. 19 Los usuarios utilizan términos de negocio, no términos informáticos. Fundamentos del DWH Arquitectura de un DWH 20 10

11 Arquitectura de un DWH Nomenclatura DWH: Data Warehouse DataMart OLTP: On-Line Transaction Processing OLAP: On-Line Analytic Processing ROLAP: Relational On-Line Analytic Processing MOLAP: Multidimensional On-Line Analytic Processing ODS: Object Data Store DSS: Decision Support System ETL: Extract, Transform and Load ETQL: Extract, Transform, Quality and Load EII: Enterprise Information Integration EAI: Enterprise Application Integration ERP: Enterprise Resource Planning 21 Directo de OLTP a OLAP Life Information System Life Life OLAP Health Information System Health Health Query 22 Auto Information System Auto Auto Analysis 11

12 Directo de OLTP a OLAP Es bueno, si los datos lo son. Horizonte de tiempo limitado Compite con OLTP por los recursos Uso frecuente para hojas de cálculo No tiene metadatos (o sólo implícitos) Principalmente, para jefes de departamentos, no se considera información para las masas No hay información cruzada entre los diferentes sistemas 23 Data Warehouse Virtual: Directo o Federado Life Information System Life Health Information System Health EII "Customer" OLAP Auto Information System Auto 24 12

13 Data Warehouse Total Life Information System Life Extract: COBOL, SQL, Etc. Life OLAP MDD Tools Health Information System Health Extract: COBOL, SQL, Etc. Enterprise Data Warehouse Health R/OLAP Star Schema Auto Information System Auto Extract: COBOL, SQL, Etc. Auto SQL Query 25 Data Marts No Estructurados Life Information System Life Extract: COBOL, SQL, Etc. Life Data Mart Life OLAP MDD Tools Health Information System Health Extract: COBOL, SQL, Etc. Health Data Mart Health R/OLAP Star Schema Auto Information System Auto Extract: COBOL, SQL, Etc. Auto Data Mart Auto SQL Query 26 13

14 Data Marts Estructurados Life OLTP Health OLTP EXTRACT SELECT TRANSFORM INTEGRATE LOAD Cleanse Data for: Names Formats Values Domains Metadata Enterprise Data Warehouse "Customer" Life Data Mart Health Data Mart Life OLAP MDD Tools Health R/OLAP Star Schema Auto OLTP Auto Data Mart Auto SQL Query 27 OLAP (Online Analytic Processing) Herramientas orientadas a consulta/análisis Puede ser ROLAP o MOLAP 'Multi-dimensional', es decir, puede ser visualizada como cuadrículas' o 'cubos' Consulta interactiva de datos, siguiendo un hilo a través de múltiples pasos -- 'drill-down' Visualización como tablas cruzadas, y tablas pivotantes Actualización de la base de datos Capacidad de modelización (motor de cálculo) Pronósticos, tendencias y análisis estadístico

15 Ejemplo uso de una herramienta de consulta Información solicitada Información disponible Condiciones El interfaz de usuario simple Trabaja contra representación de negocio de los datos Todos los componentes en una pantalla 29 Los informes son la capa visible Integración Datos no sólo en entornos analíticos Importancia de la Calidad Herramientas de OLAP / Business Intelligence / Cuadro de Mando 30 Extracción Limpieza de Datos Transformación Carga de Datos Servidores Red Bases de Datos Middleware 15

16 Data Marts Estructurados: Visión Completa Ficheros: FF, XML DM Compras Aplicaciones: ERP,... BBDD Tiempo Real, WS, Http Integración + Calidad de Datos DWH DM Financiero DM Ventas Legacy Diseño Mapeos Perfilado de Datos ETL, Estandarización, Desduplicación Almacenamiento: Agregación, Indexación,... Replicación Distribución Análisis Reporting Cuadros Mando Metadatos: Análisis Impacto, Linaje de datos, Auditoría, Monitorización, etc 31 Fundamentos del DWH Modelado de Datos y Metadatos 32 16

17 Técnicas de Modelización Estructural En esta sección veremos técnicas que afectarán a diversos puntos Consideraciones de Tiempo Técnicas de Optimización 33 Consideraciones de Tiempo ESTRUCTURAL Tiempo Actualidad de Datos Agrupaciones basadas en tiempo Retención de Histórico Staging Area Data Data Marts Warehouse Relacional Dimensional Cuál es el impacto del Tiempo en cada Almacén de Datos? Todo el DW se ve afectado por cambios temporales porque por definición es Tiempo-dependiente 34 Preguntas importantes: Cuan actual deben ser los datos para satisfacer las necesidades de negocio? Cuánta historia necesitamos en nuestro negocio? Qué niveles de agregación son necesarios para qué ciclos de negocio? 17

18 Técnicas de Modelización Temporal Unidades de tiempo Calendarios de negocio Técnicas Foto (Snapshot) Trazado de Auditoría Metadatos temporales Fechas Efectivas de Inicio y Fin Fecha de cambio en Fuentes (evento) Fecha de cambio en Destinos (carga) 35 Foto (Snapshot) Dos técnicas diferentes Múltiples Tablas Tabla Única Uso de Fecha Efectiva Inicio en un ejemplo. Metadatos a nivel de registro Foto (SNAPSHOT) Nov 2001 CLIENTE Num Cliente Nombre Oct 2001 CLIENTE Apellido1 Apellido2 Num Cliente Género Nombre Fecha Carga Apellido1 Apellido2 Género Fecha Carga O bien CLIENTE Num Cliente Fecha Efectiva Inicio Nombre Apellido1 Apellido2 Género Fecha Carga 36 18

19 Foto (Snapshot) Múltiple Una tabla para cada período Se guardan TODOS los datos (cambien o no) Nombre de la tabla refleja el período Buen enfoque de (extracción/carga/modelado) para Data Marts. Cada mes, en el ejemplo, representa los datos tal y como estaban Mal enfoque para Staging, ya que hay mucha replicación de datos Foto (SNAPSHOT) Nov 2001 CLIENTE Num Cliente Nombre Oct 2001 CLIENTE Apellido1 Apellido2 Num Cliente GéneroNombre Fecha Carga Apellido1 Apellido2 Género Fecha Carga O bien CLIENTE Num Cliente Fecha Efectiva Inicio Nombre Apellido1 Apellido2 Género Fecha Carga 37 Foto (Snapshot) Única Se guardan TODOS los datos (cambien o no) Buen enfoque para Data Marts y puede ser útil en el Warehouse. Mal enfoque para Staging, ya que hay mucha replicación de datos Time Stamps imprescindibles Foto (SNAPSHOT) Fecha Efectiva de Negocio Nov 2001 CLIENTE Num Cliente Nombre Oct 2001 CLIENTE Apellido1 Apellido2 Num Cliente Género Nombre Fecha Carga Apellido1 Apellido2 Género Fecha Carga O bien CLIENTE Num Cliente Fecha Efectiva Inicio Nombre Apellido1 Apellido2 Género Fecha Carga 38 19

20 Foto (Snapshot) Única Fechas (Time Stamps) necesarias para identificar la validez de los datos: Fecha efectiva de Inicio Fecha efectiva de Fin (no está en el ejemplo) Fecha de Carga Num Cliente Fecha Efectiva Inicio Nombre Género Fecha Carga /10/2001 Juan Reyes Hombre 01/11/ /10/2001 Julia Astur Mujer 01/11/ /10/2001 Carlos Márquez Hombre 01/11/ /10/2001 Luis Tesquilo 01/11/ /11/2001 Juan Reyes Hombre 01/12/ /11/2001 Julia Picado Mujer 01/12/ /11/2001 Carlos Márquez Hombre 01/12/ /11/2001 Luis Tesquilo 01/12/2001 Vemos la duplicidad de los datos 39 Trazado de Auditoría Guarda los cambios de los datos de interés Información: Fecha del cambio Razón del cambio Cómo se ha detectado... Sólo se extraen/cargan valores modificados CLIENTE ID_cliente nombre apellido1 apellido2 género fecha_aniversario AUDITORIA CLIENTE ID_cliente fecha_inicio_efectiva nombre apellido1 apellido2 género fecha_aniversario fecha_carga Metadato a nivel registro Fecha de Negocio (no Metadato) 40 20

21 Trazado de Auditoría Num Cliente Fecha Efectiva Inicio Nombre Género Fecha aniversario Fecha Carga /10/2001 Juan Reyes Hombre 01/01/ /11/ /10/2001 Julia Astur Mujer 06/03/ /11/ /10/2001 Carlos Hombre 19/09/ /11/2001 Márquez /10/2001 Luis Tesquilo 25/07/ /11/ /11/2001 Julia Picado Mujer 06/03/ /12/2001 Sólo cambios en la tabla Usado en Staging Area y Data Warehouse Posible en Data Marts, pero no es habitual ya que no es claro para un usuario final 41 Técnicas de Optimización Estructural y Física ESTRUCTURAL Posición Tiempo Actualidad de Datos Agrupaciones basadas en tiempo Retención de Histórico Seguridad Distribución Staging Area Data Data Marts Warehouse Relacional Dimensional FÍSICO Implementación Uso Acceso Navegación Herramientas Rendimiento Tamaño Disponibilidad Recuperación DBMS Cómo debe optimizarse cada almacén de datos en la Implementación? 42 21

22 Técnicas de Optimización Derivación Data Warehouse y Data Marts Usos Facilitar acceso Consistencia resultados PÓLIZA num_póliza código_tipo_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términos cantidad_prima cantidad_servicio PÓLIZA RESIDENCIAL num_póliza total_cobertura supl_terremotos supl_inundaciones supl_viento supl_robos supl_arte total_suplementos una de PÓLIZA_AUTOMOVIL Derivación total_suplementos= supl_terremotos + supl_inundaciones + supl_viento + supl_robo + supl_arte num_póliza total_colisión Técnicas de Optimización Agregación No cambio de granularidad Objetivo: Facilitar el acceso a los datos Data Warehouse PÓLIZA num_póliza código_tipo_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términos cantidad_prima cantidad_servicio fecha_carga AGREGACIÓN PÓLIZA RESIDENCIAL num_póliza total_cobertura supl_terremotos supl_inundaciones supl_viento supl_robos supl_arte total_suplementos fecha_carga una de PÓLIZA_AUTOMOVIL num_póliza total_colisión descuento_cliente indic_precio_especial fecha_carga 44 PÓLIZA RESIDENCIAL num_póliza código_tipo_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términos cantidad_prima cantidad_servicio total_cobertura supl_terremotos supl_inundaciones supl_viento supl_robos supl_arte total_suplementos fecha_carga AGREGACIÓN PÓLIZA_AUTOMOVIL num_póliza total_colisión descuento_cliente indic_precio_especial código_tipo_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términos cantidad_prima cantidad_servicio fecha_carga Data Marts 22

23 Técnicas de Optimización Sumarización Histórica Agrupada CLIENTE id_cliente fecha_alta_cliente fecha_baja_cliente nombre apellido1 apellido2 grupo_edad género estado_civil indic_cliente_perdido fecha_carga RESUMEN ANUAL CLIENTES id_cliente año_resumen valor_inicio_año valor_final_año total_cuenta_inicio_año total_cuenta_final_año total_años_como_cliente AÑO num_año TRIMESTRE num_trimestre MES num_mes BASE CLIENTELA ANUAL id_zona id_producto código_tipo num_año cuenta_cliente BASE CLIENTELA id_zona id_producto código_tipo num_mes cuenta_cliente 45 Técnicas de Optimización Particionamiento Horizontal Particiones por filas Todos los campos repetidos en las nuevas tablas Uso Aislar datos sensibles Reducción tamaño tablas RESUMEN ANUAL CLIENTES id_cliente año_resumen código_región valor_inicio_año valor_final_año total_cuenta_inicio_año total_cuenta_final_año total_años_como_cliente RESUMEN ANUAL CLIENTES - SUR id_cliente año_resumen valor_inicio_año valor_final_año total_cuenta_inicio_año total_cuenta_final_año total_años_como_cliente RESUMEN ANUAL CLIENTES - NORTE id_cliente año_resumen valor_inicio_año valor_final_año total_cuenta_inicio_año total_cuenta_final_año total_años_como_cliente 46 23

24 Técnicas de Optimización CLIENTE Particionamiento Vertical División por columnas Posibilidad de columnas redundantes Uso Seguridad Distribución id_cliente fecha_alta_cliente fecha_baja_cliente nombre apellido1 apellido2 grupo_edad género estado_civil indic_cliente_perdido num_cuenta_debito nombre_banco_debito num_autorización_débito rango_crédito fecha_ultimo_check_credito fecha_carga Campos con Datos no Sensibles Campos con Datos Sensibles 47 Puede ser que tengamos Horizontal y Vertical a la vez CLIENTE id_cliente fecha_alta_cliente fecha_baja_cliente nombre apellido1 apellido2 grupo_edad género estado_civil indic_cliente_perdido fecha_carga CLIENTE_SEGURO id_cliente fecha_alta_cliente fecha_baja_cliente nombre apellido1 apellido2 num_cuenta_debito nombre_banco_debito num_autorización_débito rango_crédito fecha_ultimo_check_credito Técnicas de Optimización Particionamiento por Estabilidad Basado en frecuencia de cambio Uso en Staging Area Velocidad de carga Separar datos más volátiles minimiza cambios PÓLIZA RESIDENCIAL num_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términos cantidad_prima cantidad_servicio total_cobertura supl_terremotos supl_viento supl_inundación supl_pieles supl_arte supl_joyas supl_otros fecha_carga PÓLIZA RESIDENCIAL 48 Claves Primarias en ambas tablas num_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términos cantidad_prima cantidad_servicio total_cobertura supl_terremotos supl_viento supl_inundación fecha_carga PÓLIZA RESIDENCIAL num_póliza fecha_inicio_póliza supl_pieles supl_arte supl_joyas supl_otros fecha_carga Metadatos a Nivel Registro en ambas tablas 24

25 Técnicas de Optimización Claves Alternativas Caso especial de derivación Creada artificialmente para identificar entidades Habitualmente un entero Staging DW DM Hay que mantener un mapeo Fichero Master Ventas Número_factura Identificador Factura Número_cliente Identificador Cliente... Fichero Master Marketing ID_campaña Identificador campaña ID_cliente Identificador Cliente... PÓLIZAS ID_Póliza Identificador Póliza ID_Tomador Identificador Asegurado... Generación Generación Claves Claves Alternativas Alternativas 49 MAPEO_ID_CLIENTE código_sist_origen id_cliente_origen fecha_inicio fecha_fin num_id_cliente fecha_carga CLIENTE num_id_cliente fecha_alta fecha_baja grupo_edad... fecha_carga 50 Técnicas de Optimización Pre-Joins Caso especial de Agregación Data Warehouse y Data Marts Existe redundancia de Información Incrementeo uso espacio Acceso mucho más rápido En el DW PÓLIZA_AUTOMOVIL num_póliza fecha_inicio_póliza fecha_inicio_cobertura fecha_fin_cobertura términostotal_colisión descuento_cliente indic_precio_especial código_tipo_póliza... fecha_carga Mantendremos también las tablas separadas para cuando no necesitemos la Join PÓLIZA_Y_VEHÍCULO num_bastidor fecha_inicio_vehículo num_póliza fecha_inicio_cobertura fecha_fin_cobertura términostotal_colisión descuento_cliente indic_precio_especial código_tipo_póliza marca modelo... ind_abs ind_airbag ind_esp fecha_carga VEHÍCULO num_bastidor fecha_inicio_vehículo num_póliza marca modelo... ind_abs ind_airbag ind_esp fecha_carga 25

26 Técnicas de Optimización Cadenas de Datos Caso especial de Agregación Eficiente para Reporting NUNCA en operacionales o Staging, pero muy útil en DW y DM 51 Técnicas de Optimización Balancear diferentes Factores Rendimiento Seguridad Distribución Recuperación errores Tamaño & Crecimiento Bases de Datos del Data Warehose Estabilidad Histórico Acceso & Navegación Plataforma 52 26

27 Fundamentos del DWH Esquemas en Estrella 53 Puntos Fuertes de la Modelización Dimensional Coincide con las percepciones de los usuarios Estructura predecible, estándar Facilita el desarrollo de consultas y análisis Las herramientas OLAP pueden hacer suposiciones Cada dimensión es equivalente para todos los datos Puede ser modificada fácilmente Usa perspectivas de modelización comunes Simplifica la agregación 54 27

28 Modelización Dimensional - Regla de Oro Los Esquemas en Estrella deberían ser utilizados para cualquier dato accedido directamente por los usuarios finales. 55 El Esquema en Estrella Hechos Dimensiones De-normalizado (generalmente) Tiene caminos de unión bien diseñados Paraleliza la visión de los datos por el usuario Son fácilmente modificables Simplifica la comprensión y navegación por los metadatos Amplia la elección de herramientas de usuario final 56 28

29 Modelización Dimensional Tablas de Hechos: contienen datos cuantitativos sobre el negocio La clave primaria es una concatenación de claves de dimensión, incluyendo el tiempo Cada elemento de la clave primaria compuesta es una clave de integridad referencial hacia una tabla de dimensión. Contienen menos atributos, pero muchos más registros Tablas de Dimensión: gestionan datos descriptivos que reflejan las diversas dimensiones del negocio Contienen muchos atributos pero menos (pocos) registros La clave primaria ayuda a componer las claves primarias de las tablas de hechos 57 Esquema en Estrella (conceptual) 58 29

30 Diseño de una Tabla de Hechos Elija el PROCESO del Data Mart Comience el contenido del data mart a partir de datos de un solo origen Defina la GRANULARIDAD de la tabla de hechos Elija el nivel granular más bajo posible Transacciones individuales o fotos Elija las DIMENSIONES Reflejan el contenido de la tabla de hechos y la granularidad Elija los HECHOS Los hechos individuales y el ámbito de estos hechos deben ser específicos a la granularidad de la tabla de hechos 59 Identifique el Proceso Departamental Cuál es el proceso o función subyacente para el DM? Cuál es el ámbito aproximado del DM? Quién usará el DM? A qué preguntas les gustaría a los usuarios que contestaran los datos del DM? 60 30

31 Determine los Hechos Qué hechos están disponibles? Cuáles son los datos cuantitativos fundamentales que hay por debajo? Los hechos más útiles son los numéricos y aditivos Qué nivel de detalle (granularidad) necesita mantener? Serán datos atómicos (todo el detalle) o datos agregados (sumarizados)? Si son agregados, cómo (usando qué algoritmo)? Para qué propósito de negocio? Cuál es la frecuencia de carga de datos requerida? Cada transacción? Cada hora? Día? Semana? Mes? 61 Tablas de Hechos Sin Hechos - EVENTOS Eventos: Algo que ha ocurrido Ejemplo: Asistencia de estudiantes a una clase, asientos de pasajeros de línea aérea o habitaciones de hotel ocupadas Enlace el evento a: Tiempo / estudiante / profesor / curso / facilidades Típico para crear un hecho vacío Asistencia = 1 La granularidad es el evento individual de asistencia a clase FUENTE: Kimball,

32 Las Agregaciones Pueden: Asegurar la consistencia entre data marts Ser hechas reutilizables para mantenerlas de manera centralizada Mejorar el rendimiento del usuario Reducir los recursos necesarios para preparar las consultas (CPU, disco, memoria) Ser utilizadas en base a: Frecuencia de acceso Efecto del número de registros 63 Determine las Dimensiones Qué dimensiones pueden necesitar los usuarios? Cuáles son los conceptos fundamentales (entidades o temas) con los que los usuarios trabajarán? Siempre existirán al menos dos dimensiones; quizá hasta una decena. El tiempo será una dimensión prácticamente siempre Cuál es el identificador (clave primaria) de cada una de las dimensiones? No_Cliente, ID_Cuenta, NoFactura Los atributos de la dimensión se convierten en las cabeceras de los registros SQL 64 32

33 Para Cada Tabla de Dimensión Establezca la clave primaria para cada registro dimensional Use la clave primaria como una parte de la clave compuesta de la tabla de hechos Identifique los atributos de interés para los usuarios Qué atributos deben ser de-normalizados? Qué otros atributos podrían tener valores significativos? Hay alguna oportunidad de incluir datos de fuera? Cuáles? Ayúdese de los valores reales contenidos en los atributos 65 La Dimensión de Tiempo Debe ser día a día durante 5-10 años Separe los campos de semana, mes, día, año, día de la semana, vacaciones, estaciones, etc. Trimestres naturales y fiscales Créela como una sola tabla en el DWH Cargue el contenido en los DM a medida que se necesiten 66 33

34 Establezca Relaciones Dibuje la relación visualmente Identifique la cardinalidad (1-N) Entre la tabla de hechos... y cada tabla de dimensión Una Imagen vale más Métodos para Identificar Dimensiones y Hechos Informes de Concepto Reuniones y Entrevistas Requerimientos Especiales del Proyecto Documentos sobre Ámbito del Proyecto Peticiones de Información Cartas a los Reyes Magos Modelos y Bases de Datos Existentes Informes Actuales (y Deseados) 68 34

35 Ejemplo: Intereses de la División Financiera La división financiera ha preparado la siguiente lista de funcionalidades deseables en el data mart. Muchos de estos datos son información de cliente / demográfica. Nos permitirá evaluar el impacto de costes en nuestros clientes, ubicación y uso por nuestros clientes, costes incurridos por ubicación para servir a nuestros clientes y otros tipos de evaluaciones financieras relativas a costes, uso, etc. Este tipo de información será muy valiosa para dirigir los aspectos financieros y políticos de las planificaciones y soluciones futuras a los problemas actuales. 69 Esta información nos permitirá contestar mejor a las importantes preguntas que aparecerán durante ese proceso. Ejemplo: Frase de Ejemplo de Misión Capture datos de nuestro sistema para realizar evaluaciones por zonas de nuestros clientes, intereses y beneficios y para asesorar el impacto de costes sobre nuestra base de clientes

36 Ejemplo: Preguntas a la División Financiera 1. Datos demográficos de nuestros clientes - el tipo de datos que aparece en un censo (tipo de vivienda, valor de la vivienda, ocupación, sexo, educación, ingresos, etc.) Puede ser usado para enviar mensajes oficiales, evaluación de intereses de penalización, y mercado objetivo. 2. Clientes por clase de interés definición por clientes residenciales, comerciales, industriales, gobierno y multifamiliares. 3. Beneficio demográfico por cliente y consumo como valor de la vivienda, ingresos o educación. 71 Ejemplo: Preguntas a la División Financiera (2) 4. Información sobre el servicio al cliente incluyendo beneficio por los diferentes tipos de intereses y cobros por zona geográfica, beneficio y consumo. 5. Beneficio total por clase de cliente y categoría de intereses a lo largo de los últimos cinco años. Qué clases de clientes dan más beneficio? 6. Presupuesto del año en curso por zona debe mostrar el presupuesto actual y en qué áreas se han ido incurriendo esos costes. 7. Valor de activos por zona un informe que muestre el valor depreciativo de los activos propios por zona

37 Ejemplo: El Esquema Financiero en Estrella 73 Fundamentos del DWH Procesos y Estrategias de Carga del DWH 74 37

38 Mapeo de Datos Mapeo LÓGICO - describe cómo ir desde donde se encuentra hasta donde quiere ir Mapeo FÍSICO - Indica las rutas, baches, desvíos atajos de la carretera TRANSPORTE - Decida si está conduciendo un coche deportivo o un camión de recogida de chatarra PLANIFICACIÓN - Indica cuándo saldrá y cuánto espera que le lleve llegar al destino 75 Soluciones de Extracción, Transformación y Carga de Datos (ETL) Aproximación de primera generación (o crecimiento casero ) Mapean origen a destino con capacidades variables de transformación y limpieza Generan código o directamente deben programarse Suelen controlar metadatos limitados FUENTE: Doug Hackney,

39 Plataformas de Integración de Datos Soluciones integradas Capacidad de implantación a nivel corporativo Metadatos completos, abiertos y extensibles Abanico de transformaciones y reglas de negocio Análisis, entrega y planificación integradas Gestión Ad-hoc de agregaciones Monitorización y Auditoría integradas Funciones avanzadas de Calidad de Datos Versionados, despliegues inteligentes 77 Proceso de Diseño 1. CREACIÓN DE REPOSITORIO 2. IMPORTACIÓN DE DEFICIONES DE ORÍGENES 4. CREACIÓN DE MAPPINGS Def Origen Mapeo Def Destino 3. CREACIÓN DE ESQUEMA DESTINO 78 39

40 Transformaciones Más Comunes Creación de valores por defecto para los nulos Gestión de fechas Selección o filtrado de datos origen Unión de orígenes heterogéneos (SAP+Ficheros+Tablas+ ) Normalización de los ficheros de datos Generación de esquemas en estrella Creación de estrategias de actualización Creación y actualización de agregaciones Creación de dimensiones slowly-changing 79 Algunas Transformaciones Selección de datos del Origen representa la consulta o primer filtrado/ordenación de los datos origen Normalización convierte registros de orígenes relacionales o VSAM a registros normalizados (cláusulas OCCURS, REDEFINES) Cálculo de Expresiones/Nuevos Campos realiza cálculos a nivel de campo Filtro funciona como un filtro condicional de los registros procesados Agregación realiza cálculos agregados (totales o incrementales) Rango limita los registros a los primeros o últimos de un rango Estrategia de Actualización para marcar cada registro como inserción, actualización, borrado, o registro rechazado Lookup busca valores complementarios y los pasa a otros objetos Procedimientos Externos/Almacenados llama a programas desarrollados en otros lenguajes o en la base de datos Generador de Secuencia genera nuevos identificadores únicos 80 40

41 Trabajo con Transformaciones Ejemplo: Estrategia de Actualización ORIGEN EXTRACCIÓN DEL ORIGEN LOOKUP Busca Job_IDs en el destino T_JOBS ESTRATEGIA DE ACTUALIZACIÓN Basado en la coincidencia de Job_IDs, DESTINO 81 Diseño de Cargas Ordene los datos por secuencias específicas de carga Fuerce a reglas limitadas de integridad de datos Busque la carga correcta de cada paso Construya estadísticas de carga y mensajes de error Cree el plan para cargas fallidas qué debe ocurrir Produzca la notificación inmediata y automática en caso de fallos (y/o éxitos) en las cargas FUENTE: O Neil,

42 Consejos sobre Planificación de Cargas Orden de carga cargue primero las tablas independientes Determine la ventana necesaria de carga use las horas de inicio y final para determinar el tiempo necesario para las cargas Ejecute cargas en paralelo Ejecución concurrente Uso de threads, desarrollos multiproceso, paralelización de base de datos No sobrecargue los sistemas origen o destino Carque en paralelo un mismo destino Datos de sistemas independientes que van al mismo destino Cargue múltiples destinos en paralelo Datos del mismo origen que vayan a diferentes destinos ahorre accesos de lectura 83 Plan de Carga de Destinos Primero, tablas independientes Después, tablas que no contienen claves foráneas a otras tablas Por último, las tablas que contienen claves foráneas a otras tablas Tenga cuidado con transacciones de base de datos e intervalos de commit: los datos pueden estar cargados pero no validados 84 42

43 Planificación de Cargas Timing Ejecución manual Ejecución periódica cada n minutos/horas/días un máximo de veces/ para siempre Ejecución concreta Scripts de carga (.bat,.sh, JCL) En un momento determinado Cada primer martes de mes a las 21:43 Ejecución basada en eventos Disponibilidad del fichero origen Sólo si la carga anterior acabó bien/mal Planificación Planificación propio de la herramienta Planificador genérico Control^M, Tareas Programadas de Windows 85 Monitorización de Cargas El mantenimiento de un data mart es una revisión constante de los procesos para optimizar valores de datos, pasos, tiempos, recursos utilizados, accesos a sistemas origen o destino debido a los constantes requerimientos nuevos de los usuarios finales y el crecimiento en funcionalidad y volumen de datos que eso conlleva 86 43

44 La Creación de un Data Warehouse Sostenible y sus Data Marts Incrementales Requiere la Automatización de los Procesos de Carga 87 Fundamentos del DWH Herramientas de Integración de Datos 88 44

45 Integración de Datos, más allá del BI El ETL se ha quedado relegado a entornos analíticos Aparecen necesidades de Integración de datos para otro tipo de proyectos Externalización Migraciones Integración de Aplicaciones, BBDD Sincronización etc 89 Un proceso simple? ETL 90 45

46 Ensanchando el concepto de Integración de Datos EIM, Content Management Metadatos Complex Data Exchange Data Grid High Availability Data Profiling Data Quality Web Services (SOA) Real Time ETL Federation Aplicaciones y Midleware (SAP, Siebel, TIBCO, Biztalk, ) Changed Data Capture EAI Mainframe Scheduling DWL Auditing Team Base Develop/ BI (BO, SAS, Microstrategy, Hyperion, Cognos ) 91 Bases de Datos (Oracle, Microsoft, IBM, ) Acceso Universal a los Datos Entrega de datos a Sistemas, Procesos y Organizaciones XML, Messaging, and Web Services Packaged Applications Relational and Flat Files Mainframe and Midrange Systems IBM MQSeries TIBCO webmethods SAP NetWeaver XI SAP NetWeaver SAP IDOC SAP BCI SAP DMI SAP BW Oracle DB2 UDB DB2/400 SQL Server Sybase ADABAS Datacom DB2 IDMS IMS Flat Files, XLS, PPT FTP Encrypted Stream XML, PDF, DOC, Web Services XML JMS ODBC Peoplesoft Oracle Apps Siebel SAS Informix Teradata ODBC Flat Files Web Logs VSAM C-ISAM Complex Files Tape Formats Oracle SQL Server Industry Formats Using Informatica s flexible integration architecture, we are able to connect to over 1,000 data sources worldwide, including multiple instances of Oracle ERP, SAP R/3, J.D. Edwards, custom, mainframe, web, CICS, & object-oriented applications. Etc etc

47 Informatica PowerCenter Puntos de interés como plataforma de integración de datos (1/2) Permite integrar múltiples fuentes de datos heterogéneas Fácil de usar. Desarrollo de alta productividad Herramientas de trabajo visuales. Interfaz gráfico totalmente intuitivo Asistentes de transformación NO hay generación de código Detección de errores (debugger integrado) Reutilización de componentes Fácil de mantener: Metadatos corporativos Análisis de Impacto Análisis del Linaje de datos Presentación Web Metadatos y Autodocumentación Metadatos extensibles Despliegues guiados. Rollback Versionado 93 Informatica PowerCenter Puntos de interés como plataforma de integración de datos (2/2) Plataforma de Alto rendimiento Grid computing Alta Disponibilidad Tolerancia a fallos y recuperación automática Soporte a cargas BULK Capacidades de Tiempo real Conectores WebServices, ESB, EAI Soporte ETL, EII Adaptabilidad y escalabilidad Plataforma, recursos, volumen y usuarios Capacidad de expandir las Transformaciones con módulos externos (PL/Sql, C++, ) Autodocumentación Planificador integrado 94 47

48 Informatica PowerCenter Trabajar como pienso Del papel TABLA REFERENCIA DESTINO MAESTRO DATAWAREHOUSE DETALLE UNION TOTALES SALIDA_XML 95 Informatica PowerCenter a la práctica 96 48

49 Informatica PowerCenter Herramientas Cliente Designer: Diseño del proceso de extracción y carga Diseño gráfico (origen, destino, transformación) Asistentes de transformación (reutilización de reglas) Generación automática de código para acceso, transformación y carga. Transformaciones predefinidas y flexibilidad para creación de nuevas reglas de transformación. Workflow Manager: Planificador de procesos Orquestación y planificación de procesos ETL. Workflow Monitor: Monitor de ejecuciones Seguimiento, control y monitorización de procesos de integración. 97 Informatica PowerCenter Herramientas Cliente: Designer Diseño lógico del proceso de transformación Representación gráfica del flujo de datos: Mapping 98 49

50 Informatica PowerCenter Herramientas Cliente: Workflow Manager Definir el entorno de ejecución para el proceso Session Task Agrupar procesos y especificar el orden y condiciones de ejecución Workflow 99 Informatica PowerCenter Herramientas Cliente: Workflow Monitor Ejecutar y verificar los resultados