Metodología para el Modelamiento De un Datawarehouse AMDE. Fundamentos de un Proyecto De

Transcripción

1 Metodología para el Modelamiento De un Datawarehouse Fundamentos de un Proyecto De Almacenamiento Masivo de Datos Estratégicos AMDE 1

2 EL PROPOSITO DE LA TECNOLOGIA INFORMATICA VA MAS ALLA DE SIMPLEMENTE ALINEARSE CON EL NEGOCIO; DEBE AYUDAR AL NEGOCIO A GENERAR OPORTUNIDAD! mediante la identificación de patrones, conductas, sesgos, tendencias que provee el cúmulo de información transaccional. EL CICLO DE VIDA DE LAS BODEGAS DE DATOS (DataWareHouse - DWH) 2

3 Ciclo de Benson & Parker Ambiente de Negocios Planeación del Negocio Impacto Ambiente de Tecnología Planeación de Tecnología Organización Oportunidad Operación del Negocio Alineación Operación de Tecnología Empresa Inteligente Inteligencia CONOCIMIENTO = Información + Gente INFORMACION = Datos + Dimensiones DATOS = Medidas, Valores Ambiente de Tecnología 3

4 Definición - Bodega de Datos Bodega de Datos es un proceso del negocio orientado a facilitar el acceso y a mejorar la calidad de la información para la toma de decisiones. Esta información es de caracter analítica y que permite construir los pilares de nuevas oportunidades de negocios o reducir las brechas de componentes diferenciadores de la competencia. Estrategia de Implantación MONUMENTAL Vs. ACCIDENTAL Top Down Demora mucho Cuesta Mucho Requerimientos Desactualizados Bottom up Corto plazo Datos redundantes Mantenimiento complejo Problemas de sincronización Diferentes vistas de la realidad 4

5 Estrategia de Implantación Bodega de Datos El esquema de solución Proceso gradual de construcción de la Bodega. Principales Objetivos Vista integrada - Corporativa - Minimizando el impacto sobre las aplicaciones operativas y garantizando la calidad de la información Proveer un Canal empresarial de Datos Depósito para datos de largo plazo THINK GLOBAL, ACT LOCAL Metodología de DW Análisis de Necesidades Información Prototipo Inicial Plan DW Apoyo a Alto Nivel Construcción de un Segmento de la Bodega Exploración y Evolución por parte del Usuario Soporte Actual al proceso de Toma de Decisiones Ambiente de Tecnología Administración de los Meta-Datos Infraestructura de Soporte 5

6 Equipo de Trabajo Integrador Gerente de Proyecto Arquitecto Líder Técnico Analista(s) Backend Analista(s) Frontend Documentación Equipo Interno Gerente de Proyecto Líder Usuarios Líder Técnico Analista(s) de Sistemas Analista(s) Area Funcional Metodología Práctica Diseño Global - Modelo del Negocio Diseño Detallado - Primer alcance Construcción y validación de prototipo Construcción y validación de proyecto piloto Automatización del proceso Mejoramiento Continuo! 6

7 Ambiente de Bodega de Datos Datos de Producción 1 REFINACION Legacy Data 2 Fuentes Externas Extracción Depuración Transformación Integración Bodega de Datos Data Mart METADATOS Requerimientos del Negocio Usuario Final Metodología Práctica Diseño Global - Modelo del Negocio Diseño Detallado - Primer alcance Construcción y validación de prototipo Construcción y validación de proyecto piloto Automatización del proceso Mejoramiento Continuo! 7

8 Diseño Global - Modelo de Negocio Entrevistas: ejecutivos (toma de decisiones) analistas (nivel táctico) informáticos (fuentes) Contenido: Breve descripción de su función... Cuál es la misión de su equipo/área de trabajo? Cómo lo hace? Cómo mide el cumplimiento de sus metas? Qué soporte de información recibe hoy día? Es confiable? Qué información necesita diariamente para evaluar su negocio?... Temas MODELO GLOBAL Areas/Procesos Finanzas Producción Tiempo Producto Cliente Empleado... Medidas: Volumen Ventas ($$$)... 8

9 Temas MODELO GLOBAL Objetivos Estratégicos Objetivo 1 Objetivo 2 Tiempo Producto Cliente Empleado... Medidas: Volumen Ventas ($$$)... Modelo Multidimensional Dimensiones Son los temas de negocio que de alguna manera son generadores o consumidores de recursos. Los atributos de una dimensión suelen ser: Discretos Textuales 9

10 Modelo Multidimensional Medidas Son los datos, hechos o eventos que relacionan los temas de negocio reflejando un desempeño del negocio. Suelen ser: Numéricos Medidos regularmente Aditivos PREFERIBLEMENTE (también hay semiaditivos y simplemente no aditivos!) MODELO MULTIDIMENSIONAL - Diseño en Estrella TIEMPO_MES Año Trimestre Mes Descripción Mes No Dias del Mes CODIGO TIEMPO_MES CODIGO TIEMPO_MES CODIGO PRODUCTO CODIGO CAMPO CODIGO OPERADOR PRODUCTO Producto Clasificación Producto Descripción Producto Descripción Clasificación Producto CODIGO PRODUCTO OPERADOR Operador Descripción Operador Gerencia/Contrato Descripción Gerencia/Contrato CODIGO OPERADOR DIMENSIONES Volumen de Producción FACT TABLE Tabla de Hechos CAMPO Descripción Campo CODIGO CAMPO DIMENSIONES 10

11 ALCANCE INICIAL CRITERIOS DE SELECCION Area de decisión clave para el negocio. Información que represente valor agregado para la toma de decisiones. Fuentes automáticas y reconocidas oficialmente. Metodología Práctica Diseño Global - Modelo del Negocio Diseño Detallado - Primer alcance Construcción y validación de prototipo Construcción y validación de proyecto piloto Automatización del proceso Mejoramiento Continuo! 11

12 Diseño Detallado OBJETIVOS Determinar las fuentes de los datos que son necesarias para satisfacer las necesidades de información estratégica. Definir la factibilidad de generación del diseño global y especificamente de la primera prioridad identificada, según la disponibilidad de las fuentes y establecer los ajustes necesarios en la estructura de los datos para adaptarse a los requerimientos de este tipo de análisis, entrando en el detalle de las dimensiones y especificando las medidas. Los 9 Puntos de Decisión Ralph Kimball La identidad de las tablas de hechos - procesos La granularidad de cada tabla de hechos Las dimensiones que intervienen en c/tabla Las medidas Los atributos que intervienen en las dimensiones Dimensiones que cambian lentamente Agregaciones Historia Periodicidad de las actualizaciones 12

13 Metodología Práctica Diseño Global - Modelo del Negocio Diseño Detallado - Primer alcance Construcción y validación de prototipo Construcción y validación de proyecto piloto Automatización del proceso Mejoramiento Continuo! Ambiente de Bodega de Datos Datos de Producción 1 REFINACION Legacy Data 2 Fuentes Externas Extracción Depuración Transformación Integración Bodega de Datos Data Mart METADATOS Requerimientos del Negocio Usuario Final 13

14 Prototipo OBJETIVOS Realizar una prueba de concepto para validar, los diseños global y detallado y definir ajustes para establecer los diseños definitivos. Piloto OBJETIVOS Construir, en un ambiente real de producción el sistema de soporte para la toma de decisiones de la primera área temática definida en el plan de desarrollo del proceso. Instalación en las áreas de trabajo del primer grupo de usuarios seleccionados. 14

15 Automatización del Proceso OBJETIVOS Robustecer la bodega de datos y facilitar su mantenimiento y administración, mediante la utilización de herramientas automáticas de extracción, transformación, cargue y administración del proceso. Definición clara de roles dentro del proceso. FUENTES Datos en Bases de Datos Estructuradas Legacy Data Otras Fuentes Internas Fuentes Externas Metadatos de las Fuentes 15

16 FUENTE FACT TABLE 4 EMPLEADO Base de Datos XX HISTORICO AUSENCIAS CONTRATO REGISTRO FECHA AUSENCIA MOTIVO AUSENCIA HORAS AUSENCIA Registro CODIGO EMPLEADO TIEMPO_MES Año Mes CODIGO TIEMPO_MES FACT TABLE 4 CODIGO TIEMPO_MES CODIGO EMPLEADO CODIGO CAUSA CODIGO CENTRO DE RESPONSABILIDAD Base de Dastos YY CONTRATOS REGISTRO CENTRO DE RESPONSABILIDAD... CAUSA Causa CODIGO CAUSA CENTRO DE RESP. Horas de Sobretiempo/Ausentismo NOTA: HORAS AUSENCIA alimentan la medida Horas de Sobretiempo/Ausentismo CODIGO C.RESP. EXTRACCION REFINACION Datos de Producción 1 Legacy Data 2 Extracción Estandarización Aplicación de Filtros Depuración Fuentes Externas Actualización - Tiempo METADATOS Verificación de la Calidad Metadatos de la Extracción 16

17 REFINACION REINGENIERIA Datos de Producción 1 REFINACION Integración Agregación Legacy Data 2 Fuentes Externas Extracción Depuración Transformación Integración Precálculo Derivación Traducción Formateo METADATOS Mapeo Metadatos de la Creación EXTRACCION/TRANSFORMACION Funcionalidad Depuración: Remover los datos que no sean necesarios dentro de la bodega y de la base operacional. Reestructurar registros y/o campos. Completar los datos que hagan falta. Revisar la consistencia de los datos (tipo de datos, atributos de medida, etc). Arreglar las anomalías encontradas en el contenido de los datos. Revisar la integridad de los datos. 17

18 EXTRACCION/TRANSFORMACION Funcionalidad Transformación: Descodificar/traducir valores de campos. Calcular datos derivados. Hacer agregación de datos. Creación de nuevos campos. Transporte: Bidireccional. Programación automática de la ejecución. EXTRACCION/TRANSFORMACION Funcionalidad Actualización automática del mapa de captura/transformación de datos hacia la Bodega dentro del repositorio de los metadatos (ej.: formato de la fuente, formato del destino y reglas de transformación aplicadas). 18

19 EXTRACCION/TRANSFORMACION... para tener en cuenta... Cantidades Códigos Texto estructurado Texto libre Calidad de los Datos...algunas Leyes de Calidad de Datos de Ken Orr La calidad de los datos es una función directa de su utilización, no de su recolección. Los problemas en la calidad de los datos crecen con la antiguedad de los sistemas. Mientras menos probable sea que algo ocurra, más grave será en el momento que ocurra. 19

20 Modelamiento Sumarización Agregación BODEGA DE DATOS Validación Construcción de Consultas Glosario del Negocio Metadatos para Navegación Base de Datos para la Bodega Funcionalidad Multidimensional Vs Relacional OLAP Vs. OLTP? 20

21 Base de Datos para la Bodega Funcionalidad Relacional Diseño? Relacional Vs. Multidimensional RELACIONAL MULTIDIMENSIONAL 21

22 REFINACION REINGENIERIA Aplicación de Filtros Integración Agregación Precálculo Derivación Actualización - Tiempo Metadatos de Extracción - Creación Modelamiento Sumarización DATAMARTS Agregación Validación Construcción de Consultas Glosario del Negocio Metadatos para Navegación 22

23 ACCESO Acceso Directo a la Bodega Acceso a través de DataMarts Reingeniería Validación Construcción de Consultas Glosario del Negocio Metadatos para Navegación Herramientas de Usuario Final Consulta y Reportes Soporte de Decisiones (DSS) Análisis Multidimensional Sistemas de Información Ejecutivos (EIS) Visualización Data Mining Simulaciones, Análisis estadístico... 23

24 ANALISIS & REPORTES Herramientas de Reportes Herramientas de Análisis - DSS Herramientas de Modelamiento del Negocio Herramientas de Data Mining Herramientas OLAP Nuevas Aplicaciones Metadatos para Admin. y Reportes Metodología Práctica Diseño Global - Modelo del Negocio Diseño Detallado - Primer alcance Construcción y validación de prototipo Construcción y validación de proyecto piloto Automatización del proceso Mejoramiento Continuo! 24

25 Mejoramiento Continuo La Bodega de Datos es un proceso - no un proyecto Respuesta dinámica a los cambios en el ambiente de negocio Claro soporte a un proceso iterativo Requerimientos Plan Implementación Implementación plan revisado Ajuste al Plan Nuevos Requerimientos Mejoramiento Continuo Adaptarse al cambio Nuevas iniciativas estratégicas Reorganizaciones Corporativas Acciones de los competidores Monitoreo y tunning 25

26 Mejoramiento Continuo Monitorear nuevos avances de la tecnología de DWH Balance beneficio-costo continuo La tecnología avanza muy rápidamente Mejoramiento Continuo Número de usuarios creciente Adopción gradual por nuevas áreas del negocio en la medida en que se desarrolla la cultura de DWH Cambio en los perfiles técnicos de los usuarios 26

27 ADMINISTRACION BODEGA DE DATOS Administración de Metadatos PROCESO DE TRANSFORMACION BODEGA DE DATOS FUENTES INFLOW UPFLOW DOWNFLOW OUTFLOW METADATOS METAFLOW Modelo Técnico USUARIO FINAL METAFLOW Modelo del Negocio 27

28 ROLES PM - Project Manager FEM - Front End Manager DWAR -DWH Architect DSA - Decision Support Analyst BEM - DWH Back End Manager DSP - Decision Support Programmer DWP -DWH Programmer DWA - Data Warehouse Auditor DBA - Data Base Administrator SA - System Administrator DA - Data Administrator SE - Security Manager IMPLICACIONES ECONOMICAS EQUIPOS SOFTWARE RECURSOS HUMANOS 28

29 CONCLUSIONES Objetivo Del Proyecto DWH Su propósito fundamental es soportar el aprendizaje gerencial acerca de la organización, los procesos y su interacción con el entorno. Mantener informada a la organización, de forma que se enriquece el proceso de análisis y toma de decisiones. Convertirse en el Canal Empresarial de consulta. 29

30 DWH: NO es un ejercicio de tecnología... Debe alinearse con las estrategias claves del negocio!!! Apoyo de los líderes del negocio Requerimientos de negocio que se traducen en verdadero valor para los ejecutivos Compromiso de todos para lograr la ventaja competitiva Permanente input del pensamiento de los ejecutivos mejorará cada implementación Compromiso de los ejecutivos para asegurar una arquitectura e infraestructura adecuadas 30

31 Foco de un proyecto de DWH El proyecto DEBE orientarse hacia un objetivo de negocio claramente definido El grupo de usuarios objetivo debe estar claramente identificado Cual es el objetivo? Mejores reportes Soporte a decisiones Reportes más rápidos Data-mining Iteraciones El tradicional método de cascada asegura un rotundo fracaso Alternativa típica: RAD Esquema de desarrollo por fases Beneficios incrementales - Costos incrementales Prototipo Integración de Herramientas Planeación DWH Datamart Arquitectura Administración 31

32 Diferentes Tipos de Usuarios Un único esquema de acceso y/o análisis no satisface a todos los usuarios Diferentes paradigmas requieren diferentes herramientas OLAP Consultas y Reportes EIS Fuentes La Arquitectura es Clave Aplicaciones Datos externos ODS DWH / DataMart DSS-EIS Metadatos CALIDAD!! 32

33 Orientación por Metadatos... No son sólo una inquietud técnica Para el usuario final representan el mapa general de la oferta de datos Información disponible Significado Descripción de los campos de los datos en el ambiente OLAP. Tengamos en cuenta... La búsqueda de la perfección le hace perder eficiencia al proceso Prioridad en la entrega mas que en el 100% correcto Conocimiento de la infraestructura es vital Proceso de ensayo y error (buscando lo mas eficiente) Evitar la parálisis por análisis 33

34 Lo que NO es crítico Herramientas altamente especializadas en DWH (no se necesariamente deben utilizarse desde el inicio...) Tecnología de punta para el proceso Presupuestos requeridos elevados en las primeras etapas Preguntas 34