v.1.0 Clase 2 Docente: Gustavo Valencia Zapata

Transcripción

1 v.1.0 Clase 2 Docente: Gustavo Valencia Zapata

2 Temas Clase 2: Diseño del Modelo de Datos para BI Conceptos Básicos de (DWH) Salidas de un DWH Retos de TI en BI Construcción de un DWH Referencias

3 Retos de TI en BI El departamento de Tecnologías de la Información (TI) puede ser para la empresa lo que las empresas de alta tecnología han sido para la economía: un catalizador de cambio y un motor para un rápido crecimiento. Naturalmente, lo contrario también es cierto: los fallos de TI pueden perjudicar seriamente a la compañía [9] La tecnología y la información han adquirido tanta importancia en el modo cómo las empresas operan que incluso los cambios pequeños pueden afectar enormemente a muchas áreas del negocio. Esta realidad queda reflejada en la cantidad de activos informáticos acumulados con los años debido a los grandes presupuestos de TI. Algunas preguntas sobre estos activos de información podrían ser: Son los activos de información un lastre costoso que en muchos ocasiones están atados a regulaciones o son oportunidades de negocio esperando ser explotadas? Docente: Gustavo Valencia Zapata

4 Retos de TI en BI Qué impacto en los resultados de la compañía tendría un incremento generalizado del 10% de retorno sobre los activos (return of assets, ROA) de TI? Uno de los paradigmas a vencer es ves a TI como una simple función de soporte o un mero coste de subcontratación. Raramente se considera un facilitador o una vía creativa para la empresa. Las presiones diarias de TI a menudo derivan de tareas ingratas y en ocasiones poco vinculadas a resultados, como garantizar los niveles de servicio básicos de disponibilidad, calidad de los datos, seguridad y cumplimento. Más allá de estas operaciones básicas (equiparables a a te er la luz encendida ), TI también debe responder a las interminables y siempre cambiantes necesidades de los clientes del negocio. El reto de gestionar sus expectativas se intensifica por la presión de reducir costes, hacer más con menos e incluso subcontratar importantes capacidades [9].

5 Retos de TI en BI Las empresas a menudo identifican la pobre alineación de TI con otras funciones como el principal reto. Sin embargo, TI puede ser la vía que ayude a la empresa a descubrir una nueva forma de generar valor y maximizar el ROI y el ROA. Infortunadamente, la oportunidad de TI de demostrarlo, se ve bloqueada habitualmente por tres barreras [9]: Alineación con el negocio Medir la valía de TI Ausencia de información Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Docente: Gustavo Valencia Zapata

6 Retos de TI en BI TI debe estar perfectamente alineada con el negocio. Algunas propuesta para lograrlo incluyen: Alineación con el negocio Garantizar el respaldo de la alta dirección Implementar procedimientos y justificaciones vinculadas al ROI para la aprobación de proyectos Establecer comisiones directivas junto a roles y responsabilidades basadas en asociaciones de negocio.

7 Retos de TI en BI Medir la valía de TI Evaluar el retorno de la inversión de los proyectos e iniciativas y medir el costo/beneficio de las diversas capacidades de TI es una práctica estándar en la mayoría de departamentos de TI. El reto radica en desarrollar un sistema de medida del valor que: Sea creíble para Finanzas y usuarios similares Permita visualizar los factores de causa y efecto Vaya más allá de medidas puntuales y refleje toda la compañía Sea coherente entre proyectos, departamentos y unidades de negocio Docente: Gustavo Valencia Zapata

8 Retos de TI en BI Una Directriz ampliamente aplicada para definir métricas útiles es dividirlas en tres categorías distintas y explorar los mejores KIP s (key performance Indicators): Eficiencia TI: ahorro directo del costo total de propiedad (TCO) al utilizar recursos de TI. Eficiencia del negocio ahorro de productividad en términos de tiempo de los usuarios de negocio para realizar tanto el trabajo transaccional como la toma de decisiones. Eficacia del negocio Rendimiento del negocio mejorado gracias a una mayor rapidez en la toma de decisiones y con mejor información.

9 Retos de TI en BI Eficacia del negocio Eficiencia del negocio Eficiencia TI TI alineada al negocio Conocimiento Información Datos Estrategia de negocio Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Docente: Gustavo Valencia Zapata

10 Retos de TI en BI Ausencia de información A menudo, TI carece de información propia para la toma de decisiones. Además de la necesidad de métricas comentada anteriormente, TI necesita un contexto adecuado para tomar una amplia gama de decisiones, además de filtrar el volumen de datos que genera. Hay dos tipos de fuentes de información informática que a menudo no están totalmente integradas o provechadas. La primera proviene de las aplicaciones utilizadas por los procesos informáticos. El uso de información de herramientas de gestión de sistemas es ahora algo bastante habitual, especialmente para la gestión de los aspectos de seguridad y cumplimiento.

11 Retos de TI en BI La segunda fuente proviene de disponer de una información más coherente sobre el propio proceso de gestión de TI. S edestacan prácticas como: Marcos de trabajo como los Objetivos de Control de Información y Tecnologías Relacionadas (COBIT) por parte del TI Governance Institute y el marco de trabajo Information Technology Infrastructure Library (ITIL) Metodologías como el ciclo de vida de desarrollo del software (SDLC) Organizaciones como el Project Management Institute (PMI) Docente: Gustavo Valencia Zapata

12 Conceptos Básicos de (DWH) Que es un Data Warehouse? (Bodega o almacén de datos). Colección de datos orientados a un determinado negocio. Coloca información de todas las áreas funcionales de la organización en manos de quien toma las decisiones. También proporciona herramientas para búsqueda y análisis Es un repositorio para almacenar y analizar datos con naturaleza de variables cuantitativas y cualitativas Es considerado una de las partes centrales de un sistema de BI Almacena datos de calidad con propiedades de estabilidad, verificabilidad y automatización Permite separar los sistemas transaccionales de los informacionales en dos entornos de manera que el análisis de los datos existentes no interfiera con el procesamiento y registro de nuevos datos

13 Conceptos Básicos de (DWH) Data Warehouse como integrador de datos Compras Filiales Cartera Gestión human Ventas Producción Inventarios CRM Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Docente: Gustavo Valencia Zapata

14 Conceptos Básicos de (DWH) Los datos almacenados están orientados a un objetivo especifico, integrando la variable del tiempo para la toma de decisiones. Es un sistema integrados, pues agrupa a todos los sistemas operacionales en un sistema de información con formatos y códigos consistentes. El DW es variante en el tiempo porque los datos se organizan y almacenan en jerarquías en el tiempo, lo que permite análisis retrospectivos, comparativos de estados actuales y de períodos anteriores. Tarea 005 Next Generation DWH (Recuperación) Leer el docu e to Nest Generation DWH, posterior e te realizar las actividades propuestas. Nota: Esta tarea es individual y de recuperación para estudiantes que no presentaron alguna de las actividades en clase.

15 Conceptos Básicos de (DWH) Data Warehouse Es el maestro o centralizador de la información. Soporta múltiples áreas del negocio Maneja un alto detalle de la información Es un integrados de las fuentes de información No es necesario el uso de un modelo dimensional pero puede alimentar a modelos dimensionales. Data Mart Es una aplicación del DWH Está construida para soportar una línea de negocio. Ideal para sumarizar grandes cantidades de datos. Se concentra en integrar datos de una área especifica. Es construida en un modelo dimensional usando esquema estrella. Coordina la gestión de información de los Data Marks Docente: Gustavo Valencia Zapata

16 Conceptos Básicos de (DWH) Un primer acercamiento a una arquitectura descentralizada de Data Mart (DM): Almacenes DM CRM Inventarios DM Riesgos Producción Exportación DM Financiero Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios,

17 Conceptos Básicos de (DWH) Data Warehouse corporativo o centralizado: Almacenes DWH Corporativo DM CRM Inventarios DM Riesgos Producción Exportación DM Financiero Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Docente: Gustavo Valencia Zapata

18 Conceptos Básicos de (DWH) Según IDC (International Data Corporation) [10] tras analizar 541 empresas, la distribución de las implantaciones de Data Warehouse y Data Marts en la actualidad, y sus opiniones respecto a esta distribución en el futuro, muestra los siguientes datos: Fuente: DataPRIX Knowledge is The Goal, Solo en 20% de las empresas consultados no cuentan con un repositorio de datos para garantizar el análisis de información.

19 Conceptos Básicos de (DWH) La implementación de DWH es casi el doble de la de DM Se identifica como a futuro los DM aumentan su participación Examen Final Modelo para ventas de detergente Realizar las actividades asociadas al examen final detalñladas en el documento. Notas: El examen final es completamente individual. Se recomiendo utilizar Knime como herramienta de modelado en minería de datos (por ser la herramienta que se trabajó en clase). Sin embargo, puede utilizar cualquier otra herramienta de análisis de información excluyendo Excel. Docente: Gustavo Valencia Zapata

20 Construcción de un DWH Hardware App. Almacenamiento (SGDB) App. De extracción y manipulación de datos Herramienta Middleware DWH Corporativo Hardware Garantizar que tenga altas características técnicas acorde a los complejos requerimientos de información de los usuarios. Capacidad de potencializar (crecer) Procesamiento paralelo: SMP (Symmetric Multiprocessing) MPP (Massively Parallel Processing) Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Módulo: Visualización de Información

21 Construcción de un DWH Hardware App. Almacenamiento (SGDB) App. De extracción y manipulación de datos Herramienta Middleware DWH Corporativo SGDB Un Sistema de Gestión de Base de Datos consiste en una colección de datos interrelacionados y un conjunto de programas para acceder a los mismos. El programa de almacenamiento (servidor) es independiente al programa de consulta (Cliente) de los usuarios El objetivo son las consultas complejas en lugar de la visualización Contempla un esquema de concurrencia de múltiples usuarios Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Docente: Gustavo Valencia Zapata

22 Construcción de un DWH Hardware App. Almacenamiento (SGDB) App. De extracción y manipulación de datos DWH Corporativo Extracción y manipulación Funcionalidades básicas: Control de la extracción de los datos y su automatización Acceso a diferentes tecnologías. Uso de la arquitectura de metadatos Intefaz independiente del hardware Herramienta Middleware Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Módulo: Visualización de Información

23 Construcción de un DWH Hardware App. Almacenamiento (SGDB) DWH Corporativo Herramientas Middleware Parveen conectividad entre entornos diferentes, para ayudar a la gestión del Data Warehouse. Analizadores y aceleradores de consulta: Optimizan tiempos de respuesta desde los Sistemas operacionales al DW. App. De extracción y manipulación de datos Herramienta Middleware Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Deben estar abiertas a todos los entonos de: Almacenamiento de datos (OLE, ODBC, etc.) Bases de datos (DB2, SQL, Oracle, my SQL, etc.) Estándares de capa de transporte: (SNA LU6.2, DECnetr, etc. Docente: Gustavo Valencia Zapata

24 Construcción de un DWH Elementos a tener presente en la construcción de un DWH [11]: Detectar y corregir errores (duplicados, eliminar valores sin sentido, procesos básicos de imputación) Manejo de valores codificados para las variables. Es importante tener un adecuado diccionario de datos disponible para los usuarios. Reestructurar y añadir nuevos campos (enriquecer el sistema) de acuerdo las necesidades del usuario. Emplear el concepto de Metadatos (datos que describen otros datos) No debe soportar procesos transaccionales del negocio.

25 Salidas de un DWH Querys - Reporting Generación de consultas y reportes. pueden ser informes predefinidos o dinámicos. Fundamentales para procesos de monitoreo. Es posible ubicar las herramientas y metodologias EIS (Decision Support System) y CPM (Corporate Performance Managemnet) dependiendo de este componente de explotación del DW. DWH Corporativo Querys - Reporting Análisis multidimensional Dara Mining Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Módulo: Visualización de Información Docente: Gustavo Valencia Zapata

26 Salidas de un DWH Análisis Multidimensional Facilitan el análisis de datos por medio de dimensiones y jerarquias, utilizando consultas rápidas y predefinidas. OLAP: Su objetivo es agilizar la consulta de grandes cantidades de datos. OLAP Utiliza estructuras multidimensionales que contienen datos de grandes Bases de datos DWH Corporativo Querys - Reporting Análisis multidimensional Dara Mining Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios,

27 Salidas de un DWH Data Mining Es la aplicación de modelos matemáticos sobre la información almacenada en el DWH. El resultado de los modelos soporte la toma de decisión en el proceso de BI. Es fundamental garantizar la optimización de los modelos y su ejecución automática según la necesidad del negocio. DWH Corporativo Querys - Reporting Análisis multidimensional Data mining requiere de una arquitectura propia que interconecta a los usuarios con el DWH por medio de un servidor negociador. Dara Mining Fuente: Gustavo Valencia Z. Notas de clase: Inteligencia de Negocios, Módulo: Visualización de Información Docente: Gustavo Valencia Zapata

28 Salidas de un DWH La razón de usar OLAP para las consultas es la velocidad de respuesta. Una base de datos relacional almacena entidades en tablas discretas si han sido normalizadas. Esta estructura es buena en un sistema OLTP pero para las complejas consultas multitabla es relativamente lenta. Un modelo mejor para búsquedas, aunque peor desde el punto de vista operativo, es una base de datos multidimensional. La principal característica que potencia a OLAP, es que es lo más rápido a la hora de hacer selects, en contraposición con OLTP que es la mejor opción para INSERTS, UPDATES Y DELETES Algunas de las implementaciones más conocidas de OLAP son [12]: ROLAP es una implementación OLAP que almacena los datos en un motor relacional. Típicamente, los datos son detallados, evitando las agregaciones y las tablas se encuentran normalizadas. Los esquemas más comunes sobre los que se trabaja son estrella o copo de nieve, aunque es posible trabajar sobre cualquier base de datos relacional. MOLAP es una implementación OLAP que almacena los datos en una base de datos multidimensional. Para optimizar los tiempos de respuesta, el resumen de la información es usualmente calculado por adelantado.

29 Salidas de un DWH HOLAP (Hybrid OLAP) almacena algunos datos en un motor relacional y otros en una base de datos multidimensional DOLAP es un OLAP orientado a equipos de escritorio (Desktop OLAP). Trae toda la información que necesita analizar desde la base de datos relacional y la guarda en el escritorio. Desde ese momento, todas las consultas y análisis son hechas contra los datos guardados en el escritorio Módulo: Visualización de Información Docente: Gustavo Valencia Zapata

30 Salidas de un DWH OLAP Almacena datos históricos Datos detallados y nuevos generado por las transformaciones (sumarización) Los datos son usualmente estáticos* Bajo número de transacciones Su objetivo es el análisis de datos Soporta decisiones estratégicas Sirve a especialista en el análisis de información y toma de decisiones. OLTP Almacena datos en línea Datos detallados de las transacciones Los datos son dinámicos (se actualizan continuamente) Alto número de transacciones Su propósito es el procesamiento de transacciones. Operación del negocio. Soporta decisiones diarias Tiene un alto volumen de usuarios finales

31 Salidas de un DWH Algunos ejemplos de OLAP: Fuente: Tabulus, Un típico ejemplo de OLAP es un el cubo de la parte superior que representa tres dimensiones da datos que están contenidos dentro de un archivo. Desde el cubo es posible extraer la información de ventas como el margen de beneficio de Norte América para el mes de marzo [13]. Módulo: Visualización de Información Docente: Gustavo Valencia Zapata

32 Salidas de un DWH A partir de las definiciones de las implementaciones más utilizadas de OLAP [12] es posible mencionar rápidamente algunas de las acciones básicas sobre la información: Segmentar: Pueden manipular y combinar conjuntos de datos definidos por el usuario para obtener un conjunto de datos depurado para su posterior análisis Filtrar: Los usuarios pueden crear informes personalizados seleccionando objetos de datos para mostrar y definir calificaciones como criterios o parametrización de filtro del informe. Profundizar: Proporciona el conjunto más amplio y exhaustivo de funciones analíticas disponible en cualquier plataforma. Incluyen desde simples funciones matemáticas, como totales actualizados, a cálculos estadísticos avanzados como pruebas no paramétricas. Sintetizar: La plataforma ofrece análisis SQL iterativo multi-paso, una técnica que combina las funciones analíticas integradas con proceso de base de datos.

33 Salidas de un DWH Rotar: Cambiar dimensiones unas con otras, es decir, cambiar la jerarquía que se está visualizando actualmente. Por ejemplo, cuando en lugar de pasar de un desglose por año a uno trimestral. Por ejemplo: 1. Se segmenta por producto y por trimestre 2. Filtrar un informe por ventas de un año en particular. 3. Se profundiza los datos de trimestre I para un desglose de los meses enero, febrero y marzo. 4. Al regresar al desglose del punto 2 se sintetiza. 5. Cuando en lugar de pasar de un desglose trimestral a uno mensual, se desea pasar aun desglose de tipo de tarjeta o clase se está rotando. Fuente: Analísis Multidimensional OLAP, Módulo: Visualización de Información Docente: Gustavo Valencia Zapata

34 Referencias [9] Mosimann, R, Mosimann, P, & Dussault, M. Performance Manager. Cognos Incorporated, [10] International Data Corporation. Data Warehouse and Data Marts [11] C, Imhoff, N, Galemmo & J, Geiger. Mastering Data Warehouse Desing. Wiley, [12] E, Malinowski & E, Zimány. Advanced Data Warehouse Design. Springer, [13] Tabulus. TABULUS vs other OLAP Solution, [14] Analisis Multidimensional OLAP.,