DATA WAREHOUSE DATA WAREHOUSE

Transcripción

1 DATA WAREHOUSE DATA WAREHOUSE Autor: Roberto Abajo Alonso Asignatura: Sistemas Inteligentes, 5º Curso Profesor: José Carlos González Dep. Ing. Sistemas Telemáticos, E.T.S.I. Telecomunicación Universidad Politécnica de Madrid 1. Objetivos 2. Introducción 3. Bases de datos OLAP 4. Construcción y Arquitectura DW 5. DataMarts 6. Sinue (DW Real) 7. Conclusiones 8. Referencias Pág. 1 Pág. 2 Objetivos DATA WAREHOUSE Explicar el desarrollo y utilización de un sistema Data Warehouse. Saber diferenciar entre DW y DataMarts Analizar la implementación de un DW real Colección de datos : Orientada a sujetos Integrada Variante en el tiempo No volátil Soporta el proceso de toma de decisiones Es un concepto que debe ser construido Pág. 3 Pág. 4 Requerimientos DW Bases de datos Relacionales Sistema de aplicación empresarial con su propia base de datos Se relaciona con temas empresariales (clientes, productos ) DataMart: Almacén de datos de menor tamaño restringido a un área o departamento. Es una base de datos de históricos Es una tienda de datos operacionales Access, SQL Server, Oracle, Sybase, db2 No son válidos los principios del modelo relacional Especial atención a la consistencia e integración de las estructuras de datos (normalización). Tiempo de respuesta elevado si se accede a múltiples tablas Pág. 5 Pág. 6 1

2 Bases de datos Multidimensionales OLAP Los datos se almacenan en cubos diseñados para agilizar consultas y el análisis multidimensional Proceso de cálculo de subtotales durante la carga de datos con varios niveles de agrupamiento Problemas de escalabilidad, para agregar nuevos datos recalcular todos los subtotales. Ocupan mucho espacio, crece exponencialmente con el número de dimensiones. On-line Analytical Processing Bases de datos multidimensionales Pág. 7 Pág. 8 OLAP Explotación del DW Los servidores OLAP son una tecnología superior para las aplicaciones "Business Intelligence". Las aplicaciones OLAP permiten realizar consultas a un nivel agregado de la información. Como totales de ventas por línea de producto, región y vendedor. Las bases de datos OLAP son optimizadas para el análisis. Consultas rápidas y consistentes a cualquier nivel de sumarización de la información. Las bases de datos OLAP son alimentadas de distintas fuentes de información Las herramientas de explotación del DW facilitan el análisis de datos acumulados para generar gráficos e informes útiles para la toma de decisiones. Tres grupos de herramientas: Query & Reporting: Herramientas para hacer consultas e informes Análisis Multidimensional (OLAP): Análisis de datos a través de dimensiones y jerarquías (agrupamiento de las dimensiones). Consultas predefinidas y subtotales calculados Herramientas de Datamining: Para detectar y modelizar relaciones entre los datos (patrones de consumo, predecir comportamiento, asociaciones de productos, etc.) Pág. 9 Pág. 10 Diferencia entre Data Warehouse y bases de datos operacionales (OLTP) Arquitectura DW Está orientado a una materia Administra grandes cantidades de información Guarda información en diversos medios de almacenamiento Comprende mú1tiples versiones de un esquema de base de datos Condensa y agrega información Integra y asocia información de muchas fuentes de información Tres niveles: Bases de datos fuentes Bases de datos con datos resumidos (datawarehouse) Interfaces orientadas a usuarios que extraen información para la toma de decisiones. Pág. 11 Pág. 12 2

3 Arquitectura DW Pasos construcción DW 1. Extracción: Captura de datos de las fuentes seleccionadas ( distintos formatos de Base de Datos, Excel, tablas de texto, etc.) 2. Detectar y corregir errores: Eliminar duplicados Anular valores sin sentido 3. Analizar la consistencia en el uso de valores Codificación de campos. P.e. Seco (H/M, H/D, 1/0, ) Unificación de unidades de medida (euros, miles de euros, etc.) Formato de las fechas 4. Tratamiento de la ausencia de valores 5. Asignación de valores por defecto Pág. 13 Pág. 14 Pasos construcción DW Costes DW 5. Eliminar campos no significativos Los que no aportan nada al análisis, por ejemplo los de estado de transacción 6. Reestructurar y añadir nuevos campos Enriquecer datos, recabando más información sobre las entidades objeto de análisis. 7. Codificar datos para facilitar tratamiento estadístico Codificar direcciones a zonas geográficas Agrupar valores, p.e. Grupos de edad 8. Cálculo de campos derivados Cálculo de subtotales y datos consolidados que producen un nuevo nivel de detalle: venta por región, por producto, Recursos humanos: Personal de negocio y tecnológico Tiempo: Construcción y puesta en marcha Tecnología: Inversión y conocimiento Evolutivos: Ajustes a lo largo del tiempo Crecimiento: Datos y usuarios Cambios: Nuevas necesidades Comparación Valor Pág. 15 Pág. 16 Impactos DW Data Marts (Ventajas) Humanos: Nuevas oportunidades Aprender a utilizarlo Expectativas aumentarán Empresariales: Mejoras procesos de decisiones Procesos empresariales optimizados Mayor cooperación entre sectores de la empresa Técnicos: De forma exponencial Subconjuntos de DW Satisfacer necesidades específicas de grupos de usuarios (divisiones geográficas ) De tamaño comparable o incluso superior a DW Una organización puede tener varios Data Marts Son más fáciles de manejar Pág. 17 Pág. 18 3

4 Data Marts (Incovenientes) Beneficios Obtenidos Se pierde capacidad de procesamiento debido al crecimiento de los datos Los usuarios necesitan acceder a varios Data Marts Complejidad administración de los Data Marts. Dificultad para construir debido al corto plazo de desarrollo Sistemas datawarehousing/datamining permiten disponer de la información necesaria en poco tiempo Los directivos pueden dedicar más tiempo al análisis Aplicado al marketing se profundiza en el comportamiento del cliente Detectar tendencias y hacer previsiones gracias a la acumulación de datos y experiencia Pág. 19 Pág. 20 Beneficios Obtenidos Facilitan, pues, la toma de decisiones estratégicas: Configurar canales de distribución a partir de análisis de ventas Política de precios: análisis y simulación de tarifas, descuentos, comisiones, etc. Planes de promoción: simulación de campañas comerciales, control de resultados, análisis de respuesta de clientes Lanzamiento de nuevos productos Análisis y prevención del fraude Sistema de estadísticas y análisis de información para la TGSS Necesidad para extraer, integrar y modelar datos de negocio para uso por responsables Anteriormente consultas en SQL sin históricos (gran cantidad de información) En primera instancia Data Marts para Recaudación Ejecutiva Pág. 21 Pág. 22 Arquitectura: PRI-MEPOWER 1000 de FUJITSU SIEMENS Sistema Operativo Solaris 7 Base de datos Oracle 8i Dos entornos: Desarrollo: 4 procesadores Sparc64 GP de 450 MHz, 8GB de memoria con 12GB de swap y páginas de 8 KB, 10 GB en disco para instalación de sw y 100 GB para datos Producción Fases: Toma de requerimientos: Necesidades de información del usuario y perfiles. Propósito y objetivos del DW Identificación y definición de las fuentes de información: Fuentes externas: Procedentes Instituto Nacional Estadísticas Fuentes internas: Datos operacionales procedentes de Adabas, ficheros planos, tablas Oracle Pág. 23 Pág. 24 4

5 Diseño del modelo de datos multidimensional: Tablas con valores a consultar (número de títulos ejecutivos cobrados) Fase de Extracción, Depuración, Transformación y Carga: Desde las fuentes al DW: Uso de ODS (Operational Data Store) Herramienta ETL: Oracle Warehouse Builder, Oracle Workflow Builder y Oracle Workflow Monitor Flujo de ejecución de las cargas Pág. 25 Pág. 26 Conclusiones Fase de Explotación de los datos del Data Warehouse y/o de los Data Mart: Oracle Discoverer (integración con aplicaciones de escritorio) Oracle Portal: Intranet La implementación de un DW es de vital importancia en la estrategia empresarial. Me ha sorprendido la gran cantidad de tecnologías y productos que hay que conocer para poder desarrollar un DW. Me hubiese gustado haber podido profundizar más en los productos que Oracle proporciona para la creación de un DW. Para un profesional de las TI lo más interesante podría ser el estudio de la aplicación real SINUE por medio de la cuál se puede aprender como crear un DW Pág. 27 Pág. 28 Referencias (Oracle Data warehousing) ce/dw_home.html Documento SINUE Pág. 29 5