La Investigación en OLAP y Data Warehousing: Pasado, Presente y Futuro

Transcripción

1 La Investigación en OLAP y Data Warehousing: Pasado, Presente y Futuro Alejandro Vaisman Universidad de Buenos Aires / Universidad de Chile avaisman@dc.uba.ar Jornadas de Data Mining Facultad de Ciencias Exactas y Naturales UBA 29 de Setiembre de /29/2006 1

2 Agenda Conceptos generales Tópicos de investigación Pasado y presente Futuro 9/29/2006 2

3 Agenda Conceptos generales Tópicos de investigación Pasado y presente Futuro 9/29/2006 3

4 Definición Data Warehousing: almacenamiento, transformación y distribución de datos útiles para los responsables de tomar decisiones 9/29/2006 4

5 Definición (cont.) Un Data Warehouse es una colección de datos orientada al negocio, integrada, variante en el tiempo y no volátil para el soporte del proceso de toma de decisiones de la gerencia. W.H. Inmon 9/29/2006 5

6 Características Orientado al Negocio - organiza y presenta los datos desde la perspectiva del usuario. Maneja gran volumen de datos - contiene datos históricos. Almacena información sobre diversos medios -a causa del gran volumen que debe manejar. 9/29/2006 6

7 Características(cont.) Abarca múltiples versiones de un esquema de base de datos - debido a la información histórica que contiene. Sumariza y agrega información - para presentarla de una manera comprensible para los usuarios. Integra y asocia información proveniente de diversas fuentes - datos recolectados durante años por diversas aplicaciones. 9/29/2006 7

8 Motivación Mercados altamente dinámicos y competitivos. Necesidad de tomar decisiones rápidamente. Aumento de la capacidad de almacenamiento. Crecientes volúmenes de información disponible. Baja de costos del Hardware. 9/29/2006 8

9 OLTP - On Line Transaction Processing Procesamiento de los datos operacionales. Gran nivel de detalle. Sistemas diseñados para soportar actualizaciones consistentes (normalización). Ineficiente para toma de decisiones. Consultas orientadas a obtener como respuesta unos pocos registros. 9/29/2006 9

10 OLAP - On Line Analytical Processing Sistemas que permiten recolectar y organizar la información analítica realmente necesaria y disponer inmediatamente de ella en diversos formatos (tablas, gráficos, reportes, etc.). Analizan los datos desde diferentes perspectivas (dimensiones) del negocio. Soportan análisis complejos de grandes volúmenes de datos. En consecuencia: Distintas tecnicas de diseño requeridas (p.ej. desnormalización) Distintos mecanismos de procesamiento de consultas (orientados a consultas de agregación) 9/29/

11 OLTP vs. OLAP OLTP OLAP Usuario Tipico empleado profesional Uso del sistema operacional análisis Interaccion usuarios predeterminada ad-hoc Unidad de trabajo transaccion consulta Caracteristicas lectura/escritura lectura Registros accedidos decenas millones Cant. de usuarios miles cientos Focalizacion ABM de datos extraer información 9/29/

12 Componentes Fuentes de datos. Sistemas operacionales, información externa, etc. Meta Datos. Estructura, definición y origen de los Datos. Data Warehouse. Datos organizados y herramientas para su análisis. Usuarios. Responsables de tomar decisiones. 9/29/

13 Enterprise Warehouse Representa la información de toda la organización Data Mart Tres Clases de Data Warehouse Un subconjunto de la información de la organización, que es de valor para grupos específicos de usuarios. Virtual Warehouse Un conjunto de vistas sobre los datos operacionales Solo unas pocas se materializan 9/29/

14 Arquitectura Típica Otras Fuentes BD Operacionales Metadata Extracción Transformación Carga Actualización Monitor & Integrador Data Warehouse OLAP Server Server Analysis Consultas Reportes Data mining Data Marts Fuentes de datos Almacenamiento de datos Motor OLAP Herramientas Front-End 9/29/

15 El Modelo Multidimensional Vista multidimensional del data warehouse => influencia el diseño de la base de datos, las herramientas front-end, y los motores OLAP. Modelo multidimensional de datos: un conjunto de medidas numéricas son los objetos de análisis. Ej: ventas, beneficios, duración de llamadas, etc. Adicionalmente existen, asociadas a las medidas, las dimensiones de análisis, que proveen el contexto a las medidas, y se describen mediante atributos. El modelo define una medida como un valor en un espacio multidimensional. Estas medidas pueden también representar datos agregados. Las dimensiones se pueden organizar en jerarquías de agregación. 9/29/

16 Jerarquías Dimensionales all all región Europa... América del Norte país Alemania... España Canadá... Méjico ciudad Frankfurt... Vancouver... Toronto oficina L. Chan... M. Wind Esquema Instancia 9/29/

17 TV PC VCR sum Producto Ejemplo de Data Cube Tiempo 1 er trim 2 do Qtr 3 er trim 4 to trim sum Ventas totales de TV en U.S.A. U.S.A Canada Méjico País sum 9/29/

18 Diseño El esquema estrella (Kimball, 1995) describe el modelo multidimensional de datos mediante tablas de hechos y tablas de dimensión. Ejemplo: queremos modelar y analizar las ventas a través de múltiples dimensiones. Tablas de Dimensión: Productos (item_id, marca, tipo), o Tiempo (día, semana, mes, trimestre, año), Geografía (sucursal, ciudad, region) Tablas de Hechos: contienen medidas (como ventas_totales) y las claves de las tablas de dimensión; ej: Ventas (item_id,día,sucursal,ventas_totales). Variante normalizada: el esquema snowflake. No provee soporte directo a las jerarquias dimensionales 9/29/

19 Diseño Físico: ROLAP vs. MOLAP El modelo multidimensional es implementado directamente por los llamados servidores MOLAP (Multidimensional OLAP). Soportan la visión multidimensional de datos mediante un motor de almacenamiento multidimensional, conformado por arrays propietarios. No requieren un mapping entre modelos. Excelente performance; problema: dimensiones esparzas. Si se utilizan BD relacionales como servidores, el modelo y sus operaciones deben ser mapeados a relaciones y consultas SQL => implementación ROLAP (Relational OLAP) Extienden el modelo relacional los servidores relacionales con middleware que soporta consultas multidimensionales. Utilizan diversas técnicas de materialización de vistas. 9/29/

20 Agenda Conceptos generales Tópicos de investigación Pasado y presente Futuro 9/29/

21 Tópicos de investigación (i) Diseño y modelado Distintos modelos multidimensionales Modelos relacionales y multidimensionales (ROLAP/MOLAP) Formas normales / constraints Metodologías Mapeo de modelos (ER - Star Schema) 9/29/

22 Tópicos de investigación (cont.) (ii) Procesamiento de consultas Optimización tradicional Materialización de vistas Materialización total vs. Selección de vistas materializadas Indexación Indices multidimensionales Indices Bitmap Star-Join, etc. Optimización avanzada Range queries Iceberg queries Cube Caching Procesamiento paralelo 9/29/

23 Tópicos de investigación (cont.) (iii) Integración de datos Integración de datos de distintas fuentes Aspectos teóricos LAV GAV - GLAV Mediadores, wrappers Resolución de conflictos 9/29/

24 Tópicos de investigación (cont.) (iv) Mantenimiento del Data Warehouse Mantenimiento de vistas materialzadas Minimización del tiempo de updates Propagación y refresco Mantenimiento incremental Mantenimiento on-line (distintas versiones simultáneas) Updates Dimensiones Fact tables 9/29/

25 Tópicos de investigación (cont.) (v) Misceláneas Privacidad y seguridad de la información en OLAP Premisa: permitir el análisis, manteniendo la privacidad de la información Visualización en OLAP Calidad de datos OLAP en sistemas de información geográfica (GIS) Agregación de regiones Agregación de medidas combinadas con consultas sobre geometrías Top-k queries OLAP y dispositivos moviles Modelado Procesamiento de consultas 9/29/

26 Tópicos de investigación (cont.) (vi) Modelos avanzados Temporal OLAP Mantenimiento de la historia del DW Evolución de esquemas vs. versionado de esquemas OLAP en arquitecturas P2P OLAP & XML Análisis OLAP para datos XML Web Warehousing Considerar la Web como un gran repositorio de información. Aplicar técnicas OLAP al sitio Web de la organización. Publicar el DW en la Web. 9/29/

28 Pasado y Presente Principios de los 90 Inmon define data warehousing Interés desde el mundo empresario Interés desde los proveedores de software Tema casi ignorado en el mundo académico Aparecen los primeros problemas comunes a los DBMS s tradicionales: Integración de fuentes heterogéneas Vistas materializadas Resolver eficientemente consultas que incluyen agregación de datos 9/29/

29 Pasado y Presente (cont.) 1995, año clave Comienzo del proyecto de DW de Stanford Desarrollo de algoritmos y herramientas eficientes para integración de información desde fuentes heterogéneas Creciente interes desde el mundo académico Aparecen workshops y conferencias dedicadas al tema Papers en las conferencias más importantes (SIGMOD, VLDB, ICDE, EDBT) Comienzan a surgir herramientas comerciales especializadas 9/29/

30 Pasado y Presente (cont.) 1995, año clave Paper de J. Widom en CIKM 95: Research Problems in Data Warehousing Identifica una serie de problemas: Detección de cambios (refresco incremental de datos) Mantenimiento de vistas materializadas (summary tables) El proceso de ETL (Extraction, Transformation and Loading) Optimización Diseño Evolución 9/29/

31 Pasado y Presente (cont.) Entre 1995 y Modelado Agrawal, Gupta, Sarawagi, Modeling Multidimensional Databases. IBM Research Center, Almaden, Cabibbo & Torlone, Querying Multidimensional Databases, DBPL 1997; A Logical Approach to Multidimensional Databases, EDBT 1998 (mapping ER- Star Schema). M. Gyssens & L.V.S. Lakshmanan, A foundation for multi-dimensional databases, VLDB (basado en el MR) Gray et al. Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals, Journal of Data Mining & Knowledge Discovery, /29/

32 Pasado y Presente (cont.) Entre 1995 y Query processing & Indexing V. Harinarayan, A. Rajaraman, J.D. Ullman, Implementing Data Cubes Efficiently, SIGMOD S. Agarwal, R. Agrawal, P.M. Deshpande, A. Gupta, J.F. Naughton, R. Ramakrishnan, S. Sarawagi, On the Computation of Multidimensional Aggregates, VLDB H. Gupta, Selection of Views to Materialize in a Data Warehouse, ICDT Y. Zhao, P.M. Deshpande, J.F. Naughton, An Array-Based Algorithm for Simultaneous Multidimensional Aggregates, SIGMOD H. Gupta, V. Harinarayan, A. Rajaraman, J. Ullman, Index Selection for OLAP, ICDE S. Sarawagi, Indexing OLAP Data, IEEE Data Engineering Bulletin, Wu & Buchmann, Encoded Bitmap Indexing for Data Warehouses, ICDE /29/

33 Pasado y Presente (cont.) Entre 1995 y Mantenimiento Y. Zhuge, H. Garcia-Molina, J. Hammer, J. Widom, View Maintenance in a Warehousing Environment, SIGMOD I.S. Mumick, Quass, B.S. Mumick, Maintenance of data cubes and summary tables in a warehouse, SIGMOD D. Quass and J. Widom, On-Line Warehouse View Maintenance for Batch Updates, SIGMOD Labio, Yerneni, Garcia-Molina, Shrinking the Warehouse Update Window, SIGMOD Hurtado, Mendelzon, Vaisman, Maintaining Data Cubes under Dimension Updates, ICDE /29/

34 Pasado y Presente (cont.) Hacia fines del siglo XX... Continúa el interés de la comunidad científica Se consolida el número de herramientas comerciales Se desarrollan (sobre todo a nivel internacional) una gran cantidad de implementaciones. 9/29/

35 Pasado y Presente (cont.) Hacia fines del siglo XX... Paper de Vassiliadis en DMDW 2000: Gulliver in the land of Data Warehousing: Practical Experiences and Observations of a Researcher Detecta un gap significativo entre investigación e industria Investigadores no conocen los problemas reales Empresas no interesadas en los resultados de las investigaciones 20 papers por año en VLDB, PODS, SIGMOD Temas: optimización, selección de vistas materializadas, integración de datos Problemas: Falta de metodologías de diseño y desarrollo Falta de standards para metadatos Falta de soluciones para ETL Dificultad para estimar el tamaño de las vistas 9/29/

36 Pasado y Presente (cont.) Donde estamos hoy? Menos investigación en DW & OLAP, NO indica que todo esté resuelto Entre 2000 y 2006, actividad centrada en workshops y conferencias especializadas (DOLAP, DMDW, DaWaK) Mendelzon & Vaisman, Temporal Queries in OLAP, VLDB Andreas Bauer, Wolfgang Hümmer, Wolfgang Lehner, and Lutz Schlesinger, A Decathlon in Multidimensional Modelling: Open Issues and Some Solutions, DaWaK Veronika Peralta & Raul Ruggia, Using Design Guidelines to Improve Data Warehouse Logical Design, DMDW Dong Xin, Jiawei Han, Xiaolei Li, and Benjamin W. Wah, Star-Cubing: Computing Iceberg Cubes by Top-Down and Bottom-Up Integration, VLDB, S.Chen, B. Liu, E.Rundensteiner, Multiversion Based View Maintenance Over Distributed Data Sources, ACM TODS B. Shah, K. Ramachandran, V. Raghavan, H. Gupta, A Hybrid Approach for Data Warehouse View Selection, International Journal of Data Warehousing and Mining, /29/

37 Pasado y Presente (cont.) Que estamos haciendo en la FCEyN? Temporal OLAP: TOLAP / TOLAP en la Web Vaisman, Ktenas, Izquierdo, A Web-based Architecture for Temporal OLAP, IJWET special issue on Data Warehousing in Web, Mobile, And Wireless Environments, Vaisman, Ktenas, Izquierdo, Web-enabled Temporal OLAP, LA-Web P2P OLAP Requerimientos, calidad de datos Data Quality-Based Requirements Elicitation for Decision Support Systems, en: Data Warehouses and OLAP: Concepts, Architectures and Solutions, Cap. 7., Alejandro A. Vaisman: Requirements Elicitation for Decision Support Systems: A Data Quality Approach, ICEIS Proyecto en calidad de datos en DW con la Universidad de la Republica, Uruguay. OLAP & GIS Proyecto PICT Cooperación bilateral SECyT-FWO, con la Universidad de Hasselt, Bélgica 9/29/

38 Pasado y Presente (cont.) Donde estamos hoy? Arquitecturas Modelado, requerimientos, calidad OLAP Lenguajes de consulta / procesamiento Optimización y tunning Indexing, DW físico 9/29/

40 Futuro Temas abiertos Diseñadores Metodologías standard y utilizables para: Requerimientos Modelización Integración de fuentes de datos Esquemas de documentación integrados 9/29/

41 Futuro (cont.) Temas abiertos Usuarios Documentación, descripciones de alto nivel para comprender mejor la información como un activo Metadatos Standard de interoperabilidad en arquitecturas federativas Calidad de datos Falta de un enfoque común para evaluar la calidad de los datos Evolución 9/29/

42 Futuro (cont.) Temas abiertos Herramientas Integración de fuentes. Diseño Herramientas CASE especializadas Herramientas de documentación Requerimientos Modelización Integración de fuentes de datos Evolución Herramientas que soporten naturalmente versionado y evolución 9/29/

43 Futuro (cont.) Preguntas? 9/29/