Unidad III Modelamiento Multidimencional. Tecnología DATAWAREHOUSE

Transcripción

1 Unidad III Modelamiento Multidimencional Tecnología DATAWAREHOUSE Datawarehouse Colección de datos integrados, variantes en el tiempo, no volátiles, orientados a temas de interés para la gestión de una organización o empresa, que ayuda en los procesos de toma de decisiones. Es una combinación de conceptos y tecnologías destinadas a satisfacer los requerimientos de una organización o empresa, en términos de mejorar la gestión, con eficiencia y facilidad de acceso.

2 Principales Ventajas : Datawarehouse - Provee acceso a los datos organizacionales y corporativos. - Integra y asocia información de diversas fuentes de datos. - Brinda consistencia de datos y conceptos. - La información es de calidad, consistente y garantizada. - Soporta grandes volúmenes de información. - Puede resumir y totalizar la información. Data Warehouse Principales Características Datos Orientados a Temas : En un DW los datos se organizan y estructuran de acuerdo a las áreas temáticas que son de interés para los directivos de la empresa y no en función de procesos operacionales específicos. En un DW la información no necesariamente está normalizada, por lo general existe redundancia y duplicidad de datos, con el objeto de que el acceso a la información sea rápido y expedito.

3 Data Warehouse Principales Características Datos Integrados : Mediante el proceso de Extracción, Trasformación y Transporte, los datos son almacenados una sola vez, de acuerdo al área temática a la que pertenecen. De esta forma la información es consistente, confiable, estandarizada y consolidada, para todos los procesos y análisis de la organización o empresa. Data Warehouse Principales Características Datos Variantes en el Tiempo : Un DW se organiza como una sucesión de fotografías de la organización o empresa, cada una asociada a un periodo o punto específico del tiempo, lo que permite realizar análisis en función del tiempo, con la finalidad de realizar pronósticos y análisis de tendencias.

4 Data Warehouse Principales Características No Volátil : En un DW no se realizan actualización o eliminaciones de los datos, los datos se insertan como nuevos registros y por tanto no sobrescriben los existentes. Principales Procesos Tecnología DATAWAREHOUSE

5 Data Warehouse Principales Procesos Transformación Bases de Datos Operacionales Sistemas Operacionales Datawarehouse Carga Control de Calidad Agrupamiento Agregación Sistemas Decisionales Directivos y analistas Data Warehouse Principales Procesos Extracción de Información : Extracción de datos desde los sistemas operacionales (alimentar procesos de transformación de datos). Carga de Datos : Carga de datos en el DW. Control de Calidad : Garantizar que los datos son limpios y consistentes. Unificación, Transformación y limpieza de datos : Unificación, validación y limpieza de tatos que pueden estar en mas de un sistema. Auditoria y Seguridad : Cuidar que los usuarios accedan a la información que les corresponde y registrar un seguimiento del acceso a los datos.

6 Sistema de Datawarehousing Bases de Datos Operacionales Datawarehouse Directivos y analistas OLTP Modelamiento Empresarial OLAP Guía para la Toma de decisiones CONCEPTO ESENCIAL Tecnología DATAWAREHOUSE

7 Los Hechos : Concepto Esencial Un hecho es un dato sensible al tiempo que es funcionalmente dependiente de las dimensiones que lo definen. Ejemplo : Una matrícula. Una matrícula es un hecho en el que un estudiante, en una determinada fecha, a través del banco o el departamento de finanzas, paga el arancel de una determinada carrera. Las dimensiones son estudiante, fecha, medio de pago y carrera. El arancel es un valor agregado del hecho. Metodología de Diseño Tecnología DATAWAREHOUSE

8 Diseño de Datawarehouse [Go99] Etapa Entrada Salida Involucrados I Análisis de los Sistemas de Información Documentación existente Esquemas de Bases de Datos Diseñador y Administradores de los sistemas de información II Especificación de Requerimientos Esquemas de Bases de Datos Hechos y cargas de trabajo preliminares Diseñador y Usuarios finales III Diseño Conceptual Esquemas de Bases de datos, Hechos y cargas de trabajo preliminares Esquema Dimensional Diseñador IV Refinamiento de Cargas de Trabajo y Validación de esquemas dimensionales Esquema dimensional y cargas preliminares Carga de trabajo Diseñador y usuarios finales V Diseño Lógico Esquema dimensional, modelo lógico objeto y cargas de trabajo Esquema DW lógico Diseñador VI Diseño Físico Esquema de DW lógico; DBMS destino y Cargas de trabajo Esquema Físico del DW Diseñador Diseño de Datawarehouse [Go99] Etapa I : Análisis de los sistemas de Información - Averiguar con los administradores de sistemas sobre posibles datos desconocidos o anormales (tratamiento de los valores nulos). - Seleccionar las fuentes operacionales en función de la calidad de los datos y estabilidad de sus esquemas (sincronización de vistas). - Determinar cuales datos pueden ser totalmente integrados con el objeto de obtener un vista completa del dominio de la base de datos. - Entender profundamente la semántica de los datos con el objeto de hacer un cruce equilibrado durante el proceso de organización de los datos.

9 Diseño de Datawarehouse [Go99] Etapa II : Especificación de Requerimientos - Consiste en recolectar y filtrar los requerimientos de los usuarios. Como resultado se obtiene la definición de los hechos e indicaciones concernientes a las cargas de trabajo. - La selección de los hechos se basa en la documentación de los sistemas de información. Los hechos son conceptos de interés primario para los procesos de toma de decisiones. - De la comparación de los datos preliminares de la etapa anterior es posible saber que requerimientos pueden ser satisfechos. Diseño de Datawarehouse Relacionales Inconveniencia de los métodos de diseño tradicionales : La metodología tradicional utiliza el Modelo Entidad /Relación como herramienta conceptual para determinar un conjunto de tablas. Inconvenientes al diseñar un Datawarehouse: 1. En el modelo Entidad / Relación no permite determinar a simple vista cuales serán las tablas más importantes. 2. La base de datos relacional derivada no es generalmente apropiada para responder a las exigencias de un DW.

10 Diseño de Datawarehouse [Go99] Etapa III : Diseño Conceptual Suponiendo que los sistemas operacionales son relacionales, para cada Hecho se deben realizar las siguientes acciones : - Construir el árbol de atributos - Podar e injertar el árbol de atributos - Definir las Dimensiones - Definir las Medidas - Definir las Jerarquías Diseño de Datawarehouse [Go99] Etapa III : Modelo de Hechos Dimensional (MHD) Un Esquema Dimensional, que es una representación de la realidad usando el MHD, consiste en un conjunto de esquemas de hechos (uno o mas hechos) cuyos elementos básicos son hechos, dimensiones y jerarquías. Las metas del modelo de [Go99] son : - Soportar eficientemente el diseño conceptual - Proveer un ambiente expresivo para formular consultas - Favorecer el refinamiento de los requerimientos - Proveer una plataforma sólida para el diseño lógico - Producir documentación expresiva y no ambigua

11 Diseño de Datawarehouse [Go99] Etapa III : Esquema de Hechos Un Esquema de Hechos es una séxtupla f = ( M, A, N, R, O, S ) - M es un conjunto de medidas. - A es un conjunto de atributos dimensionales. - N es un conjunto de atributos no dimensionales. - R es un conjunto de pares ordenados (a i,a j ), donde: a i { A a 0 }, a j { A N }, a i = a j, a 0 es la raíz del hecho. - O R es un conjunto de relaciones opcionales. - S en un conjunto de sentencias de agregación. Diseño de Datawarehouse [Go99] Etapa III : El esquema del hecho Matrícula Colegio Cupo Indígena Tipo Enseñanza Hijo Funcionario Vía Ingreso Atributos no Dimensionales Atributo Dimensional Rut Comuna Nombre Teléfono Año Periodo Día Semana Mes Día Matrícula Monto Descuento Saldo Dirección Hecho Tipo Carrera Depto Estudios Facultad Jerarquía Dimensión Medidas

12 Diseño de Datawarehouse [Go99] Etapa III : Conceptos Claves Una Instancia de Hecho Primario es una unidad de información presente en el DW. Una Instancia de Hecho Secundaria corresponde a una agregación de una conjunto de de hechos primarios. Una Jerarquía es una relación de Muchos a Uno que se da entre los valores de un determinado conjunto de atributos pertenecientes a una dimensión. Una Dimensión es un conjunto de atributos pertenecientes a una entidad asociada a uno o más hechos. Los atributos pertenecientes a una dimensión se utilizan como elementos de agrupación de los hechos o como mecanismos de búsqueda. Frecuentemente, los atributos de una dimensión conforman una jerarquía. Diseño de Datawarehouse [Go99] Etapa IV : Refinamiento de Cargas y Validación de Esquemas Esta fase esta orientada a: 1. Reformular las cargas de trabajo preliminares por medio de una reformulación detallada y profunda de los esquemas dimensionales. 2. Validar los esquemas desarrollados en las etapas anteriores. Las consultas correspondientes a las cargas de trabajo pueden ser correctamente formulada si las dimensiones o medidas han sido identificadas, jerarquizadas y correctamente formuladas.

13 Diseño de Datawarehouse [Go99] Etapa V : Diseño Lógico La etapa del diseño lógico recibe como entrada un diseño multidimensional, cargas de trabajo e información adicional (frecuencias de actualización, disponibilidad de espacio de disco, etc.) para producir un esquema de DW que debería minimizar los tiempos de respuesta a las consultas, respetando las restricciones de espacio de disco. Existen distintas alternativas de implementación tales como : OLAP, HOLAP, MOLAP o ROLAP. Diseño de Datawarehouse [Go99] Etapa V : Modelo Estrella Se denomina modelo estrella cuando se define una gran tabla central con tablas más pequeñas desplegadas en torno a ellas. Ejemplo : Matrícula. FECHA Día Día Semana Mes Año Periodo MATRICULA Rut Alumno Código Carrera Fecha Monto Descuento Saldo CARRERA Código Carrera Tipo Estudios Depto Facultad ALUMNO Rut Alumno Nombre Dirección Teléfono Comuna Vía Ingreso Tipo Colegio Colegio Hijo Func Cupo Indígena

14 Diseño de Datawarehouse [Go99] Etapa V : Modelo Copo de Nieve (Snowflake) Cuando la normalización no interfiere en el rendimiento de DW esta se puede aplicar y en este caso se obtienen estructuras que se denominan snowflake. Ejemplo : Matrícula. FECHA Día Día Semana Mes Año Periodo MATRICULA Rut Alumno Código Carrera Fecha Monto Descuento Saldo CARRERA Código Carrera Tipo Estudios Depto Facultad ALUMNO Rut Alumno Nombre Dirección Teléfono Comuna Vía Ingreso Colegio Hijo Func Cupo Indígena COLEGIO Colegio Tipo Colegio Bibliografía : [Ag97] Modeling Multidimensional Databases, R. Agrawal, A. Gupta, S. Sarawagi: 13th Int'l Conf. on Data Engineering, Birmingham, England, April [Go99] Designing the Data Warehouse: Key Steps and Crucial Issues, Matteo Golfarelli, Stefano Rizzi, Journal of Computer Science and Information Management, Vol 2, N 3, [Gr95] [JEB] Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub.Totals, Jim Gray, Adam Bosworth, Andrew Layman, Hamind Pirahesh, Tecnical Report MSR-TR-95-22, IBM Research, San Jose, CA, Aproximación metodológica de un spatial data warehouse, Juan Eulises Bohorquez, ESRI GIS and Mapping Software. [Sa98] Extending the E/R Model for the Multidimensional Paradigm, Carsten Sapia, Markuz Blaschka, Gabriele Hölling, Barbara Dinter, Springer Verlag [Wo00] Implementando un data warehouse, Carmen Wolff, Revista Ingeniería Informática, DIICC Universidad de Concepción, Nº 5, Marzo 2000.