Diseño y explotación de datos. Conceptos básicos de modelado multidimensional

Transcripción

1

2 Diseño y explotación de datos. Conceptos básicos de modelado multidimensional Juan Carlos Trujillo Mondéjar José Norberto Mazón López Jesús Pardillo Vela ISBN: Depósito legal: A Edita: Editorial Club Universitario. Telf.: C/ Decano, San Vicente (Alicante) ecu@ecu.fm Printed in Spain Imprime: Imprenta Gamma. Telf.: C/ Cottolengo, San Vicente (Alicante) gamma@gamma.fm Reservados todos los derechos. Ni la totalidad ni parte de este libro puede reproducirse o transmitirse por ningún procedimiento electrónico o mecánico, incluyendo fotocopia, grabación magnética o cualquier almacenamiento de información o sistema de reproducción, sin permiso previo y por escrito de los titulares del Copyright.

3 Índice general Índice general III 1. Introducción La tecnología de bases de datos Las nuevas necesidades de gestión de datos Historia de las soluciones informáticas a datos históricos El almacén de datos: una primera aproximación Historia de las aplicaciones OLAP Sistemas analíticos contra transaccionales Arquitectura Arquitectura general de almacenes de datos Las fuentes de datos operacionales Los procesos ETL Extracción Transformación o limpieza Carga Herramientas para procesos ETL El almacén de datos Almacenes de datos departamentales o data marts Los metadatos Servidores de bases de datos y consulta Las herramientas de consulta Aproximaciones metodológicas para el diseño de almacenes de datos Modelado Multidimensional Modelado multidimensional conceptual Propiedades multidimensionales estructurales Propiedades multidimensionales dinámicas Modelado multidimensional lógico Esquema estrella Esquema de constelaciones de hechos Esquema de copo de nieve Resumen de los diferentes esquemas La dimensión tiempo Otras consideraciones de diseño iii

4 iv Índice general 4. Procesos ETL Introducción Fase de extracción Fase de transformación Fase de carga Elementos principales de diseño Herramientas de explotación OLAP ¾Qué es OLAP? Arquitectura Vendedores OLAP Herramientas de minería de datos Motivación ¾Qué es la minería de datos? Aplicaciones y técnicas El proceso de descubrimiento de conocimiento Metadatos en almacenes de datos Introducción Metadatos de procesos ETL Metadatos de usuarios finales Metadatos del almacén de datos A. Aplicaciones de almacenes de datos en el mercado 101 Índice alfabético 103

5 Prólogo Diseño y explotación de almacenes de datos: conceptos básicos y modelado multidimensional se presenta como un libro que introduce aspectos básicos del modelado multidimensional y del diseño de los almacenes de datos, y que pretende ser un instrumento útil para los estudiantes de grado y postgrado de las Titulaciones de Informática y de los profesionales del desarrollo de almacenes de datos. En este sentido, el libro pretende cubrir un hueco existente hasta ahora en la literatura y proporcionar un manual en castellano que recoja y ponga en orden los conceptos básicos para acometer con garantías el diseño y explotación de almacenes de datos. En el año 2002, propongo a través del Dpto. de Lenguajes y Sistemas Informáticos (DLSI) de la Universidad de Alicante la asignatura Bases de Datos Multidimensionales como asignatura optativa de las tres Titulaciones de Informática. Desde sus orígenes y hasta la actualidad, los alumnos han demandado año tras año, un material (en castellano a ser posible) donde se recogieran los aspectos básicos del diseño de las bases de datos multidimensionales, almacenes de datos y las herramientas de consulta más utilizadas para su correcta explotación. Esta demanda también se produce en la asignatura Diseño y Explotación de Almacenes de Datos del Programa de Tercer Ciclo Aplicaciones de la Informática del DLSI impartida en la Universidad de Alicante y del Máster en Informática que se imparte en la Escuela Politécnica Superior desde Además, dicha asignatura también se oferta en el Programa de Tercer Ciclo que el DLSI imparte en universidades extranjeras como la Universidad de Matanzas Camilo Cienfuegos o la Universidad de la Habana en Cuba, Universidad Latina en Costa Rica y la Universidad de la Frontera en Temuco (Chile). Estas experiencias docentes heterogéneas tanto en contenido como en alumnado, me han permitido obtener una retroalimentación valiosa a la hora de preparar este libro, que pretende ser claro y conciso además de versátil. Además, tengo el placer de compartir la escritura de este texto con dos ex-alumnos que me sufrieron de profesor en los inicios de esta asignatura y que, con en el paso de los años, se incorporaron como investigadores al Grupo de Investigación Lucentia ( desde sus orígenes, siendo en la actualidad dos miembros fundamentales de dicho grupo. José Norberto Mazón defendió su tesis doctoral (A model-driven approach for the multidimensional design of data warehouses) el pasado 15 de diciembre de 2008 y, Jesús Pardillo se encuentra en la fase final de la suya y, que esperamos defender en el curso académico 2009/10. ½Cuánto camino hemos recorrido ya y cuánto más nos queda por recorrer! Por otro lado, en los proyectos privados con las empresas con las que hemos colaborado, hemos detectado en muchas ocasiones una falta de conceptos y criterios básicos para abordar el diseño de almacenes de datos. Esto es quizás una consecuencia de que las empresas que ofertan sistemas de gestión y mantenimiento de almacenes de datos ofrecen productos (comerciales o de código abierto) para acometer el diseño de almacenes de datos desde su perspectiva lógica, obviando las importantes fases de análisis de requisitos y diseño conceptual, con lo que muchos v

6 vi Índice general conceptos necesarios se obvian y, por tanto, se obtienen diseños erróneos y poco funcionales con el consiguiente gasto añadido en recursos de todo tipo (humanos, técnicos, tecnológicos, etc.). Por todo ello, este libro nace con la ilusión de ser el primero de una serie de textos que pretenden cubrir un hueco en la literatura actual proporcionando aspectos básicos del diseño y explotación de almacenes de datos. Actualmente estamos preparando (I) un texto centrado en aspectos de implementación con plataformas concretas y, (II) otro texto que presenta la metodología propia desarrollada en el seno del Grupo Lucentia que permite acometer el diseño de almacenes de datos de forma automática desde la fase de análisis de requisitos hasta la implementación final utilizando MDA (Model Driven Architecture) y UML (Unied Modeling Language). Además, este método está soportado por una herramienta de diseño basada en el entorno de desarrollo ECLIPSE que permite acometer el diseño de los almacenes de datos desde etapas tempranas de desarrollo. Este último texto, sin embargo, estará más enfocado a profesionales de la Informática y alumnos del Tercer Ciclo. Por último, quisiera agradecer personalmente a los dos co-autores del libro por su apoyo durante estos últimos años y a todos los miembros del Grupo de Investigación Lucentia (Irene Garrigós, Lilia Muñoz, Sergio Luján, Rafael Romero, José Jacobo Zubco, Octavio Glorio y Emilio Soler). No quisiera despedirme sin mostrar mi agradecimiento a todos los miembros del Dpto. de Lenguajes y Sistemas Informáticos de la Universidad de Alicante, por todo el apoyo que siempre han mostrado hacia nuestro grupo y las actividades que desarrollamos. Juan Carlos Trujillo Alicante, a 15 de junio de 2009

7 Prefacio Este libro se centra en proporcionar los conceptos y aspectos básicos necesarios para acometer el diseño y explotación de almacenes de datos. Tal y como se dejará patente a lo largo del libro, estos sistemas presentan peculiaridades y aspectos propios que los diferencian de los sistemas transaccionales y, por tanto, demandan métodos, modelos y herramientas distintas de las utilizadas en el diseño y explotación de los sistemas transaccionales. Por ello, el libro comienza con el Capítulo 1 de Introducción, cuyo objetivo fundamental es reflexionar sobre los sistemas transaccionales y su inconveniencia para ser utilizados para la toma de decisiones estratégicas en el entorno empresarial. Además, en este capítulo se hace una primera aproximación a los almacenes de datos y sus objetivos y, lo más importante, se finaliza el capítulo con una comparativa entre los sistemas transaccionales y los almacenes de datos para enfatizar las diferencias entre ambos. Por otro lado, se introduce el modelado o paradigma multidimensional como la aproximación de modelado ampliamente utilizada para estos sistemas. Por último, estas diferencias son suficientes para justificar los modelos y métodos particulares necesarios para acometer con éxito su diseño y, además, justifican el resto de capítulos del libro. En el Capítulo 2, se presenta de manera general todos los componentes fundamentales de una arquitectura básica de almacenes de datos y, cómo interactúan entre ellos. Al ser éste un texto de introducción de conceptos básicos, hemos evitado hacer alusión a arquitecturas de almacenes de datos de nueva generación como son los almacenes de datos espaciales, biomédicos, sociales o de flujo continuo de datos. En el Capítulo 3, se aborda la parte central del libro: el paradigma o modelado multidimensional. En una primera parte, se presenta el modelado multidimensional a nivel conceptual. Sin embargo, como en la actualidad no existe ninguna propuesta estándar ampliamente aceptada para acometer esta fase de diseño, se presentan los conceptos imprescindibles para acometer con éxito el diseño de estos sistemas como son los niveles de jerarquías, la aditividad, la cardinalidad entre relaciones, etc. Si estos conceptos no se recogen de alguna forma desde las etapas tempranas de desarrollo, lo más probable es que el diseño final del almacén de datos sea erróneo. En la segunda parte, se hace hincapié en cómo representar los conceptos recogidos en la fase anterior en un modelo multidimensional lógico. Como nos centramos principalemente en plataformas relacionales, utilizamos como base el esquema estrella y sus variantes. Una vez llegado a este punto, el alumno y profesional estará en disposición de realizar el diseño lógico de un almacén de datos desde su perspectiva lógica utilizando cualquier plataforma del mercado. En el Capítulo 4, se describen los aspectos fundamentales de los cruciales procesos ETL (Extraction, Transformation, and Loading, extracción, transformación y carga). Estos procesos son los encargados de extraer los datos de las diversas y heterogéneas fuentes de datos, realizar las transformaciones necesarias y cargar los datos en las estructuras lógicas del almacén definidas en el capítulo anterior. En la actualidad, un 80 por ciento del esfuerzo total dedicado al diseño de los almacenes de datos se dedica a estos procesos. vii

8 viii Índice general En el Capítulo 5, se describen las herramientas de consulta más habituales en este tipo de sistemas: las herramientas OLAP (On-Line Analytical Processing, procesamiento analítico en línea). Estas herramientas presentan un conjunto común de operaciones que se ejecutan sobre el modelo multidimensional definido en la fase anterior y que permiten al analista obtener los datos adecuados para la toma de decisiones. En el Capítulo 6, se introducen las herramientas de minería de datos. Mientras que las herramientas OLAP presentan los datos después de ejecutar consultas contra el almacén de datos, las herramientas de minería de datos, ejecutan algoritmos sobre los datos existentes con el fin de encontrar patrones y tendencias ocultas en los datos y de alguna forma, predecir que puede suceder en un futuro en base a los datos actuales. Este capítulo clarifica la diferencia entre estas herramientas y las herramientas OLAP, ya que a menudo se suelen confundir sus funcionalidades. En el Capítulo 7, se presentan los metadatos de una arquitectura de almacenes de datos. Los metadatos son importantes en cualquier aplicación, sin embargo, cobran especial importancia en los sistemas de almacenes de datos dada la complejidad de los mismos; ya que se ha de guardar no solo información de los usuarios y los datos en sí sino, por ejemplo, de las transformaciones sufridas por los mismos antes de ser cargados en el almacén. Para finalizar y, tal y como se ha comentado en el prólogo, este libro pretende ser el primero de una serie de textos con los que se desea abordar el diseño y explotación de almacenes de datos. Además, deseamos orientar los a los alumnos de las Titulaciones de Grado y Posgrado de Informática y a los profesionales de los almacenes de datos. Por ello, se intenta por todos los medios que sea un libro accesible a todo el público. Juan Carlos Trujillo José Norberto Mazón Jesús Pardillo Alicante, a 15 de Junio de 2009

9 Un viaje de miles de kilómetros empieza con un solo paso. Lao-Tsu 1 Introducción Comenzaremos nuestro estudio de los almacenes de datos repasando brevemente la tecnología actual de las bases de datos, haciendo hincapié en los sistemas transaccionales. A continuación, se expondrán las nuevas necesidades de gestión de datos dentro del contexto empresarial y de globalización en el que se desenvuelven las empresas. Tras ello, se introducirán los almacenes de datos realizando una primera aproximación a este tipo de sistemas. El capítulo finalizará discutiendo las diferencias entre los sistemas transaccionales y los de almacenes de datos para clarificar aún más la razón de existencia de los almacenes de datos. Índice 1.1. La tecnología de bases de datos Las nuevas necesidades de gestión de datos Historia de las soluciones informáticas a datos históricos El almacén de datos: una primera aproximación Historia de las aplicaciones OLAP Sistemas analíticos contra transaccionales La tecnología de bases de datos Desde los primeros sistemas de gestión de ficheros allá por los años 70 hasta los SGBD (Sistema de gestión de bases de datos) actuales, la tecnología de bases de datos ha evolucionado hasta disponer en la actualidad de SGBD robustos, eficientes y con un amplio espectro de herramientas de alto nivel que facilitan su manejo y gestión tanto desde la perspectiva del servidor como de la de cliente. 1

10 2 Capítulo 1. Introducción En la actualidad, podríamos decir que aproximadamente el 90 % de los SGBD implantados son relacionales, obteniendo así las ventajas inherentes del modelo relacional subyacente a tales sistemas, tales como la integridad de los datos o independencia de los datos y las aplicaciones. Obviamente, en el mercado también se dan otros SGBD como, por ejemplo, los SGBD en red, jerárquicos, OO (Orientado u orientación a objetos) o los objeto-relacionales. Los dos primeros solemos encontrarlos en entornos bancarios donde todavía los mainframes y hosts de los años ochenta siguen albergando una gran cantidad de datos confidenciales consecuencia de llevar varias décadas operativos. Sin embargo, en tales sistemas, las empresas llevan ya algún tiempo optando por una de estas dos alternativas: La migración paulatina de estos sistemas a SGBDR (SGBD relacional) basados en arquitecturas cliente-servidor, o bien, La construcción de una serie de herramientas de gestión y clientes que se conectan a tales sistemas y con interfaces que facilitan la interacción. En general, los sistemas OO se encuentran en contextos donde es necesario tratar con tipos de datos más complejos, como en bases de datos multimedia, sistemas CAD/CAM (Computer- Aided Design/Computer-Aided Manufacturing), etc. Otra forma de referirse conjuntamente a los SGBD mencionados es la de sistemas tradicionales o transaccionales. La razón de ello es que estos SGBD están orientados a satisfacer las necesidades diarias de datos de la empresa, y por ello, están enfocados a procesar un gran número de transacciones fruto de la actividad diaria de la empresa, como pueda ser: la compra de productos, la venta de propiedades, el servicio de transporte, etc. A tales sistemas se les suele denominar OLTP (On-Line Transaction Processing, procesamiento transaccional en línea). Cuando en tales sistemas se decide que ciertos datos no se utilizan con suficiente frecuencia, estos se catalogan como históricos y se suelen depositar en almacenamientos externos como discos duros dedicados o cintas magnéticas. Como ejemplo de este tipo de datos tenemos: los datos económicos de ejercicios o trimestres anteriores, los clientes dados de baja o los productos devueltos a los proveedores por defectos detectados Las nuevas necesidades de gestión de datos Dentro de un contexto económico-empresarial, los analistas económicos coinciden en que asistimos a un fenómeno definido como globalización de la economía. Este fenómeno se ha visto notablemente influenciado por las TIC (Tecnologías de la Información y Comunicación), que proporcionan una gran cantidad de información y contribuyen a disminuir las barreras físicas entre mercados, y consecuentemente, entre empresas. Por lo tanto, las empresas se enfrentan a entornos más hostiles con un elevado índice de competencia. En esta situación, es imprescindible adoptar decisiones estratégicas que proporcionen a una empresa ventajas competitivas con respecto a sus rivales. Independientemente del contexto en el que una empresa opere, en el cuadro 1.1 se exponen una serie de preguntas que bien podrían ser cuestiones formuladas por los responsables de adoptar decisiones estratégicas en un entorno empresarial. Estas cuestiones pueden servir para introducir al experto en TIC al punto de vista del analista de información o del responsable de la toma de decisiones en la empresa.

11 1.2. Las nuevas necesidades de gestión de datos 3 ¾Cuántos zapatos del 41 de color rojo se vendieron el último mes en la zona norte, este y sur; comparados con las ventas del mismo mes el año pasado? ¾Qué tipo de cliente me ha estado comprando el BMW 320i durante los últimos 10 años? ¾Directivo, profesor, trabajador escala básica, etc.? ¾Ha variado un cliente sus gustos de compra de vehículos? ¾Ha estado comprando el mismo vehículo de soltero que de casado? ¾Cuáles son las 25 primeras marcas, por productos, estilos y regiones de España clasificadas por el margen de ventas en e? ¾Cuál fue el presupuesto gastado en promociones en clientes que luego hicieron compras inferiores a 100 e? ¾Qué descuento deberíamos ofrecer para incrementar significativamente las ventas? El producto de tipo A se ha vendido mucho más que el producto de tipo B. Encontrar patrones de correlación entre esos tipos de productos y extraer similitudes y diferencias. ¾Cuáles son las tendencias en mis ventas? Cuadro 1.1.: Típicas cuestiones estratégicas para tomar decisiones en un negocio Tal y como se puede concluir de las preguntas formuladas en el Cuadro 1.1, las decisiones estratégicas requieren una gran cantidad de información, normalmente información histórica, procedente de distintas fuentes, que permita al analista descubrir fenómenos y tendencias escondidos en los datos. En este contexto, es fundamental que tal información sea proporcionada al analista de una forma rápida y sencilla, y sobre todo, en una interfaz fácil de utilizar por el no experto en TIC. Los sistemas de apoyo para la toma de decisiones han experimentado un gran auge desde los años ochenta ya que son capaces de proporcionar una gran cantidad de información en un formato fácil de interpretar por el analista. Sin embargo, el problema que tenían estos sistemas hasta principios de los noventa era poder disponer de información histórica de una forma unificada, compacta y coherente. En este punto cabría formularse una cuestión: ¾son válidos los sistemas OLTP para tales decisiones? La respuesta a esta pregunta debería ser el punto de partida para saber si, o bien escalando, o bien actualizando los actuales OLTP, se podrían satisfacer tales requerimientos; o si por el contrario, necesitamos otro tipo de sistema. Aportando algunas razones, en primer lugar, los datos históricos no están (o no deberían estar) disponibles en los sistemas OLTP. Si analizamos brevemente las preguntas del cuadro 1.1, se puede ver que la mayoría de las preguntas requieren datos que residen en distintas fuentes de datos de la empresa. Por ejemplo, los datos de proveedores residirán en la base de datos de proveedores, mientras que los de clientes y productos residirán en la base de datos de ventas. Así que, tal y como vemos, una característica común a tales preguntas es que se necesitan datos de varias fuentes o bases de datos (algunos de ellos no disponibles al ser históricos) y que integrar tales datos en tiempo real no solo consumiría una gran cantidad de recursos, sino que sería prácticamente inviable. Por otro lado, los analistas del negocio no entienden de tablas,

12 4 Capítulo 1. Introducción columnas, etc. Necesitan entornos de consulta específicos en el que se manejen términos de negocio más próximos a las cuestiones que se formulan. Estas son solo algunas características que podríamos citar para concluir que los sistemas OLTP no son adecuados para proporcionar datos en la respuesta a preguntas estratégicas Historia de las soluciones informáticas a datos históricos Sin embargo, las decisiones estratégicas existen desde que una persona emprendedora decide realizar una actividad o profesión por cuenta propia. Así que vamos a repasar brevemente las soluciones tecnológicas que se han ido proporcionando a lo largo de la historia para manejar tales datos históricos y ponerlos a disposición del analista de información. Datos procedentes de sistemas heredados Es durante los años 70 cuando se extiende el uso de los grandes mainframes o hosts de IBM. Estos sistemas albergaban los datos en el SGBD DB2 de IBM, disponiendo de rutinas escritas fundamentalmente en lenguajes como COBOL, CICS o IMS. En los años ochenta, se extiende el uso de plataformas AS/400 y del VAX/VMSR. En estos AS/400, el principal problema radicaba en que los datos estaban embebidos junto con las aplicaciones (no disponían de la propiedad de independencia de aplicaciones y datos) y, para acceder a ellos, se tenía que disponer del código fuente de tales sistemas. Hoy en día, muchas aplicaciones de negocio se ejecutan sobre estos sistemas, ya que durante muchos años han estado recogiendo datos y reglas de negocio, y resulta más sencillo diseñar aplicaciones que se comuniquen con ellos que implantar otro sistema. Generalmente, los datos se vuelcan en bibliotecas a las que otras aplicaciones de negocio accederán. Sin embargo, el coste de estas aplicaciones de negocio es elevado, ya que se trata de desarrollar aplicaciones totalmente personalizadas. Datos extraídos en el escritorio Los años noventa se conocen en términos generales como la gran expansión de las aplicaciones de escritorio. El abaratamiento del hardware permitiría que en cada puesto de trabajo hubiese un PC (Personal Computer) para analizar datos. Con esto, se redujo la distancia entre usuario final y programador, dado que se extiende el uso de herramientas sencillas de utilizar, como hojas de cálculo o herramientas de análisis que, además, el propio usuario final puede personalizar en función del uso. Así, aun disponiendo de los sistemas heredados (donde reside el mayor volumen de datos de la empresa), estas herramientas de escritorio acceden a los datos producidos por dichos sistemas heredados. El problema común que suele generar esta forma de proceder es que los datos tienden a permanecer fragmentados y están orientados a necesidades específicas de grupos de usuarios finales, presentando así soluciones parciales para estos, con la problemática añadida de que no todos los usuarios disponen de la destreza o tiempo suficientes para personalizar tales aplicaciones.

13 1.3. Historia de las soluciones informáticas a datos históricos 5 Sistemas de apoyo para la toma de decisiones Estos sistemas experimentaron un gran auge en los años ochenta pues estaban orientados a facilitar el análisis de datos a los ejecutivos que, por normal general, no estaban dispuestos a personalizar herramientas de escritorio como las hojas de cálculo. En términos generales, podemos resumir que: Los DSS (Decision Support System, sistema de apoyo a la decisión) ofrecen datos más detallados y están más orientados a los ejecutivos de la escala intermedia de una empresa. Los EIS (Executive Information System, sistema de información para ejecutivos) ofrecen datos más consolidados y, en general, están más orientados a los ejecutivos de las altas escalas de la empresa. Estos sistemas poseen en común que presentan los datos en una vista multidimensional; de forma muy parecida a las rejillas típicas de las hojas de cálculo. A pesar de las diferencias de partida, cada vez más autores consideran que son herramientas similares y que incluso solapan sus funciones, puesto que ambas se pueden orientar a obtener el mismo tipo de informes. A continuación, se resumen las características comunes a los DSS y EIS: Presentan datos descritos en términos propios del negocio, en lugar de términos técnicos como tupla, fila o tabla. La principal razón es que tales sistemas están enfocados a usuarios no expertos en las TIC. Los datos se preprocesan siguiendo patrones de reglas de negocio con las que las empresas han estado trabajando y aplicando; como por ejemplo, los beneficios por la venta de productos en distintos almacenes. Ofrecen vistas consolidadas de los datos. Aunque, por supuesto, permiten ver datos en detalle, rara vez pueden acceder a todos los datos en detalle dado el volumen de los mismos. Por ello, suele ser mucho más operativo la consulta de vistas consolidadas o resumidas. En cierto sentido, DSS y EIS se consideran como los precursores de los almacenes de datos dado su enfoque multidimensional en la presentación de los datos para facilitar el análisis de la información al no experto de las TIC. Sin embargo, el gran inconveniente con el que se enfrentaba una empresa era la considerable inversión necesaria para implantarlas y, sobre todo, la descoordinación existente entre todas las soluciones sobre los datos necesarios para efectuar informes: cada solución extraía los datos necesarios del servidor, sin tener en cuenta si la otra solución también los estaba extrayendo. Como preámbulo del siguiente epígrafe, podemos resumir que los almacenes de datos incorporan la filosofía de las herramientas analíticas de datos de los sistemas precedentes: facilidad de manejo, datos resumidos, capacidad de análisis, etc. Sin embargo, tal y como veremos en el siguiente punto, la gran ventaja que aportan los almacenes de datos es proporcionar una solución global de repositorio de datos a la empresa, en lugar de proporcionar soluciones parciales con datos duplicados tal y como ocurría en las soluciones anteriores.

14 6 Capítulo 1. Introducción 1.4. El almacén de datos: una primera aproximación Antes de proporcionar la definición técnica y más extendida, definiremos a los almacenes de datos como sistemas que almacenan datos históricos para ser utilizados por los DSS para toma de decisiones estratégicas. Dichos sistemas son eminentemente de consulta y están enfocados a extraer conocimiento de los datos históricos almacenados. Por ello, un almacén de datos no es una base de datos en el sentido tradicional, donde cualquier aplicación de usuario final puede realizar inserciones, actualizaciones y borrados sobre la base de datos. Adelantamos que las herramientas más extendidas para realizar el análisis de estos datos históricos son las herramientas OLAP (On-Line Analytical Processing, procesamiento analítico en línea), basadas en el denominado modelado o modelo multidimensional, que a su vez basa el análisis en cubos, hipercubos y tablas multidimensionales. Desde su aparición a principios de los noventa, aún permanece invariable la definición de almacén de datos proporcionada por Bill Inmon, considerado uno de los pioneros o padres de esta tecnología, en los 90: Un almacén de datos en una colección de datos orientados por tema, integrados, variables en el tiempo y no volátiles que se emplea como apoyo a la toma de decisiones estratégicas. Vamos a desglosar cada una de las partes importantes de esta definición: Orientados por tema. El diseño del almacén de datos está enfocado a responder eficientemente a las consultas estratégicas y no a procesar un gran número de transacciones, como sucede en el diseño de las bases de datos tradicionales o transaccionales. Por ello, el almacén de datos está organizado de acuerdo con los temas más importantes para la organización y, por ende, para proporcionar respuestas a estas consultas estratégicas. Desde un punto de vista intuitivo, se distinguen dos aspectos fundamentales: Actividades de interés para el análisis: compras de productos, ventas de vehículos, alquileres, etc. Contexto de análisis para estas actividades de interés: clientes, vendedores, productos, etc. Nos permitimos aquí proporcionar la primera aproximación al modelado o modelo multidimensional que, tal y como veremos a lo largo del libro, es la base para el diseño eficaz de los almacenes de datos. El modelado multidimensional estructura su diseño en: Hechos: que son las actividades de interés para la empresa. Dimensiones: que son el contexto sobre el que se desea analizar estas actividades. Integrados. Los datos proceden de distintas fuentes de datos, en general heterogéneas, dentro de la organización. Esta heterogeneidad de los datos hace que nos enfrentemos, por ejemplo, a distintos formatos, definiciones o esquemas de bases de datos; con lo que un problema fundamental al cargar los datos en el almacén de datos será resolver estas diferencias y almacenar datos coherentes y homogéneos. Variables en el tiempo. Los datos en el almacén de datos siempre se cargan con una referencia temporal bajo la que son válidos. Esta referencia puede ser puntual y concreta, es decir,

15 1.4. El almacén de datos: una primera aproximación 7 Figura 1.1.: Tabla multidimensional producida por una posible herramienta OLAP en un instante determinado, o ser válidos en un intervalo de tiempo. La variación con respecto del tiempo se manifiesta también en el gran intervalo de tiempo durante el que se almacenan los datos, en la asociación implícita o explícita a la variable temporal, y en el hecho de que los datos representan una serie de instantáneas o intervalos. No volátiles. Los datos no se insertan, actualizan, borran o refrescan en tiempo real, sino que se refrescan de forma periódica a partir de las fuentes de datos operaciones. Los nuevos datos se añaden siempre (o siendo más realistas, en la mayoría de las ocasiones como veremos) para aumentar el repositorio de datos, en lugar de para sustituir los datos existentes. Tal y como veremos más adelante, ciertos procesos serán los encargados de poblar el almacén de datos desde las fuentes de datos. Así, el objetivo de las técnicas de almacenamiento de datos es ofrecer información histórica para la toma de decisiones integrando la información procedente de distintas fuentes de datos operacionales. En realidad, los almacenes de datos no son una tecnología totalmente nueva, sino que integran eficientemente tecnología de bases de datos con análisis de datos: en cuanto a las bases de datos, utilizan un SGBD que alberga el repositorio del almacén de datos; con respecto al análisis de datos, proporcionan herramientas que permitan llevar a cabo de manera sencilla el análisis en línea. Las herramientas de análisis más conocidas son las herramientas OLAP, que están basadas en el análisis multidimensional de los datos. Veamos en este punto un ejemplo sencillo de consulta que se podría formular a un almacén de datos y la tabla o rejilla multidimensional (a modo de hoja de cálculo) que devolvería una herramienta OLAP típica. Supongamos que deseamos conocer las ventas de productos con respecto a los productos vendidos, los almacenes donde se vendieron y el tiempo en el que se produjeron estas ventas. En este ejemplo, la actividad de interés para la empresa sería la venta de productos y las dimensiones del contexto del análisis serían la dimensión producto, almacén y tiempo. En la fig. 1.1, vemos una tabla multidimensional donde en las celdas centrales se muestran los valores de los hechos, mientras que en los encabezados horizontal y vertical se muestran los valores de las dimensiones. Para finalizar esta primera aproximación al almacén de datos, mencionaremos brevemente algunas de las ventajas e inconvenientes que los almacenes de datos presentan para las empresas: //

16 8 Capítulo 1. Introducción Decisiones soportadas por datos fiables, coherentes y homo- Ventajas para las empresas: géneos. Rentabilidad de inversiones (ROI, Return of Investment). Muchos son los informes que presentan datos en cuanto a la rentabilidad obtenida a un almacén de datos fruto de las correctas decisiones estratégicas adoptadas. Aumenta la competitividad en los entornos hostiles ya que se dispone de datos más fiables. Entornos amigables, ya que los directivos o analistas de información acceden a los datos por ellos mismos con interfaces sencillas de manejar. Incovenientes para las empresas : Infravalorar los recursos necesarios para construir, poblar y mantener el almacén de datos a partir de datos operacionales. No planificar el considerable esfuerzo necesario para lograr un buen diseño. Considerar que una vez entregado al cliente, el almacén de datos ya está acabado. El almacén de datos recibe un incremento continuo de requerimientos ad hoc, necesitando escalar y evolucionar conforme lo hacen las aplicaciones operacionales. A más cantidad de datos, más problemas de seguridad. Dada la confidencialidad y el matiz de los datos contenidos en los almacenes de datos, hay que extremar las medidas de seguridad para que personas no autorizadas accedan a datos sensibles Historia de las aplicaciones OLAP Quizás, la primera herramienta OLAP considerada como tal del mercado fue el lenguaje de programación APL de los años 70. Sin embargo, este lenguaje fracasó ya que el analista debía tener altos conocimientos de programación para poder obtener los informes requeridos. A principios de los ochenta surge el producto de Comshare's System W. Enfocado a soluciones financieras, proporcionaba datos multidimensionales en forma similar a cubos e hipercubos. Este producto evolucionó al Commander Prism de Essabe. Sin embargo, tuvo que enfrentarse a la dificultad de que el hardware de aquella época no soportase los requisitos de estas aplicaciones. Así, surgieron los primeros DSS y los EIS. Mientras tanto, E. F. Codd, el creador del tan conocido modelo relacional, definió 12 reglas para diseñar aplicaciones OLAP. Básicamente, su propuesta se basa en el tratamiento de datos multidimensional haciendo uso de la tecnología relacional. A finales de los 90 se incrementa tanto la oferta como la demanda de las herramientas OLAP, surgiendo así dos tipos de arquitectura: Las herramientas ROLAP (Relational OLAP, OLAP relacional), que utilizan tecnología relacional para implementar el almacén de datos. Las herramientas MOLAP (Multidimensional OLAP, OLAP multidimensional), que en lugar de utilizar tecnología relacional, albergan y procesan los datos directamente en vectores multidimensionales o matrices.

17 1.6. Sistemas analíticos contra transaccionales 9 Figura 1.2.: Evolución del mercado OLAP desde 1994 hasta 2004 A modo de resumen, en la fig. 1.2 podemos ver un gráfico que muestra la evolución del mercado americano de herramientas y soluciones OLAP hasta el año Mientras que se observa un crecimiento significativo alrededor del 2001, en 2004, el mercado OLAP ya está maduro y con dificultad para crecer exponencialmente, presentando incluso cierto grado de saturación. Sin embargo, la maduración del mercado traerá consigo la reducción de costes de forma drástica Sistemas analíticos contra transaccionales Finalizaremos este capítulo de introducción a la tecnología de los almacenes de datos con un resumen (cuadro 1.2) de las principales diferencias entre los sistemas operacionales o transaccionales y los sistemas analíticos. Del cuadro 1.2 se desprende que mientras los almacenes de datos (como sistemas analíticos) están orientados al tema y el negocio, pues su objetivo es proporcionar respuesta a una gran cantidad de requisitos ad hoc lanzados por los analistas del negocio, los sistemas operacionales están orientados a la aplicación y a procesar un gran número de transacciones. Este aspecto fundamental marcará el diseño del repositorio del almacén de datos (la base de datos que almacena la información para el análisis), como veremos en los capítulos siguientes. Por ello, mientras que en los sistemas transaccionales se utilizan técnicas de normalización desde las primeras fases de diseño, tal y como justificaremos a lo largo del texto, mostraremos que en los almacenes de datos las técnicas de desnormalización serán las más adecuadas para el diseño eficaz de los almacenes de datos.