Data Warehousing - Marco Conceptual Carlos Espinoza C.* Introducción Los data warehouses se presentan como herramientas de alta tecnología que permiten a los usuarios de negocios entender las relaciones y comportamientos de un problema comercial en estudio. Es así, que la concepción de esta tecnología es guiada básicamente por objetivos de negocio, en respuesta a la alta competitividad que se tiene hoy día en los mercados en que éstas participan. La diferencia entre tener o no tener un data warehouse puede significar el éxito o fracaso de las políticas comerciales que la empresa desee aplicar. Hoy en día el conocimiento del negocio es vital para el éxito del mismo. Ya no basta tener una buena intuición para generar políticas que diferencien a la empresa de sus competidores. Luego, es necesario tener una herramienta que apoye al negocio desde bases científicas y tecnológicas probadas, que permita aumentar las utilidades de la empresa a través de la disminución de los costos o bien la mejor segmentación del mercado al que se desea llegar, ofreciendo sus productos en el tiempo oportuno y a un precio que el cliente esté dispuesto a pagar. En definitiva, el mayor conocimiento de los clientes y del entorno donde se encuentra la empresa permite responder adecuadamente ante las exigencias del comercio, sobretodo hoy, cuando los mercados cambian constantemente y a muy alta velocidad. Por otra parte, dada la temprana introducción de la informática en las empresas, es que se tienen diferentes tecnologías resolviendo los problemas operativos de las compañías. Muchas veces encontramos sistemas que se encuentran en operación desde hace más de treinta años, y que interactúan con otros sistemas de más reciente creación. Esto conlleva varios problemas, por citar algunos tenemos problemas de tipo operativo, de diseño, de comunicaciones, etc. Pero el mayor de los problemas es el tener una visión homogénea de los datos. Por ejemplo, exponer la interacción de los clientes por diferentes canales de contacto, información que se encuentra en diferentes plataformas. Esto lleva a tener un enorme gasto en el momento de desarrollar un informe que presente el comportamiento de los clientes por los diferentes canales de interacción. Además, los usuarios comerciales están siempre ávidos de información respecto a la problemática del negocio, es así que los informes sobre materias comerciales son de variada génesis y envergadura. Lo anterior lleva a la necesidad de tener la información del negocio en una sola plataforma, que permita una consulta rápida y que resuelva el problema de la heterogeneidad de los sistemas operacionales. Entonces, es necesario entender las iniciativas de negocio más relevantes que permitan realizar el proceso de transformar los datos en información rentable al negocio de la compañía. Cabe hacer notar que la relación entre dato e información es a través de la evolución que sufre un dato cuando se encuentra al servicio de un objetivo de negocio, es decir, cuando el dato es útil a los objetivos comerciales se transforma en información. Es en este contexto que los data warehouse constituyen una vía en
la transformación de los datos en información al servicio de los objetivos comerciales. El proceso de creación de un Data Warehouse trae consigo problemas diferentes a los habitualmente estudiados en las áreas de ingeniería de software. En particular, se tiene una plataforma que está destinada a la gestión de nuevas iniciativas comerciales, y que debe contener el conocimiento corporativo del negocio en un solo lugar. Esto nos enfrenta a evaluaciones de diseño, por ejemplo, que contemplen un crecimiento constante en los datos, considerando una componente histórica que es vital para el análisis de comportamiento y que es ajena en el caso de los sistemas operacionales tradicionales. Es así, que para entender la problemática de la administración de Data Warehouse se hace necesario comprender como son desarrollados y cuáles son los objetivos que mueven ésta tecnología. Otro punto importante de mencionar es que al ser los Data Warehouse una tecnología emergente, se hace imprescindible conocer el estado del arte de las tecnologías habilitantes para este proceso. Caracterización de un Data Warehouse Una primera caracterización, que es mas bien una definición de los principales objetivos de un Data Warehouse, es la entregada por Bill Inmon. El objetivo de un Data Warehouse es el proveer un preciso y único almacenamiento de datos, asegurando el detalle y resúmenes de datos para los usuarios de negocio, es decir se constituye como la única versión de la verdad. En esta definición se destaca el hecho que un Data Warehouse debe estar al máximo nivel de detalle posible, y además debe reflejar fielmente el contenido de los datos de las fuentes operacionales. Esto implica que la calidad de los datos que se almacenan en el Data Warehouse depende directamente de la calidad encontrada en los sistemas operacionales o también llamados fuentes de datos del Data Warehouse. Por otra parte, estar al máximo nivel de detalle, implica el hecho que toda pregunta de negocios que sea formulada al Data Warehouse podrá ser respondida en consideración a que los datos que responden la pregunta se encuentren en él. Para complementar la caracterización anterior, se ha tomado como base la definición que hiciera la Profesora Verónika Peralta Costabel, de la Facultad de Ingeniería del Instituto de Computación de Uruguay, la que está más ligada a las características estructurales y el detalle funcional de un Data Warehosue: Partiendo de la base que los sistemas de Data Warehouse son el eje fundamental en las arquitecturas de información de las empresas, y que surgen como una respuesta al problema de extraer información estratégica para los objetivos económicos de la compañía, a partir de datos atómicos almacenados en bases de datos de producción o fuentes externas de datos relevantes. Entonces, uno de los objetivos principales de éste tipo de sistemas es servir
como base de información para la toma de decisiones. Los beneficios obtenidos por la utilización de este tipo de sistemas se basan en el acceso interactivo e inmediato a información estratégica de un área de negocios. Este acercamiento de la información al usuario final permite una toma de decisiones rápida y oportuna basada en datos objetivos, obtenidos a partir de las bases de datos de producción de la empresa (en muchos casos heterogéneas). Estos beneficios aumentan cuanto más importantes son las decisiones a tomar y cuanto más crítico es el factor tiempo. Un Data Warehouse incluye funcionalidades tales como: (a) Integración de bases de datos heterogéneas (relacionales, documentales, geográficas, de archivos, etc.). (b) Ejecución de consultas complejas no predefinidas visualizando el resultado en forma de gráficos y en diferentes niveles de agrupamiento y totalización de datos. (c) Agrupación y desagregación de datos en forma interactiva. (d) Análisis de problema en términos de dimensiones. Por ejemplo, permite analizar datos históricos a través de la dimensión tiempo. (e) Control de calidad de datos para asegurar, no solo la consistencia de la base, sino también la relevancia de los datos, en base, a los cuales se toman las decisiones. Un Data Warehouse es una colección de datos que esta orientada a sujetos, que están integrados, que es variante en el tiempo, y que es no volátil. Su objetivo es soportar el proceso de toma de decisiones, brindando una sólida plataforma de datos históricos integrados con el objetivo de realizar análisis comerciales. Un Data Warehouse es orientado a sujetos. El mundo operacional está diseñado alrededor de aplicaciones y funciones, como por ejemplo pagos, ventas, entregas de mercadería, para una institución comercial. Por el contrario, un Data Warehouse esta organizado alrededor de los principales sujetos, como cliente, vendedor, producto y actividades. El mundo operacional concierne al diseño de la base de datos y al diseño de procesos. Un Data Warehouse, en cambio, está enfocado en el modelo de los datos y el diseño de la base de datos, exclusivamente. El diseño de procesos (en su forma clásica) no es parte de un Data Warehouse. Un aspecto importante del ambiente Data Warehouse es que sus datos están integrados. Cuando los datos son movidos del ambiente operacional, son integrados antes de entrar en el warehouse. Por ejemplo, un diseñador puede representar el sexo como "M" y "F", otro puede representarlo como "0" y "1", o "X" e "Y", y otro usar las palabras completas "masculino" y "femenino". No importa la fuente de la cual el sexo llegue al Data Warehouse, debe ser almacenado de forma consistente; los datos deben ser integrados, consistentes entre sí, de manera que sin importar la fuente éstos al referirnos a alguna cualidad u atributo ésta sea siempre representada de la misma manera.
Los datos en el Data Warehouse son precisos para un cierto momento, no necesariamente ahora; por eso se dice que los datos en el Data Warehouse son variantes en el tiempo. La variación en el tiempo de los datos de un warehouse se manifiesta de muchas maneras, en particular el modelamiento de los datos debe contener las variaciones de atributos relevantes, por ejemplo el nivel de endeudamiento de un cliente, debemos conocer el nivel de endeudamiento cuando un cliente toma la decisión obtener un crédito. El Data Warehouse debe contener datos de un largo horizonte de tiempo que permitan interpretar las variables relevantes en el proceso de decisión del cliente. Las aplicaciones operacionales, sin embargo, contienen datos de intervalos de tiempo pequeños, por cuestiones de performance (tablas pequeñas redundan en un mejor rendimiento ante consultas). Toda estructura clave en un warehouse contiene implícita o explícitamente un elemento del tiempo. Esto no necesariamente pasa en el ambiente operacional. Los datos de un Data Warehouse, una vez almacenados, no pueden ser modificados (no se permite update). En el ambiente operacional, en cambio, los datos deben ser precisos al momento de acceso, pueden y deben ser actualizados, según sea necesario. En los sistemas operacionales se efectúan regularmente operaciones de update, insert y delete. La manipulación de datos en un Data Warehouse, es mucho más sencilla. Solo ocurren tres operaciones, la carga inicial, las cargas de actualización en el tiempo, y el acceso a los datos. No hay necesidad de update (en el sentido OLTP). Hay consecuencias muy importantes de esta diferencia de procesos con un sistema operacional. En el nivel de diseño de un Data Warehouse, no hay que controlar anomalías producidas por los update, ya que no los hay. Se pueden tomar libertades de diseño físico como optimizar el acceso a los datos, y desnormalizar el modelo físico. Otra consecuencia es la simplicidad de la tecnología del Data Warehouse, en lo que respecta a backups, recuperación, locks, integridad, etc. Sin embargo, dado que un Data Warehouse es el reflejo fiel de los datos contenidos en las fuentes de datos, es que el problema de la sincronización entre ambos es no trivial. La definición de los mecanismos de actualización del Data Warehouse para que se incorpore la evolución de los datos, es un tema que se debe abordar desde la etapa de diseño del Data Warehouse. La arquitectura lógica de un Data Warehouse es del tipo mostrado en la Figura 1. Un Sistema de Data Warehouse consta de cinco niveles: (1) Bases de datos fuente (de producción, históricos, o fuentes externas de datos). (2) Procesos de transformación de datos, es decir, extracción, integración, filtros, normalización, etc. (3) Data Warehouse con los datos al máximo nivel de detalle extraídos desde las bases de datos fuentes, esto nos permite conocer todos los detalles (al menos los conocidos por las fuentes operacionales). (4) Procesos de replicación y propagación de datos. (5) Interfaces orientadas a usuarios que extraen información para la toma de decisiones. Las clásicas son: análisis multidimensional, consultas y reportes, análisis estadístico, modelos de predicción, y data mining.
Las bases de datos fuente consisten en bases de datos de producción, históricas, o fuentes externas de datos. Estas bases de datos pueden estar implementadas en diferentes tipos de sistemas, Bases de Datos Relacionales, jerárquicas, de archivos, documentales, etc. Una característica común es que almacenan conjuntos de datos atómicos, tanto desde el punto de vista de consistencia como de la granularidad de los datos, los cuales son relevantes como fuente de datos elementales para el Data Warehouse. Además, la calidad de los datos en estas bases se fundamenta en la consistencia de dichos registros, la que es heredada al Data Warehouse por ser una fiel reproducción de los sistemas operacionales en este sentido. El proceso de transformación de datos es el movimiento e integración lógico y físico de los datos desde las fuentes de datos del Data Warehouse en el modelo de datos corporativo que se ha definido. Las actividades ligadas a la transformación pueden incluir acceso, conciliación, captura, aplicar filtros, etc. Siendo el principal objetivo constituir una fuente de datos al máximo nivel de detalle, consistente, integrado y variante en el tiempo. Legacy Unix Data Warehouse Data Marts Dependientes ROLAP AS400 Data Mart Windows SQL Server Legacy DATA WAREHOUSE Data Mart Consultas y visualización Excel y ASCII Data Mart Fig. #1 - Arquitectura Lógica de D.W. El Data Warehouse es una base de datos que incluye los datos relevantes para la toma de decisiones en un área de negocios o globalmente en la empresa. Los datos almacenados en el Data Warehouse son, fundamentalmente, datos al máximo nivel de detalle, pudiendo contener agrupamientos y totalizaciones para responder las preguntas más recurrentes. Se hace notar que el Data Warehouse se constituye como la única versión de la verdad, esto implica ser un reflejo fiel de la historia de los acontecimientos relevantes almacenados en él. Por otra parte, una componente importante en el Data Warehouse es el Diccionario de Datos, también conocido como Metadatos, el cual describe los datos almacenados, con el objetivo de facilitar el acceso de los mismos a través de las
herramientas de explotación del Data Warehouse o bien como método de documentación. Los Metadatos establecen correspondencias entre los datos almacenados y los conceptos que éstos representan, de manera de facilitar la extracción de información por parte del usuario de negocios. El proceso de replicación y propagación de datos es la sincronización entre el Data Warehouse corporativo y los Data Marts dependientes que son alimentados a partir de él. Un Data Mart dependiente es un subconjunto lógico y/o físico de datos a partir del Data Warehouse, que es creado a partir de un requerimiento de información particular y recurrente. Razones de performance y costo son las que motivan la implementación de Data Marts. En este sentido, al constituir el Data Warehouse como la única versión de la verdad, es que todos los Data Marts deben depender del Data Warehouse de manera que los datos extraídos a partir de él tengan una única génesis que permita un alto grado de consistencia de la información, que permita conciliar las fuentes de datos. Las interfases orientadas a los usuarios finales habilitan el acceso a los datos almacenados en el Data Warehouse, permitiendo que la transformación de los datos en información sea factible. Cabe señalar que la distinción entre datos e información depende de los objetivos para los cuales son concebidos, en particular información esta orientada a objetivos definidos para obtener un logro determinado a partir de los datos, en consideración a metas comerciales, por ejemplo. La transformación de datos en información potencia el proceso de toma de decisiones. Las necesidades específicas de los usuarios juegan un importante rol en este proceso y en la selección de las herramientas apropiadas para el acceso al Data Warehouse. Entre las herramientas de acceso comunmente utilizadas se encuentran OLAP, EIS, DSS, Análisis Estadístico, Inteligencia Artificial, Redes Neuronales, Data Mining, etc. Metodología para desarrollar un Data Warehouse Los Data Warehouse son utilizados para almacenar grandes cantidades de información obtenidos de variadas fuentes de datos. Las empresas crean Data Warehouse por dos razones. Primero, se requiere una perspectiva consolidada y unificada de la empresa, que les permita identificar tendencias, oportunidades o anomalías del negocio a través de una consistente y fiable fuente de información. Segundo, requieren capacidades de apoyo flexible a la toma de decisiones. El desafío que esto presenta es una arquitectura óptima para enfrentar éstas necesidades. Se requiere entonces, un sistema de alta escalabilidad. Un Data Warehouse debe almacenar un gran volumen de datos con una razonable performance en las consultas. Es así, que se definen tres tipos de escalabilidad. a) Volumen de datos. Dado que los datos se encuentran al mayor nivel de detalle posible, es que el volumen de los mismos se ve incrementado según el crecimiento natural que experimenta la empresa. Por otra parte, dado el horizonte histórico, el Data Warehouse está siempre incorporando nuevos datos, es decir está en constante crecimiento. b) Crecimiento del número de usuarios.
c) Complejidad de las consultas. Dada la avidez de los usuarios por entender el comportamiento de las variables en estudio es que las consultas son cada vez más complejas e involucran un mayor número de entidades. Lo anterior, es una evolución natural del conocimiento de los usuarios que los lleva a plantear preguntas más complejas y particulares. Como los datos son almacenados al mayor nivel de detalle posible es que se requiere una base de datos que soporte un modelo Entidad Relación (ER), esto nos asegura el no tener redundancia de datos que a la larga incrementaría inútilmente el volumen de datos del Data Warehouse.. El modelo Entidad Relación permite hacer un modelo de fácil comprensión que aborde las preguntas del negocio que se desea responder. Las ventajas de utilizar el modelo Entidad Relación son: a) Los modeladores de datos tienen una amplia experiencia en el modelo Entidad Relación, que ha sido heredada por los sistemas OLTP que se han construido. b) Se elimina la redundancia de datos, ya que un modelo ER en tercera forma normal asegura que no existirá redundancia de datos en el modelo generado. c) No existe restricción a las consultas que se pueden realizar sobre este modelo. Al estar los datos almacenados de manera atómica, no hay resúmenes que pudieran tener perdida de información para una determinada consulta. d) Soportan integridad referencial. Esto permite mantener integridad entre tablas de hecho y tablas de dimensiones en un modelo tipo estrella. Con las consideraciones antes mencionadas se procederá a especificar un método para la construcción de un Data Warehouse en un modelo de datos relacional: 1) Definición de objetivos comerciales, cual es el área de negocios que se desea potenciar con el DW, qué preguntas de negocios son críticas y deben ser respondidas. 2) Construcción del modelo lógico y físico de datos en base al modelo ER. 3) Identificar fuentes de datos a ser cargadas en el DW. 4) Especificar procesos de carga de datos, considerando filtros e integración de los datos. 5) Generación de metadatos. Se debe considerar la calidad de datos en los metadatos. 6) Anticipar creación de posibles Data Marts. Estado del arte en Bases de Datos para Data Warehouse Como se ha visto en los párrafos precedentes, el proceso de Data Warehousing requiere de una base de datos que sea capaz de soportar grandes volúmenes de datos, y que provea una alta performance independiente de las consultas que se ejecutan, ademas de proveer un crecimiento acorde con el incremento en el volumen de datos administrado en este proceso. En el mercado de las bases de datos se puede distinguir claramente un alto predominio de las bases de datos enfocadas a los procesos OLTP. Este hecho
radica en que las principales aplicaciones de bases de datos se encuentra en este segmento de mercado. Por citar algunas bases de datos se tiene Oracle, Informix, Sysbase. Por otra parte, y dado el creciente auge de los sistemas de gestión, han aparecido bases de datos multidimensionales, específicas a este segmento, en particular se tienen Essbase, Cognos, y SQLServer con el Application Server como motor multidimensional. Sin embargo, en el mercado de las bases de datos para Data Warehousing son pocos los proveedores que se aventuran en cambiar sus paradigmas para ofrecer un producto con las capacidades esperadas para estos sistemas. Es así, que en este mercado se cuenta sólo una base de datos que provee las capacidades esperadas para el proceso de Data Warehouse. Esta base de datos es Teradata, que nace con un paradigma enfocado al procesamiento masivo de datos, con una arquitectura paralela y con competencias para ofrecer una escalabilidad necesaria a este proceso. Valor Modelos Predictivos Conocimiento Data Mining Modelo Estadístico BSC Información Data Warehouse Data Marts CRM Datos Sistemas Operacionales Fig. 2 Estructuración del conocimiento a partir de los datos * Carlos Espinoza Castillo ha sido consultor en Inteligencia de Negocios por más de 15 años. Su e-mail es cespinoza@auris.cl.