ARQUITECTURA DE UNA BODEGA DE DATOS

Transcripción

1 ARQUITECTURA DE UNA BODEGA DE DATOS Estructura de contenidos INTRODUCCIÓN ARQUITECTURA DE UNA BODEGA DE DATOS PROPIEDADES ARQUITECTURA DE UNA CAPA ARQUITECTURA DE DOS CAPAS Capa Fuente Extracción de Datos Capa de Data Warehouse Análisis ARQUITECTURA DE TRES CAPAS Data Marts... 9 GLOSARIO BIBLIOGRAFÍA WEBGRAFÍA... 12

2 Mapa conceptual ARQUITECTURA DE UNA BODEGA DE DATOS 2

3 INTRODUCCIÓN El manejo de información inmerso en las dinámicas organizacionales actuales, exige la combinación de estrategias que involucran por un lado el uso y mantenimiento de bases de datos relacionales con las que se realizan tareas transaccionales y operativas, al tiempo que se derivan otras tareas asociadas a la toma de decisiones producto de las actividades gerenciales que se enfocan en el análisis de datos complejos y de gran volumen. Los datos de comportamiento variable y creciente representados en fuentes heterogéneas deben ser depurados y presentados de una forma resumida y concreta para revisar tendencias y evaluar acciones específicas procurando generar ventaja comparativa y permitiendo a las organizaciones proyectarse en mercados cada vez más competitivos. En estos escenarios aparecen las Bodegas de Datos (del inglés data warehouse) para brindar soluciones orientadas a poder almacenar y centralizar la información originada a partir de distintas fuentes y definidas como lo expresa el autor Ralph Kimball como: Una copia de las transacciones de datos específicamente estructurada para la consulta y el análisis. Enfocados en esta tarea, nos ocuparemos de estudiar las diferentes opciones de arquitectura que se podrían abordar al momento de definir la creación de una bodega de datos. 1. ARQUITECTURA DE UNA BODEGA DE DATOS 1.1 PROPIEDADES Para poder definir la arquitectura de una bodega de datos, debemos analizar unas propiedades esenciales representadas en: Separación: Los procesos de análisis y transacciones deberían ser guardados en lo posible de forma independiente. Escalabilidad: Las arquitecturas de Hardware y Software deben ser fáciles de mejorar conforme al volumen de los datos, definidas para fácil administración y manejo de procesos, estimadas por el número de requerimientos de usuarios que determinan incrementos progresivamente. 3

4 Extensibilidad: La arquitectura debe estar en capacidad de recibir nuevas aplicaciones y tecnologías sin rediseñar el sistema Seguridad: Monitorear los accesos es una tarea esencial previa al almacenamiento de los datos en un data warehouse. Administrable: La administración de los datos en el la bodega de datos no debe ser compleja Dos clasificaciones son comúnmente adoptadas para definir la arquitectura de una bodega de datos. La primera clasificación, es una estructura que depende del número de capas usada por la arquitectura. La segunda clasificación, depende de cómo las diferentes capas son empleadas para crear vistas del data warehouse orientada a necesidades específicas de una empresa o a departamentos específicos de la organización. 1.2 ARQUITECTURA DE UNA CAPA Operational data Source layer Middleware Data warehouse Analysis Reporting OLAP 4

5 Una arquitectura de una capa no es comúnmente usada en la práctica. La meta en esta arquitectura es minimizar la cantidad de datos almacenados removiendo datos redundantes. Esto significa que un Data Warehouse es implementado como una vista multidimensional de datos operacionales creados por un middleware específico, o el procesamiento con una capa intermedia. La debilidad de esta arquitectura radica en su incapacidad para cumplir con el requisito de la separación entre el proceso de análisis y transaccional. Las consultas de análisis son enviadas a los datos operacionales una vez el middleware los interpreta. En este sentido, las consultas afectan la carga de trabajo de las transacciones regulares. Adicionalmente, aunque esta arquitectura puede reunir los requerimientos para integración y exactitud de los datos, este no puede registrar más datos que los provenientes de las fuentes básicas. Por esta razón, un enfoque virtual para almacenamiento de datos sólo puede tener éxito si las necesidades de análisis son particularmente restringidas y el volumen de datos a analizar es muy grande. 1.3 ARQUITECTURA DE DOS CAPAS El concepto de separación es la esencia en la definición de la arquitectura típica para un sistema de almacenamiento de datos pensado en dos capas tal cual como se aprecia en la figura 2. Se denomina arquitectura de dos capas a la separación física entre las fuentes de datos disponibles y lo dispuesto en la bodega de datos, que consta de cuatro etapas posteriores de flujo de datos enunciadas a continuación: Capa Fuente Un sistema de almacenamiento de datos utiliza fuentes heterogéneas de datos. Esos datos se almacenan originalmente en la base de datos relacional o bases de datos legadas, o puede provenir de sistemas de información externos a la empresa. 5

6 Source layer Operational data External data Data staging ETL Data warehouse Meta-data Data warehouse layer Data marts Analysis Reporting OLAP Data mining What-if analysis Extracción de Datos Los datos almacenados en las fuentes deben ser extraídos y limpiados para remover inconsistencias y llenar espacios vacíos, integrando fuentes de datos heterogéneos a partir de esquemas comunes. Las llamadas herramientas ETL (Extraction, Transformation and Loading) pueden mezclar esquemas heterogéneos, extraer, transformar, limpiar, validar, filtrar, y cargar fuentes de datos dentro de una bodega de datos. En sí, esta etapa se ocupa de los problemas que son típicos de los sistemas de información distribuidos, tales como la gestión de datos inconsistentes y estructuras de datos incompatibles. 6

7 1.3.3 Capa de Data Warehouse La información es almacenada en un repositorio centralizado denominado data warehouse o bodega de datos. El data warehouse puede ser accedido directamente, pero este también puede ser usado como fuente para creación de data marts, los cuales parcialmente replican contenidos de los data warehouse y son diseñados por necesidades de dependencias específicas en una empresa. Los repositorios que contienen la meta data almacenan información como fuentes, procedimientos de acceso, extracción de datos, usuarios, esquemas de data mart, etc Análisis En esta capa, la integración de datos es eficiente y de acceso flexible para generar informes, analizar la información de forma dinámica y simular escenarios hipotéticos de negocio. Esta capa debe funcionar con navegadores de datos agregados, optimizadores de consultas complejas, y con interfaces gráficas de usuario de fácil manejo. Es necesario estudiar a fondo la diferencia arquitectónica entre los almacenes de datos y los data marts. Los componentes señalados como un data warehouse en la figura 2 son frecuentemente llamados data warehouse primario o data warehouse corporativo que actúan como un sistema de almacenamiento centralizado para todos los datos que se resumen. Los Data marts pueden ser vistos como pequeños almacenes de datos replicando la parte de una almacén de datos principal requerido en el dominio de una aplicación específica. A continuación se enuncian algunos beneficios de una arquitectura de dos capas: En sistemas de bodega de datos, la información de buena calidad está siempre disponible, incluso cuando el acceso a las fuentes se niega temporalmente por razones técnicas o razones de la organización. El análisis de consultas en la bodega de datos no afecta la administración de las transacciones. 7

8 Las bodegas de datos son estructuradas lógicamente de acuerdo a un modelo multidimensional. Las bodegas de datos pueden utilizar soluciones específicas de diseño orientadas a la optimización de aplicaciones de análisis y reportes. 1.4 ARQUITECTURA DE TRES CAPAS Source layer Operational data External data ETL Data staging ETL Reconciled data Meta-data Reconcilled layer Data warehouse Data warehouse layer Data marts Analysis Reporting OLAP Data mining What-if analysis 8

9 En esta arquitectura, la tercera capa es la capa de datos reconciliados o almacén de datos operativos. En esta capa se materializan los datos operativos obtenidos después de la integración y la limpieza de datos desde el origen. Como resultado, los datos son integrados, coherentes, actuales y detallados. La figura muestra una bodega de datos que no es poblada de sus fuentes de forma directa, pero si a partir de datos reconciliados. La principal ventaja de la capa de reconciliación de datos es que esta crea un modelo de referencia de datos común para una empresa en su conjunto. De igual forma, se separan los problemas de extracción de datos de las fuentes y la integración de datos para poblar la bodega de datos. En algunos casos, la capa de reconciliación es usada para llevar a cabo tareas más operativas, tales como la elaboración de informes diarios que no pueden ser adecuadamente preparados con las aplicaciones corporativas, o generando los flujos de datos para alimentar procesos externos periódicamente con el fin hacer integración y limpieza. Sin embargo, los datos conciliados conducen a una mayor redundancia de datos de origen operativo. Tenga presente que se puede suponer que incluso las arquitecturas de dos capas pueden tener una capa de reconciliación que no está específicamente materializada, pero si se puede presentar en una forma virtual dado que se define como una vista que brinda coherencia de los datos fuentes integrados. 1.5 Data Marts Un data mart es un subconjunto o una agregación de los datos almacenados en un almacén de datos principal. Se incluye un conjunto de piezas de información relativa a áreas específicas de negocio, un departamento de la empresa o categorías de usuarios. Los data marts generados a partir de una bodega de datos primaria son llamados frecuentemente dependientes. Pese a que los data marts no son estrictamente necesarios, son muy útiles para los sistemas de bodegas de datos en medianas y grandes empresas debido a que: Son usados como bloques de construcción mientras se incrementa el desarrollo de las bodegas de datos. Exponen la información requerida por un grupo específico de usuarios para solucionar consultas específicas. 9

10 Pueden ofrecer un mejor rendimiento, ya que son más pequeños que las bodegas de datos primarias. En ocasiones, principalmente por políticas y organización, debe utilizar una arquitectura diferente en el que las fuentes se utilizan para poblar los data marts. Si no hay una bodega de datos principal, esto simplifica el proceso de diseño, pero conlleva el riesgo de inconsistencias entre los data marts. Para evitar estos problemas, se puede crear una bodega de datos principal y seguir teniendo los data marts independientes. En comparación con el estándar de la arquitectura de dos capas expuesta en la figura 2, las funciones de los data marts y la bodega de datos están invertidas. En este caso la bodega de datos se llena de a través de los data marts y puede ser consultada directamente para generar los patrones de acceso tan fácil como sea posible. 10

11 GLOSARIO DATA MART: subconjunto o agregación de los datos almacenados en un almacén de datos principal. DATA WAREHOUSE: Colección de información originada a partir de distintas fuentes y definidas como lo expresa el autor Ralph Kimball como Una copia de las transacciones de datos específicamente estructurada para labores de consulta y análisis. ETL: Extracción, transformación y carga de datos. MIDDLEWARE: Software que asiste a una aplicación para interactuar o comunicarse con otras aplicaciones, software, redes, hardware y/o sistemas operativos. 11

12 BIBLIOGRAFÍA Mateo Golfarelli; Stefano Rizzi(2009). Data Warehouse Design: Modern Principles and Methodologies. McGraw-Hill. Zorrilla, M. (2008). Data WareHouse y OLAP. Recuperado el 15 de mayo de 2012, Universidad de Cantabria. WEBGRAFÍA Página tomada de Wikipedia (Wikipedia ). Recuperado el 18 de mayo de 2012, de Almacén de datos: 12

13 Desarrollador de contenido Experto temático Asesor pedagógico Producción Multimedia Programadores Líder expertos temáticos Líder línea de producción Control de documento Construcción Objeto de Aprendizaje Arquitectura de una Bodega de Datos Fernelly Carvajal Silva Rafael Neftalí Lizcano Reyes Luis Fernando Botero Mendoza Victor Hugo Tabares Daniel Eduardo Martínez Grateful Dead Montaño Sierra Ana Yaqueline Chavarro Parra Santiago Lozada Garcés 13