Almacén de datos - concepto. Arquitectura de un sistema de almacén de datos

Transcripción

1 Almacén de datos - concepto Almacén de datos (Bodega de Datos, Data warehouse) es una integrada colección de datos que contiene datos procedentes de sistemas del planeamiento del recurso de la empresa (SAP, CRM, ERP) y de otros sistemas relacionados al negocio. Los almacenes de datos contienen a menudo datos y parámetros introducidos manualmente para mantener configuración solicitada. Los almacenes de datos contienen información que se subdivide a veces en unidades lógicas más pequeñas, llamadas los centros comerciales (data marts). Almacén de datos contiene datos usados en operaciones diarias para la ayuda en la toma de decisiones, para el análisis y para controlar. La base de datos esta actualizada periódicamente sin interrumpir funcionamiento de los sistemas relacionados al negocio (múltiples fuentes). El almacén de datos puede ser implementado en una arquitectura de base de datos (como Oracle, SQL Server) o en un producto dedicado (Teradata por ejemplo). Arquitectura de un sistema de almacén de datos Un Almacén de Datos (Data Warehouse) es una colección de datos que está formada por Variables (hechos, facts) y Dimensiones (dimensions). Dimensiones son los elementos para ubicar datos que participan en el análisis y Variables los valores que se desean analizar. La mayor diferencia entre la arquitectura de un almacén de datos y una base de datos OLTP estándar, conteniendo datos de los sistemas del planeamiento del recurso de la empresa (como SAP, CRM) es que en una estructura de bodega de datos las tablas están denormalizadas entre variables y dimensiones. En un típico sistema de bases de datos OLTP (On-line Transaction Processing) lo más importante para el funcionamiento deseado es que el diseño de base de datos sea eficiente. Esto determina si el sistema es útil para los usuarios y si funciona de modo rápido y eficaz. Este tipo de base de datos tiene que encargarse de insertar miles de filas de datos cada hora. Por eso se optimiza la base de datos para guardar datos lo menos posible y ejecutar rápidamente las instrucciones sql: INSERT, UPDATE y DELETE. Almacén de Datos, al contrario de OLTP, es un sistema que debe dar una respuesta a casi cada pregunta con respeto al funcionamiento de la empresa. Una Bodega de datos es una base de datos que almacena información, la cual se construye a partir de datos básicos extraidos de otras bases de datos (operacionales). El motivo para producir información de una bodega de datos es ayudar a la toma de decisiones con la capacidad de realizar en tiempo real análisis multidimensionales Esta información tiene que ser accesible rápidamente, pero no es tan importante que sea lo mas actual posible y al nivel de detalle muy bajo. Normalmente un almacén de datos se carga diariamente durante la noche cuando los sistemas fuente no están sobrecargados. El objeto mayor de la arquitectura de un almacén de datos es guardar datos históricos y agregados. Las instrucciones SQL ejecutadas con mayor frecuencia son SELECT. Hay tres arquitecturas del diseño de sistemas de almacenes de datos: Esquema de estrella Esquema copo de nieve Esquema constelación

2 Proceso ETL ETL, es un término que viene del inglés de las siglas, Extract-Transform-Load, que significan Extraer, Transformar y Cargar. ETL,es el proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes a un almacén de datos, reformatearlos, limpiarlos y cargarlos en otra base de datos, datamart ó bodega de datos. ETL forma parte de la Inteligencia Empresarial (Business Intelligence), también llamado Gestión de los Datos (Data Management). La idea es que una aplicación ETL lea los datos primarios de unas bases de datos de sistemas principales, realice transformación, validación, el proceso cualitativo, filtración y al final escriba datos en el almacén y en este momento los datos son disponibles para analizar por los usuarios. Las más populares herramientas y aplicaciones ETL del mercado son: IBM Websphere DataStage (anteriormente Ascential DataStage y Ardent DataStage) Pentaho Data Integration (Kettle ETL) - Una herramienta Open Source Business Intelligence SAS ETL Studio Oracle Warehouse Builder Informatica PowerCenter Cognos Decisionstream Ab Initio BusinessObjects Data Integrator (BODI) Microsoft SQL Server Integration Services (SSIS) Fundamentos de DataStage DataStage es una herramienta ETL que permite crear y mantener fácil y rápidamente almacenes de datos procedentes de sistemas de Aplicaciones Empresariales incluyendo SAP, Siebel, Oracle y PeopleSoft CRM y de otros sistemas relacionados al negocio. Datastage soporta la extracción, integración y transformación de altos volúmenes de datos desde estructuras simples hasta muy complejas. Entre funciones de DataStage, la más destacada es el diseño de tareas que extraen, integran, agregan, cargan y transforman los datos para el Data Warehouse o Data Mart. Las tareas son compiladas para crear ejecutables que son calendarizados por el Director y ejecutadas por el Servidor. Historia Datastage Antes el producto se llamaba Ardent DataStage, luego adquirido por Ascential y en 2005 lo compró IBM. Desde entonces su nombre oficial es IBM WebSphere Datastage.

3 Componentes de DataStage Hay cuatro componentes principales de la herramienta Datastage: Administrator - Interfaz de usuario usada para configurar proyectos de Datastage y usuarios. Gestiona administración de proyectos de DataStage en ambientes de desarrollo y producción. Designer - usada para crear, diseñar y compilar tareas Datastage (también permite testear y ejecutar). Mayormente usado por los desarrolladores.

4 Director - para validar, calendarizar, testear, ejecutar y monitorizar jobs Datastage. Usado por los operadores y los testers. Manager - interfaz de usuario usada para visualizar y editar el contenido del repositorio.

5 Diseño de las tareas-datastage palette: Lista de todos los stages de Datastage: Datastage Server Palette - Los stages generales: Datastage Server Palette - Los stages de fichero:

6 Datastage Server Palette - Los Stages de Base de Datos: Datastage Server Palette - Los Stages de Transformar y Filtrar:

7 Datastage Server Palette - Elementos de Secuencias: Ejemplo de Job que carga datos de un archivo de texto, a otro archivo de texto: