Data Warehousing. Arquitectura de procesos en un sistema de data warehousing. Facultad de Ingeniería Escuela de Ingeniería de Sistemas y Computación

Transcripción

1 Data Warehousing Arquitectura de procesos en un sistema de data warehousing

2 Procesos en DW Un sistema completo de data warehousing lleva a cabo tres tareas: Suministrar datos al data warehouse Gestión diaria del data warehouse Modificar el data warehouse a medida que cambian los requerimientos

3 Suministro de datos: Problemas

4 Flujo de procesos Fuentes operacionales Limpieza y transformación Backup y archivo Consultas de soporte a la decisión

5 Carga y extracción La extracción: datos desde fuente y los carga en el data warehouse El proceso de carga y de extracción debe añadirles contexto y significado para convertirlos en información útil para la empresa

6 Limpieza y transformación Proceso que toma los datos cargados y los estructura para optimizar el rendimiento de las consultas Etapas Limpiar y transformar los datos cargados en una estructura que acelere las consultas Dividir datos para acelerar las consultas, optimizar el rendimiento del hardware y simplificar la gestión Crear agregaciones para acelerar las consultas más comunes

7 Back up Copias seguridad regulares para asegurar que el data warehouse siempre se puede recuperar en caso de pérdidas de datos

8 Gestión de consultas Proceso gestión de consultas y acelera dirigiéndolas a la fuente de datos más efectiva Funciones del proceso: Redirigir las consultas Maximizar los recursos del sistema Capturar las consultas

9 Componentes del Data Warehouse Integración Acceso DW Almacenamiento

10 Módulos principales A la vista de los procesos necesarios, hacen falta: Gestor de carga Gestor del warehouse Gestor de consultas

11 Gestor de carga Contiene herramientas extracción y carga de datos en el data wareouse Entre sus tareas destacan: Selección de las columnas a cargar Conversión de los datos Automatización del proceso de carga Minimización del tiempo de proceso

12 Arquitectura del gestor de carga Control del proceso Proc. almacenados Gestión copia Carga rápida Ficheros Estr. del dw Almacén temporal datos

13 Herramientas apropiadas Carga rápida Transformaciones simples Comprobaciones complejas Control del proceso Facilidades ofrecidas por lo SGBD Herramientas gestión de copia Procedimientos almacenados (C/C++) Shell scripts de UNIX de

14 Gestor del warehouse Controla el funcionamiento diario del almacén Entre sus tareas destacan: Comprobación de la integridad referencial y consistencia de los datos Creación de índices, vistas y particiones Generación de las agregaciones y actualización de las existentes Acumulación de los datos del data warehouse para su salvaguarda

15 Arquitectura del gestor del warehouse Control del proceso Alm. Temporal de datos Proc. Almacenados Herram. backup Esquema en estrella Scripts de SQL Tablas resumen

16 Gestor de consultas Lógica necesaria para apoyar el proceso de gestión de consultas Tareas más significativas: Dirigir las consultas a las tablas adecuadas Planificación de las consultas de los usuarios

17 Arquitectura de los procesos Data mining Gestor de carga Detalle Contexto Agregados Gestor consultas OLAP