Diseño Técnico. Solución: Demo BeyeBuilder. Solucion ejemplo de BeyeBuilder para departamento de Ventas

Transcripción

1 Diseño Técnico Solución: Demo BeyeBuilder Solucion ejemplo de BeyeBuilder para departamento de Ventas Fecha: 07/04/2015

2 Introducción Objetivo del documento Proporcionar la documentación conceptual y técnica de la solución BI creada por B-EYE Alcance del documento El documento se estructura en tres grandes bloques: Arquitectura de la solución Modelo de datos Descripción de los procesos ETL

3 Arquitectura Entorno Staging (STG) El objetivo principal de esta área es la incorporación de los datos procedentes de los sistemas fuente al entorno de reporting para su posterior transformación y carga en el modelo de datos estrella. Entorno Datos Consolidados (CDL) Este entorno contiene los datos consolidados y transformados, con el objetivo principal de agrupar la información integrada antes de la carga de las diferentes estrellas para el reporting. La CDL esta diseñada para garantizar la calidad de los datos eliminando la posibilidad de que datos incorrectos se carguen a entorno DML de reporting. La CDL reduce la duplicidad de los datos, optimizando la carga y facilitando el mantenimiento. Entorno DataMarts (DML) El entorno DML contiene las diferentes estrellas con la información preparada para optimizar la ejecución de los informes y cuadros de mando de los usuarios. El modelo estrella utilizado para la implementación de los DataMarts se caracteriza por tener tablas de hechos (contiene la información de los indicadores y medidas) y las dimensiones, las cuales son entidades que responden a las diferentes perspectivas de análisis de los hechos. Las ventajas de este modelo son: Es una representación pensada y optimizada para la ejecución de consultas sobre los datos Datos preparados para facilitar el entendimiento de los datos y del modelo orientándolo al negocio Asegura la integridad de los datos entre los hechos y los elementos de las dimensiones Tablas de sistema (SYS) Este entorno contiene información necesaria para la ejecución y configuración del proceso de carga. El modelo esta formado por tres tipos de tablas: Configuración: Información general de la aplicación ETL: Metadatos de ejecución del proceso de extracción, transformación y carga Entorno: Tablas con la meta-data de definición de las dimensiones y hechos

4 Modelo de datos Dentro de este apartado se describe las tablas y campos que componene los diferentes entornos de la aplicación XXXXXX Nomenclatura Para el diseño físico de la estructura de los modelos de base de datos se utiliza la siguiente nomenclatura para facilitar la comprensión: Tablas El nombre de las tablas se componen por: XXX_YYY_<Descripción> XXX» 3 dígitos para identificar el entorno al cual pertenece la tabla: STG» Tablas del modelo Staging, y que contienen la información temporal cargada directamente desde los sistemas fuentes CDL» Consolidated Data Layer. Tablas del entorno CDL con la información consolidada previa al traspaso a los modelos estrella del área DML DML» Tablas que componen los modelos estrella con los datos preparados para el análisis SYS» Tablas de sistema con información necesaria para el funcionamiento de la aplicación y ETL YYY» 3 dígitos para identificar la funcionalidad de los datos que contiene la tabla. Esta nomenclatura no aplica a las tablas del área de Staging. A continuación se listan los prefijos: DIM» Tabla de dimensión FCT» Tabla de hechos CFG» Tabla con valores de configuración de la aplicación ENV» Tabla de definición del entorno (metadatos) ETL» Tabla con la información de ejecución de los procesos de carga Descripción» Texto libre descriptivo de la tabla, en mayúsculas y utilizando el carácter _ para la separación entre palabras. El texto basado en el sistema US-ASCII Ejemplo: Siguiendo la nomenclatura anterior, el nombre que una tabla de dimensión del entorno CDL con la información de los clientes activos se llamaría: CDL_DIM_CLIENTES_ACTIVOS s Los nombres de los campos de las tablas se componen de: XXXX_<Descripción>_YY XXXX» Identifica la tipologia del campo. Se definen los siguientes valores posibles: ID_PK» Identificador único de registro calculado en el DWH (Primary Key) ID_BK» Identificador de registro del sistema fuente (Business Key) ID_FK» Identificador clave externa (Foreign Key), relacionado con el ID_PK DS» Descripción del elemento AT» atributo MT» de tipo metrica con valor decimal YY» 2 dígitos para identificar el tipo de datos del campo. Esta nomenclatura no aplica a los campos de las tablas del área de Staging. A continuación se listan los prefijos: NR» númerico entero TX» tipo texto DT» Fecha DC» Númerico con decimales Descripción» Texto libre descriptivo del campo, en mayúsculas y utilizando el carácter _ para la separación entre palabras. El texto basado en el sistema US-ASCII Ejemplo: Siguiendo la nomenclatura anterior, el nombre que un campo númerico clave de cliente del sistema origen se llamaría: ID_BK_CLIENTE_NR Modelo de datos Staging Las tablas que componen el área de Staging son utilizadas por el proceso ETL para la carga y validación de los datos procedentes de los sistemas origen antes del traspaso al entorno CDL. Al inicio de la ejecución se borra la tabla temporal asociada a cada proceso antes de iniciar el proceso de carga, los datos cargados se quedan en las tablas temporales

5 hasta la siguiente ejecución para facilitar el seguimiento del proceso. Cada definición de sistema origen se corresponde con una tabla en el entorno de staging, las diferentes instancias de ejecución de un mismo proceso origen cargan los datos sobre la misma tabla auxiliar, combinando los datos para su posterior traspaso al entorno de reporting A continuación se listas las tablas y campos que componen este entono: Nombre Tabla: STG_TIEMPO Formato Identidad AÑO INTEGER No AÑO MES VARCHAR (20) No AÑO SEMANA VARCHAR (20) No AÑO TRIMESTRE VARCHAR (20) No DIAS DEL MES INTEGER No ID TIEMPO DATE Si ID_SOURCE_EXEC_NR INTEGER No NOMBRE DIA VARCHAR (100) No NOMBRE MES VARCHAR (100) No NÚM DIA MES INTEGER No NÚM DIA SEMANA INTEGER No NÚM MES INTEGER No NÚM SEMANA INTEGER No NÚM TRIMESTRE INTEGER No PRIMER DIA MES DATE No ÚLTIMO DIA MES DATE No Nombre Tabla: STG_CLIENTE Formato Identidad CIUDAD VARCHAR (100) No CODIGO POSTAL VARCHAR (100) No DIRECCIÓN VARCHAR (255) No FAX VARCHAR (100) No ID CLIENTE VARCHAR (20) Si ID_SOURCE_EXEC_NR INTEGER No NOMBRE VARCHAR (100) No PAÍS VARCHAR (100) No TELÉFONO VARCHAR (100) No Nombre Tabla: STG_ARTICULO Formato Identidad ARTÍCULO VARCHAR (255) No CANTIDAD UNIDAD VARCHAR (100) No CATEGORIA VARCHAR (100) No ID ARTÍCULO INTEGER Si ID_SOURCE_EXEC_NR INTEGER No UNIDADES STOCK INTEGER No Nombre Tabla: STG_PROVEEDOR Formato Identidad CARGO VARCHAR (100) No CIUDAD VARCHAR (100) No CODIGO POSTAL VARCHAR (100) No CONTACTO VARCHAR (100) No DIRECCIÓN VARCHAR (255) No ID PROVEEDOR INTEGER Si ID_SOURCE_EXEC_NR INTEGER No

6 NOMBRE EMPRESA VARCHAR (100) No PAÍS VARCHAR (100) No PROVEEDOR VARCHAR (100) No TELÉFONO VARCHAR (100) No Nombre Tabla: STG_CANAL Formato Identidad CANAL VARCHAR (100) No CLASE VARCHAR (100) No ID CANAL INTEGER Si ID_SOURCE_EXEC_NR INTEGER No Nombre Tabla: STG_VENTAS Formato Identidad CANTIDAD REAL No DESCUENTO REAL No ID_ARTICULO INTEGER Si ID_CANAL INTEGER Si ID_CLIENTE VARCHAR (20) Si ID_PROVEEDOR INTEGER Si ID_SOURCE_EXEC_NR INTEGER No ID_TIEMPO INTEGER Si IMPORTE REAL No IMPORTE DESCUENTO REAL No PRECIO UNIDAD REAL No Modelo de datos CDL Las tablas del entorno CDL contiene la información tratada y consolidada para el reporting. La información se organiza en modelos estrellas, distibuyendo la información en tablas Dimensiones (Tipo DIM) y tablas de hecho (FCT). Todas las tablas cuentas con un campo adicional a los definidos, identificado con el prefijo ID_PK_SK_, utilizado para el mantenimiento de las claves únicas de los datos. La relación entre los elementos de las dimensiones y los dados de las tablas de hecho se realizan utilizando esta clave primaria y única. Los campos de las tablas identificados como ID_BK (business key) almacenan el identificador cargado procedente del sistema origen, este valor se utilizará para relacionar los hechos con las dimensiones, aunque la integridad a nivel de constraint se realiza entre los campos ID_PK y ID_FK La columna Histórico identifica los campos utilizados para la lógica de SCD, manteniendo los cambios de valor de estos campos para su análisis histótico. Los campos identificados como Tipo ETL són utilizados por el proceso de carga para realizar la auditoría de la información procesada. En el apartado siguiente se explica el funcionamiento de estos campos. A continuación se listas las tablas y campos que componen este entono: Nombre Tabla: CDL_DIM_Tiempo Tipo: DIM Tipo Formato Identidad Histórico ID_BLOCK_EXEC_NR ETL INTEGER No No ID_GLOBAL_EXEC_NR ETL INTEGER No No AT_FLAG_CURRENT_TX ETL VARCHAR (1) No No AT_INSERT_DT ETL DATE No No AT_LAST_UPDATE_DT ETL DATE No No Nombre Tabla: CDL_DIM_Cliente Tipo: DIM Tipo Formato Identidad Histórico ID_BLOCK_EXEC_NR ETL INTEGER No No ID_GLOBAL_EXEC_NR ETL INTEGER No No

7 AT_FLAG_CURRENT_TX ETL VARCHAR (1) No No AT_INSERT_DT ETL DATE No No AT_LAST_UPDATE_DT ETL DATE No No Nombre Tabla: CDL_DIM_Artículo Tipo: DIM Tipo Formato Identidad Histórico ID_BLOCK_EXEC_NR ETL INTEGER No No ID_GLOBAL_EXEC_NR ETL INTEGER No No AT_FLAG_CURRENT_TX ETL VARCHAR (1) No No AT_INSERT_DT ETL DATE No No AT_LAST_UPDATE_DT ETL DATE No No Nombre Tabla: CDL_DIM_Proveedor Tipo: DIM Tipo Formato Identidad Histórico ID_BLOCK_EXEC_NR ETL INTEGER No No ID_GLOBAL_EXEC_NR ETL INTEGER No No AT_FLAG_CURRENT_TX ETL VARCHAR (1) No No AT_INSERT_DT ETL DATE No No AT_LAST_UPDATE_DT ETL DATE No No Nombre Tabla: CDL_DIM_Canal Tipo: DIM Tipo Formato Identidad Histórico ID_BLOCK_EXEC_NR ETL INTEGER No No ID_GLOBAL_EXEC_NR ETL INTEGER No No AT_FLAG_CURRENT_TX ETL VARCHAR (1) No No AT_INSERT_DT ETL DATE No No AT_LAST_UPDATE_DT ETL DATE No No Nombre Tabla: CDL_FCT_Ventas Tipo: FCT Tipo Formato Identidad Histórico ID_BLOCK_EXEC_NR ETL INTEGER No No ID_GLOBAL_EXEC_NR ETL INTEGER No No ID_SOURCE_EXEC_NR ETL INTEGER No No Modelo de datos del Sistema y ETL Tablas de sistema Este conjunto de tablas contiene la definición del sistema BI creado, metadatos como dimensiones, atributos, indicadores, sistemas fuente, mapeo de datos, etc. Está información es utilizada por el proceso de ETL para la carga de datos. A continuación se detalla las tablas de sistema que componen este modelo: Nombre Tabla: SYS_ENV_BUSINESS_AREA Tabla con las diferentes áreas de Negocio del sistema BI. Los diferentes conceptos definidos se agrupan dentro de alguna de las áreas de negocio de esta tabla. Toda solución tiene un área global con las dimensiones comunes al resto de áreas de negocio. Identidad Formato dato Descripción campo ID_PK_BUSINESS_AREA_NR Sí Entero Identificador numérico del área AT_BA_NAME_TX No Texto (100) Nombre del área DS_BA_DESCRIPTION_TX No Texto (255) Breve descripción del área AT_GLOBAL_NR No Entero Indica el tipo el área: (1 - Global / 0 - No Global) Nombre Tabla: SYS_ENV_OBJECT_BI

8 Tabla con las diferentes entidades que componene el sistema de BI. Estas entidades son las dimensiones o tablas de hechos que componenen los diferentes modelos estrella de las áreas de negocio Identidad Formato dato Descripción campo ID_PK_OBJECT_BI_NR Sí Entero Identificador numérico del concepto BI (Dimensión o tabla hechos) DS_OBJECT_BI_TX No Texto (45) Nombre del objeto BI AT_OBJECT_TYPE_TX No Texto (45) Identifica el tipo del objeto o tabla ( DIM - Dimensión / FCT - Hechos) ID_FK_BUSINESS_AREA_NR No Entero Clave foránea para identificar el área del objeto de BI Nombre Tabla: SYS_ENV_OBJECT_FIELD Tabla con la definición de las columnas para cada objeto BI Identidad Formato dato Descripción campo ID_PK_OBJECT_FIELD_NR Sí Entero Identificador numérico del campo ID_FK_OBJECT_BI_NR No Entero Clave foránea para identificar el objecto BI al que pertenece el campo AT_FIELD_TYPE_TX No Texto (45) Tipo de campo (Clave primaria, clave foránea, atributo,...) AT_DATA_TYPE_TX No Texto (45) Tipo de datos del campo (Entero, Decimal, Texto, fecha,...) AT_DATA_LENGTH_NR No Entero Longitud del campo si es un texto. Si es entero el valor es 0 AT_NULLABLE_TX No Texto (45) Indica si el campo puede contener valores nulos AT_FIELD_NAME_TX No Texto (255) Nombre técnico de la columna en base de datos Nombre Tabla: SYS_ENV_SOURCE_CONNECTION Listado de las conexiones a los sistemas fuente definidas Identidad Formato dato Descripción campo ID_PK_SOURCE_CONN_NR Sí Entero Identificador numérico de la conexión AT_CONN_NAME_TX No Texto (100) Nombre de la conexión/td> AT_CONN_TYPE_TX No Texto (50) Tipo de sistema fuente (SQLServer, Oracle,...) AT_CONN_STRING_TX No Texto (255) Texto con la cadena de conexión al sistema fuente Nombre Tabla: SYS_ENV_SOURCE Tabla con las ejecuciones de los tipos de sistemas fuentes, cada una de las instancias de esta tabla se ejecutarán durante el proceso de carga Identidad Formato Descripción campo dato ID_PK_SOURCE_NR Sí Entero Identificador numérico de la instancia del sistema fuente DS_SOURCE_TX No Texto (255) Nombre de la ejecución/td> ID_FK_BUSINESS_AREA_NRNo Entero Clave foránea de la área de negocio ID_FK_SOURCE_TYPE_NR No Entero Clave foránea del tipo de sistema fuente AT_ENABLE_BL No Entero Boleano para indicar si la ejecución está activa para procesarse durante la carga (1 - Activa, 0 - Inactiva) AT_ORDER_NR No Entero Número que indica el orden de ejecución de las instancias AT_FILE_NAME_TX AT_FILE_PATH_TX AT_FILE_PATH_EXEC_TX AT_SQL_SOURCE_TX No No No No Texto (100) Texto (255) Texto (255) Texto (4000) ID_FK_SOURCE_CONN_NR No Entero Nombre del fichero a procesar. válido para los tipos de sistemas fuente fichero y Excel Directorio donde se encuentra el fichero orígen a procesar. válido para los tipos de sistemas fuente fichero y Excel Directorio destino donde se moverá el fichero una vez procesao. válido para los tipos de sistemas fuente fichero y Excel Consulta a ejecutar en el sistema orígen para obtener los datos a cargar. válido para tipo de sistemas fuente Query SQL Clave foránea con el identificador de la conexión al sistema fuente. válido para tipo de sistemas fuente Query SQL para indicar si la carga del Excel se realiza de una hoja o con una consulta. AT_EXCEL_SHEET_TX No Texto (1) válido para tipo de sistemas fuente Excel

9 AT_SHEET_NAME_TX No Texto (50) Nombre de la hoa Excel a cargar cuando el valor del campo AT_EXCEL_SHEET_TX es "Y". válido para tipo de sistemas fuente Excel Nombre Tabla: SYS_ENV_SOURCE_TYPE Tabla con la deinición de los tipos de carga de sistemas origen, estos tipos pueden ser utilizados en diferentes ejecuciones a trabés de la definición en la tabla Source Identidad Formato dato Descripción campo ID_PK_SOURCE_TYPE_NR Sí Entero Identificador numérico del tipo de sistema fuente AT_STG_TABLE_NAME_TXNo Texto (45) Nombre de la tabla del sistema del área staging donde se cargarán los datos/td> AT_SOURCE_FORMAT_TX No Texto (1) Tipo de sistema fuente (F - Fichero, S - Query SQL, E - Excel) AT_DELIMTER_FIELDS_TX No Texto (50) Carácter delimitador de columnas del fichero orígen. válido para tipo fichero AT_ROW_COUNT_BL No Entero Boleano para indicar si el fichero contiene el contador de registros AT_HEADER_ROWS_NR No Entero Boleano para indicar si la primera línea del fichero contiene el nombre de los campos AT_PACKAGE_NAME_TX No Texto (255) Nombre del paquete DTSX que realiza la carga del sistema fuente Nombre Tabla: SYS_ENV_BLOCK_CDL_MAPPING Tabla con la definición de procesos para traspasar datos del área staging a las dimensiones y hechos del entorno CDL Identidad Formato dato Descripción campo ID_PK_SOURCE_CDL_MAPPING_NR Sí Entero Identificador numérico del bloque de carga ID_BLOCK_MAPPING_NR No Entero Número del bloque de carga ID_FK_SOURCE_FIELD_NR No Entero Clave foránea del campo del sistema orígen ID_FK_OBJECT_BI_NR No Entero Clave foránea del objeto BI destino ID_FK_OBJECT_FIELD_NR No Entero Clave foránea del campo del objeto BI destino Tablas de sistema Este conjunto de tablas contiene la definición de los metadatos para los procesos de carga. Nombre Tabla: SYS_ETL_BLOCK_EXEC Tabla con las diferentes ejecuciones realizadas por la ETL para el traspaso de datos del área staging a las dimensiones y hechos del entorno CDL Identidad Formato Descripción campo dato ID_PK_BLOCK_EXEC_NR Sí Entero Identificador numérico de la ejecución del bloque de carga ID_BLOCK_MAPPING_NRNo Entero Número del bloque de carga ID_FK_EXEC_NR No Entero Clave foránea del indentificador de ejecución global de la ETL ID_FK_BLOCK_NR No Entero Clave foránea del bloque ejecutado AT_START_DATE_DT No Fecha Fecha y hora de inicio de carga del bloque AT_END_DATE_DT No Fecha Fecha y hora de fin de carga del bloque ID_FK_STATUS_NR No Entero Clave foránea del estado de la ejecución del bloque (0 - En ejecución / 1 - Correcto / 2 - Error) AT_INSERTED_ROWS_NR No Entero Número de registros nuevos insertados AT_UPDATED_ROWS_NR No Entero Número de registros actualizados AT_REJECTED_ROWS_NR No Entero Número de registros rechazados por errores de datos Nombre Tabla: SYS_ETL_EVENT_LOG Tabla con los mesajes de ejecución insertados durante el proceso de carga Identidad Formato dato Descripción campo

10 ID_PK_BLOCK_EXEC_NR Sí Entero Identificador numérico de la ejecución del bloque de carga ID_BLOCK_MAPPING_NRNo Entero Número del bloque de carga ID_FK_EXEC_NR No Entero Clave foránea del indentificador de ejecución global de la ETL ID_FK_BLOCK_NR No Entero Clave foránea del bloque ejecutado AT_START_DATE_DT No Fecha Fecha y hora de inicio de carga del bloque AT_END_DATE_DT No Fecha Fecha y hora de fin de carga del bloque ID_FK_STATUS_NR No Entero Clave foránea del estado de la ejecución del bloque (0 - En ejecución / 1 - Correcto / 2 - Error) AT_INSERTED_ROWS_NR No Entero Número de registros nuevos insertados AT_UPDATED_ROWS_NR No Entero Número de registros actualizados AT_REJECTED_ROWS_NR No Entero Número de registros rechazados por errores de datos Nombre Tabla: SYS_ETL_GLOBAL_EXEC Tabla con las ejecuciones globales históricas del proceso ETL Identidad Formato dato Descripción campo ID_PK_EXEC_NR Sí Entero Identificador numérico de la ejecución global AT_START_DATE_DTNo Fecha Fecha y hora de inicio del proceso global de carga AT_END_DATE_DT No Fecha Fecha y hora de inicio del proceso global de carga ID_FK_STATUS_NR No Entero Clave foránea del estado de la ejecución global (0 - En ejecución / 1 - Correcto / 2 - Error) Nombre Tabla: SYS_ETL_MAIL_LOG_PARAM Tabla con la definición de los mails enviados por el proceso ETL con los resultados de la ejecución de la carga Identidad Formato dato Descripción campo ID_PK_MAIL_NR Sí Entero Identificador numérico del envío de mail DS_MAIL_TX No Text (255) Nombre descriptivo del mail AT_SENDER_NAME_TX No Text (100) Nombre del remitente del mail enviado AT_SENDER_ADRESS_TX No Text (255) Dirección de correo del remitente del mail enviado AT_TO_ADRESS_TX No Text (2000) Lista de direcciones destinataro del correo AT_CC_ADRESS_TX No Text (2000) Lista de direcciones a los que se enviará el mail en copia AT_BCC_ADRESS_TX No Text (2000) Lista de direcciones a los que se enviará el mail en copia oculta AT_SUBJECT_TX No Text (255) Texto enviado como asunto del mail AT_HTML_BODY_TX No Text (8000) Texto en código HTML con el contenido del mail AT_ATTACH_PATH_TX No Text (255) Dirección del fichero a adjuntar con el mail Nombre Tabla: SYS_ETL_MESSAGE Tabla maestra la descripción de los mensajes generados durante el proceso de carga Identidad Formato dato Descripción campo ID_PK_MESSAGE_NR Sí Entero Identificador numérico del mensaje DS_MESSAGE_TX No Text (255) Descripción del mensaje AT_TYPE_MESSAGE_TX No Text (10) Tipo del mensaje (Error, Informativo, Validación AT_SENDER_ADRESS_TX No Text (255) Dirección de correo del remitente del mail enviado AT_STOP_PROCES_BL No Entero Identifica si el evento del mensaje aborta el proceso de carga ID_FK_DESC_LANG_NR No Entero Clave foránea del lenguaje del mensaje Nombre Tabla: SYS_ETL_REJECTED_ROWS Contiene los registros rechazados durante el proceso de carga Identidad Formato dato Descripción campo ID_FK_EXEC_NR No Entero Clave foránea del indentificador de ejecución global de la ETL ID_SOURCE_BLOCK_EXEC_NRNo Entero Clave foránea del indentificador del sistema fuente o bloque donde se ha producido el rechado del registro

11 ID_ENV_ERROR_TX No Entero Clave foránea del indentificador del sistema fuente o bloque donde se ha producido el rechado del registro AT_SENDER_ADRESS_TX No Text (3) Entorno donde se ha producido el error (STG o CDL) AT_DATA_ROW_TX No Text Cadena con la concatenación del contenido de los campos del registro (max) rechazado AT_ERROR_CODES_TX No Text (255) Código del error que ha provocado el rechazo AT_ERROR_FIELDS_TX No Text (1000) Nombre del campo o campos donde se ha producido el error AT_ERROR_DESC_TX No Text (4000) Descripción del error Nombre Tabla: SYS_ETL_SOURCE_EXEC Tabla con las diferentes ejecuciones realizadas por la ETL para la carga de los sistema fuente en el área staging Identidad Formato dato Descripción campo ID_PK_SOURCE_EXEC_NRSí Entero Identificador numérico de la ejecución del sistema fuente ID_FK_EXEC_NR No Entero Clave foránea del indentificador de ejecución global de la ETL ID_FK_SOURCE_NR No Entero Clave foránea del sistema fuente ejecutado AT_START_DATE_DT No Fecha Fecha y hora de inicio de carga AT_END_DATE_DT No Fecha Fecha y hora de fin de carga ID_FK_STATUS_NR No Entero Clave foránea del estado de la ejecución del sistema fuente (0 - En ejecución / 1 - Correcto / 2 - Error) AT_INSERTED_ROWS_NR No Entero Número de registros nuevos insertados AT_REJECTED_ROWS_NR No Entero Número de registros rechazados por errores de datos Nombre Tabla: SYS_ETL_STATUS Tabla maestra con las descripciones de los estados para los diferentes procesos Identidad Formato dato Descripción campo ID_PK_STATUS_NR Sí Entero Identificador numérico del estado DS_STATUS_TX No Texto (45) Descripción del estado de carga (0 - En ejecución / 1 - Correcto / 2 - Error)

12 Proceso ETL Dentro de este apartado se explica el detalle del proceso de carga de los datos desde los sistemas fuentes definidos hasta el destino en las tablas de dimensiones y hechos de la solución BI El siguiente diagrama muestra el funcionamiento conceptual a alto nivel del proceso ETL: El proceso general se divide en tres grandes fases: 1. Carga entorno Staging 2. Carga entorno CDL 3. Finalización del proceso Las fases 1 y 2 del proceso se ejecuta de forma independiente para cada una de las áreas de negocio definidas en el sistema, empezando siempre por la general, y según el siguiente orden: 1. Dimensiones Globales 2. Ventas Carga entorno Staging La carga del entorno Staging es la primera fase del proceso ETL. Dentro de este proceso se cargan en las tablas del entorno Staging los diferentes sistemas fuentes definidos por área de negocio, sean ficheros de texto, Excel o consultas a bases de datos origen. El proceso ETL carga los datos de forma secuencial en la tabla STG con la misma estructura de campos definidos en el sistema fuente. La estructura de la tabla viene definida por el tipo de sistema fuente (tabla metadatos SYS_ENV_SOURCE_TYPE), cada ejecución del tipo definido se cargará sobre la misma tabla destino (tabla metadatos SYS_ENV_SOURCE) Para cada tipo de sistema fuente del área de negocio que se está procesando se cargan las instancias definidas de forma secuencial, a continuación se muestra un diagrama de funcionamiento: Inicio de la carga Staging

13 Este es el primer paso del proceso en el que se obtienen los sistemas fuentes definidos a procesar y se preparan los tres grupos segun su tipo para la carga. En este paso se eliminan los datos de las tablas Staging de anteriores ejecuciones. Carga ficheros texto Los pasos a seguir por el proceso ETL para la carga de cada uno de los sistemas fuente tipo fichero de texto son los siguientes. 1. Traza inicio: Se genera un registro para la auditoria de la ETL con la información de fecha y hora de inicio del fichero a procesar 2. Validación del fichero: Validación de la existencia del fichero a procesar, si no existe se genera un mensaje informativo en el módulo de auditoria 3. Carga del fichero: Procesado de los datos del fichero dentro de la tabla Staging sin realizar transformaciones de datos. Los registros rechazados por tipo de datos se registran en la tabla SYS_ETL_REJECTED_ROWS, informando el entorno STG y el fichero procesado 4. Copia en backups: El fichero procesado se copia dentro del directorio de ejecutados, añadiendo la fecha y hora como prefijo en el nombre 5. Traza Fin: Se actualiza el registro en la auditoria de la ETL con la información de fecha y hora de fin del proceso y el número total de registros cargados y rechazados Estos pasos se ejecutarán para los siguientes ficheros definidos: Nombre Área negocio Tabla STG Nombre Fichero Ubicación Ubicación Ejecutado Tiempo Dimensiones Globales STG_TIEMPO C:\B-EYE\Sources\ C:\B-EYE\Sources\Exec\ Cliente Ventas STG_CLIENTE C:\B-EYE\Sources\ C:\B-EYE\Sources\Exec\ ProveedorVentas STG_PROVEEDOR C:\B-EYE\Sources\ C:\B-EYE\Sources\Exec\ Canal Ventas STG_CANAL C:\B-EYE\Sources\ C:\B-EYE\Sources\Exec\ Ventas Ventas STG_VENTAS C:\B-EYE\Sources\ C:\B-EYE\Sources\Exec\ Carga ficheros Excel Los pasos a seguir por el proceso ETL para la carga de cada uno de los sistemas fuente tipo fichero Excel son los siguientes. 1. Traza inicio: Se genera un registro para la auditoria de la ETL con la información de fecha y hora de inicio del Excel a procesar 2. Validación del fichero: Validación de la existencia del Excel a procesar, si no existe se genera un mensaje informativo en el módulo de auditoria 3. Carga del fichero: Procesado de los datos del Excel dentro de la tabla Staging sin realizar transformaciones de datos. Los registros rechazados por tipo de datos se registran en la tabla SYS_ETL_REJECTED_ROWS, informando el entorno STG y el fichero procesado 4. Copia en backups: El fichero procesado se copia dentro del directorio de ejecutados, añadiendo la fecha y hora como prefijo en el nombre 5. Traza Fin: Se actualiza el registro en la auditoria de la ETL con la información de fecha y hora de fin del proceso y el número total de registros cargados y rechazados Estos pasos se ejecutarán para los siguientes ficheros Excel definidos: Nombre Área negocio Tabla STG Excel Nombre hoja Ubicación Ubicación Ejecutado Carga sistemas fuente SQL Los pasos a seguir por el proceso ETL para la carga de cada uno de los sistemas fuente tipo fichero Excel son los siguientes. 1. Traza inicio: Se genera un registro para la auditoria de la ETL con la información de fecha y hora de inicio de los datos a procesar 2. Carga del fichero: Procesado de los datos obtenidos del sistema fuente dentro de la tabla Staging sin realizar transformaciones de datos. Los registros rechazados por tipo de datos se registran en la tabla SYS_ETL_REJECTED_ROWS, informando el entorno STG y el sistema fuente procesado 3. Traza Fin: Se actualiza el registro en la auditoria de la ETL con la información de fecha y hora de fin del proceso y el número total de registros cargados y rechazados Estos pasos se ejecutarán para los siguientes queries sobre los sistemas fuentes definidos: Nombre Área negocio Tabla STG Conexión orígen Consulta datos Artículo Ventas STG_ARTICULO Carga entorno CDL La carga del entorno CDL se inicia una vez correctamente la carga en el entorno Staging para el Área de negocio a procesar. Dentro de esta fase del proceso se cargarán los datos de dimensiones y hechos en el modelo estrella.

14 El proceso ETL carga los datos de forma secuencial empezando por las dimensiones y finalizando con las tablas de hechos, obteniendo los datos de las tablas Staging y siguiendo la lógica de los mapeos definidos por bloque de carga (tabla metadatos SYS_ENV_BLOCK_CDL_MAPPING) A continuación se muestra un diagrama de funcionamiento de esta fase del proceso ETL: Inicio de la carga Staging Este es el primer paso del proceso en el que se obtienen los objetos BI (dimensiones y hechos) a procesar y se preparan para iniciando la carga por las dimensiones. Borrar datos anteriores Antes de la carga de datos, se eliminan los registros de cargas previas que se van a reprocesar. Esta lógica de borrado se realiza en función de la información a reprocesar cargada en las tablas staging. El borrado de los datos se debe realizar en orden inverso a la carga para conservar la integridad de la información. Se inicia eliminando los datos de las tablas de hechos, siguiendo por las dimensiones. Pasos carga unitaria de dimensiones y hechos 1. Traza inicio: Se genera un registro para la auditoria de la ETL con la información de fecha y hora de inicio de los datos a procesar 2. Carga del bloque: Procesado de los datos obtenidos de las tablas staging aplicando la siguiente lógica: Para las dimensiones, se aplica la lógica de Slowly Changing Dimension según los campos marcados como históricos en la definición de la dimensión. Si cambia el valor de alguno de estos campos se genera un nuevo registro de dimensión asignando un nuevo identificador para la relación con los hechos. Si el campo actualizado no es histórico, simplemente se modifica en el valor en el registro actual de la dimensión. Generar identificadores únicos internos del DWH para los nuevos registros cargados. Obtener el último identificador único en base a la clave de negocio del sistema fuente para la carga de los hechos. Las tablas de hechos mantienen los identificadores de los sistemas origen y las claves únicas generadas por el DWH. Los registros rechazados por tipo de datos se registran en la tabla SYS_ETL_REJECTED_ROWS, informando el entorno CDL y el bloque procesado 3. Traza Fin: Se actualiza el registro en la auditoria de la ETL con la información de fecha y hora de fin del proceso y el número total de registros cargados y rechazados Estos pasos se ejecutarán para los siguientes objetos BI, para cada uno de ellos se muestra la query ejecutada para la extracción de datos del entorno Staging y el mapeo de los campos retornados por la consulta en las tablas de los Objetos CDL: Área Negocio Id Bloque Nombre Query SQL editado Tabla CDL Dimensiones Globales 1 Q_TIEMPO No CDL_DIM_Tiempo SELECT STG_TIEMPO.Id Tiempo, STG_TIEMPO.Año, STG_TIEMPO.Año trimestre, STG_TIEMPO.Año mes, STG_TIEMPO.Año semana, STG_TIEMPO.Nombre mes, STG_TIEMPO.Nombre dia, STG_TIEMPO.Núm trimestre, STG_TIEMPO.Núm mes, STG_TIEMPO.Núm dia mes, STG_TIEMPO.Dias del mes, STG_TIEMPO.Primer dia mes, STG_TIEMPO.Último dia mes, STG_TIEMPO.Núm semana, STG_TIEMPO.Núm dia semana FROM STG_Tiempo Query CDL ID_TIEMPO --> BK_ID_TIEMPO_DT ANO --> AT_ANO_NR ANO_TRIMESTRE --> AT_ANO_TRIMESTRE_TX ANO_MES --> AT_ANO_MES_TX ANO_SEMANA --> AT_ANO_SEMANA_TX NOMBRE_MES --> AT_NOMBRE_MES_TX NOMBRE_DIA --> AT_NOMBRE_DIA_TX NUM_TRIMESTRE --> AT_NUM_TRIMESTRE_NR NUM_MES --> AT_NUM_MES_NR NUM_DIA_MES --> AT_NUM_DIA_MES_NR DIAS_DEL_MES --> AT_DIAS_DEL_MES_NR PRIMER_DIA_MES --> AT_PRIMER_DIA_MES_DT ULTIMO_DIA_MES --> AT_ULTIMO_DIA_MES_DT

15 NUM_SEMANA --> AT_NUM_SEMANA_NR NUM_DIA_SEMANA --> AT_NUM_DIA_SEMANA_NR Área Negocio Id Bloque Nombre Query SQL editado Tabla CDL Ventas 2 Q_CLIENTE No CDL_DIM_Cliente SELECT STG_CLIENTE.Id cliente, STG_CLIENTE.Nombre, STG_CLIENTE.Dirección, STG_CLIENTE.Ciudad, STG_CLIENTE.Codigo postal, STG_CLIENTE.País, STG_CLIENTE.Teléfono, STG_CLIENTE.Fax FROM STG_Cliente Query CDL ID_CLIENTE --> BK_ID_CLIENTE_TX NOMBRE --> AT_NOMBRE_TX DIRECCION --> AT_DIRECCION_TX CIUDAD --> AT_CIUDAD_TX CODIGO_POSTAL --> AT_CODIGO_POSTAL_TX PAIS --> AT_PAIS_TX TELEFONO --> AT_TELEFONO_TX FAX --> AT_FAX_TX Área Negocio Id Bloque Nombre Query SQL editado Tabla CDL Ventas 3 Q_ARTÍCULO No CDL_DIM_Artículo SELECT STG_ARTICULO.Id artículo, STG_ARTICULO.Artículo, STG_ARTICULO.Categoria, STG_ARTICULO.Cantidad unidad, STG_ARTICULO.Unidades stock FROM STG_Artículo Query CDL ID_ARTICULO --> BK_ID_ARTICULO_NR ARTICULO --> AT_ARTICULO_TX CATEGORIA --> AT_CATEGORIA_TX CANTIDAD_UNIDAD --> AT_CANTIDAD_UNIDAD_TX UNIDADES_STOCK --> AT_UNIDADES_STOCK_NR Área Negocio Id Bloque Nombre Query SQL editado Tabla CDL Ventas 4 Q_PROVEEDOR No CDL_DIM_Proveedor SELECT STG_PROVEEDOR.Id proveedor, STG_PROVEEDOR.Proveedor, STG_PROVEEDOR.Contacto, STG_PROVEEDOR.Cargo, STG_PROVEEDOR.Dirección, STG_PROVEEDOR.Ciudad, STG_PROVEEDOR.Codigo postal, STG_PROVEEDOR.País, STG_PROVEEDOR.Teléfono, STG_PROVEEDOR.Nombre empresa FROM STG_Proveedor Query CDL ID_PROVEEDOR --> BK_ID_PROVEEDOR_NR PROVEEDOR --> DS_PROVEEDOR_TX CONTACTO --> AT_CONTACTO_TX CARGO --> AT_CARGO_TX DIRECCION --> AT_DIRECCION_TX CIUDAD --> AT_CIUDAD_TX CODIGO_POSTAL --> AT_CODIGO_POSTAL_TX PAIS --> AT_PAIS_TX TELEFONO --> AT_TELEFONO_TX NOMBRE_EMPRESA --> AT_NOMBRE_EMPRESA_TX Área Negocio Id Bloque Nombre Query SQL editado Tabla CDL Ventas 5 Q_CANAL No CDL_DIM_Canal SELECT STG_CANAL.Id canal, STG_CANAL.Canal, STG_CANAL.Clase FROM STG_Canal Query CDL ID_CANAL --> BK_ID_CANAL_NR CANAL --> DS_CANAL_TX CLASE --> AT_CLASE_TX Área Negocio Id Bloque Nombre Query SQL editado Tabla CDL Ventas 6 Q_VENTAS No CDL_FCT_Ventas SELECT STG_VENTAS.ID_Tiempo, STG_VENTAS.ID_Cliente, STG_VENTAS.ID_Articulo, STG_VENTAS.ID_Proveedor,

16 STG_VENTAS.ID_Canal, STG_VENTAS.Importe, STG_VENTAS.Importe Descuento, STG_VENTAS.Precio unidad, STG_VENTAS.Descuento, STG_VENTAS.Cantidad FROM STG_Ventas Query CDL ID_TIEMPO --> BK_ID_TIEMPO_NR ID_CLIENTE --> BK_ID_CLIENTE_TX ID_ARTICULO --> BK_ID_ARTICULO_NR ID_PROVEEDOR --> BK_ID_PROVEEDOR_NR ID_CANAL --> BK_ID_CANAL_NR IMPORTE --> MT_IMPORTE_DC IMPORTE_DESCUENTO --> MT_IMPORTE_DESCUENTO_DC PRECIO_UNIDAD --> MT_PRECIO_UNIDAD_DC DESCUENTO --> MT_DESCUENTO_DC CANTIDAD --> MT_CANTIDAD_DC Copyright 2014