ETL es el proceso responsable por las operaciones que tiene lugar en el back stage de una arquitectura de Data Warehouse.

Tamaño: px

Comenzar la demostración a partir de la página:

Download "ETL es el proceso responsable por las operaciones que tiene lugar en el back stage de una arquitectura de Data Warehouse."

Víctor Rodríguez Vargas
hace 6 años
Vistas:

1 ETL Segunda Parte ETL es el proceso responsable por las operaciones que tiene lugar en el back stage de una arquitectura de Data Warehouse. Framework de ETL Datos extraídos de fuentes de almacenamiento OLTP o formatos semiestructurados. Los datos son propagados a un área del DW llamada Data Staging Area (DSA), donde su transformación homogeneización y limpieza tiene lugar Carga al DW central y a todas sus distintas partes (datamarts, vistas).

2 ETL - Refresh En las configuraciones tradicionales de un DW el proceso de ETL refresca periódicamente al DW durante los períodos de ociosos o de baja carga de operaciones. Generalmente durante la noche o tiene una ventana de tiempo específica para que se complete. Hoy en día las necesidades del negocio y la demanda requieren cercano al tiempo real la actualización del Data Warehouse.

ETL Workflow El conjunto de tareas de ETL puede ser visto como un GDA Donde los nodos son las actividades y las relaciones entre las tareas son los arcos.

3 ETL Workflow El conjunto de tareas de ETL puede ser visto como un GDA Donde los nodos son las actividades y las relaciones entre las tareas son los arcos. Los datos deben ser propagados hasta la tabla de hechos de DW Todo el proceso de ingreso de datos en la tabla de hechos estará facilitado por el workflow de tareas: Filtrado Datos intermedios Transformaciones y Carga

4 Extracción I La etapa de extracción es conceptualmente la tarea más simple de todas, con el objetivo de identificar el subconjunto correcto de datos de origen que tiene que ser presentado al workflow de ETL para su posterior procesamiento. Las dificultades de la tarea se deben a dos restricciones: La fuente debe sufrir una sobrecarga mínima durante la extracción, ya que otras actividades administrativas también tienen lugar durante ese período. Tanto por razones técnicas como políticas, los administradores son bastante reacios a aceptar intervenciones importantes en la configuración de su sistema; Por lo tanto, tiene que haber un mínimo de interferencia con la configuración del software en el lado de la fuente.

5 Extracción II Dependiendo de: la infraestructura tecnológica la naturaleza del sistema de origen (base de datos relacional, archivo de COBOL, hoja de cálculo, página web, etc.) el volumen de los datos que tiene que ser procesado Las políticas pueden ser diferentes para la etapa de extracción (captura de datos modificados): La posibilidad trivial implica la extracción de toda las fuentes y procesarla como si se estaría haciendo por primera vez. Una mejor posibilidad consiste en la extracción de una instantánea de los datos, que posteriormente se compara con la instantánea anterior de datos (ya sea en la fuente, o el lado DSA) y los INSERT, DELETE y UPDATE. Implementación con Triggers o log-sniffing

6 Transformación Dependiendo de la aplicación y la herramienta utilizada, los procesos ETL pueden contener una gran cantidad de transformaciones. Las tareas de transformación y de limpieza se ocupan de las clases de conflictos y problemas que se pueden distinguir en tres niveles: Schema-level: (a) los conflictos de nombres, cuando se utilice el mismo nombre para diferentes objetos (homónimos) o se utilizan nombres diferentes para el mismo objeto (sinónimos) y (b) los conflictos estructurales Record-level: registros duplicados o contradictorios Value-level: numerosos problemas técnicos de bajo nivel pueden ser atendidas en diferentes escenarios de ETL. Representación de fechas, sexo, etc.

7 Referencias Pedersen, T. B., & Jensen, C. S. (2001). Multidimensional database technology. Computer, 34(12), Han, J., Kamber, M., & Pei, J. (2011). Data mining: concepts and techniques: concepts and techniques. Elsevier. Kimball, R., & Ross, M. (2011). The data warehouse toolkit: the complete guide to dimensional modeling. John Wiley & Sons. Zhao (2011) Graph Cube: On Warehousing and OLAP Multidimensional Networks. Vassiliadis (2009) Extraction, Transformation, And Loading.

Documentos relacionados

PROGRAMA DE CURSO. Horas Docencia Horas de Trabajo SCT. Horas de Cátedra Docentes. Personal 6 10 3.0 1.5 5.5

PROGRAMA DE CURSO. Horas Docencia Horas de Trabajo SCT. Horas de Cátedra Docentes. Personal 6 10 3.0 1.5 5.5 PROGRAMA DE CURSO Código Nombre IN5523 DATA WAREHOUSING Nombre en Inglés Data Warehousing es Horas Docencia Horas de Trabajo SCT Horas de Cátedra Docentes Auxiliar Personal 6 10 3.0 1.5 5.5 Requisitos