Proceso E.T.L Enfoque Kimball

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Proceso E.T.L Enfoque Kimball"

Consuelo Córdoba Martin
hace 8 años
Vistas:

1 Proceso E.T.L Enfoque Kimball 1

2 Contenido. - ETL - Extracción. - Transformación. - Carga. 2

3 Objetivos - Presentar los conceptos necesarios para entender el proceso de extracción, transformación y carga de una base de datos. 3

4 El proceso ETL - Proceso para transferir, formatear, limpiar y cargar datos. - Su construcción es responsabilidad del equipo de BI/DWH. - Se construye para cada BI/DWH. - Implica entre 40% al 60% del esfuerzo. - Se utilizan herramientas y programas diseñados para esta tarea. 4

5 ETL problemas - Múltiples tecnologías. - Reportes obsoletos. - No existe metadatos. - Diferentes algoritmos de calculo. - Diferente niveles de extracción. - Diferentes niveles de detalle (granularidad). - Diferentes nombres de campos de datos. - Diferentes significados de campos de datos. - Perdida de información. 5

6 El proceso de ETL. - ETL se encarga de: - Extraer los datos de las fuentes. - Transformar y limpiar los datos. - Resumir los datos. - Detectar los cambios en las fuentes. - Reestructurar las claves. - Cargar los datos en el almacén. - Refrescar el almacén con datos actualizados. - Indexar los datos. 6

- Detectar los cambios en las fuentes. - Reestructurar las claves.

7 El proceso ETL. Correspondencia Extracción Carga Identifica los datos que han cambiado Extrae (lectura) de datos. Obtiene los agregados Mantiene la metadata Transformación Limpieza y transformación de datos Estandarización a un solo formato. Creación de claves Integración de datos (cálculo de datos derivados) Obtención de agregados Mantenimiento de la metadata Carga Indización Realización de pruebas de calidad de la carga. Gestión de errores. Obtención de datos agregados. Mantenimiento de metadata 7

8 Calidad de datos. - La calidad de los datos es la clave del éxito de un almacén de datos. - Estrategia: - OLTP: - Modificar reglas de integridad. - Triggers. - Documentar fuentes de datos. - Definir procesos de transformación. - Nombrar un responsable de calidad de datos. 8

9 Extracción Extracción, Transformación, Carga 9

10 Extracción de datos. - Requerimiento IMPORTANTE - Causar mínimo impacto en el sistema origen. - Las operaciones de extracción suelen programarse en horarios donde el impacto sea nulo. 10

11 Extracción de datos - Programas diseñados para extraer datos de las fuentes. - Técnicas: - Programas específicos. - Wrapper. (empaquetar la fuente de datos). - EJ: OCI, ODBC/OleDB, IDAPI... 11

12 Extracción - DBMS. Preparar consultas o rutinas. - Hojas de calculo. Lectura, formato y preprocesamiento. - Texto libre. Lectura y preprocesamiento. 12

13 Cambios. - Identificar cambios antes de extraerlos. - Identificar los datos operacionales que se han modificado desde la fecha del ultimo mantenimiento. 13

14 Cambios: métodos. - Carga total. cada vez se empieza de cero. - Comparación de instancias (OLTP). - Marcas de tiempo (time stamping). - Triggers OLTP. - LOGS (Gestión transacciones). - Técnicas mixtas. 14

15 TRANSFORMACIÓN Proceso E.T.L 15

16 Transformación - Aplica reglas de negocio o funciones a los datos extraídos para convertirlos en datos que serán cargados. - CLEANSING. - INTEGRATION. 16

17 Cleansing - En los datos operacionales de fuentes heterogéneas existen anomalías desarrolladas independientemente a lo largo del tiempo, por lo que es necesario eliminarlas. - LIMPIEZA DE DATOS. - ESTANDARIZACIÓN. 17

independientemente a lo largo del tiempo, por lo que

18 Múltiple Codificación - Codificación y descripciones del individuo. - Almacenado de diferentes maneras. - En la transformación habrá que elegir una convención única para el DW. 18

19 Unidades de medida - La unidades pueden tener distintas unidades de medidas, según el origen del sistema OLTP. Un ejemplo es hablar de litro, centímetros cúbicos, etc. - Habra que elegir una única unidad de medida que sea útil para el DW y transformar los datos. 19

Un ejemplo es hablar de litro, centímetros cúbicos, etc.

20 Formatos - Los formatos de fecha que encontramos en diferentes sistemas operacionales pueden estar almacenados en múltiples formatos. - Las fecha pueden estar almacenadas como yyy/mm/dd, mm/dd/yyy, dd/mm/yyyy. - En el desarrollo del sistema DW, debemos elegir alguna de ellas y realizar la transformación correspondiente 20

- Las fecha pueden estar almacenadas como yyy/mm/dd, mm/dd/yyy, dd/mm/yyyy.

21 Varias columnas en una - Los datos de una persona, como dirección pueden almacenarse en diferentes campos de la misma tabla(calle, Número, Piso y departamento). - En un DW es posible que lo almacenemos en una única columna. 21

22 Claves con estrutura - Claves con estructuras: Descomponer en valores atómicos. Código de producto= 12M Código país Código de vendedor Zona de venta Número de producto 22

23 Estándares - Unificar estándares. - Unidades de medida, tiempo, moneda... cm cm inches DD/MM/YY DD-Mon-YY MM/DD/YY 1,000 GBP USD 600 FF 9,990 23

24 Duplicados - Valores duplicados: deben ser eliminados. - SQL restricciones en el SGBDR. - Integridad referencial debe reconstruirse, 24

25 Creación de claves - Las claves primarias de las tablas no deben tener algún significado más allá de representar un identificador único. 25

26 CARGA Proceso E.T.L 26

27 Carga. - Es el momento en el cual los datos transformados son cargados en el sistema de destino. - Consiste en mover los datos desde las fuentes operacionales o el almacenamiento intermedio hasta el almacén de datos y cargar los datos en las tablas correspondientes. - Puede consumir mucho tiempo. 27

28 Carga. - Dos etapas del proceso de carga: - Carga inicial: Mueve grandes volúmenes de datos. - Mantenimiento periódico: Mueve pequeños volúmenes de datos. - Existen 2 formas de desarrollar el proceso de carga: - TAL (trunc and load): Limpia el repositorio de datos y carga información nueva. - Incremental: Se utiliza cuando se carga información nueva o información que necesita ser actualizada. 28

29 Frecuencia de mantenimiento - La frecuencia del mantenimiento periódico esta determinada por la granuliridad de las dimensiones y los requisitos de los usuarios. - Se deben determinar las ventanas de carga más convenientes para no saturar la base de datos operacional. - Ocasionalmente archivar o eliminar datos obsoletos que ya no interesan para el análisis. 29

30 Indización - Determinar como se van ha generar los indices: - Generación del indice durante la carga. - Carga con el indice habilitado. - Proceso tupla a tupla. - Generación del indice después de la carga. - Carga con el indice deshabilitado. - Creación del indice (total o parcial). 30

31 Integridad referencial - Desahabilitar Integridad referencial. - Agiliza el proceso de transferencia de datos. - Cada vez que se inserta un registro no se efectúan las validaciones de integridad referencial. - Al finalizar el proceso se habilita la integridad referencial. 31

32 Obtención de valores agregados. - Determinar en que momento se generan los valores agregados. - Durante la extracción. - Después de la carga (transporte). Extracción Transporte Almacenamiento intermedio 32

Documentos relacionados

ALMACENES PARA GESTIÓN MASIVOS.... ALMACENES PARA GESTIÓN MASIVOS 1 ALMACENES PARA GESTIÓN MASIVOS 2 EL OBJETIVO ES EL ANÁLISIS PARA EL SOPORTE EN LA TOMA DE DECISIONES. GENERALMENTE, LA INFORMACIÓN QUE