Diseño y Construcción de Data Warehouse. Instituto de Computación - Facultad de Ingeniería Edición 2017

Transcripción

1 Diseño y Construcción de Data Warehouse Instituto de Computación - Facultad de Ingeniería Edición 2017

2 Pentaho: Ejemplo de Diseño y Carga Temario Planteo de la realidad Fuentes Diseño Conceptual Diseño Lógico Diseño Físico Carga de Dimensiones Carga de Hechos Diseño de Cubos Herramienta de Análisis 2

3 Planteo de la realidad Una empresa (Tienda Celeste), dedicada a la venta de diferentes tipos de ropa y calzado, que tiene sucursales en distintas ciudades, abarcando la mayoría de los departamentos. Requerimientos: Los gerentes desean analizar las Ventas, para poder definir la estrategia a futuro. Interesa clasificarlas según los Clientes, el Tiempo (fecha, mes y año) y tipo de Producto. Interesa evaluar las ventas por ciudad y departamento de los Clientes. 3

4 Fuentes La empresa tiene diferentes formas de almacenamiento de datos. Clientes: Base de Datos Productos: Planilla Excel (.xls) Ventas: Planilla (.csv) Clientes Productos (.xls) Ventas (.csv) 4

5 Fuentes Clientes Productos Ventas 5

6 Diseño Conceptual Dimensiones y Jerarquías CLIENTES PRODUCTOS TIEMPO Departamentos id_depto # nom_dpto Ciudades id_ciudad # nom_ciudad Clientes id_cliente # nom_cliente Familias id_familia # nom_familia Productos id_producto # nom_producto Años año # Meses mes # nom_mes Fechas id_fecha # fecha 6

7 Diseño Conceptual Relación Dimensional CLIENTES VENTAS Cantidad cantidad PRODUCTOS VENTAS VENTAS TIEMPO 7

8 Diseño Conceptual Estudio de Aditividad Dimensión Tiempo Productos Clientes Medida Cantidad Fechas Meses + Meses Años + Años ALL + Productos Familias + Familias ALL + Clientes Ciudades + Ciudades Departamentos + Departamentos ALL + 8

9 Diseño Lógico Esquema Estrella CLIENTES PRODUCTOS VENTAS VENTAS TIEMPO 9

10 Diseño Físico Seleccionar los tipos de datos más pequeños del DBMS que permitan representar los datos. postgresql 9.6 Reference Manual 10

11 Diseño Físico Utilizar claves subrogadas (artificiales) de tipo entero sin signo para identificar los hechos y los diferentes niveles de las dimensiones. Caso particular dimensión Tiempo. Claves subrogadas con formato YYYYMMDD permiten: a partir de una fecha generar el identificador y viceversa preservan la relación de orden 11

12 Diseño Físico Seleccionar un conjunto de índices adecuado, que permita realizar joins de forma eficiente: B-TREE, HASH, etc. Estudiar características particulares del DBMS para aprovecharlo al máximo. Por ejemplo en PostgreSQL: Table partitioning: Divide tablas muy grandes en pequeñas tablas ( VACUUM: Recupera el almacenamiento ocupado por «tuplas muertas» ( ANALIZE: Recopila estadísticos de la BD ( REINDEX: Reconstruye índices ( 12

13 Carga de Dimensiones Dimensión Tiempo: Generar las fechas Para cada fecha generar los identificadores y los restantes campos de la tabla. Insertar en la tabla Tiempo del DW. Generar Fechas Generar IDs y otros campos Insertar 13

14 Carga de Dimensión Tiempo 14

15 Carga de Dimensión Tiempo 15

16 Carga de Dimensión Tiempo 16

17 Carga de Dimensión Tiempo 17

18 Carga de Dimensión Tiempo 18

19 Carga de Dimensión Tiempo 19

20 Carga de Dimensiones Cliente BD Fuente (BD): Tabla en el DW: 20

21 Carga de Dimensión Cliente Dimensión Cliente: Leer los registros de las tres tablas de la base fuente. Unir ( join ) los registros de cliente, ciudad y dpto. Insertar en la tabla CLIENTE del DW. Cliente: Transformación Lectura de Tablas Unir Clientes, Ciudades y Departamentos Insertar / Actualizar 21

22 Carga de Dimensión Cliente Cliente: Step «Obtener ciudades» 22

23 Carga de Dimensión Cliente Cliente: Step «Ordenar por Dpto.» 23

24 Carga de Dimensión Cliente Cliente: Step «Unión por Clave» 24

25 Carga de Dimensión Cliente Cliente: Step «Actualizar dimensión Cliente» 25

26 Carga de Dimensiones Producto Fuente (.xls): Tabla en el DW: 26

27 Carga de Dimensión Producto Dimensión Producto Leer los registros de la planilla Excel (.xls) Insertar en la tabla producto del DW Producto: Transformación 27

28 Carga de Dimensión Producto Producto: Step «Entrada Excel» 28

29 Carga de Dimensión Producto Producto: Step «Entrada Excel» 29

30 Carga de Dimensión Producto Producto: Step «Actualizar Dimensión Producto» 30

31 Carga de Hechos Ventas Fuente (.csv): Tabla de Hechos en el DW: 31

32 Carga de Hechos Tabla de Hechos Ventas Leer los registros de la planilla de Ventas. Filtrar los campos que realmente son necesarios. Calcular id_fecha (clave foránea a dimensión Tiempo). Agrupar por Fecha-Cliente-Producto. Para las combinaciones Fecha-Cliente-Producto que ya existen en el DW, sumar la cantidad. Insertar en la tabla de hechos Ventas del DW. 32

33 Carga de Hechos Ventas: Transformación Leer datos Filtrar Calcular ID Fecha Agrupar por Fecha- Cliente- Producto Verificar si la combinación ya existe en el DW y Sumar Actualizar tabla de Hechos 33

34 Carga de Hechos Ventas: Step «Obtener Ventas» 34

35 Carga de Hechos Ventas: Step «Filtrar valores» 35

36 Carga de Hechos Ventas: Step «Calcular Fecha» 36

37 Carga de Hechos Ventas: Step «Ordenar filas» 37

38 Carga de Hechos Ventas: Step «Agrupar por Fecha-Cliente-Producto» 38

39 Carga de Hechos Ventas: Step «Consultas Ventas del DW» 39

40 Carga de Hechos Ventas: Step «Unión por Clave» 40

41 Carga de Hechos Ventas: Step «Calcular nuevos valores del DW» Para las combinaciones Fecha-Cliente-Producto que ya existen en el DW, sumar la cantidad 41

42 Carga de Hechos Ventas: Step «Actualizar Ventas en el DW» 42

43 Transformaciones En general, la dimensión Tiempo podría ser cargada solo la primera vez, eventualmente cada mucho tiempo. Dimensiones Productos y Clientes: Varían más frecuentemente, dimensiones dinámicas. Deberían actualizarse en el DW cada vez que se van a cargar los hechos. 43

44 Trabajo (Job) Primera Carga: Cargar todas las Dimensiones Cargar los Hechos Actualización del DW: Cargar las Dimensiones dinámicas Clientes y Productos Cargar los Hechos Ventas 44

45 Trabajo (Job) 45

46 Trabajo: Step Transformación 46

47 Diseño de Cubos 47

48 Diseño de Cubos 48

49 Diseño de Cubos 49

50 Herramienta de Análisis: Saiku 50

51 Herramienta de Análisis: JPivot 51