Overview of Data Warehousing / Business Intelligence with SQL Server

Transcripción

1 Overview of Data Warehousing / Business Intelligence with SQL Server 23/10/2012 Contact Pablo Resnizky Engineering Manager x1030 [email protected] GlobalLogic, Inc GlobalLogic Inc.

2 Que es un Data Warehouse? Un almacén gigante para guardar sus datos TODOS sus datos La agregación de datos de múltiples sistemas 2012 GlobalLogic Inc. 2

3 Que es Business Intelligence? Aprovechando los datos que ya tiene para convertir el conocimiento en acciones informadas Agregaciones Tendencias Correlaciones (minería de datos) 2012 GlobalLogic Inc. 3

4 Por que tener un Data Warehouse? Combinar datos de múltiples sistemas y resolver las inconsistencias entre dichos sistemas Generar reportes mas fácilmente Reducir la carga en los sistemas de producción Proporcionar consistencia entre las transiciones de sistemas Proporcionar para almacenamiento a largo plazo de los datos 2012 GlobalLogic Inc. 4

5 Que esta mal con los reportes de los sistemas transaccionales? OLTP - Tratamiento en línea de transacciones Diseñado para trabajar con solo registro a la vez. Los datos son muy "normalizados", es decir, se eliminan valores duplicados. Obtener todos los datos de un registro puede implicar muchos joins de tablas Puede ser muy confuso para la creación de reportes ad-hoc También puede ser lento, teniendo un impacto en el sistema OLTP 2012 GlobalLogic Inc. 5

6 Que tiene de diferente un Data Warehouse? Normalmente utilizan un diseño llamado OLAP On-Line Analytical Processing Número de tablas es reducido, reduciendo la cantidad de joins y aumentando la sencillez y el tiempo de respuesta de los reportes Los datos están desnormalizados en estructuras más sencillas para trabajar 2012 GlobalLogic Inc. 6

7 Normalizado vs. Desnormalizado Normalizado Los datos están divididos en distintas tablas 2012 GlobalLogic Inc. 7

8 Normalizado vs. Desnormalizado Desnormalizado Los datos están combinados 2012 GlobalLogic Inc. 8

9 Tipos de tablas en un Warehouse Hechos (Facts) Dimensiones (Dimensions) Ambos requieren el concepto de claves delegadas (surrogate keys) Una nueva clave, típicamente algún tipo de INT, que se utiliza en lugar de cualquier otra clave como clave primaria 2012 GlobalLogic Inc. 9

10 Razones para tener Surrogate Keys Preserva los datos en caso que haya un cambio en el sistema de origen Combina datos de múltiples origenes en una sola tabla Los sistemas de origen pueden tener muchas columnas y ser complejos, bajando el tiempo de respuesta Generalmente la clave no es necesaria para muchas funciones de data warehousing, como las agregaciones 2012 GlobalLogic Inc. 10

11 Fact Tables Un hecho marca un evento, un acontecimiento discreto en el tiempo Los hechos se unen con dimensiones, "quién", "qué", "cuándo" y "dónde" Los hechos también tienen medidas numéricas para cuantificar el hecho, "cuánto" 2012 GlobalLogic Inc. 11

12 Ejemplo de Fact Table - Sales 2012 GlobalLogic Inc. 12

13 Dimensiones Las dimensiones guardan los valores que describen los hechos Look up values Algunos ejemplos: Tiempo, Geografía, Empleados, Productos, Clientes Cuando una dimensión puede cambiar con el tiempo, se la llama Slowly Changing Dimension (Dimension de variación lenta) Hay varios tipos de dimensiones 2012 GlobalLogic Inc. 13

14 Datos Estaticos Para datos que no cambiarán jamás Mejor usado para los datos estáticos como los colores, tamaños, etc Conocido como un tipo de dimensión GlobalLogic Inc. 14

15 No requiere historial Cuando un valor de una dimensión es actualizado, el viejo valor se sobreescribe Conocidas como dimensiones de Tipo GlobalLogic Inc. 15

16 El impacto cuando no se requiere historial 2012 GlobalLogic Inc. 16

17 Es importante seguir los cambios Cuando una dimensión cambia, se inserta un nuevo registro y se fecha el registro anterior Dimensión de Tipo GlobalLogic Inc. 17

18 El impacto de seguir los cambios 2012 GlobalLogic Inc. 18

19 Separar la historia de las necesidades diarias Cuando cambia una dimensión, el registro viejo es actualizado en la tabla de historial, y el nuevo es copiado (dimensión de Tipo 4) 2012 GlobalLogic Inc. 19

20 Diferentes tipos de dimension en una tabla Habitualmente, un registro contiene varios tipos de dimensiones HrsLastMo = Tipo 1 Last Name = Tipo GlobalLogic Inc. 20

21 Diferentes tipos de dimension en una tabla 2012 GlobalLogic Inc. 21

22 Dimensiones conformadas Cuando se extraen datos de multiples sistemas, en general se deben conciliar las claves primarias Este proceso se conoce como conformar las dimensiones 2012 GlobalLogic Inc. 22

23 Dimensiones en un esquema de Estrella 2012 GlobalLogic Inc. 23

24 Dimensiones en un esquema Copo de Nieve 2012 GlobalLogic Inc. 24

25 KPI (Indicadores Clave de Rendimiento) Key Performance Indicators Dashboards Rápidos indicadores del estado de un sistema 2012 GlobalLogic Inc. 25

26 Las herramientas de Microsoft ETL Extract Transform Load SSIS SQL Server Integration Services Analytics Agregación Tendencias Correlaciones SSAS SQL Server Analysis Services Reporting SSRS SQL Server Reporting Services SharePoint Performance Point PowerPivot Add-In para Microsoft Excel 2012 GlobalLogic Inc. 26

27 Creando una solución de DW/BI 2012 GlobalLogic Inc. 27

28 Construyendo una solución de DW/BI Crear el Data Warehouse ETL Extract Transform Load Analytics Agregaciones Tendencias Correlaciones Reporting 2012 GlobalLogic Inc. 28

29 El objetivo Adventure Works Lite Bike Company, una subsidiaria de Adventure Works El departamento de ventas necesita un reporte Necesitan ver las ventas basadas en el valor Line Total de la tabla de ventas Hacer drill down por Categoria de Producto, Subcategoria y Producto Hacer drill down por Pais, Estado, Ciudad y Compañia 2012 GlobalLogic Inc. 29

30 Las herramientas de Microsoft ETL: SSIS SQL Server Integration Services Analizar: SSAS SQL Server Analysis Services Reportes: SSRS SQL Server Reporting Services SSMS SQL Server Management Studio 2012 GlobalLogic Inc. 30

31 Base de datos de origen SQL Server Management Studio 2012 GlobalLogic Inc. 31

32 ETL SQL Server Integration Services 2012 GlobalLogic Inc. 32

33 Analytics SQL Server Analysis Services 2012 GlobalLogic Inc. 33

34 Reporting SQL Server Reporting Services 2012 GlobalLogic Inc. 34

35 Thank You

36