Sistemas de Datos. Data warehouse y Business Intelligence

Transcripción

1 Data warehouse y Business Intelligence

2 Esquema de la clase 1. Los tres problemas del OLTP 2. Qué es Data warehouse y Business Intelligence? 3. La arquitectura de la solución. 5. Construcción de la solución 4. Las herramientas del BI 6. Casos de aplicación

3 Los tres problemas del OLTP Nivel Estratégico Nivel Operativo Nivel Táctico INFORMACION PARA LA TOMA DE DECISIONES Ventas Sucursal Rosario... Producción PROBLEMAS Información no integrada. Inadecuados tiempos de respuesta. Imposibilidad de realizar consultas adhoc amigables. Compras Ventas Sucursal Bs.As. Ventas Sucursal Córdoba Marketing + las n unidades de negocio

4 Los tres problemas del OLTP Nivel Estratégico Nivel Operativo Ganancia bruta de los productos vendidos en Rosario respecto de Córdoba en el último año de los 10 productos que más se produjeron los últimos 6 meses. Establecer relación con sus respectivas cantidades de habitantes. Ventas Sucursal Rosario INFORMACION NO INTEGRADA Producción Importe vendido $ Habitantes por ciudad Importe vendido $ Importe vendido $ Compras Ventas Sucursal Bs.As. Ventas Sucursal Córdoba Marketing Finanzas

5 Los tres problemas del OLTP INADECUADOS TIEMPOS DE RESPUESTA. Nivel Estratégico Importe y cantidad vendida de los productos de indumentaria durante octubre y diciembre de los tres últimos años para los clientes de sexo femenino Nivel Operativo Ventas Sucursal Bs.As.

6 Los tres problemas del OLTP CONSULTAS AD-HOC NO AMIGABLES Obtener la Cantidad de ventas realizadas, y sus importes agrupadas por año y zona del cliente para los años 2002 al SELECT COUNT(DISTINCT VENTA.Numero_factura) AS CANTIDAD_VENTAS, SUM(ITEM_VENTA.Cantidad_vendida * ITEM_VENTA.Precio_unitario) AS IMPORTE, CLIENTE.zona AS ZONA, YEAR(VENTA.fecha_venta) AS ANIO FROM VENTA INNER JOIN ITEM_VENTA ON VENTA.Numero_factura = ITEM_VENTA.Numero_factura INNER JOIN CLIENTE ON VENTA.Codigo_cliente = CLIENTE.Codigo_cliente GROUP BY CLIENTE.zona, YEAR(VENTA.fecha_venta) HAVING YEAR(VENTA.fecha_venta) in (2002, 2003, 2004, 2005, 2006) ORDER BY YEAR(VENTA.fecha_venta), CLIENTE.zona

7 Qué es Nivel Estratégico Nivel Táctico INFORMACION PARA LA TOMA DE DECISIONES Herramientas de BI Datamining OLAP Tableros Reporting... Nivel Operativo Compras Ventas Sucursal Córdoba... Ventas Sucursal Bs.As. Ventas Sucursal Córdoba Producción Marketing DATA WAREHOUSE

8 La arquitectura de la solución Fuentes de datos Sistema operacional A Extracción Área del Data warehouse Transformación Area de trabajo Herramientas de acceso y exploración Sistema operacional B Carga (Load) Sistema operacional N Datos Externos Datos Internos no Sistematizados Data warehouse detallado u objetivo T, L Data warehouse agregado o subjetivo A B Análisis Multidimensional Datamining Tablero de comando Balance scorecard Alertas Reporting Etc. C Datamart A Datamart B Datamart N

9 La solución en profundidad OLAP vs OLTP -Procesamiento -Bases de datos Herramienta de análisis multidimensional Data warehouse La metadata -Orientados a temas -Integrados -Históricos -No volátiles

10 E T L Acceso a múltiples fuentes de datos Transformaciones para dejar los datos en el DW modificando: -Formatos -Codificaciones -Niveles de agregación -Calidad de datos -Otros criterios de integración Actualizar DW con los datos transformados El ETL Problemas a resolver Codificación de atributos: Unidad de medida de atributos: Nombres de tablas y atributos: Fuentes múltiples para un mismo atributo: Distintos niveles de agregación Diversos niveles de calidad Unificar diversos formatos: -F / M -Masculino / Femenino -0 / 1 -Varón / Mujer? Cantidad vendida en: -Kilos -Unidades -Libros Tabla:PERSONA Tabla:CLIENTE Tabla:ENCUESTADO Zona de residencia Fecha de nacimiento Ventas: producto 01 remera manga corta xx Color negro Compras: producto A254-remera manga corta xx. Limpieza de: -Filas -Fuentes Nombre: Jorge Apellido: Lopez Nombre y apellido: Jorge Lopez?

11 Redundancia Propiedad de la redundancia Acelerar consultas con datos precalculados Mayor tiempo en actualización de datos Mayor probabilidad de generar inconsistencias Mejorar controles Base OLTP Efectos Data warehouse

12 El BI: Las categorías Reportes (Reporting) Análisis multidimensional (exploración OLAP) OLAP) Tableros de de Control // Balance Scorecard Minería de de datos datos (Data (Data Mining) Alertas y Distribución

13 Tableros / Balance scorecards

14 Tableros / Balance Scorecards

15 Reporting

16 Análisis multidimensional - OLAP

17 Data Mining

18 Distribución pro activa

19 El recupero de la inversión ROI, TIR, VAN Flujo de egresos -Estimados (Previo) -Reales (Posterior) Flujo de ingresos DIFICIL Ingresos duros (reducción de costos, retención de clientes, nuevos clientes, etc.) Depende de la capacidad para tomar buenas decisiones que posean las personas. Ingresos blandos (satisfacción de clientes, empleados con mayor autonomía, etc. )

20 La única verdad? No incluye impuestos Incluye impuestos Incluye bonificaciones No considera productos no vendidos por canales tradicionales Importe vendido $ Nivel Estratégico Nivel Operativo Importe vendido $ Ventas Importe vendido $ Marketing Importe vendido $ Finanzas DATA WAREHOUSE

21 Etapas del desarrollo de la solución Relevamiento inicial Análisis del negocio Planificación del proyecto Desarrollo del entorno de exploración Construir los metadados Definición del Alcance Análisis y diseño de las decisiones Construir las Herramientas de usuarios Formalización de las Fuentes de datos Data warehouse subjetivo Implantar la infraestructura Data warehouse objetivo Procesos de extracción, transformación y carga Desarrollo del data warehouse Implementar la solución con los usuarios Implementación de la solución

22 El diseño dimensional conceptual TIEMPO CLIENTE DISTRIBUCIÓN GEOGRÁFICA PRODUCTO Anio Categoría Región Categoría Trimestre Cliente Provincia Sub categoría Mes Ciudad Producto Día Local Monto vendido Cantidad vendida Costo de venta

23 El modelo dimensional lógico- estrella PRODUCTO TIEMPO id_fecha Dia Mes Trimestre Año CLIENTE id_cliente Razon Social Categoria cliente TABLA DE HECHOS id_local id_producto id_fecha id_cliente monto vendido cantidad vendida costo de la venta id_producto Descripcion producto Categoria Subcategoria DISTRIBUCION GEOGRAFICA id_local Nombre local Ciudad Provincia Region

24 El modelo dimensional lógico copo de nieve y mixto Dimensiones des normalizada Modelo mixto Dimensión normalizada TIEMPO id_fecha Dia Mes Trimestre Año DISTRIBUCION GEOGRAFICA id_local Nombre local id_ciudad TABLA DE HECHOS id_producto id_local id_fecha id_cliente monto vendido cantidad vendida costo de la venta CIUDAD id_ciudad Nombre ciudad id_provincia PRODUCTO id_producto Descripcion producto Categoria Subcategoria CLIENTE id_cliente Razon Social Categoria cliente PROVINCIA id_provincia Nombre provincia id_region REGION id_region Nombre region

25 Enfoque Necesidades vs datos existentes Análisis de las necesidades de información Alcance Formalizar datos existentes Necesidades de información Diseño del data warehouse

26 Resumen 1. Los tres problemas del OLTP 2. Qué es Data warehouse y Business Intelligence? 3. La arquitectura de la solución. 5. Construcción de la solución 4. Las herramientas del BI 6. Casos de aplicación

27 Caso práctico Jurassic Park II

28 Arquitectura de la solución RRHH Facturacion I E T Area de trabajo L Data Warehouse Objetivo E T L Facturacion II Data Warehouse Subjetivo Aplicaciones de Business Intelligence Boleterias

29 Realidad de datos existentes Sistema de emición y facturación de entradas

30 Realidad de datos existentes Sistema de facturación en locales I

31 Realidad de datos existentes Sistema de facturación en locales II

32 Realidad de datos existentes Sistema de Recursos Humanos

33 Modelo de datos DW Objetivo TIPO ESCUELA Id_tipo_escuela Descripcion CIUDAD id_ciudad PROVINCIA id_provincia Nombre provincia id_region REGION id_region Nombre region Nombre ciudad id_provincia ESCUELA LOCAL Id_escuela VENTA Id_local PARQUE Nombre_escuela Id_tipo_escuela ITEM_VENTA Numero_ticket Id_producto Numero_ticket Fecha_venta Legajo_empleado Id_escuela Id_local Id_parque Superficie Distancia_boleteria EMPLEADO legajo_empleado Id_parque Dirección id_ciudad PRODUCTO Id_producto Descripcion_producto Id_sub_categoria Descripcion_producto Precio_unitario Cantidad SUB CATEGORIA Id_sub_categoria Descripcion_sub_categoria Id_categoria CATEGORIA Id_categoria Descripcion_cateogira Nombre_empleado Apellido_empleado Sueldo Horas_capacitacion Numero_ticket

34 El ETL Periodicidad: Todos los domingos a las 22 horas. Este nivel de actualización es suficiente para los analistas. Es un momento en que hay disponibilidad de recursos de procesamiento. Transformaciones y carga: Categorías, subcategorías y productos en los tres sistemas en los que se registran las ventas de productos. Ventas de productos (de los dos sistemas de facturación) y entradas del otro sistema. Escuelas de los tres sistemas. Empleados de los tres sistemas y del de RRHH. Etc.

35 Sistema de entradas El ETL categorías, subcategorias y productos Sistema de facturacion I Sistema de facturacion II Los productos, categorías y subcategorías de este sistema son exactamente los mismos que los del sistema I Data warehouse PRODUCTO Id_producto Descripcion_producto Id_sub_categoria SUB CATEGORIA Id_sub_categoria Descripcion_sub_categoria Id_categoria CATEGORIA Id_categoria Descripcion_cateogira Se respeta el mismo código pero se adiciona una v delante (tanto en producto como en categoría. En la subcategoría se repite la categoría.. Ventas: Cuando se pasan las filas de la tabla donde se registraron las ventas de entradas, se debe respetar también el mismo criterio de codificación.

36 El diseño dimensional conceptual EMPLEADO TIEMPO ESCUELA DISTRIBUCIÓN GEOGRÁFICA PRODUCTO Rango capacitación Anio Tipo Región Categoría Empleado Trimestre Escuela Provincia Sub categoría Ciudad Mes Producto Parque Día Local Monto vendido Cantidad vendida

37 Modelo de datos DW subjetivo (dimensional lógico mixto) EMPLEADO TIEMPO id_fecha Dia Mes Trimestre Año DISTRIBUCION GEOGRAFICA id_local Nombre local Id_parque Legajo Apellido_nombre Sueldo Horas_capacitacion Rango_horas _capacitacion TABLA DE HECHOS id_producto id_local id_fecha id_escuela Legajo monto vendido cantidad vendida ESCUELA Id_escuela Nombre Id_tipo_escuela PRODUCTO id_producto Descripcion producto Categoria Subcategoria TIPO ESCUELA Id_tipo_escuela Tipo_escuela PARQUE CIUDAD PROVINCIA REGION Id_parque id_ciudad id_provincia id_region Direccion id_ciudad Nombre ciudad id_provincia Nombre provincia id_region Nombre region

38 Slides adicionales

39 Beneficios Con foco en la Empresa Cambia valor potencial de los datos en valor verdadero. Aumenta la calidad de la toma de decisiones. Permite unificar conceptos de negocios en toda la compañía. Con foco en los Usuarios Maximiza el tiempo de análisis por sobre la construcción de reportes. Fuente única y confiable. Autonomía y reducción de cuellos de botella. Con foco en la Tecnología de la Información Foco en diseño de modelos y administración. Valor estrátegico de los desarrollos.

40 Usos para el marketing - CRM Marketing Directo: Ofrecer Ofrecer un un producto producto particular particular a a un un cliente cliente o o grupo grupo de de clientes clientes específicos específicos Venta Cruzada --up-selling:aumentar up-selling:aumentar la la cantidad cantidad general general que que compra compra un un cliente cliente durante durante la la misma misma compra compra o o en en una una posterior.upselling: posterior.upselling: persuadir persuadir al al cliente cliente a a comprar comprar un un producto producto de de mayor mayor rentabilidad. rentabilidad. Análisis y pronóstico de de ventas: Evaluar Evaluar la la tendencia tendencia de de las las ventas ventas por por distintos distintos criterios. criterios. Análisis de de canasta de de compra: determinar determinar la la colección colección de de productos productos que que consume consume un un cliente cliente o o grupo grupo de de clientes. clientes. Análisis de de promociones: Poder Poder medir medir la la efectividad efectividad de de promociones, promociones, campañas campañas de de publicidad. publicidad. Retención de de clientes y análisis chrn: analizar analizar a a los los clientes clientes que que se se fueron fueron a a la la competencia competencia (para (para que que vuelva vuelva y y no no se se vayan vayan otros) otros) - - chrn chrn iniciado iniciado por por el el cliente cliente o o por por la la competencia. competencia. Análisis de de rentabilidad de de clientes: Analisis Analisis de de su su valor valor considerando considerando toda toda su su vida. vida. Empaquetado de de productos: detectar detectar una una mezcla mezcla de de productos productos muy muy rentables rentables para para asegurar asegurar la la rentabilidad rentabilidad neta neta y y motivar motivar a a los los clientes clientes a a comprarla. comprarla. Centros de de atención al al cliente.