<Insert Picture Here> Data Warehousing Extremo!!

Transcripción

1 <Insert Picture Here> Data Warehousing Extremo!! Dario Valderrama Business Intelligence Specialist

2 Los Sistemas de Información en las Organizaciones Tratamiento automático de la información La Información como soporte a toma de decisiones La Información como insumo estratégico para la generación de ventajas competitivas

3 Todas las líneas de negocio esperan tener un mejor auto-conocimiento Industria Retail Telecomunicaciones Cuidado en Salud Servicios Financieros Utilidades Sector Publico Preguntas Típicas Cuales tiendas deberían ser cerradas o vendidas? Cuales clientes responderán a una nueva promoción? Cuales aspectos afectan la deserción de clientes por cada región? Cual es la ganancia promedio por usuario Cuales son las peticiones de servicio más frecuentes de los pacientes? De qué manera serán impactados los depósitos con nuevos servicios en línea? Cómo es el promedio de préstamos comparado con el del año pasado? Quien será nuestro objetivo para el programa de eficiencia en energía? Qué recursos son necesarios para restaurar un corte de luz? Cual es la tendencia en presupuesto y gastos? Cual es la forma mas costo efectiva de administrar los gastos?

4 Los Principales Desafíos

5 Reto: Muchos más datos para analizar Tamaño y crecimiento en Bodegas de Datos Source: TDWI Next Generation Data Warehouse Platforms Report, 2009

6 Reto: No Hay una Fuente Única de Verdad Arquitectura de Bodega de Datos Costosa OLAP Data Mining ETL Data Marts ETL Data Marts OLAP Data Mining

7 Reto: Requerimentos de Usuario No se Cumplen Alto abandono de plataformas de Bodega de Datos Source: TDWI Next Generation Data Warehouse Platforms Report, 2009

8 Como Enfrentar los Desafíos?

9 Centralización e Integración Analítica OLAP Statistics Spatial Images Data Mining Centraliza la información y tipos de datos en un solo lugar Incluye los análisis en donde se almacenan los datos Se apalanca en las tecnologías core de la base de datos

10 Solución de Oracle para BI & DW Interactive Dashboards Reporting & Publishing Ad-hoc Analysis Proactive Detection and Alerts Disconnected Analytics MS Office Plug-in Web Services Common Enterprise Information Model Oracle BI Server Olap Partitioning Data Mining Spatial Data Profiling, Data Modelling, ETL OLTP & ODS Systems OLAP SAP, Oracle, Siebel, Peoplesoft, JDEdwards, Custom Files Excel XML Business Process

11 Estrategia de Oracle para Data Warehousing

12 Una Sola Plataforma para Consolidación Altísimo desempeño, Una sola versión de la verdad Data Marts Online Analytics ETL Data Mining Oracle Database 11g Oracle Exadata Database Machine

13 Oracle Exadata Database Machine La Plataforma Ideal para Bodega de Datos Mejoras en desempeño de consultas 10x Consolida cargas OLTP y Analíticas Analíticos y minería de datos integrados Menos riesgo

14 ETL con Oracle BCP Unload Non-Oracle Source FTP Staging Raw Files Parallel Loads Data Pump Unload SCP Oracle Source Cargue rápido de datos usando DBFS y Tablas Externas Rápidas transformacionesque en Oracle Database 11g por medio de operaciones DML en paralelo Best-in-class performance for large batch oriented data loads

15 El concepto de Particionamiento Mantiene el rendimiento consistente cuando la base de datos crece SALES SALES SALES Jan Feb Jan Feb Europe USA Tablas Grandes Difícil de Administrar Partición Divide y Conquistarás Más Fácil de Administrar Mejor Rendimiento Particionamiento Compuesto Alto desempeño Acorde con las necesidades del negocio

16 Particionamiento para Desempeño Partition Pruning Sales Table 5/19 What was the total sales amount for May 20 and May ? Select sum(sales_amount) From SALES Where sales_date between to_date( 05/20/2010, MM/DD/YYYY ) And to_date( 05/22/2010, MM/DD/YYYY ); 5/20 5/21 5/22 Ejecuta operaciones solo en las particiones relevantes Reduce dramáticamente la cantidad de datos devueltos del disco Mejora el desempeño de las consultas y optimiza la utilización de recursos

17 Particionamiento para la gestión del crecimiento de los datos Comprime los datos y Reduce los costos de Almacenamiento Archive Data Read Only Data Active Data 15-50x Archive Compression 10-15x DW Compression 3x OLTP Compression Distribuye particiones a través de multiples capas de compresión Libera espacio de almacenamiento y ejecuta las consultas más rápido No es necesario hacer cambios en las aplicaciones existentes

18 Consultas paralelas en Memoria Usa recursos disponibles de memoria para incrementar el desempeño Utiliza memoria distribuida en todos los nodos del clúster El Algoritmo esparce fragmentos de tablas en la memoria de todos los nodos Reduce el acceso a disco I/O

19 Gestión Sumarizada Mejore el tiempo de respuesta con vistas materializadas Region SQL Query Date Sales by Region Sales by Date Query Rewrite Sales by Product Sales by Channel Products Relational Star Schema Channel Información almacenada dentro de Oracle Database 11g preresumida Objetos de Base de Datos separados, consultas transparentes Soporte sofisticado a re-escritura de consultas Rápido e incremental cambio de datos Materialized Views

20 Cubos Organizados mediante Vistas Materializadas Region SQL Query Date Summaries Query Rewrite Automatic Refresh Products Channel Expone cubos OLAP de Oracle como vistas materializadas relacionales Provee acceso SQL a datos almacenados en un cubo OLAP Cualquier herramienta de BI o aplicación SQL puede aprovechar los cubos OLAP

21 Oracle OLAP Built-in Access to Analytic Calculations Cómo funcionan las ventas en la región occidental de este trimestre comparadas con las ventas de hace un año? Cuáles serán las ventas del próximo trimestre? Qué factores podemos alterar para mejorar el pronóstico de ventas? Motor multidimensional que analiza el resumen de datos Ofrece rendimiento de consultas mejorado y actualizaciones rápidas e incrementales Embebido en el almacenamiento y las bases de datos Oracle

22 Oracle OLAP and OBIEE Cálculos computarizados más rápido en Motor OLAP

23 Oracle Data Mining Encuentre patrones ocultos, Realice Predicciones Venta al por Menor Segmentación del Mercado Response Modeling Comunicaciones Rotación de Clientes Intrusión en la Red Servicios Médicos Predicción de Resultados del Paciente Detección de Fraudes Servicios Financieros Credit Scoring Posibilidad de incumplimiento Utilidades Product bundling Predicción de fallo en la línea de alimentación Sector Público Fraude Fiscal Análisis Criminal Recolección de algoritmos de minería de datos que resuelven problemas de negocio Simplifica el desarrollo de aplicaciones predictivas BI Embebido en el almacenamiento y las bases de datos Oracle

24 Data Mining Provee Mejor Información, comportamientos y predicciones Cell Phone Churners vs. Loyal Customers Segment #3: IF CUST_MO > 7 AND INCOME > $175K, THEN Prediction = Cell Phone Churner, Confidence = 83%, Support = 6/39 Comportamiento s & Predicción Segment #1: IF CUST_MO > 14 AND INCOME < $90K, THEN Prediction = Cell Phone Churner, Confidence = 100%, Support = 8/39 Customer Months Source: Inspired from Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management by Michael J. A. Berry, Gordon S. Linoff

25 In-Database Data Mining Traditional Analytics Oracle Data Mining Data Import Data Mining Model Scoring Data Preparation and Transformation Ahorros Resultados Mas rápido de Datos a Comportamientos Menor TCO Elimina Movimiento de Datos Duplicación de Datos Garantiza Seguridad Data Mining Model Building Data Prep & Transformation Model Scoring Los datos permanecen en la BD Preparación de datos embebida Data Extraction Hours, Days or Weeks Source Data SAS Work Area SAS Process ing Process Output Target Model Scoring Embedded Data Prep Model Building Data Preparation Secs, Mins or Hours Algoritmos incluidos SQL kernel de la Base de Datos SQL El mas poderoso lenguaje para preparación de datos Los datos permanecen en la BD

26 Oracle Data Mining and OBIEE Predicción y Resultados de Probabilidad integrados en los informes

27 Oracle s BI/Geospatial Platform Visualización Geográfica de BI como just another interactive chart type Integración Bidireccional Visualiza y asocia múltiples medidas en un mapa. Drill y Navegación dashboards desde mapas MapViewer Geospatial Interactive Mapping Spatial Analysis Optimized Spatial Data Management OBIEE Business Intelligence Enterprise Business Information Model Optimized Data Access Analytical Capabilities Oracle Fusion Middleware

28 Oracle Spatial and OBIEE Enriquezca BI con la visualización de mapas de datos espaciales Oracle Habilite el análisis de ubicación en informes, alertas y notificaciones Use mapas para guiar la navegación de datos, el filtrado, y el drill-down Incremente el retorno de inversión de datos geoespaciales y no espaciales

29 Ejemplos Environmental Protection Crime Analysis Transportation Management Municipal Services Case Management Citizen Services

30 Oracle Exadata Intelligent Warehouse Para Industrias Data Models Business Intelligence Exadata Combine un profundo conocimiento del sector con experiencia en bodega de datos Ponga en marcha el diseño y la implementación de bodegas de datos Disponible para las verticales de Retail y Comunicaciones

31 Extreme Performance Data Warehousing Soluciones Integradas BI Applications BI Tools ELT Tools Data Models Database Una sola versión de la verdad Fácil implementación y manejo Extremo desempeño Cumple todos los requerimientos de usuario final Bajo costo total de propiedad Smart Storage

32 Oracle #1 para Data Warehousing Source: IDC, July 2009 Worldwide Data Warehouse Management Tools 2008 Vendor Shares

33