Soluciones IBM Data Warehouse para el Siglo XXI

Transcripción

1 Luis Reina IBM Software Group Information Management 22/03/2011 Soluciones IBM Data Warehouse para el Siglo XXI

2 IBM el Inventor de las Bases de Datos Bases de Datos Jerárquicas Modelo Jerárquico. Proyecto Lunar Apolo. Base de Datos IMS Bases de Datos Relacionales Modelo Relacional F. Codd: 1970 DB2, Informix, Sybase, Oracle, SQL Server,etc. 2

3 IBM el Lider Tecnológico 3

4 Agenda Introducción Infosphere Warehouse IBM Smart Analytics System Netezza 4 March 11

5 Modelo de las 3Vs Volumen Cada día, se genera 15 petabytes de nueva información. Variedad 80% de los nuevos datos son de tipo no estructurado, generados en su mayoría por correos electrónicos, imágenes y video. Velocidad Un compañía media de 1000 empleados gasta unos $5,3 millones al año en encontrar información. 5

6 Cual son los retos? 1 de cada 3 83% Líderes de negocio frecuentemente toman decisiones basados en información de la que no se fían o que no tienen.. 1 de cada 2 Líderes de negocio dicen que no tienen acceso a toda la información que necesitan para su trabajo. De los CIOs citó a Business intelligence and analytics como parte de su plan para mejorar la competitividad.. 35% De los clientes estudiarán, dentro de los próximos 3 años, reemplazar su data warehouse actual con una solución de data warehouse preintegrado, sólo el 14% lo tienen hoy. Fuente (TDWI: Next Generation Data Warehouse Platforms Q4 2009) 6

7 El Panorama de la Información Transactional & Collaborative Applications Integrar Analizar Business Analytics Applications Big Data Gestionar Master Data Cubes Fuentes Externas de Información Data Content Data Warehouses Streams Streaming Information Quality Gobernar Lifecycle Security & Privacy 7

8 IBM más de 15 años de avances en Data warehouse IBM Smart Analytics System InfoSphere Balanced Warehouse DB2 Parallel Edition RS/6000 SP, PowerQuery DB2 Universal Database Extended Enterprise Edition (EEE) DB2 Data Warehouse Edition (DWE) Balanced Configuration Unit v1 Balanced Configuration Unit v2 DB2 Balanced Warehouse

9 IBM es líder reconocido en todas las areas de Gestión de la Información y Analítica de Negocio Business Intelligence Data Warehouse Data Mining Data Integration Data Quality ETL 9

10 IBM es líder reconocido en todas las areas de Gestión de la Información y Analítica de Negocio Business Intelligence Data Warehouse Data Mining Data Integration Data Quality ETL 10

11 Soluciones de IBM para Data Warehouse IBM Netezza IBM Smart Analytics System IBM InfoSphere Warehouse True Appliance Flexible Integrated System Custom Solution Warehouse Accelerators Information Management Portfolio (Information Server, MDM, Streams, etc) Simplicity The right mix of simplicity and flexibility Flexibility 11

12 Infosphere Warehouse: Plataforma para su Data Warehouse Universal Access Portals & Web Reporting Solutions MS Office Web Services Apps SQL/MDX MDX No Copy Analytics Advanced Design & Management Extreme Performance Advanced Capabilities OLAP Analytics Data Mining Unstructured Analysis Design Studio and Admin Console Embedded Data Movement and Transformation Workload Management Data Compression Data Retention DB2 Platforms Linux Windows AIX SUN HP 12 12

13 DB2 13

14 Arquitectura Divide y Venceras permite escalabilidad lineal Arquitectura «Shared Nothing» Base de datos divida en múltiples particiones Cada partición puede correr en un nodo (máquina) distinta. Cada servidor de partición tiene recursos dedicados. Existe un Procesamiento Paralelo en todas las particiones. Las aplicaciones y los usuarios ven una imagen única. select select select select select select 14

15 Mejora del Rendimiento mediante la eliminacion de la E/S 15

16 Particionamiento de Base de Datos DB2 Partition 1 DB2 Partition 2 DB2 Partition 3 16

17 Particionamiento de Base de Datos + Particionamiento por Rango DB2 Partition 1 DB2 Partition 2 DB2 Partition 3 January February March 17

18 Cubing Services Servidor de Cubos Multidimensionales 18

19 Cubing Services: Acelerador de consultas Portals, Web Applications, Dashboards, Interactive Reports, Ad Hoc Analysis, Common Desktop Tools Cognos 8 BI IBM Alphablox Microsoft Excel Cubeware IBM DataQuant & DB2 QMF Universal Cube Access (MDX, ODBO, ODBO) XMLA) InfoSphere Warehouse 19 19

20 SQL Warehouse (SQW) Movimiento y Transformación de datos 20

21 SQL Warehouse: Movimiento y Transformación de Datos Fácil de Usar Interfaz Gráfico Workflow y Planificación Automatiza los procesos de Text Analytics y Data Mining. Fuentes DB2 y no DB2 (e.g Oracle) Se integra con Information Server (Datastage) Gestión de versiones Monitorización de jobs 21 21

22 Data Mining Minería de Datos 22

23 Visión general del data mining en Infosphere warehouse Modeling: Crea los Modelos. Associations Sequences Clustering Decision tree classification Regression Visualization: Visualiza los Modelos (para explorar y validar). Scoring: Aplica los Modelos 23

24 Text Analytics Minería en campos de texto libre 24

25 Text Analytics: Análisis de Campos de Texto Libre Volumes of structured, well-organized demographic and transactional data Volumes of unorganized, unstructured data from call-center notes 25

26 Design Studio (Modelado de datos Físico y Herramienta de Desarrollo) 26

27 Design Studio: Herramienta de Desarrollo Entorno único de desarrollo y administración, basado en eclipse Diseño de Modelo Proyecto de Datawarehouse Control de flujos Flujo de datos Bases de Datos 27

28 Workload Manager (Control de las Cargas en DB2) Definition of goals Identification of activities Management Monitoring 28

29 Workload Manager: Control sobre las diferentes cargas de trabajo Permite controlar sistemas complejos. Introduce nuevas cargas de trabajo sin impacto sobre las ya existentes. Priorización de los procesos en función de las necesidades de negocio. Ayuda a conseguir los acuerdos sobre niveles de servicio DB2 automaticamente modifica y ajusta los recursos y prioridades dependiendo de la carga de trabajo Permite generar controles basados en usuarios y aplicacíones DB2 Workload Manager Forma parte del motor de DB2 29

30 Performance Expert Monitorización de DB2 y Alertas 30

31 Performance Expert: Monitorización y Alertas Specify the screen refresh rate. Most KPIs are displayed as delta values. Problems/warnings are highlighted in red/yellow Portlets show for each KPI a database ranking For multipartition instances additionally a combo box let you choose the partition or GLOBAL Switch on/off monitor switches for this instance 31

32 Storage Optimization Compresión de datos en DB2 32

33 Compresión de Datos Compresión de Datos Compresión de Indices Compresión de Temporales Table ORDER BY Temp Table ORDER BY Temp 33

34 Soluciones de IBM para Data Warehouse IBM Netezza IBM Smart Analytics System IBM InfoSphere Warehouse True Appliance Flexible Integrated System Custom Solution Warehouse Accelerators Information Management Portfolio (Information Server, MDM, Streams, etc) Simplicity The right mix of simplicity and flexibility Flexibility 34

35 IBM Smart Analytics System Lo que la organizaciones inteligentes quieren y necesitan para tener resultados más rápidos Todo lo que necesita para su Analítica del Negocio no sólo un apliance de data warehouse Incluye: 1. Software Analítico 2. Potente Data Warehouse 3. Hardware y Servicios Transformando la información en compresión del negocio 3x más Rápido 50% menos espacio Record Mundial en Rendimiento 35

36 IBM Smart Analytics System: Sistema montado versus un Sistema por Piezas Vs. Menor Coste Ahorro de Tiempo Menor Riesgo 36

37 IBM Smart Analytics System: Solución de Alto Rendimiento World-record 10TB TPC-H Q p h H IBM p 570/DB2 9.5 HP Integrity Superdome-DC Itanium 2/Oracle 10g Sun Fire E25K/Oracle 10g

38 IBM Smart Analytics System: Soporte Integrado de la Solución Soporte Tradicional IBM Smart Analytics Server Storage Storage VS Server Operating Sys InfoSphere Warehouse --- Operating Sys InfoSphere Warehouse A cada parte se le da soporte por separado Soporte Integrado 38

39 IBM Smart Analytics System: Sistema Modular y Escalable Se construye mediante módulos que permiten un crecimiento flexible y controlado Cada Modulo consta de Procesamiento + Almacenamiento + Memoria. Modulos de Usuario Data Module Modulos de failover Servidor de Gestión 1 o más 1 o más 1 o más 1 Modulos de BI (opcional) Modulos de Aplicaciones (opcional) 39

40 IBM Smart Analytics System: Sistema Flexible con Crecimiento Controlado Servidor de Gestión Modulo de Usuario 1 Modulo de Usuario 2 Modulo de Datos 1 Modulo de Datos 2 Modulo de Datos 3 Modulo de Datos 4 Modulo de Datos 5 40 * 5600 refers to 5600s as well

41 IBM Smart Analytics System: Escalabilidad Lineal Industry Application Insurance Financial Distribution Telco Scaling Description 8 to 16 partitions, 4 workloads 32 to 40 partitions, 1 workload 16 to 24 partitions, 3 workloads 48 to 96 partitions, 5 workloads Scale Result 95% to 109% 107% 85% to 112% 105% to 122% 41

42 IBM Smart Analytics System: Administración Sencilla Monitorización - Status Global - Status de Componentes Mantenimiento - Completo (firmware, software, SO) -Crecimiento Consola Web/ Vía Comandos Gestión -Configuración -Control 42

43 IBM Smart Analytics System Smart Analytics System Infosphere Warehouse DB2 43

44 IBM Smart Analytics System: Distintos Modelos Workload complexity AIX/Power Modular for flexible Scale out 7700 Linux/Intel Modular for flexible Scale out 5600 Linux/Intel Extreme Price/performance 1050 y s Terabytes of User data 44

45 IBM Smart Analytics System Sistemas Compactos 45

46 IBM Smart Analytics Systems 1050 y 2050 Hardware/OS SUSE 11 or Windows Server 2008 IBM System x3500 M3 hardware for System 1050 IBM System x3850 X5 hardware for System 2050 IBM System Storage DS3500 Software InfoSphere Warehouse Departmental o Departmental Base Edition Cognos 8 BI Reporting and Query (opcional) Compacto, de bajo coste, un único sistema que proporciona un perfecto balanceo entre potencia y simplicidad. Seis Formatos 1050 Small, 1050 Medium, 1050 Large 2050 Small, 2050 Medium, 2050 Large 46 46

47 IBM Smart Analytics Systems 1050 y 2050: Capacidades Capacidad Medidas de Tamaños S M L S M L User space (TB) Total space (TB) Minimum # Users Departmental N/A N/A N/A Departmental Base # BI Users >= 0 >= 0 >= 0 >= 0 >= 0 >=

48 IBM Smart Analytics System Sistemas Modulares 48

49 IBM Smart Analytics System: Linux Software Smart Analytics System 5600 Control Console Allows for coordinated updates and maintenance of software, operating system, firmware and drivers InfoSphere Warehouse Enterprise Number of performance, administration, and usability enhancements Cognos (opcional) Linux SLES 10 SP3 Hardware System x3650 M3 server Energy-efficient design supporting more cores, memory & data capacity Scalable 2U package that s easy to service & manage DS3500 Storage Provides affordable performance flexibility without sacrificing scalability, efficiencies or ease of use 49

50 IBM Smart Analytics System: AIX Características InfoSphere Warehouse Enterprise Edition Cognos AIX IBM POWER 740 IBM System Storage DS3500 Default SSD using Blue Darter with optional further SSD expansion Smart Analytics System 7700 Control Console 50 * Compared to model 7600

51 IBM Smart Analytics System Solución para Mainframe Modelo

52 IBM Smart Analytics System para Mainframe System z196 or z10 z/os LPAR Enterprise Data Warehouse DB2 for z/os VUE InfoSphere Warehouse z/vm LINUX Guests Cognos BI Server 52

53 Modelos de Industria Warehouse Packs 53

54 Modelos de Industria Enfoque y Metodología probada. Incluyen el conocimiento de la industria. Más de 500 clientes. Valor para el Cliente Reducen el análisis y el diseño de requerimientos en más de un 40%. Acelera la obtención de la aprobación por los interesados (stakeholders) en más de un 50%. Cubren en media el 85% de las necesidades de datos de un cliente. Reduce el tiempo comparado a un proyecto de data warehouse a medida. 54

55 InfoSphere Warehouse Packs Un conjunto de estructuras de datos e informes en las áreas de: Customer Insight Market and Campaign Insight Supply Chain Insight Permiten el desarrollo rápido de Informes de BI desde una estructura compartida y extensible de data warehouse. Se pueden aplicar a cualquier solución de Infosphere Warehouse o IBM Smart Analytics System. 55

56 Customer Insight Pack Ejemplo de Informe: Beneficio por Categoría Socioeconómica. Para Customer Insight se proporcionan más de 20 informes predefinidos con Cognos Reports. 56

57 Soluciones de IBM para Data Warehouse IBM Netezza IBM Smart Analytics System IBM InfoSphere Warehouse True Appliance Flexible Integrated System Custom Solution Warehouse Accelerators Information Management Portfolio (Information Server, MDM, Streams, etc) Simplicity The right mix of simplicity and flexibility Flexibility 57

58 IBM Netezza Who is Netezza Leading provider of data warehouse & analytics appliances Leader in the Gartner Magic Quadrant (2009) Global Offices North America / EMEA / Japan / APAC Global Industries Served Retail Telecommunications Digital Media Health & Life Sciences Financial Services Government Energy What we do Performance leading appliances Proven enterprise-class solution with tens of PB of customer data. Rapid time to value Data warehousing & analytics Revenues * $ Millions $250+ Acquired by IBM Netezza is part of IBM Information Management Philosophy Easy to do business with Employees 500+ Customers 375+ $126.6 $187.7 $190.6 Backed by IBM s worldclass resources * Fiscal Year Ending Jan 31 Source: If applicable, describe source origin 58 58

59 IBM Netezza Sencillez de un Appliance. Base de datos, servidor y almacenamiento integrados. De 10 a 100 veces más rápido que los sistemas tradicionales. Capacidad de escalar a PetaBytes Analítica avanzada. Interfaz estándar. 59 March 11

60 Simplicidad Allowing the business users access to the Netezza box was what sold it. Steve Taff, Executive Dir. of IT Services 60 60

61 Integración Perfecta en el Ecosistema de Business Intelligence Interoperabilidad Certificada con los proveedores líderes Data Integration Business Intelligence and Analytics Advanced Analytics and Data Mining 61 61

62 Infosphere BigInsights (hadoop) Infosphere Streams 62

63 Infosphere Big Insights e Infosphere Streams Big Insights Non-Traditional Data Persistent Data Analytics In-Motion Analytics 63 Traditional Data WAREHOUSE Persistent Data Analytics

64 Conclusiones One size does not fit all Solución A medida: Infosphere Warehouse Solución Optimizada: IBM Smart Analytics Software Appliance: Netezza 64 March 11

65