Informix Ultimate Warehouse Edition



Documentos relacionados
NubaDat An Integral Cloud Big Data Platform. Ricardo Jimenez-Peris

Luis Reina Juliá IBM Software Group Arquitecto de Datos. Data Warehousing: el reto de extraer el valor de los datos

IBM Informix Simplemente poderoso IBM Corporation

Universidad de Guadalajara

Infraestructura de Redes. Microprocesadores

Mejorando el desempeño de cubos en SQL Server Analysis Services

Agustiniano Ciudad Salitre School Computer Science Support Guide Second grade First term

Estos documentos estarán dirigidos a todas las personas que pertenezcan a equipos de implementación de Oracle BI, incluyendo a:

6 El catálogo del sistema

Retos en la gestión de Información requieren Smarter Computing

una solución para mejorar la toma de decisiones Performance Management Reporting & Analysis Data Warehouse

Overview of Data Warehousing / Business Intelligence with SQL Server

Creating your Single Sign-On Account for the PowerSchool Parent Portal

DBA 2.0 y Gestión del Desempeño con Enterprise Manager Packs

Almacén de datos - concepto. Arquitectura de un sistema de almacén de datos

Intelligent Management Center

Tecnología de Bases de Datos en IBM.

DataBase Administration

Kuapay, Inc. Seminario Internacional Modernización de los medios de pago en Chile

La Base de Datos OLAP Analysis Services (SSAS) Agenda. Agenda. Construyendo una Solución de BI paso a paso con SQL Server 2005

Nociones de performance

Descripción de los Servicios Oracle contemplados en el Instrumento de Agregación de Demanda

Este proyecto tiene como finalidad la creación de una aplicación para la gestión y explotación de los teléfonos de los empleados de una gran compañía.

Powered by RELEASE NOTES. CSS Business Intelligence. Versión Build

Virginia Miguez Directora Administración Pública Intel Corporation Iberia

ETS APPs MATELEC Nuevas Funciones para ETS. Madrid. Casto Cañavate KNX Association International

MICROSOFT Course 20462: Administering Microsoft SQL Server Databases

Copyright 2010 EMC Corporation. All rights reserved.

Optimización de modelos multidimensionales en SSAS

ST23_ Performance Management and Tuning

La siguiente generación de Datawarehouse : Más allá del Data Warehouse permitir information on demand. IBM Information Management

8 SQL SERVER 2008 RA-MA

Presentación. 29/06/2005 Monografía de Adscripción 1

Other Drives. Processor. More Information

TUTORIAL DATA WAREHOUSE: OLAP - Analysis Services

La ayuda practica de hoy para los CIO s y responsables de servicio

Soluciones de almacenamiento hiper-eficientes y auto-optimizables

8 MICROSOFT SQL SERVER 2008 R2. CURSO PRÁCTICO RA-MA

Objetos Distribuidos - Componentes. Middleware

SIGUIENDO LOS REQUISITOS ESTABLECIDOS EN LA NORMA ISO Y CONOCIENDO LAS CARACTERISTICAS DE LA EMPRESA CARTONAJES MIGUEL Y MATEO EL ALUMNO DEBERA

Diferenciadores entre ediciones de Bases de Datos Oracle Octubre de Standard Edition One. Express Edition. Standard Edition

Volatilidad: Noviembre 2010 Futuros Frijol de Soya

Presentamos la familia de procesador Intel Xeon, creada para crecer

Big Data Analytics. Copyright 2012, SAS Institute Inc. All rights reserved.

Oracle Optimized Solutions. Jorge Cordoba Senior Sales Consultant

intellidata.com.ar I lixiansoftware.com linkedin.com/company/intellidata

Innovación empresarial disciplina DevOps

Cuadrante Mágico de Gartner para BI 2013 vs. 2014

SISTEMA DE GESTIÓN Y ANÁLISIS DE PUBLICIDAD EN TELEVISIÓN

Título del Proyecto: Sistema Web de gestión de facturas electrónicas.

La importancia del ecommerce en la transformación e internacionalización de un grupo mayorista

Sistemas de Información para la Gestión. UNIDAD 2: RECURSOS DE TI Información y Aplicaciones

Definición. Data Warehousing: almacenamiento, transformación y distribución de datos útiles para los responsables de tomar decisiones 9/29/2006 4

ADAPTACIÓN DE REAL TIME WORKSHOP AL SISTEMA OPERATIVO LINUX

Por qué ExecuTrain? Por qué ExecuTrain? Modalidad de servicio

Contents. Introduction. Aims. Software architecture. Tools. Example

DATA WAREHOUSE DATA WAREHOUSE

Comparación de características entre las ediciones Estándar y Enterprise

Movilidad empresarial como agente de transformación

Sistemas de impresión y tamaños mínimos Printing Systems and minimum sizes

Instalación de Linux 6.4 Enzo Viza (eviza-dba.blogspot.com)

ÍNDICE. Introducción... Capítulo 1. Novedades, mejoras y requisitos para la instalación... 1

Cómo conseguir un SQL más eficaz

Edgar Quiñones. HHRR: Common Sense Does Not Mean Business. Objective

Steps to Understand Your Child s Behavior. Customizing the Flyer

DESCUBRE LA HIPERCONVERGENCIA A GRAN ESCALA CON VCE VXRACK

Registro y Comunicación Automatizada a Bases de Datos

Computación en Memoria

REQUISITOS DEL SISTEMA. Software Servidor. Cliente. Hardware Servidor. Cliente

Oracle 12c DISEÑO Y PROGRAMACIÓN

Análisis y Diseño de Sistemas

MOLAP REALIZADO POR: JOSE E. TABOADA RENNA

ÍNDICE. Introducción... Capítulo 1. Conceptos de Big Data... 1

Tema 1. Conceptos básicos

L1. Describir SQL Server MODELO CLIENTE SERVIDOR SQL SERVER MANAGEMENT STUDIO GRUPO DE SERVIDORES SERVIDOR SQL BASES DE DATOS

Diseño ergonómico o diseño centrado en el usuario?

MANUAL EASYCHAIR. A) Ingresar su nombre de usuario y password, si ya tiene una cuenta registrada Ó

Sistema de Control Domótico

SYLLABUS I. DESCRIPCIÓN

manual de servicio nissan murano z51

Curso Online de Oracle 10g

Sybase IQ Servidor analítico con arquitectura basada en columnas

IBM Software Demos Rational Model Driven Development

DDR Qualified Vendors List (QVL) DIMM socket support (Optional)

Pruebas SQL, NoSQL y Multidispositivo

DESARROLLO DE UNA APLICACIÓN DE BUSINESS INTELLIGENCE (BI) PARA LA EMPRESA EMPAQPLAST

Marcos de Desarrollo. Diseño e implementación de aplicaciones Web con.net

09/01/2009. Diseño e implementación de Datawarehouse con Analysis Services Universidad de Guadalajara. Mario Octavio II Muñoz Camacho

ADMINISTRACIÓN DE IMPRESORAS EN LINUX

Valor de Licenciamiento de SQL Server 2012 frente a Oracle Database

Brief Introduction to Docking and Virtual Screening with Autodock4 and Autodock Tools

Propuesta avanzada para La Optimización del Centro de Datos

Pruebas SQL, NoSQL y Multidispositivo

Visión General GXplorer. Última actualización: 2009

Administración de la Calidad del Servicio de Base de Datos Oracle - QoS

Product RoadMap. John Manning Director Técnico

More than 500,000 software licenses, 125,000 plants & facilities, Supported in 181 countries, across every vertical market

CONTROLADORA PARA PIXELS CONPIX

Los bloques DLL (Figura A.1) externos permiten al usuario escribir su propio código y

Transcripción:

Jun 9, 1011 Informix Ultimate Warehouse Edition Combinando en un mismo DBMS: Transacciones + Análisis de Rendimiento Extremo Veronica Gomes (vgomes@us.ibm.com) IBM Informix Development

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 2

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 3

Transacciones vs Análisis Uso de la Base de Datos Base de Datos para Transacciones (OLTP) Soporta las operaciones de misión crítica y día-a-día del negocio Acceso a través de aplicaciones específicas Diseño de BD a partir de la aplicación (Modelo Entidad-Relación) Data actual, aislada a un sistema, detallada, normalizada Muchos usuarios concurrentes (de niveles operativo e IT) Transacciones cortas y simples, lecturas y cambios aleatorios en línea Acceso aleatorio a poco volumen de datos, operaciones sobre registros Uso repetitivo, SQL pre-definidos y pre-optimizados Métrica de rendimiento: Transaction Throughput 4 Data Warehouse para Análisis (OLAP) Soporta la estrategia y toma de decisiones del negocio Acceso a través de herramientas de inteligencia de negocios Diseño multidimensional: métricas y perspectivas del negocio (Estrella) Data histórica, integrada, detallada/sumarizada a cierto nivel, duplicada Pocos usuarios concurrentes (de niveles gerencial y ejecutivo) Queries complejos, joins, filtros, agregaciones; Delta de cargas (batch) Acceso secuencial a gran volumen de datos, operaciones sobre columnas Uso ad-hoc, queries no conocidos ni optimizados a priori Métrica de rendimiento: Query Throughput & Respuesta

Almacenamiento por Registro Ventajas y Retos para OLAP Bases de datos con almacenamiento basado en registro (row-based / row-wise database) Características de este diseño: Usada en disco y memoria por los Sistemas para Manejo de Bases de Datos Relacionales (RDBMS) Se almacena un registro completo (tupla/fila) dentro de una página, seguido por el próximo registro Optimiza el almacenamiento de nuevos registros y posteriores cambios en ellos (loads, inserts, merge, update, delete) Es eficiente en I/O al obtener registros si el query necesita la mayoría de sus columnas Si la data es comprimida en el almacenamiento, el registro es descomprimido cuando se obtiene Ventajas: La tecnología de RDBMS ha evolucionado por décadas, a plataformas que satisfacen altas demandas empresariales Alto rendimiento en cargas de trabajo y transacciones en base a registros, como las de tipo OLTP Alto rendimiento en operaciones masivas de carga, inserción, merge y actualización, importantes en Data Warehouse Informix aprovecha esta tecnología para cargas OLTP y OLAP 5 5

Almacenamiento por Registro Ventajas y Retos para OLAP Retos de la carga de trabajo de tipo Warehousing/OLAP producida por consultas analíticas: Es inherentemente compleja para los RDBMS, ya que estos queries típicamente: Necesitan procesar sólo pocas columnas en millones/billones de registros a la vez Producen múltiples joins, scans, funciones de agregación, sorts y predicados Son queries ad-hoc, generados al momento desde herramientas de BI/OLAP El acceso es costoso: Los valores de la misma columna para cualesquiera dos registros distintos se encuentran separados entre sí Todo esto en una base de datos que crece incrementalmente Los usuarios demandan cada vez por tiempos de respuesta rápidos y predecibles Select col1 c, sum(col3) total From Group by col1 Order by total desc; 6 6

Almacenamiento por Registro Ventajas y Retos para OLAP Algunas formas de superar estos retos en un RDBMS incluyen: Construcción de índices Particionamiento de datos (Fragmentación) Compresión de datos Construcción de Cubos (MOLAP/ROLAP/HOLAP) Creación y mantenimiento de Tablas de Agregados o Vistas Materializadas Entonación de la consulta SQL reescribiendo el query Actualización de las Estadísticas del Optimizador Ajuste de parámetros para optimizar carga de trabajo OLAP/DSS en el motor Appliances que agregan nueva capa de hardware y software optimizar el I/O al DBMS Tener un sistema con carga de trabajo mixta (OLTP/OLAP) es siempre un reto Ajustar y mantener el sistema para rendimiento tanto para OLTP como para OLAP La carga de trabajo OLAP afecta el rendimiento de la carga de trabajo OLTP y viceversa 7 7

Almacenamiento por Columna Ventajas y Retos para OLAP Bases de datos columnares (column-based / column-oriented / columnar databases) Características: La tecnología existe desde comienzos la década de los 1970 s y ha resurgido recientemente Se almacenan juntos los valores de cada columna, para todas las instancias (registros) Ventajas: Alto rendimiento en consultas analíticas y cualquier carga de trabajo basada en columna, donde típicamente se necesitan todos los valores de unas pocas columnas Al guardar juntos todos valores de cada columna, se pueden obtener mejores niveles de compresión Combinada con tecnología de in-memory database, se alcanzan tiempos extremadamente bajos Select col1 c, sum(col3) total From Group by col1 Order by total desc; 8

Almacenamiento por Columna Ventajas y Retos para OLAP Retos: Lentitud en la carga completa e incremental del warehouse: Cada registro a insertar es separado en sus columnas, cada una se almacena en forma comprimida junto con las otras instancias de valores de dicha columna Lentitud en operaciones basadas en registro u obtención de múltiples columnas: Cada vez que se requiere un registro se obtienen y descomprimen separadamente los valores de sus columnas, y se agrupan para formar el registro Tienen necesidad de producir mecanismos internos para imitar un sistema relacional en varios aspectos Puede necesitarse: disponer de mucha memoria para escalar, crear índices apropiados, y reorganizar toda la data No apropiados para ambientes mixtos OLTP/OLAP Los datos pueden no estar disponibles durante las cargas/actualizaciones Dependiendo de la implementación, pueden ofrecer limitaciones adicionales en: el esquema y jerarquía de datos, acceso a los datos, uso de estándarles y SQL, alta-disponibilidad, escalabilidad, concurrencia de usuarios, etc Informix aprovecha esta tecnología para queries OLAP 9

Data Warehousing en 2011 DBMS Market in 2011: DBMS market at the close of 2009 was approximately $21.2 billion (2010 data not yet available) Data Warehouse DBMS market was approximately 35% of the DBMS market or $7.42 billion Key Findings: Data warehouse DBMSs have evolved to a broader analytics infrastructure supporting operational analytics, corporate performance management and other new applications and uses. Cost is driving interest in alternative architectures but performance optimization is driving multi-tiered data architectures and a variety of deployment options - notably a strong interest in in-memory data mart deployments. 10 10

Data Warehousing en 2011 Market Dynamics for 2011: Today, smaller data warehouses, those less than 5 TB's of source system extracted data (SSED) are the only "data warehouse" for the entire organization and are commonly solving organizations' analytic needs. Gartner estimates that between 70% and 75% of all systems referred to as EDW are actually single business departments in nature. Analysis: Optimization techniques such as summaries, aggregates and indexes are simply the result of performance restrictions inherent to normalized data and the way the RDBMS manages rows and columns. 11 11

Data Warehousing en 2011 A Glimpse Into the Future: Vendor solutions began to focus even more on the ability to isolate and prioritize workload types including strategies for dual warehouse deployments and mixing OLTP and OLAP on the same platform. In-memory DBMS solutions provide a technology which enables OLTP/OLAP combined solutions. Organizations should increase their emphasis on financial viability during 2011 and even into 2012 as well as aligning their analytics strategies with vendor road maps when choosing a solution. 12 12

Tendencias de Data Warehouse para CIOs, 2011-2012 Data Warehouse Appliances: DW appliances are not a new concept. Most vendors have developed an appliance offering or promote certified configurations. Main reason for consideration is simplicity. The Resurgence of Data Marts: Data marts can be used to optimize DW by offloading part of the workload, returning greater performance to the warehousing environment Column-Store DBMSs: CIOs should be aware that their current DBMS vendor may offer a column-store solution. Don t just buy a column-store-only DBMS because a column store was recommended by your team. In-Memory DBMSs: IMDBMS technology also introduces a higher probability that analytics and transactional systems can share the same database. 13 13

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 14

Historia de Informix en Data Warehousing IBM Informix tiene 3 productos de base de datos: XPS para Base de Datos en sistemas MPP Red Brick para data marts/data warehousing con esquemas Estrella (Star Schema) Informix Dynamic Server (IDS/Informix) para OLTP y (ahora) Data Warehousing 15 15

Roadmap de Data Warehousing en Informix Con el Informix Ultimate Warehouse Edition IWA Phase 2 Informix Warehouse Accelerator External Tables Star Join Optimization Multi-index Scan (Internal Bitmap technology) New Fragmentation Fragment Level Stats Storage Provisioning Informix Warehouse Feature - SQW - Data Modeling - ELT/ETL Cognos integration - Native Content Store on IDS SQL Merge Informix Warehouse with Storage Optimization/Compression 16 16

Características de Data Warehousing disponibles en Informix 11.70 17 17 LOB apps Databases Other transactional data sources HPL DB utilities ON utilities DataStage External Tables Data Loading I/O & data loading Deep Compression (option Ultimate) Interval and List Fragmentation Online attach/detach Online attach/detachfragment level stats Storage provisioning Table defragmenter Data & Storage Management DBMS & Storage mgmt Light Scans Merge Hierarchical Queries Multi-Index Scan Skip Scan Bitmap Technology Star and Snowflake join optimization Implicit PDQ Access performance Query Processing Query processing Desde 11.70.xC2: Informix Warehouse Accelerator (Informix Ultimate Warehouse Edition) Query Tools BI Apps BPS Apps Analytics Source: Forrester

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 18

Ediciones del servidor de base de datos IBM Informix 11.7 (DevWorks Article) Compare the Informix Version 11 editions (by Carlton Doe) Learn the differences in features, functions, and pricing models http://www.ibm.com/developerworks/data/library/techarticle/dm-0801doe/index.html (Brochure) Informix product family V11.7 (1.39MB) ftp://public.dhe.ibm.com/common/ssi/ecm/en/imb14078usen/imb14078usen.pdf (Overview Page) IBM Informix Product family http://www.ibm.com/software/data/informix/ 19

Informix Ultimate Warehouse Edition 11.70 El IBM Informix Ultimate Warehouse Edition consiste de los siguientes componentes de software y hardware: IBM Informix Ultimate Edition (64-bit) + IBM System x3850 X5 IBM Informix Storage Optimization Feature (Deep Compression) IBM Informix Warehouse Accelerator (Intel Linux 64-bit hardware + software) (Nuevo) Add-on de tipo Appliance con tecnología innovadora para performance extremo de cargas analíticas en Informix 20

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 21

La Tercera Generación de Bases de Datos ya está aquí Source: IDC s Article (Carl Olofson) Feb. 2010 1st Generation Vendor proprietary databases of IMS, IDMS, Datacom 2nd Generation RDBMS for Open Systems, dependent on disk layout, limitations in scalability and disk I/O Database tuning by adding updating stats, creating/dropping indexes, data partitioning, summary tables & cubes, force query plans, resource governing IDC predicts that, 4 years from now 3rd Generation Most data warehouses will be stored in a columnar fashion Most OLTP database will either be augmented by an in-memory database (IMDB) or reside entirely in memory Most large-scale servers will achieve horizontal scalability through clustering 22 22 OLTP and Data Warehousing can co-exist on the same system in an economic way

El Informix Warehouse Accelerator Qué es? El Informix Warehouse Accelerator (IWA) es un add-on de tipo Appliance para Informix, optimizado para procesamiento de workload de warehouse, que permite la combinación en un mismo sistema Informix de análisis del negocio y procesos operacionales. El IWA acelera en una plataforma de BD columnar en memoria queries de warehouse selectivos para obtener tiempos de respuesta sin precedentes. Qué lo hace diferente? Performance: Tiempos de respuesta sin precedentes y predecibles, para permitir cargas analíticas que no bloquean ni afectan otras cargas analíticas ni operacionales Integración: Se conecta con Informix/IDS a un nivel profundo y provee transparencia para las aplicaciones Cargas de trabajo auto-suficientes: Los queries son ejecutados de la forma más efeciente posible Transparencia: Las aplicaciones conectadas a Informix no advierten del IWA Simplified administration: Optimización manejada por el appliance, eliminando muchas tareas de performance tuning 23 23 Permite combinar en un mismo sistema Informix 11.70 lo mejor de OLTP con lo mejor de Data Warehousing

El Informix Warehouse Accelerator 24 Qué es? Add-on de tipo appliance para Informix Provee tecnología de BD de 3ra generación para warehouse y ambientes mixtos con Informix Informix lo usa para ejecutar con extrema rapidez queries analíticos sobre data marts específicos Hardware IBM de bajo costo: Intel 64-bit (IBM System ex5) Multi-core y SIMD (8 cores) Memoria (512GB-1.5TB, pronto:3tb) Arreglo de Discos (6 x 300 GB SAS) Software con múltiples tecnologías avanzadas para performance de queries sobre datamarts: 64-bit In-Memory Database Columnar storage and access Extreme Compression Frequency Partitioning -column groups Massive Parallelism load/query Predicate eval. on compressed data Multi-core & Vector Optimization Qué ofrece? Rendimiento de queries analíticos acelerados mejora en órdenes de magnitud (ex 10-500+x) Efecto indirecto positivo en otras cargas Aceleración automática y transparente Soporte de las herramientas de BI Funciona sobre la infraestructura de warehouse existente en Informix Rendimiento y Simplicidad: No Query Tuning and Optimizer Hints No Database tuning for warehousing No Index creation, reorganization No Update Statistics No Partioning/Fragementation No Storage Mgmt/Page size configuration No Database/schema changes No Application changes No Summary Tables/Materialized Views No Buying more expensive Hardware No Change of expectations

Tecnologías en el Informix Warehouse Accelerator para optimización de warehousing Extreme Compression Required because RAM is the limiting factor. Row & Columnar Database Row format within IDS for transactional workloads and columnar data access via accelerator for OLAP queries. Multi-core and Vector Optimized Algorithms Avoiding locking or synchronization 6 7 1 2 In Memory Database 3 rd generation database technology avoids I/O. Compression allows huge databases to be completely memory resident Predicate evaluation on compressed data Often scans w/o decompression during evaluation 5 4 3 Frequency Partitioning Enabler for the effective parallel access of the compressed data for scanning. Horizontal and Vertical Partition Elimination. Massive Parallelism All cores are used within cpus for queries 25 25

Dónde funciona el IWA en Business Intelligence (BI) STAR/SNOWFLAKE schama 26 Supported queries: Analytics complex, ah-doc, with: Sequential scans and much I/O, multiple joins (including the fact table), multiple predicates/filters aggregate functions, scalar functions sorts, group by A query can be sent to the accelerator for processing only if: The query refers to the fact table The query refers to a subset of the tables in the data mart definition The table joins that are in the query match the table joins that are specified in the data mart definition. In some specific cases, the IWA will not accelerate a query, and IDS will process it instead Consult Users Guide for more information

Definiendo el Data Mart que se va a acelerar A MART is a logical collection of tables which are related to each other. For example, all tables of a single star schema would belong to the same MART. The administrator uses a rich client interface to define the tables which belong to a MART together with the information about their relationships. IDS creates definitions for these MARTs in the own catalog. The related data is read from the IDS tables and transferred to IWA. The IWA transforms the data into a highly compressed, scan optimized format which is kept locally (in memory) on the Accelerator IDS + IWA Define Coordinator Process Worker Processes 27 27

Pasos para Poner a funcionar el IWA de Informix 28

Arquitectura - Escenarios de Configuración Alternative 1: Install IWA on a separate Linux box Informix Database Server Informix Warehouse Accelerator 64-bit RHEL 5/SUSE 11 Solaris 10/AIX 6.1/HP-UX 11.31 64-bit RHEL 5/SUSE 11 Alternative 2: Install Informix and IWA in the same symmetric multiprocessing system Informix Database Server Informix Warehouse Accelerator 64-bit RHEL 5/SUSE 11 Note: IWA requires Linux on Intel x64 (64-bit EM64T) Xenon 29 29

Arquitectura de Procesos del Informix Warehouse Accelerator OLTP Client BI Client 1 coordinator node per 4 worker nodes Informix Warehouse Accelerator Informix Database Server Query Router accelerated queries TCP/IP & DRDA Performs data compression and query processing with extreme parallelism coordinator node Manages the distribution tasks such as loading data and and query processing. worker node worker node worker node worker node DWADIR=$IWA_INSTALL_DIR/dwa/demo START_PORT=21020 NUM_NODES=5 (1 coord, 4 worker) WORKER_SHM=0.7 (70% of mem) COORDINATOR_SHM=0.05 (5% of mem) DRDA_INTERFACE="eth0" highly compressed data in memory: 25% of fact table + copy of all dimension tables highly compressed data in memory: 25% of fact table + copy of all dimension tables highly compressed data in memory: 25% of fact table + copy of all dimension tables highly compressed data in memory: 25% of fact table + copy of all dimension tables 30 30 accelerator storage directory: compressed data on disk

Configuración del Informix Warehouse Accelerator con Informix SQL Queries (from apps) IDS Query Router SQL Results TCP/IP (via DRDA) Informix Warehouse Accelerator Query Processor Compressed DB partition Data Warehouse Bulk Loader Informix (IDS): Routes SQL queries to accelerator User need not change SQL or apps. Can always run query in IDS, e.g., if too short an est. execution time GUI tool (ISAO) Informix Warehouse Accelerator: Connects to IDS via TCP/IP & DRDA Analyzes, compresses, and loads Copy of (portion of) warehouse Processes routed SQL query and returns answer to IDS 31 31

IBM Smart Analytics Optimizer (ISAO) Studio Easy to use graphical tool for data mart configuration 32

Consideraciones para usar el Accelerator Data mart is required to be designed in a star or snowflake schema Indexes required to identify relationships between fact table and dimensions At least the one considered the fact table is to be loaded into the Accelerator s memory You can upload vertical partitions of a datamart (some columns of some tables in a star/snowflake schema) into the Accelerator You can upload several data marts into the Accelerator, as memory permits To turn OLAP query acceleration on, and accelerate subsequent queries submitted within the session whenever possible: Turn acceleration on: set environment use_dwa 1 ; To debug (information is logged in online.log): set environment use_dwa 3 ; Transparent to BI tools if using sysdbopen() to invoke the statement 33

Query Diagnostics (1) The data marts or subset of data marts loaded into the IWA are kept by Informix as Accelerated Query Tables (AQT) AQT = A view definition that will allow the Informix Optimizer to recognize which queries could be accelerated via IWA Turning Acceleration ON: SQL statement set environment use_dwa 1 Turning Acceleration ON with debugging in Online.log: SQL statement set environment use_dwa 3 Turn Acceleration OFF: SQL statement set environment use_dwa 0 (DEFAULT) The SQL explain output : New information (IWA-Executed) if the query was successfully matched against an AQT and therefore offloaded to the accelerator (IDS-Executed) if the query did not match an AQT or could not be accelerated through IWA and was processed by the Informix Dynamic Server (IDS) alone (IWA-Avoid_Execute) if the query was invoked under SET EXPLAIN ON AVOID_EXECUTE for the plan to be generated by the Informix Optimizer without actually executing the query; and if it was executed, it would be offloaded to IWA. If (IDS-Avoid_Execute) is produced instead, the query was to be resolved by IDS only. 34

Query Diagnostics (2) SQL Tracing will generate additional information regarding query acceleration in the onstat -g his output. Its corresponding catalog table sysmaster:syssqltrace has these new columns: sql_aqtinfo: a value > 0 is the time (in ms) spent in query matching; a value of 0 means the SQL statement did not qualify for offloading; and a value < 0 is the acceleration error code obtained sql_aqt: contains the name of the AQT matching the query 35

Hardware de Referencia del Informix Warehouse Intel(R) Xeon(R) CPU Memory 6 disks X7560 @ 2.27GH 4 X 8 This ex5 could be x3850 512 GB 300 GB SAS hard disk drives each Opciones: - 4-processor, 4U rack-optimized enterprise server with Intel Xeon processors - 8-core, 6-core and 4-core processor options with up to 2.26 GHz (8-core), 2.66 GHz (six-core) and 1.86 GHz (four-core) speeds with up to 16 MB L3 cache - Scalable from 4 sockets and 64 DIMMs to 8 sockets and 128 DIMMs - Optional MAX5 32-DIMM memory expansion (max up 3TB soon more) - 16x 1.8" SAS SSDs with exflash or 8x 2.5" SAS HDDs 36 Informix Warehouse Accelerator System Requirements https://www-304.ibm.com/support/docview.wss?rs=630&uid=swg27021332

Ambientes ideales para el Acelerador Informix Ultimate Warehouse Informix IDS, XPS, Red Brick < 5 TB data mart Star schema High Concurrency Mixed Mixed Workloads Workloads 37

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 38

What our customers are saying. "Before using Informix Warehouse Accelerator, complex inventory and sales analysis queries on the enterprise warehouse with more than a billion rows took anywhere from a few minutes to 45 minutes to run. When we ran those same queries using Informix Warehouse Accelerator, they finished in 2 to 4 seconds! That means they ran from 60 to 1400 times as quickly, with an average acceleration factor of more than 450 all without any index or cube building, query tuning or application changes! Large Shoe Retailer "Informix Warehouse Accelerator is a game changer in the database market! It offers highly impressive performance with queries running 30 times faster than previously. The columnar technology saves a lot of processing time; it reduced our workload time from 9.5 hours to 15 minutes, all without any database tuning or need to manage the physical storage. Lester Knutsen, President, Advanced DataTools Corporation 39

Customer Warehouse Scenarios and Performance Results Federal Agency - Germany 537 Queries executed over a 30 GB data mart 432 Queries accelerated via IWA Performance with IDS+IWA was 90 times faster than XPS Federal Agency - USA Sample data set from 2 TB warehouse 8 representative queries ran 127 times faster Large Shoe Retailer BI Queries on 150 GB data set Fact table 1 billion rows Queries against Informix 22 minutes Queries against Informix + IWA : 4 secs, 330 times faster Large Global Retailer 10 GB data mart sample Fact table 25 million rows Queries against Informix over 20 mins Queries against Informix + IWA: 4 secs, 300 times faster 40

Case Study : Major U.S. Shoe Retailer Top 7 time-consuming queries in Retail BI and Warehouse: (Against 1 Billion rows Fact Table) Query 1 2 3 4 5 6 7 IDS 11.5 22 mins 1 min 3 secs 3 mins 40 secs 30 mins & up 2 mins 30 mins 45 mins & up IDS 11.7 IWA 4 secs 2 secs 2 secs 4 secs 2 secs 2 secs 2 secs Our Retail users will be really happy to see such a huge improvement in the queries processing timings. This IWA extension to IDS will really bring value to the Retail BI environment. 41

Agenda Retos y Tendencias en la Industria de Data Warehouse Data Warehousing con Informix Informix Ultimate Warehouse Edition Informix Warehouse Accelerator Resultados en Rendimiento Información Adicional Q & A 42

Recursos Adicionales (1) Publications for IBM Informix Warehouse Accelerator https://www-304.ibm.com/support/docview.wss?uid=swg27021031 Includes links to the manuals: (set up and admin guide - step by step) Quick Start Guide for Informix Warehouse Accelerator Warehouse Accelerator Administration Guide IBM Informix Warehouse Accelerator - White Paper http://www-01.ibm.com/software/sw-library/en_us/detail/k367396y51842y16.html Informix Warehouse Accelerator - Speed is everything http://planetids.com/content/informix-warehouse-accelerator-speed-everything Informix Ultimate Warehouse Edition - Official page for this edition http://www-01.ibm.com/software/data/informix/ultimate-warehouse-edition/ (German) Landing page for Informix at IBM Germany. With useful IWA information http://www-01.ibm.com/software/de/informix/ Presentations at the International Informix Users Group (IIUG) Conference 2011 in Kansas (being posted under the Member area --it is free to be a member at iiug.org site): http://www.iiug.org 43

Recursos Adicionales (2) Videos about Informix Warehouse Accelerator (based on Fred Ho's webcast / presentation): Informix Warehouse Accelerator http://www.youtube.com/watch?v=ohyanfpuce4 http://www.youtube.com/watch?v=ohyanfpuce4&feature=related Part 1: Informix warehouse Overview. http://www.youtube.com/watch?v=milutxhez-m&feature=related Part 2: Informix Warehouse - SQW tool http://www.youtube.com/watch?v=r_bajaaxr2a&feature=related Part 3: Informix v11.70 warehouse features overview. http://www.youtube.com/watch?v=tqtn3rq6g0u&feature=related Part 4: Informix warehouse accelerator. Overview and integration http://www.youtube.com/watch?v=o6dzofd7uc4&feature=related Part 5/5: Informix Warehouse Accelerator technology. http://www.youtube.com/watch?v=7pxrkikkkru&feature=related 44

Recursos Adicionales (3) Fred Ho s Webcast Replay available: An InformationWeek Webcast: Combining OLTP and Extreme Data Warehouse Performance, Duration: 60 Minutes https://www.techwebonlineevents.com/ars/eventregistration.do?mode=eventreg&f=1002943&k=caa1ec Links (at PlanetIDS site) to Set up tips for Informix Warehouse Accelerator: http://planetids.com/ Informix Warehouse Accelerator - Using the Eclipse based Administration Tool Informix Warehouse Accelerator - Configuration Tips - Part 5 - Size of /dev/shm Informix Warehouse Accelerator - Configuration Tips - Part 4 - Understanding Linux Out of Memory Informix Warehouse Accelerator - Configuration Tips - Part 3 - Linux Kernel Tuning Informix Warehouse Accelerator - Configuration Tips - Part 2 - Memory Resources nformix Warehouse Accelerator - Configuration Tips - Part 1 - CPU Resources Blogs: Fred Ho's blog at IBM DeveloperWorks https://www.ibm.com/developerworks/mydeveloperworks/blogs/fredho66/?lang=en_us Keshav's blog at IBM DeveloperWorks https://www.ibm.com/developerworks/mydeveloperworks/blogs/keshav/?lang=en 45

Muchas Gracias! Preguntas?