DB2 LUW CANCUN Novedades para BLU Acceleration. Ana Rivera Matías DB2 Client Technical Professional IBM Software Group

Transcripción

1 DB2 LUW CANCUN Novedades para BLU Acceleration. Ana Rivera Matías DB2 Client Technical Professional IBM Software Group 1

2 AGENDA Repasamos conceptos: OLTP vs OLAP DB2 BLU Acceleration. DB FP4. Cancun Release. Novedades para BLU Shadow Tables Mejoras de Rendimiento/Compresión Compatibilidad con Oracle HADR SAP BW Resumen 2

3 OLTP vs OLAP. Diferentes cargas de trabajo, Diferentes necesidades. OLTP Online Transaction Processing Consultas/Actualizaciones/borrados de un número pequeño de filas. Normalmente las transacciones afectan a un número pequeño de tablas. Medida de rendimiento: Transaction throughput (Número de transacciones por segundo) OLAP Online Analytical Processing Las consultas acceden a muchas filas de la tabla (o a todas) Consultas complejas que incluyen agregaciones, joins, operaciones sobre columnas Normalmente se accede a pocas columnas de tablas con longitud de registro grande. 3

4 OLTP vs OLAP Escenario habitual: Los datos de los sistemas OLTP se replican a un sistema OLAP. Ventaja: Las Transacciones por segundo no se ven afectadas por las consultas complejas. Desventaja: Procesos ETL que pueden ser complejos, movimientos de datos, latencia de datos 4

5 DB2 BLU Acceleration. Versión 10.5 GA. Recordamos. DB2 DB2 WITH BLU 10.5 Super analytics Super easy ACCELERATION 5

6 Características Principales de DB2 BLU ALMACENAMIENTO COLUMNAR EVITAR LEER LOS DATOS NO NECESARIOS: DATA SKIPPING MULTIPLICAR LA CAPACIDAD DE LA CPU QUAD CORE CPU QUAD CORE CPU Instructions Data QUAD CORE CPU QUAD CORE CPU Results COMPRESIÓN + ACTIONABLE COMPRESSION GESTIÓN MÁS EFICAZ DE LA MEMORIA RAM Near optimal caching ES DB2!: TRANSPARENCIA DISKS 6

7 Por lo tanto. DB introduce BLU Acceleration, funcionalidad dentro del motor de DB2 que proporciona altas capacidades analíticas PERO La ejecución de consultas con joins sobre tablas organizadas en modo fila y tablas organizadas en modo columnar es menos eficaz. Cada vez más entornos demandan la ejecución de consultas analíticas sobre las tablas utilizadas para cargas de trabajo OLTP SIN afectar al rendimiento: Online Transactional Analytic Processing (OLTAP) LA SOLUCIÓN? CANCUN.. 7

8 SHADOW TABLES Shadow Table Una nueva manera de implementar una MQT como una tabla columnar (User- Maintained Columnar MQT) Implementando la tecnología DB2 BLU Acceleration en entornos OLTP OLTP Reports Transparente: Las consultas analíticas ejecutadas contra las tablas organizadas en modo fila para el entorno OLTP, automáticamente se ejecutan sobre las shadow tables. Mejor rendimiento de ambos entornos. Row Organized Tables Query Optimization Automatic Incremental Maintenance Shadow Table Column Organized Shadows 8

9 SHADOW TABLES. OLTP + OLAP 9

10 SHADOW TABLES. Conceptos Las transacciones OLTP acceden a las tablas OLTP organizadas en modo fila. Las transacciones OLAP acceden a las Shadow Tables: MQT creadas como tablas columnares basadas en las tablas organizadas por filas. No hay que hacer ningún cambio en las consultas OLAP: Ambas tablas (base y shadow table tienen el mismo nombre). Las transacciones OLAP son mucho más rápidas al utilizar la tecnología BLU. Shadow Tables simplifican la administración y mejoran el rendimiento: No es necesario mantener dos entornos, procesos ETL. ó No es necesario mantener índices específicos para las consultas OLAP sobre las tablas organizadas en modo fila utilizadas para las transacciones OLTP. Para mantener la replicación a las shadow tables se utiliza IBM InfoSphere CDC, incluido en DB Advanced Enterprise Server Edition (AESE), Advanced Workgroup Server Edition (AWSE), y Developer Edition (DE)) 10

11 SHADOW TABLES. Conceptos MAINTAINED BY REPLICATION indica que es una Shadow Table. ORGANIZE BY COLUMN debe especificarse siempre. USER MAINTAINED: Para permitir a Infosphere Change Data Capture ejecutar I/U/D sobre la shadow table. Se recomienda que ningún otro aplicativo modifique los datos de las shadow tables. 11

12 SHADOW TABLES. Configuración Entorno OLTP + OLAP Cómo se configura? VARIABLES DE ENTORNO: DB2_WORKLOAD: La utilización de Shadow Tables es en entonos OLTP dónde se desea ejecutar transacciones OLAP (OLTAP); por lo tanto NO hay que configurar DB2_WORKLOAD = ANALYTICS. DB2_EXTENDED_OPTIMIZATION : En un entorno dónde se requiere el uso de Shadow Tables es necesario un valor mayor de SORTHEAP que un entorno OLTP; para ello se utiliza esta variable de entorno, con el valor: OPT_SORTHEAP_EXCEPT_COL value BASE DE DATOS Shared Sort Heap Size : Para tener resultados óptimos en las consultas analíticas que acceden a las shadow tables son necesarios valores mayores que en un entorno OLTP. La recomendación para comenzar: sheapthres_shr : % database_memory Sortheap: 5-20 % sheapthres_shr dft_table_org : row Utility Heap Size : 1 4 millones de páginas de 4K. CDC usa LOAD para REFRESH de tablas. LOGARCHMETH1: LOGRETAIN (Necesario para CDC) 12

13 SHADOW TABLES. Infosphere CDC 13

14 SHADOW TABLES. Mantenimiento Para mejorar el rendimiento de los INSERT/UPDATE/DELETE: Enforced primary key en Shadow Tables PRIMARY KEY de Shadow table = PRIMARY KEY (o UNIQUE CONSTRAINT) en base table. No es posible borrar la PK o UNIQUE CONSTRAINT de una base table con una Shadow Table asociada Fast Direct IUD La fase APPLY de CDC utiliza las siguientes sentencias: INSERT INTO TARGET_T VALUES(?,?,?,?,...); UPDATE TARGET_T SET COL1=?, COL2=?,... COLN=? WHERE PK=? DELETE FROM TARGET_T WHERE PK=? Array IUD During the CDC APPLY phase, it batches the same IUD operations via the JDBC batching which will in turn interface with DB2 server via Array IUD 14

15 SHADOW TABLES. Cuándo se usan? QUERY ROUTING. OBJETIVO : Las consultas analíticas deben ser automáticamente dirigidas a las shadow tables para mejorar su rendimiento y no impactar en las cargas de trabajo OLTP. INTRA_PARALLEL = ANY OBLIGATORIO!! QUERY ROUTING BASADO EN LA LATENCIA: CURRENT REFRESH AGE distinto de CERO ó ANY. Solo se accederá a las shadow tables si la latencia respecto a la tabla base es aceptable de acuerdo a este valor. Formato: yyyymmddhhmmss CURRENT MAINTAINED TABLE TYPES FOR OPTIMIZATION : REPLICATION. CURRENT QUERY OPTIMIZATION = 2, o >= 5 $ db2 CONNECT TO oltpdb $ db2 "CALL ADMIN_SET_INTRA_PARALLEL ('YES')" $ db2 SET CURRENT DEGREE 'ANY $ db2 SET CURRENT REFRESH AGE 510 $ db2 SET CURRENT MAINTAINED TABLE TYPES FOR OPTIMIZATION REPLICATION $ db2 SET CURRENT QUERY OPTIMIZATION 2 Puede tener los valores: REPLICATION ALL 15

16 SHADOW TABLES. Cuándo se usan? CONOCER LA LATENCIA DE LAS SHADOW TABLES : CDC actualiza la nueva tabla : SYSTOOLS.REPL_MQT_LATENCY Para poder utilizar las Shadow Tables : Observed CDC latency < Acceptable Latency Limit (REFRESH AGE) Una vez que se ha determinado que la consulta puede acceder a la Shadow Table la decisión final es BASADA EN COSTES. 16

17 SHADOW TABLES. Cuándo se usan? CONNECT PROCEDURE : Habilitamos el uso de Shadow Tables SOLO para las aplicaciones que hacen uso de cargas de trabajo Analíticas. CREATE OR REPLACE PROCEDURE DBGUEST1.REPL_MQT_SETUP() BEGIN DECLARE APPLNAME VARCHAR(128); SET APPLNAME = (SELECT APPLICATION_NAME FROM TABLE(MON_GET_CONNECTION(MON_GET_APPLICATION_HANDLE(), -1))); IF (APPLNAME = appl-name ) THEN CALL SYSPROC.ADMIN_SET_INTRA_PARALLEL( YES ); SET CURRENT DEGREE ANY ; SET CURRENT MAINTAINED TYPES REPLICATION; SET CURRENT REFRESH AGE 500; END IF; END@ Si CURRENT REFRESH AGE = ANY, no se utiliza la latencia como filtro para determinar el uso de las Shadow Tables. Será siempre BASADO EN COSTES. 17

18 SHADOW TABLES. Recomendaciones Además hay que tener en cuenta. Shadow Tables solo se consideran para dynamic queries Todas las tablas referenciadas en una consulta deben tener Shadow Table asociada. De no ser así, no se utilizará ninguna. BufferPool separado para las Shadow Tables Tablespace de 32K para las Shadow Tables. Información en el catálogo para identificar las Shadow Tables. Column Name Data Type Nullable Description PROPERTY VARCHAR(32) - Properties for a table. A single blank indicates that the table has no properties. The following is position within string, value, and meaning 1, Y = User maintained materialized query table. 20, Y = Column-organized table 21, Y = Synopsis table 23, Y = Shadow Table 18

19 SHADOW TABLES. RENDIMIENTO Impacto inferior al 5% en el entorno OLTP.. Se reduce el consumo de memoria/administración/almacenamiento de los índices generados en las tablas organizadas por fila gracias al uso de Shadow Tables. Consultas analíticas >10x más rápidas con BLU vs. ejecución de reports sobre tablas OLTP 19

20 SHADOW TABLES. RENDIMIENTO 20

21 SHADOW TABLES. RESUMEN SIMPLIFICACIÓN + RENDIMIENTO Único sistema OLTP + OLAP Reducción de índices y ajustes de rendimiento para OLAP dentro de los entornos OLTP Mejora del rendimiento en las consultas analíticas de 10x Aprovechamiento de la infraestructura y skills (Sigue siendo DB2!) Impacto mínimo en OLTP throughput OLTP Indexes Analytical Indexes OLTP plus Analytics One Server OLTP OLTP plus Analytics Arquitecturas antes de DB2 CANCUN BLU Shadow Tables Analytics Arquitectura después Replication de DB2 CANCUN Server A Server B 21

22 Continuamos. 22

23 Mayor rendimiento para BLU Acceleration Mejor rendimiento para ETL y operational analytics. More general primary key index exploitation for Point queries Point UPDATE and DELETE statements Significant performance improvements for INSERT and UPDATE Using index access that returns 1 row is significantly faster Update with IN-list predicate is significantly faster In FP1, UPDATE with IN-LIST was 14x slower than row store In DB2 Cancun Release, UPDATE with IN-LIST is up to 3x faster than row store Fast INSERT = up to 1.8x faster than FP3 Fast UPDATE = up to 70x faster than FP3 University of Toronto reported one single UPDATE statement was 84x faster than FP3 European client reported 40x faster UPDATE within INGEST compared to FP3 Fast DELETE = 26x faster than FP3 Oracle compatibility allows for PL/SQL jobs for ELT jobs Support for MERGE statement (UPSERT only) Mejora la replicación a las Shadow Tables! 23

24 Mayor rendimiento para BLU Acceleration 24

25 Mayor rendimiento/compresión para BLU Acceleration Significant query performance enhancements Complex, nested joins, and other joins that are currently run in row engine Common table expressions Joins involving VARCHAR data Data skipping for VARCHAR and CHAR predicates CHAR andvarchar now available in synopsis table Adaptive compression for INSERTs BLU has exceptional compression via table and page level dictionaries Prior to DB2 Cancun Release only LOAD could create page level dictionaries In DB2 Cancun Release , INSERT/INGEST support for creation of pagelevel dictionaries New compression for VARCHAR data added Deep POWER8 Exploitation 25

26 Mayor rendimiento/compresión para BLU Acceleration Deep POWER8 Exploitation Cognitive compilation When compiling and optimizing DB2 runtime code, IBM uses special cognitive algorithms that watch DB2 processing BLU Acceleration workloads This learning is then used to reorder instructions within the product for even faster runtime performance Faster range predicates for BLU tables POWER8 has new instructions that can be exploited by SIMD aware applications DB2 will leverage these new instructions for range predicates to evaluate many more column values simultaneously compared to POWER7 or Intel Resulting in even greater performance and faster analytics 26

27 Mejoras funcionales para BLU Acceleration ADD COLUMN support for columnar tables Federation support for databases with columnar tables. 27

28 Compatibilidad con Oracle para BLU PL/SQL Data types PL/SQL objects Packages SQL statements Scripts OCI interface Concurrency SQL/PL and PL/SQL DB2 DB2_COMPATIBILITY_VECTOR 28 28

29 Compatibilidad con Oracle Editor Data Studio PL/SQL Compiler SQL PL Compiler Debugger SQL Unified Runtime Engine DB2 Server Profiler Database 29

30 Compatibilidad con Oracle BLU Acceleration soporta las siguientes capacidades de Compatibilidad con Oracle. Data types DATE data type (Oracle Semantics) NUMBER data type (Oracle Semantics) VARCHAR2 data type (Oracle Semantics) Features and capabilities DUAL OUTER JOIN OPERATOR (+) TRUNCATE TABLE CHARATER LITERALS COLLECTION METHODS PL/SQL compilation Oracle data dictionaries Oracle database links INSENSITIVE cursors INOUT parameters SQL Data-Access-level enforcement Supported on BLU tables ROWNUM Hierarchical queries (CONNECT BY) LIMIT OFFSET clause 30

31 Compatibilidad con Oracle IBM Database Conversion Workbench (DCW) DCW integra las herramientas necesarias para realizar una migración de base de datos en un entorno único de desarrollo. Es un plugin de IBM Data Studio. Soporta las siguientes conversiones: Oracle a DB2 LUW (incluyendo bases de datos DB2 con BLU Acceleration) MS SQL Server a DB2 LUW (Análisis y conversión de T-SQL no soportado) Oracle a DB2 z/os DB2 a DB2 (incluyendo purescale y BLU) 31

32 Compatibilidad con Oracle IBM Database Conversion Workbench (DCW) DCW Task Launcher - An integrated help guide, which provides step by step instructions through the conversion process. DDL Extraction - Extracts objects in the source database, used by DCW to analyze the source database and provide compatibility assessment and work effort. Compatibility Evaluation Provides a report of the estimated % compatibility of Oracle SQL and PL/SQL statements with DB2 (LUW and z/os), outlining the major issues of the conversion, code that was autoconverted, as well as code that must be fixed manually. *Note: report is encrypted for non-ibm users. The encrypted file can be sent to AskDCW@ca.ibm.com, which will reply with a decrypted report. Code Conversion - Auto-converts Oracle syntax to DB2 compatible syntax. Object Creation splits a single DDL file into multiple files, organized by object types, which can then be executed against the target DB2 database to create the required objects. Object Dependencies Visualizer - Generates a dependency graph of objects in the source database. Data Movement - Extracts and loads data from the source database to the target DB2 database. Various methods available: flat files, pipes, DB2 federation and CDC replication. 32

33 BLU Acceleration + HADR BLU Acceleration + HADR Permite habilitar un entorno HA + DR en entornos analíticos sencillo de implementar y mantener. Soporta la mayoría de las capacidades HADR Todos los modos de sincronización, multiples standby, time delay, log spooling BLU BLU 33

34 BLU Acceleration + HADR Shadow Tables? 34

35 SAP BW + DB Cancun with BLU Acceleration. Más objetos columnares Supported SAP Applications (SAP Note ) SAP BW 7.0 and higher DB2 Near-Line Store for SAP BW SAP Strategic Enterprise Management (SAP SEM) Reporting Layer Enterprise Data Warehouse Layer Data Acquisition Layer Aggre gate Info Cube PSA DSO PSA Master Data Source Systems Reporting PSA Flat Info Cube DSO PSA Info Cube DSO BW Near-Line Storage (NLS) Supported objects Available with SAP BW 7.0 and higher - InfoCubes and Aggregates - Master Data - DSOs and PSA tables - BW temporary tables - NLS InfoCubes - NLS DSOs Available with SAP BW 7.40 SP8 - Flat InfoCubes Additional benefits - General performance improvements with Cancun - Faster reporting on InfoCubes - Fast reporting on DSOs - Faster ETL processing - Less ETL processing steps - Better performance with Flat InfoCube - More space reduction HADR support for BLU 35

36 Resumen Fast Answers. Simply Delivered. Instant insight from real-time operational data for growing revenue, reducing cost and lowering risk 35x to 73x faster analytics, with some queries running more than 1400x faster Next generation in-memory with IBM Research innovations Fast Simplified IT landscape with reporting and transactions in the same system No need for indexes, aggregates or tuning Operational simplicity with load and go performance Simple DB2 with BLU Acceleration Agile Available for on-premises or via the cloud In one of our largest customer databases, we saw a compression ranging from 7x to 20x as compared to the uncompressed tables - Mike Petkau, Director of Database Architecture & Administration, TMW Systems Simple, low-risk upgrade from Oracle Database 36

37 Muchas gracias Ana Rivera Matías IBM Software Group 37