ARQUITECTURAS DE DB2 LUW Luis Reina IBM Analytics @luisrei luis_reina@es.ibm.com 1 de Julio de 2016 1 2016 IBM Corporation
AGENDA Introducción Arquitectura Shared Disk Arquitectura Shared Nothing Dream Database 2 2016 IBM Corporation
INTRODUCCIÓN 3 2016 IBM Corporation
Multiples Arquitecturas Posibles de DB2 SMP Massively Parallel Processing Máquina Unica Data Sharing Shared Nothing Plataformas : Linux, Aix, Windows, HP/UX, Solaris 4 2016 IBM Corporation
Dentro de las distintas Arquitecturas: Distintas configuraciones de DB2 Máquina Unica SMP Data Sharing Shared Nothing Massively Parallel Processing DB2 BLU ó DB2 «estándar» DB2 «estándar»: DB2 purescale DB2 BLU ó DB2 «estandar»: DB2 DPF 5 2016 IBM Corporation
Qué es BLU? Almacenamiento Columnar Muy apropiado para Sistemas Analíticos. Nueva Inteligencia para explotar al máximo el hardware disponible, como por ejemplo Core Friendly: Usar gran cantidad de cores con una sola consulta SQL. SIMD: Procesar múltiples datos con una sola instrucción. Nuevos algoritmos de Acceso a la Memoria Optimización de la Entrada/Salida Sigue siendo DB2 Mismo Interfaces (APIs) Mismo SQL Misma utilidades Convivencia tablas de fila y de columna en la misma base de datos Super Sencillo DB2 WITH BLU ACCELERATION Super analytics Super easy 6 2016 IBM Corporation
Qué aporta BLU? Compresión: Entre 7 a 10 veces! 1TB de datos se quedan al cargarlos en BLU en unos 100GB Rendimiento de Consultas. Super Sencillo. 10x-30x improvement is common 7 2016 IBM Corporation
Super Sencillo Repeat Database DB2 with BLU Design Design and Tuning and Tuning Decide on partition strategies Select Compression Strategy Create Table Load data Create Auxiliary Performance Structures Materialized views Create indexes B+ indexes Bitmap indexes Tune memory Tune I/O Add Optimizer hints Statistics collection 8 2016 IBM Corporation
Arquitectura Shared Disk DB2 purescale 9 2016 IBM Corporation
Qué es DB2 purescale? Lleva la tecnología del Sysplex del System Z a entorno distribuidos. Multiples servidores se muestran como un única base de datos. Permite Añadir o Quitar servidores según las necesidades de negocio. Proporciona niveles de Escalabilidad y Disponibilidad que no existían en platorma distribuida. Los usuarios nunca saben cuando uno o más miembros fallan ya que DB2 purescale permanece ejecutándose. 10 2016 IBM Corporation
Objetivos de DB2 purescale Capacidad iiimitada Empezar pequeño Facilidad de crecimiento Disponibilidad Continua (Continuous Availability) Mantener el nivel de servicio tanto con eventos planificados como no planificados. Transparente a las Aplicaciones Evita el riesgo y el coste de ajustar las aplicacicaciones a las topología de la base de datos. 11 2016 IBM Corporation
Arquitectura de DB2 purescale Unica base de datos Balanceo Automático de Carga Miembros de DB2: - Cluster Services - DB2 Engine CS CF CS DB2 Engine DB2 Engine DB2 Engine CS CS CS Log Log Log CF CS InfiniBand 10GB ROCE SOCKETS Coupling Facility - Group Bufferpool - Global Lock Manager RDMA CF Base de Datos (Datos compartidos) 12 2016 IBM Corporation
Paradas Planificadas Server1 Server2 Application Servers / DB2 Clients Shared Data Server3 Log Log Log Failover transparente a las aplicaciones Identify Member Drain Member Continuous Availability Do Bring Maintenance node back Reconexión online automática de los clientes 13 2016 IBM Corporation
Paradas No Planificadas Servidor de Aplicaciones Clientes DB2 txtx Disponibilidad Maximizada Datos en Lectura no se bloquean Sólo se bloquean los datos modificados en vuelo Las aplicaciones no tienen que reconectarse Server1 Couping Facility IB Server2 Server3 Log Log Log Datos Compartidos Server4 Couping Facility Log % of Data Available 100 50 Database member failure Only data in-flight updates locked during recovery Time (~seconds) 14 2016 IBM Corporation
Arquitectura Shared Nothing 15 2016 IBM Corporation
Arquitectura Share Nothing select from table Tables FCM network Engine Engine Engine Engine data logs data logs data logs data logs Partition 1 Partition 2 Partition 3 Partition n Database Modelo de base de datos particionada Base de datos divida en múltiples particiones Cada partición puede correr en un nodo (máquina) distinta. Cada servidor de partición tiene recursos dedicados. Existe un Procesamiento Paralelo en todas las particiones. Las aplicaciones y los usuarios ven una imagen única. 16 2016 IBM Corporation
Procesamiento Paralelo de Consultas 46 select connect sum(x) from table_a,table_b where a = b Sum Join Optimize Coord Get statistics Read A Read B sum( ) Catalog sum=10 sum=12 sum=13 sum=11 Agent Agent Agent Agent Part1 A Sum Join B Part2 A Sum Join B Part3 A Sum Join B PartN Sum Join A B table_a table_b 17 2016 IBM Corporation
Paralelismo Intra-Partition Consulta Paralelo Transaccion Paralela Load Paralelo Creación de Indice paralelo Backup y Restores Paralelo Reorg Paralelo I/O Paralelo Soporte de Fail-over CP U CP U SELECT * FROM T1,T2 WHERE... Aplicación de Usuario CP U CP U Partición de Base de Datos IBM Confidential 18 2016 IBM Corporation
PARALELISMO INTRA-PARTICION + INTER PARTICION IBM Confidential 19 2016 IBM Corporation
Cómo se Particionan las Tablas? DISTRIBUTE BY Insert/Load HASH (trans_id) SALES Trans_id Region Type Date_Sales ColX ColY 1001 N H 2006 - - 1002 S L 2007 - - 1003 S L 2007 - - 1004 N H 2005 - - CREATE TABLE sales(col1, col2, col3, ) DISTRIBUTE BY HASH (trans_id) Table Partition 1 Partition 2 Partition 3 DB2 Database IBM Confidential 20 2016 IBM Corporation
Distriución Automatica por Hashing Hash key TRANS_ID 000120 DB2 hash algorithm 5 Indice Partición Partition map 0 1 2 3 4 5 6 7 4094 4095 1 2 3 4 1 2 3 4 Partition1 Partition2 Partition3 Partition4 IBM Confidential 21 2016 IBM Corporation
Dream Database 22 2016 IBM Corporation
The Dream Database Query #1 5 Key Characteristics 1. BLU performance, compression, time-tovalue for Analytics and Reports Query #1 processing Query #1 processing Query #1 processing CF 2. Comprehensive DR with HA 3. DPF Divide-and-Conquer Scale-out for virtually unlimited Scale (TBs to PBs) Soft Affinitization Hash partition BLU Acceleration Soft Affinitization Hash partition BLU Acceleration Soft Affinitization Hash partition BLU Acceleration 4. BLU performance & compression for OLTP 5. purescale virtually continuous availability (no catalog node, online failover, rolling updates, easy growth) Local or SAN 23 2016 IBM Corporation
CAFÉ!! 24 2016 IBM Corporation