ARQUITECTURAS DE DB2 LUW

Transcripción

1 ARQUITECTURAS DE DB2 LUW Luis Reina IBM 1 de Julio de IBM Corporation

2 AGENDA Introducción Arquitectura Shared Disk Arquitectura Shared Nothing Dream Database IBM Corporation

3 INTRODUCCIÓN IBM Corporation

4 Multiples Arquitecturas Posibles de DB2 SMP Massively Parallel Processing Máquina Unica Data Sharing Shared Nothing Plataformas : Linux, Aix, Windows, HP/UX, Solaris IBM Corporation

5 Dentro de las distintas Arquitecturas: Distintas configuraciones de DB2 Máquina Unica SMP Data Sharing Shared Nothing Massively Parallel Processing DB2 BLU ó DB2 «estándar» DB2 «estándar»: DB2 purescale DB2 BLU ó DB2 «estandar»: DB2 DPF IBM Corporation

6 Qué es BLU? Almacenamiento Columnar Muy apropiado para Sistemas Analíticos. Nueva Inteligencia para explotar al máximo el hardware disponible, como por ejemplo Core Friendly: Usar gran cantidad de cores con una sola consulta SQL. SIMD: Procesar múltiples datos con una sola instrucción. Nuevos algoritmos de Acceso a la Memoria Optimización de la Entrada/Salida Sigue siendo DB2 Mismo Interfaces (APIs) Mismo SQL Misma utilidades Convivencia tablas de fila y de columna en la misma base de datos Super Sencillo DB2 WITH BLU ACCELERATION Super analytics Super easy IBM Corporation

7 Qué aporta BLU? Compresión: Entre 7 a 10 veces! 1TB de datos se quedan al cargarlos en BLU en unos 100GB Rendimiento de Consultas. Super Sencillo. 10x-30x improvement is common IBM Corporation

8 Super Sencillo Repeat Database DB2 with BLU Design Design and Tuning and Tuning Decide on partition strategies Select Compression Strategy Create Table Load data Create Auxiliary Performance Structures Materialized views Create indexes B+ indexes Bitmap indexes Tune memory Tune I/O Add Optimizer hints Statistics collection IBM Corporation

9 Arquitectura Shared Disk DB2 purescale IBM Corporation

10 Qué es DB2 purescale? Lleva la tecnología del Sysplex del System Z a entorno distribuidos. Multiples servidores se muestran como un única base de datos. Permite Añadir o Quitar servidores según las necesidades de negocio. Proporciona niveles de Escalabilidad y Disponibilidad que no existían en platorma distribuida. Los usuarios nunca saben cuando uno o más miembros fallan ya que DB2 purescale permanece ejecutándose IBM Corporation

11 Objetivos de DB2 purescale Capacidad iiimitada Empezar pequeño Facilidad de crecimiento Disponibilidad Continua (Continuous Availability) Mantener el nivel de servicio tanto con eventos planificados como no planificados. Transparente a las Aplicaciones Evita el riesgo y el coste de ajustar las aplicacicaciones a las topología de la base de datos IBM Corporation

12 Arquitectura de DB2 purescale Unica base de datos Balanceo Automático de Carga Miembros de DB2: - Cluster Services - DB2 Engine CS CF CS DB2 Engine DB2 Engine DB2 Engine CS CS CS Log Log Log CF CS InfiniBand 10GB ROCE SOCKETS Coupling Facility - Group Bufferpool - Global Lock Manager RDMA CF Base de Datos (Datos compartidos) IBM Corporation

13 Paradas Planificadas Server1 Server2 Application Servers / DB2 Clients Shared Data Server3 Log Log Log Failover transparente a las aplicaciones Identify Member Drain Member Continuous Availability Do Bring Maintenance node back Reconexión online automática de los clientes IBM Corporation

14 Paradas No Planificadas Servidor de Aplicaciones Clientes DB2 txtx Disponibilidad Maximizada Datos en Lectura no se bloquean Sólo se bloquean los datos modificados en vuelo Las aplicaciones no tienen que reconectarse Server1 Couping Facility IB Server2 Server3 Log Log Log Datos Compartidos Server4 Couping Facility Log % of Data Available Database member failure Only data in-flight updates locked during recovery Time (~seconds) IBM Corporation

15 Arquitectura Shared Nothing IBM Corporation

16 Arquitectura Share Nothing select from table Tables FCM network Engine Engine Engine Engine data logs data logs data logs data logs Partition 1 Partition 2 Partition 3 Partition n Database Modelo de base de datos particionada Base de datos divida en múltiples particiones Cada partición puede correr en un nodo (máquina) distinta. Cada servidor de partición tiene recursos dedicados. Existe un Procesamiento Paralelo en todas las particiones. Las aplicaciones y los usuarios ven una imagen única IBM Corporation

17 Procesamiento Paralelo de Consultas 46 select connect sum(x) from table_a,table_b where a = b Sum Join Optimize Coord Get statistics Read A Read B sum( ) Catalog sum=10 sum=12 sum=13 sum=11 Agent Agent Agent Agent Part1 A Sum Join B Part2 A Sum Join B Part3 A Sum Join B PartN Sum Join A B table_a table_b IBM Corporation

18 Paralelismo Intra-Partition Consulta Paralelo Transaccion Paralela Load Paralelo Creación de Indice paralelo Backup y Restores Paralelo Reorg Paralelo I/O Paralelo Soporte de Fail-over CP U CP U SELECT * FROM T1,T2 WHERE... Aplicación de Usuario CP U CP U Partición de Base de Datos IBM Confidential IBM Corporation

19 PARALELISMO INTRA-PARTICION + INTER PARTICION IBM Confidential IBM Corporation

20 Cómo se Particionan las Tablas? DISTRIBUTE BY Insert/Load HASH (trans_id) SALES Trans_id Region Type Date_Sales ColX ColY 1001 N H S L S L N H CREATE TABLE sales(col1, col2, col3, ) DISTRIBUTE BY HASH (trans_id) Table Partition 1 Partition 2 Partition 3 DB2 Database IBM Confidential IBM Corporation

21 Distriución Automatica por Hashing Hash key TRANS_ID DB2 hash algorithm 5 Indice Partición Partition map Partition1 Partition2 Partition3 Partition4 IBM Confidential IBM Corporation

22 Dream Database IBM Corporation

23 The Dream Database Query #1 5 Key Characteristics 1. BLU performance, compression, time-tovalue for Analytics and Reports Query #1 processing Query #1 processing Query #1 processing CF 2. Comprehensive DR with HA 3. DPF Divide-and-Conquer Scale-out for virtually unlimited Scale (TBs to PBs) Soft Affinitization Hash partition BLU Acceleration Soft Affinitization Hash partition BLU Acceleration Soft Affinitization Hash partition BLU Acceleration 4. BLU performance & compression for OLTP 5. purescale virtually continuous availability (no catalog node, online failover, rolling updates, easy growth) Local or SAN IBM Corporation

24 CAFÉ!! IBM Corporation