Session: Rendimiento de DB2 en entornos Linux virtualizados. Rafael Godinez Red Hat. 14/10/ :45 Platform: LUW

Transcripción

1 Session: Rendimiento de DB2 en entornos Linux virtualizados Rafael Godinez Red Hat 14/10/ :45 Platform: LUW 1

2 Agenda Virtualización Ventajas Virtualización en Linux DB2 LUW virtualizada: ejemplos Servicios SAP con DB2 Arquitectura y rendimiento Servicios DB2 Arquitectura y rendimiento Conclusiones 2

3 Virtualización: nuevas ventajas Virtualización rica en Características Publicada en Febrero 2007 Migración en vivo Alta disponibilidad Soporte para huéspedes Linux y Windows Establece nuevos fundamentos: Desplegada en áreas previamente consideradas fuera de los límites de la virtualización Bases de Datos de alto rendimiento Sistemas ERP Entornos de producción de misión crítica Aplicaciones de comercio sensibles a la temporización y latencias 3

4 Virtualización: evolución 4

5 Virtualización: hardware Primera generación de virtualización asistida por hardware: elimina necesidad de que el hipervisor busque y reescriba instrucciones con privilegios de kernel usando tecnologías Intel VT (Virtualization Technology) y AMD SVM (Secure Virtual Machine). Segunda generación de virtualización asistida por hardware: descarga la traducción de direcciones virtuales a físicas a la CPU/chipset usando tecnologías Intel EPT (Extended Page Tables) y AMD RVI (Rapid Virtualization Indexing). Esto proporciona una reducción de la sobrecarga en la traducción de direcciones de memoria en entornos virtualizados. Tercera generación de virtualización asistida por hardware: permite que dispositivos de E/S PCI se vinculen directamente a máquinas virtuales usando tecnologías Intel VT-d (Virtualization Technology for directed I/O) y AMD IOMMU. SR- IOV (Single Root I/O Virtualization) permite dividir dispositivos PCI específicos en múltiples dispositivos virtuales, proporcionando mejoras significativas en el rendimiento E/S de las máquinas virtuales. 5

6 Xen y KVM Hipervisor Xen Hipervisor basado en el microkernel Nemesis. Utiliza un huesped privilegiado (dom0) para la gestión de hardware. Aprox. 300k lineas de código. No upstream. Está soportado por Red Hat por lo menos hasta 2014 (ó 2017 ). Hipervisor KVM Kernel Linux con módulo kvm.ko. Gestión de hardware directamente en el kernel Linux. Aprox. 10k lineas de código en un kernel de 8m. Upstream desde Febrero Incluido a partir de RHEL 5.4 6

7 Características de KVM Escalabilidad Host: 96 cores, 1 TB RAM Guest: 16vCPU, 64 GB RAM Rendimiento : Hasta un 98% del rendimiento nativo Estándares de la industria RHEL kernel + KVM Drivers VirtIO de alto rendimiento Interfaz de gestión Libvirt Características avanzadas Compartición de Páginas de Memoria SELinux para alta seguridad y aislamiento Migración en vivo Snapshots Thin provisioning Modo Híbrido 7

10 Caso 1: DB2 LUW y SAP-SD Arquitectura software utilizada en las pruebas de rendimiento 10

11 Caso 1: DB2 LUW y SAP-SD Proceso de las pruebas de rendimiento: Create an order with five line items. (VA01) Create a delivery for this order. (VL01N) Display the customer order. (VA03) Change the delivery (VL02N) and post goods issue. List 40 orders for one sold-to party (VA05) Create an invoice. (VF01) 11

12 Caso 1: DB2 LUW y SAP-SD Ajustes de DB2 Buffer cache suficiente para tener un 99%+ de accesos en el buffer de base de datos El dispositivo de log de base de datos se creó en un volumen de gran tamaño formateado en bandas sobre el almacenamiento, usando un volumen de disco raw a nivel de sistema operativo Otro volumen se usó para contener las tablas calientes que serían accedidas extensivamente durante las pruebas de rendimiento. Esto permitió un ajuste personalizado de los parámetros de cada tabla y separar la I/O de estas tablas del resto de la actividad de la base de datos Las tablas VBDATA (VBDATA, VBMOD y VBHDR) también se separaron del tablespace por omisión, y puestas en otro dispositivo raw que permitió una menor contención en la actividad de la base de datos principal y pudo utilizarse un pool de buffer personalizado para mantener los contenidos de aquellas tablas y así conseguir un procesado de las transacciónes más rápido 12

13 Caso 1: DB2 LUW y SAP-SD Parámetros de DB2 optimizados DBHEAP = LOGBUFSZ = 1024 LOCKLIST = CHNGPGS_THRESH = 60 NUM_IOCLEANERS = AUTOMATIC NUM_IOSERVERS = AUTOMATIC DBHEAP debe ser mayor que LOGBUFSZ. Se ha usado el monitor del sistema de base de datos para registrar la mayor cantidad de memoria que se usó para el database heap Mayor que el tamaño estándar de 128 páginas Se estableció al tamaño menor posible para evitar escalados de bloqueo Para una carga de transacciones de actualización intensa, se necesitó que hubiera páginas limpias suficientes en el pool del buffer haciendo el parámetro menos que el valor por omisión DB2 fue suficientemente inteligente para autoajustar los valores de NUM_IOCLEANERS y NUM_IOSERVERS. En el test SAP SD es más importante el número de IO cleaners que el de IO servers 13

14 Caso 1: DB2 LUW y SAP-SD sin virtualizar 14

18 Caso 2: DB2 LUW y SAP-SD virtualizando con Xen 18

24 Caso 3: DB2 LUW virtualizando con KVM Arquitectura Dual Socket, Quad Core, Hyper Threading (Total of 16 processing threads) Intel(R) Xeon(R) CPU 3.20GHz 12 x 4 GB DIMMs - 48 GB total 6 x 146 GB SAS 15K dual port disk drives Red Hat Enterprise Linux el5 kernel KVM kvm el5 DB2 V9.7 DM-Multipath for multipathing LVM for disk images 24

25 Caso 3: DB2 LUW virtualizando con KVM Performance Test Plan Scale-out: The scale-out data set highlights the results of scaling a number of concurrent 2-vCPU, 4-vCPU, or 8-vCPU guests executing the OLTP workload. Scale-up: The scale-up data set was collected by increased the number of vcpus and guest memory while repeating the workload on a single guest. Virtualization Efficiency: Efficiency is shown by comparing the data when all the physical CPUs are allocated to executing the workload using the bare metal host (no virtualization), eight 2-vCPU guests, four 4-vCPU guests, and two 8- vcpu guests. 25

26 Caso 3: DB2 LUW virtualizando con KVM vcpu per Guest Guest Memor y DB2 Clients DB2 Bufferp ool GB 4 1 GB 2 5 GB 8 2 GB 4 10 GB 16 4 GB 6 15 GB 24 6 GB 8 20 GB 32 8 GB 26

27 Caso 3: DB2 LUW virtualizando con KVM Huge Pages: se configuran en el host y se mapean a la configuración de cada máquina virtual: Cada huge page tiene 2048K 2.5GB de memoria se reserva para cada vcpu Las configuraciones totalmente suscritas requieren 40 GB de memoria La cantidad de memoria para huge page necesitará ser ligeramente mayor que lo que se requiere por todos los invitados concurrentes # echo > /proc/sys/vm/nr_hugepages # sysctl -w vm.nr_hugepages=20750 # mkdir /mnt/libhugetlbfs # mount -t hugetlbfs hugetlbfs /mnt/libhugetlbfs # chmod 770 /mnt/libhugetlbfs 27

28 Caso 3: DB2 LUW virtualizando con KVM NUMA: ajustes de guest Crea un invitado con 2-vCPU (-smp 2) vincula el invitado a dos threads en un solo core (--physcpubind=7,15) usa 5 GB de memory (-m 5120) en el nodo 1 NUMA (-m 1) Reserva 2 discos (-drive) con la caché deshabilitada (cache=off) Inicia la red (-net) Mapea la memoria del guest a las hugepages ya configuradas (--mem-path) numactl -m 1 --physcpubind=7,15 /usr/libexec/qemu-kvm \ -cpu qemu64,+sse2,+ssse3,+cx16,+popcnt -m smp 2 -name oltp1 \ -uuid 17a543c ba-ae3c-0b7551b0fe77 -monitor pty \ -pidfile /var/run/kvm/qemu/oltp1.pid -boot c \ -drive file=/dev/cciss/c0d2p1,if=virtio,index=0,boot=on,cache=off \ -drive file=/dev/mapper/oltp1_vg-oltp1_lv,if=virtio,index=1,cache=off \ -net nic,macaddr=54:52:00:02:12:1d,vlan=0,model=virtio \ -net tap,script=/kvm/qemu-ifup,vlan=0,ifname=qnet2 -serial pty \ -parallel none -vnc :0 -k en-us --mem-path /mnt/libhugetlbfs 28

29 Caso 3: DB2 LUW virtualizando con KVM Scale-Out Workload Workload Workload Workload Workload Workload Workload OLTP Workload DB2 9.5 DB2 9.5 DB2 9.5 DB2 9.5 DB2 9.5 DB2 9.5 DB2 9.5 DB2 9.7 RHEL RHEL RHEL RHEL RHEL RHEL RHEL RHEL Guest Guest Guest Guest Guest Guest Guest Guest (2 vcpus) (2 vcpus) (2 vcpus) (2 vcpus) (2 vcpus) (2 vcpus) (2 vcpus) (2 vcpus) KVM Hypervisor Red Hat Enterprise Linux x Quad-core Intel Xeon

30 Caso 3: DB2 LUW virtualizando con KVM Scaling Multiple 2-vCPU Guests DB2 OLTP Workload - 8 Users/Guest Transactions / Minute Guest 8 Guest 7 Guest 6 Guest 5 Guest 4 Guest 3 Guest 2 Guest Number of Concurrent Guests 30

31 Caso 3: DB2 LUW virtualizando con KVM Scale-Out OLTP Workload OLTP Workload OLTP Workload OLTP Workload DB2 9.7 DB2 9.5 DB2 9.5 DB2 9.5 RHEL 5.4 RHEL 5.4 RHEL 5.4 RHEL 5.4 Guest (4 vcpus) Guest (4 vcpus) Guest (4 vcpus) Guest (4 vcpus) KVM Hypervisor Red Hat Enterprise Linux x Quad-core Intel Xeon

32 Caso 3: DB2 LUW virtualizando con KVM Scaling Multiple 4-vCPU Guests DB2 OLTP Workload - 16 Users/Guest Transactions / Minute Guest 4 Guest 3 Guest 2 Guest Number of Concurrent Guests 32

33 Caso 3: DB2 LUW virtualizando con KVM Scale-Out OLTP Workload OLTP Workload DB2 9.5 DB2 9.7 RHEL 5.4 RHEL 5.4 Guest (8 vcpus) Guest (8 vcpus) KVM Hypervisor Red Hat Enterprise Linux x Quad-core Intel Xeon

34 Caso 3: DB2 LUW virtualizando con KVM Scaling Multiple 8-vCPU Guests DB2 OLTP Workload - 32 Users/Guest Transactions / Minute Guest 2 Guest Number of Concurrent Guests 34

35 Caso 3: DB2 LUW virtualizando con KVM OLTP Workload OLTP Workload DB2 9.7 DB2 9.7 RHEL 5.4 Guest (2 vcpus) Scale-Up RHEL 5.4 Guest (8 vcpus) KVM Hypervisor Red Hat Enterprise Linux 5.4 KVM Hypervisor Red Hat Enterprise Linux x Quad-core Intel Xeon x Quad-core Intel Xeon

36 Caso 3: DB2 LUW virtualizando con KVM Scaling vcpus and Memory on a Single Guest DB2 OLTP Workload Transactions / Minute Active vcpus in Guest 36

37 Caso 3: DB2 LUW virtualizando con KVM Virtualization Efficiency: Consolidation DB2 OLTP Workload - 64 Total Users % Transactions / Minute Guest 8 Guest 7 Guest 6 Guest 5 Guest 4 Guest 3 Guest 2 Guest Bare Metal 8 Guests 2 vcpus 2 Guests 8 vcpus 4 Guests 4 vcpus Configuration (Guests x vcpus) 37

39 Conclusiones La virtualización es posible con cargas críticas de base de datos Aporta escalabilidad horizontal y vertical El rendimiento es bueno (85%-95% del físico) La máquina virtual es sólo un hardware más DB2 LUW virtualizada Fiable: configuración soportada por el fabricante Mínima curva de aprendizaje: los procedimientos habituales no cambian 39

40 Bibliografía Repositorio de arquitecturas de referencia de Red Hat Página de virtualización de Red Hat 40

41 41