Session: DB2 Workload Manager. Luis Reina Juliá IBM 22/11/2011

Transcripción

1 Session: DB2 Workload Manager Luis Reina Juliá IBM 22/11/2011 1

2 Agenda Introducción Arquitectura/Componentes de Workload Manager Services Classes Workloads Thresholds Work Action Set y Work Class Set Monitorización 2

3 Qué es Workload Manager? Gestor de Cargas de Trabajo en DB2 LUW. Parte de la arquitectura de DB2 no es un producto que se instale. Permite control explícito de recursos Protege cargas de negocio críticas Mantiene consistentes los tiempos de respuesta. Ayuda a mantener SLAs Protege DB2 de consultas descontroladas Permite una mejor Monitorización del sistema 3

4 Un poco de Historia DB2 Governor: Reactivo Cancela una consulta si consume tanta CPU Aplicaba una serie de reglas Query Patroller: Predictivo Basado en Estimaciones 4

5 Elementos de WLM Service Classes Workloads Thresholds Work Class Set/Work Action Set Monitorización 5

6 Qué es una Service Class? Entorno de Ejecución o Agrupación de trabajos que se ejecutan en DB2. Donde se Ejecuta cualquier trabajo de la base de datos: Queries Backup Load.. Punto de Asignación de Recursos, Control de las Cargas de Trabajo y Monitorización 6

7 Creación de Service Class DB2 Peticiones de Usuarios Clase de Marketing Clase de Minería 7

8 Creación de Service Class Peticiones de Usuarios DB2 Clase de Prioridad Alta Clase de Prioridad Media Clase de Prioridad Baja 8

9 Tipos de Clases SuperClases Las clases que hemos visto hasta ahora SubClases Se crean dentro de las SuperClases Permiten una division de las SuperClases y así representar mejor el mundo real 9

10 Creación de SubClases DB2 Peticiones de Usuarios Clase de Marketing Directores Clase de Minería DB2 CREATE SERVICE CLASS directores UNDER marketing 10

11 SuperClases y Subclases por Defecto Al crear una base de datos existen 3 Superclases por Defecto Usuario: SYSDEFAULTUSERCLASS Sistema: SYSDEFAULTSYSTEMCLASS Mantenimiento: SYSDEFAULTMAINTENANCECLASS Al crear una superclase contiene por defecto una subclass SYSDEFAULTSUBCLASS 11

12 Foto Completa DB2 SuperClase de Usuario por defecto SubClase por Defecto SuperClase de Sistema por defecto SubClase por Defecto SuperClase de Mantenimiento por defecto SubClase por Defecto SuperClase de Marketing SuperClase de Mineria SubClase Directores SubClase por Defecto SubClase por Defecto 12

13 Habilitar y Deshabilitar Clases Habilitar la Clase ALTER SERVICE CLASS MARKETING ENABLE ALTER SERVICE CLASS DIRECTORES UNDER MARKETING ENABLE Deshabilitar la clase ALTER SERVICE CLASS MARKETING DISABLE ALTER SERVICE CLASS DIRECTORES UNDER MARKETING DISABLE 13

14 Tabla de Catalogo para las Clases Vista SYSCAT.SERVICECLASSES SELECT SERVICECLASSNAME, PARENTSERVICECLASSNAME FROM SYSCAT.SERVICECLASSES SERVICECLASSNAME PARENTSERVICECLASSNAME SYSDEFAULTMAINTENANCECLASS - SYSDEFAULTSYSTEMCLASS - SYSDEFAULTUSERCLASS - SYSDEFAULTSUBCLASS SYSDEFAULTSYSTEMCLASS SYSDEFAULTSUBCLASS SYSDEFAULTMAINTENANCECLASS SYSDEFAULTSUBCLASS SYSDEFAULTUSERCLASS MARKETING - DIRECTORES MARKETING SYSDEFAULTSUBCLASS MARKETING SuperClases y Subclases por defecto SuperClases y Subclases creadas 14

15 Elementos de WLM Service Classes Workloads Thresholds Work Class Set/Work Action Set Monitorización 15

16 Qué es una Workload? Otro objeto de WLM que Identifica cargas de trabajo basadas en su origen y las asocia a una Service Class. Las conexiones se asignan a las Workload basandose en alguno de los siguientes atributos: Nombre de la Aplicación (APPLNAME) Dirección IP (ADDRESS) Authorization ID (SESION_USER) Grupo del usuario (SESION_USER ROLE) Role del usuario (SESION_USER GROUP) Más Atributos del Cliente (User ID, Workstation name, Accouting String etc) El workload se evalua al principio de cada unidad de trabajo (UOW). 16

17 Creación de una Workload I DB2 CREATE WORKLOAD Reporting APPLNAME( contabilidad ) SERVICE CLASS marketing Peticiones de Usuarios DB2 SuperClase de Marketing SubClase Directores Workload Reporting SubClase por Defecto SuperClase de Usuario por defecto SubClase por Defecto 17

18 Creación de una Workload II CREATE WORKLOAD workload_jefes SESSION_USER GROUP ('JEFES') APPLNAME ( contabilidad', marketing') SERVICE CLASS marketing POSITION BEFORE reporting 18

19 Seguridad con Workloads Para evitar que los usuarios cambien sus atributos de conexión de su aplicación para intentar ejecutar en un un Service Class de más prioridad. GRANT USAGE ON WORKLOAD reporting TO PUBLIC 19

20 Tabla de Catalogo para las Clases Vista SYSCAT.WORKLOADS SELECT WORKLOADNAME FROM SYSCAT.WORKLOADS WORKLOADNAME SYSDEFAULTUSERWORKLOAD SYSDEFAULTADMWORKLOAD REPORTING 20

21 Elementos de WLM Service Classes Workloads Thresholds Work Class Set/Work Action Set Monitorización 21

22 Qué es un Threshold? Otro objeto de WLM que sirve para establecer límites y si se dan esos límites se estable una acción (funciona como un trigger que se dan ciertas accciones cuando se llega a una condición). Pueden ser predictivos y reactivos. Acciones: Parar la Ejecución. Continuar. Recoger datos de la Actividad (se envía al Event Monitor) Encolar Actividades 22

23 Ejemplo I de Threshold Al departamento de marketing se le permite tener 10 conexiones concurrentes y 5 encoladas, si se sobrepasa este límite se para la aplicación CREATE THRESHOLD limitar_conexiones_marketing FOR SERVICE CLASS marketing ACTIVITIES ENFORCEMENT DATABASE PARTITION WHEN TOTALSCPARTITIONCONNECTIONS > 10 AND QUEUEDCONNECTIONS > 5 STOP EXECUTION; 23

24 Ejemplo II de Threshold Al departamento de marketing se le quiere controlar cuantas veces sus consultas devuelven más de 1000 filas (sin detener la aplicación). CREATE THRESHOLD controlar_filas_devueltas_marketing FOR SERVICE CLASS marketing ACTIVITIES ENFORCEMENT DATABASE WHEN SQLROWSRETURNED > 1000 COLLECT ACTIVITY DATA WITH DETAILS AND VALUES CONTINUE; 24

25 Ejemplo III de Threshold El departamento de Marketing (con premeditación ya alevosía) hace caso omiso de nuestras advertencias para que reduzcan el número de filas devuelto por su aplicación CREATE THRESHOLD limitar_filas_devueltas_marketing FOR SERVICE CLASS marketing ACTIVITIES ENFORCEMENT DATABASE WHEN SQLROWSRETURNED > 1000 COLLECT ACTIVITY DATA WITH DETAILS AND VALUES STOP EXECUTION; 25

26 Ejemplo III de Threshold Va a devolver 1000 filas Va a devolver un error SQLCODE SQL4712N El valor umbral "LIMITAR_FILAS_DEVUELTAS_MARKETING" se ha sobrepasado. Código de razón = "8". SQLSTATE=5U026 Código de Razon (reason code)=8 El número de filas devuelto para la actividad superaría el permitido por el umbral (condición SQLROWSRETURNED). 26

27 Tipos de Thresholds Tipos: Tiempo Máximo Elapsed (ACTIVITYTOTALTIME). Tiempo Máximo Idle de una Conexion (CONNECTIONIDLETIME). Tiempo Máximo de CPU (CPUTIME) Tiempo Máximo de la UOW (UOWTOTALTIME) Máximo Coste Permitido (ESTIMATEDSQLCOST). Máximo Número de Filas devueltas (SQLROWSRETURNED). Máximo Uso del Tablespace Temporal (SQLTEMPSPACE). Máximo Número de Conexiones (TOTALDBPARTITIONCONNECTIONS). Máximo Número de Actividades (DML, DDL, LOAD) que pueden ejecutarse concurrentemente (CONCURRENTDBCOORDACTIVITIES). Máximo Número de Conexiones Concurrentes en una base de datos (TOTALDBPARTITIONCONNECTIONS). Máximo Número de Conexiones Concurrentes en una Service Superclass (TOTALSCPARTITIONCONNECTIONS). 27

28 Tabla de Catalogo para los Thresholds Vista SYSCAT.THRESHOLDS SELECT THRESHOLDNAME, THRESHOLDPREDICATE FROM SYSCAT.THRESHOLDS THRESHOLDNAME THRESHOLDPREDICATE LIMITAR_CONEXIONES_MARKETING SCCONN CONTROLAR_FILAS_DEVUELTAS_MARKETING ROWSRET LIMITAR_FILAS_DEVUELTAS_MARKETING ROWSRET 28

29 Elementos de WLM Service Classes Workloads Thresholds Work Class Set / Work Action Set Monitorización 29

30 Qué es una Work Class? Objeto para Identificar Actividades según el tipo de trabajo Tipos de Trabajo Lecturas (READ): selects, xquery. Escrituras (WRITE): inserts, updates, deletes y merge. Lecturas y Escrituras (DML). Llamadas a Procedimientos (CALL). Creación de objetos (DDL): create, alter, drop, comment, declare global temporary table, etc.). Carga de Datos (LOAD). Todos los tipos de trabajo anteriores (ALL). Work Class Set = Conjunto de Work Classes 30

31 Ejemplo I de Work Class Set Crear una Work Class Set que sirva para identificar las actividades de sólo lectura (SELECTS) CREATE WORK CLASS SET work_class_set_solo_lectura (WORK CLASS work_class_solo_lectura WORK TYPE READ) 31

32 Ejemplo II de Work Class Set Crear una work class set con 2 work classes que sirva para idenfificar actividades DML (lecturas y escrituras) con un coste estimado superior a timerones y una cardinalidad estimada superior a filas CREATE WORK CLASS SET dml_pesado (WORK CLASS coste_estimado_grande WORK TYPE DML FOR TIMERONCOST FROM TO UNBOUNDED, WORK CLASS filas_estimado_grande WORK TYPE DML FOR CARDINALITY FROM TO UNBOUNDED) 32

33 Qué es una Work Action? Objeto para realizar una acción en la Work Class Qué acciones puedo realizar? Mapear a una Service Class (MAP ACTIVITY) Que no se ejecute (PREVENT EXECUTION) Contar la Actividad (COUNT ACTIVITY) Recoger información de Monitorización (COLLECT ACTIVITY DATA) Recoger información Agregada (COLLECT AGGREGATE ACTIVITY DATA) Work Action Set = Conjunto de Work Actions 33

34 Ejemplo de Work Action Set No permitir más de 1 consulta ejecutando y 1 en colada de coste estimado alto y no permitr más de 2 consultas ejecutando y 2 encoladas que tengan una cardinalidad estimada alta CREATE WORK ACTION SET Work_Action_Set_Control_DML FOR DATABASE USING WORK CLASS SET dml_pesado (WORK ACTION ONE_CONCURRENT_QUERY ON WORK CLASS coste_estimado_grande WHEN CONCURRENTDBCOORDACTIVITIES > 1 AND QUEUEDACTIVITIES > 1 STOP EXECUTION, WORK ACTION TWO_CONCURRENT_QUERIES ON WORK CLASS filas_estimado_grande WHEN CONCURRENTDBCOORDACTIVITIES > 2 AND QUEUEDACTIVITIES > 2 COLLECT ACTIVITY DATA CONTINUE) 34

35 Generación de DDLs de WLM Comando útil para saber que componentes de WLM hay definidos en mi base de datos db2look -d <database> -wlm -o fichero_salida.sql 35

36 Elementos de WLM Service Classes Workloads Thresholds Work Class Set / Work Action Set Monitorización 36

37 Monitorización Monitorización es crítica Dos tipos de monitorización disponible con WLM Mediante el uso de Table Functions que acceden datos en memoria en tiempo real, impactando poco (light-weight monitoring) Mediante el uso de nuevos Event Monitors para capturar información detallada y/o agregada. Monitorización histórica. 37

38 Table Functions (Tiempo Real) Devuelve una lista de ocurrencias de Workload en una Service Class WLM_GET_SERVICE_CLASS_WORKLOAD_OCCURRENCES Devuelve una lista de agentes que existen en una Service Class WLM_GET_SERVICE_CLASS_AGENTS Devuelve una lista de todas la actividades que no han terminado de una aplicación WLM_GET_WORKLOAD_OCCURRENCE_ACTIVITIES Devuelve información detalla de una actividad WLM_GET_ACTIVITY_DETAILS Devuelve estadísticas básicas de una o más Services SuperClasses WLM_GET_SERVICE_SUPERCLASS_STATS Devuelve estadísticas básicas de una o más Services SubClasses WLM_GET_SERVICE_SUBCLASS_STATS Devuelve estadísticas básicas de una o más Workloads WLM_GET_WORKLOAD_STATS. 38

39 Ejemplo de Table Function SELECT SERVICE_SUBCLASS_NAME CLASE, CONCURRENT_ACT_TOP AS MAX_CONC, COORD_ACT_ABORTED_TOTAL AS ABORTADAS, COORD_ACT_COMPLETED_TOTAL AS COMPLETADAS, LAST_RESET FROM TABLE(WLM_GET_SERVICE_SUBCLASS_STATS('MARKETING', ',-2)); CLASE MAX_CONC ABORTADAS COMPLETADAS LAST_RESET SERVICE_SUBCLASS_NAME DIRECTORES

40 Event Monitors (Monitorizacion Histórica) Actividades Para Capturar información de una Actividad CREATE EVENT MONITOR actividades FOR ACTIVITIES WRITE TO TABLE Violaciones de Thresholds Detalle de las actividades que sobrepasan los Threholds CREATE EVENT MONITOR umbrales FOR threshold violations WRITE TO TABLE Estadisticas Captura estadísticas en un periodo. Monitoriza información agregada de un Service Class o Work Class. CREATE EVENT MONITOR estadisticas FOR STATISTICS WRITE TO TABLE 40

41 Optim Performance Manager y WLM 41

42 Conclusiones Para comprender Workload Manager es esencial entender bien sus componentes: Service Class Workload Thresholds Work Class Set/ Work Action Set Workload Manager me permite una mejor monitorización de mi DB2 mediante el uso de: Table Functions Nuevos Event Monitors 42

43 Más Información Information Center Introduction to DB2 9.5 workload management Best Practices: DB2 WorkloadManagement ement_1008i.pdf WLM FAQs 4.html WLM Podcast Viper2.mp3 43