Recomendador de Mejoras de Performance para Bases de Datos PostgreSQL

Transcripción

1 Diana Fornara Dayvis Malfara Miguel Merlino Recomendador de Mejoras de Performance para Bases de Datos PostgreSQL CURSO DE POSGRADO LENGUAJES Y TECNOLOGÍAS DE LA WEB SEMÁNTICA. NOVIEMBRE 2016 DOCENTE Msc. Fernando Carpani

2 Motivación y Objetivos Uno de los desafíos que encuentra el DBA de una base de datos "libre" es acceder a información en el momento de realizar mejoras de rendimiento. El objetivo del presente trabajo es realizar un Recomendador de mejoras de rendimiento Para el motor de bases de datos PostgreSQL. Para esto se utiliza Matching Semántico. Se trata de inferir la existencia de un problema en base a restricciones que se buscan satisfacer.

3 Esquema General de la Solución

4 Ontología La ontologia se diseñó en base a dos grandes clases: Snapshot: Modelan los elementos de SQL y del DBMS Para estandarizar se utilizó el vocabulario ns.inria.fr/ast/sql# Warning: Especifica las subclases que corresponden a problemas del motor.

5 Las clases Base, Index, Query, Table representan los elementos estándar de los DBMS. Se define una clase Use_Index que modela la utilización de un Índice por las sentencias ejecutadas Las subclases de Warning describen un problema. Especifican las condiciones a cumplir para clasificar las instancias. Utilizan restricciones de rango sobre propiedades de tipo DataType.

6

7

8

9

10 La clase Rule_01_DataBase_Cache_Hint representa un problema en la utilización del cache. El problema ocurre si el ratio de utilización del cache es menor al 99%. Se identifican las instancia de Base.

11 La clase Rule_02_Use_Index_Porcentage representa el problema de baja utilización de índices en una tabla Ocurre cuando una tabla de más de registros, tiene un porcentaje de uso de índices menor a 99%. Se identifican los medidas a inspeccionar que aplican a las tablas y indices

12 La clase Rule_03_Index_Regular_Cache_Hit presenta otro problema con la utilización de índices. Si el ratio de uso es menor a 99%, estamos ante un posible problema. Identifica las instancias de Index a revisar.

13 La clase Rule_04_Query_Problems_Time_avg representa consultas que tiene un tiempo promedio de ejecución que es mayor a 5 ms. Se identifican las querys a revisar.

14 Aplicación Ejecuta en el motor PostgreSQL consultas a datos estadísticos de una base de datos. Transforma los resultados en un grafo RDF asociado con las clases de la ontologia definida Carga el grafo generado en el triplestore de Stardog.

15 Resultados El resultado se obtiene mediante una query en Sparql que retorna las instancias obtenidas desde la base que se consideran Warnings. prefix rdf: < prefix owl: < prefix xsd: < prefix rdfs: < PREFIX my: < select?s?tt where {?s rdf:type?tt.?tt rdfs:subclassof my:warnings. }.

16 Tecnologías utilizadas Base de datos: PostgreSQL 9.5 Entorno de programación Java/Jena 3. JSqlParser 0.70, para el parsing de las consultas SQL para extraer los nombres de las tablas referenciadas. Artefactos client-http y stardog-jena versión 4.2 para realizar la conexión al servidor de Stardog y cargar el grafo utilizando la API de Jena en la base de datos del triplestore Protege para definir la ontología Triplestores: GraphDB 7.2, Stardog 4.2 para almacenar el grafo, proveer razonamiento y endpoint sparql.

17 Caso de Estudio Se tomó una base de datos de un DataWareHouse con gran cantidad de datos (Cantidad de tablas 13, 52 millones de tuplas, Tamaño 5078MB) Se realiza la ejecución de la aplicación sobre la base de datos que obtiene, transforma y carga los resultados en StarDog. Aplicando la consulta Sparql en StarDog, la respuesta presenta una serie de instancias clasificadas en las subclases de Warning. Algunas de las instancias clasificadas corresponden a las tablas del DataWareHouse como ser persona y diagnóstico, identificando un problema de pobre utilización de índices.

18 Resultados

19 Resultados

20 Comparación de razonadores: GraphDB vs Stardog GraphDB Stardog Utiliza materialización total La materialización se hace en la carga de datos. Esta estrategia enlentece la carga de datos Permite agilizar las consultas ya que los datos están precalculados. Los modos del razonador provistos son RDFS, OWL-HORST, OWL-MAX, OWL-QL, OWL-RL. Utiliza un razonamiento basado en OWL 2. Integra un razonador Pellet. No materializa las inferencias Razona en el momento de las consultas. Tipos de razonamiento soportados RDFS, OWL2 QL, OWL2 RL, OWL2 EL, OWL2 DL SL (valor por defecto) es combinación de todos los anteriores más reglas SWRL.

21 Conclusiones Se lograron los resultados esperados. El caso de estudio seleccionado presentó resultados correctos, detectando warnings a revisar por parte de un dba. El trabajo permitió profundizar los conocimientos adquiridos. Se aprecia una mayor flexibilidad para el cambiar y agregar reglas en una ontología con respecto a una solución programática.

22 Sobre los razonadores Se obtuvieron los resultados esperados utilizando Stardog. No se generaron inferencias en GraphDB. El razonamiento soportado por Stardog cubre los axiomas utilizados en la ontología definida. Stardog integra un razonador Pellet, lo que permitió ingresar y verificar la ontología en Protegé y luego incorporarla en Stardog Es posible utilizar otras funcionalidades provistas por Stardog, como reglas definidas por el usuario y la posibilidad de explicar los resultados del razonador utilizando "stardog reasoning explain".

23 Propuestas de trabajo a futuro Enriquecer la ontologia utilizada agregando más clases y reglas. Explorar la utilización de reglas de usuario. Explorar "stardog reasoning explain" Realizar un versionado de las mediciones obtenidas Realizar un proceso de mejora de la calidad de los datos Enriquecer la aplicación implementada para proporcionar un paso final, donde se presenta el resultado.

24 Referencias Performance PostgreSQL: Understanding Postgres Performance Craig Kerstiens More on Postgres Performance Craig Kerstiens Tuning PostgreSQL for performance QuickStart Guide to Tuning PostgreSQL Performance Tuning PostgreSQL Vocabulario: Razonadores:

25

26