MANUAL DE USUARIO MANUAL DE LOG DE QUERIES LENTAS

Transcripción

1 MANUAL DE USUARIO MANUAL DE LOG DE QUERIES LENTAS Versión 1.0 Área de Arquitecturas c

2 Hoja de Control Título Documento de Referencia Responsable Manual de log de queries lentas NORMATIVA ATLAS Unidad de Arquitecturas Versión 1.0 Fecha Versión 07/07/2014 Registro de Cambios Versión Causa del Cambio Responsable del Cambio Fecha del Cambio 1.0 Versión inicial del documento Unidad de Arquitectura de Software 07/07/ de 12

3 Índice 1 INTRODUCCIÓN AUDIENCIA OBJETIVO CONOCIMIENTOS PREVIOS DESCRIPCIÓN INSTALACIÓN Y CONFIGURACIÓN INSTALACIÓN CONFIGURACIÓN Incluir la dependencia jdbcdslog en el pom del proyecto Modificar el fichero applicationcontext-dababase.xml Modificar el fichero log4j.xml Creación del fichero de propiedades de jdbcdslog Incluir la propiedad jdbcdslog.slowquerythreshold en el enviroment.properties... 8 EL PARÁMETRO JDBCDSLOG.SLOWQUERYTHRESHOLD ES EL QUE INDICA QUE SE MUESTREN LAS QUERIES QUE TARDEN MÁS DE LOS MILISEGUNDOS QUE SE INDIQUEN EN ÉL MISMO Eliminación de los logs de queries lentas USO DE LOS LOGS DE QUERIES LENTAS Importar el log de queries lentas en un excel y ordenar por tiempo de la query Rendimiento ENLACES RELACIONADOS de 12

4 1 INTRODUCCIÓN Este manual explica el uso de log para queries que superen un tiempo definido 1.1 Audiencia objetivo Este documento está dirigido a desarrolladores de proyectos java para ICM en los que se desee incorporar una cachés de segundo nivel a ciertas entidades de su aplicación. 1.2 Conocimientos Previos Para un completo entendimiento del documento, el lector deberá tener conocimientos previos sobre las siguientes tecnologías: - Spring Framework. - Hibernate - Bases de datos Oracle 4 de 12

5 2 DESCRIPCIÓN Este manual explica como configurar un proyecto ATLAS para sacar un log de las queries que superen un tiempo definido. Se configurará un tiempo (en milisegundos) a partir del cual se considera que una query es lenta. En principio 500 milisegundos y cuando se ejecute una query que tarde más de ese tiempo se mostrará tanto en el log de la aplicación como en un log aparte llamado <nombreapp>_slowsql.log de forma que se puedan revisar estas queries. El log mostrará la query con sus parámetros, el tiempo que ha tardado en ejecutarse, en qué pantalla se está ejecutando y el usuario que la ha ejecutado. Ejemplo (con queries de más de 10 ms): [07/07/ :58:39,129][INFO][select domimunici0_.cdmuni as cdmuni16_0_, domimunici0_.cdprov as cdprov16_0_, domimunici0_.cdmuni_dg_control as cdmuni3_16_0_, domimunici0_.dsmuni_pres as dsmuni4_16_0_, domimunici0_.dsmuninorma as dsmunino5_16_0_, domimunici0_.dsmuni as dsmuni16_0_ from DOMI_V_MUNICIPIO domimunici0_ where domimunici0_.cdmuni='079' and domimunici0_.cdprov='28'; 15 ms.][pc459389][zzz127app][atlas.componentes.dao.domidao.getuniqueresult][org.jdbcdslo g.slowquerylogger.info][org.jdbcdslog.slowquerylogger][ ][/secure/listacliente.jsf][][usuario_ok][in_line][][][akhipmvw0yr 11fqacxbfymju4][] 5 de 12

6 3 INSTALACIÓN Y CONFIGURACIÓN 3.1 INSTALACIÓN Para usar el este log no hay que instalar nada. La librería necesaria está subida a artifactory. 3.2 CONFIGURACIÓN Incluir la dependencia jdbcdslog en el pom del proyecto Este paso solo se hará en versiones anteriores a la pom.xml del proyecto web <dependencies> <dependency> <groupid>org.jdbcdslog</groupid> <artifactid>jdbcdslog</artifactid> <version> </version> </dependency> </dependencies> Modificar el fichero applicationcontext-dababase.xml applicationcontext-database.xml (ANTES) <!-- DataSource Definition --> <!-- via JNDI definido en el contenedor de aplicaciones --> <bean id="datasource" class="org.springframework.jndi.jndiobjectfactorybean"> <property name="jndiname" value="jdbc/${datasourcename}" /> <property name="resourceref" value="true"/> </bean> applicationcontext-database.xml (DESPUES) <!-- DataSource Definition --> <!-- via JNDI definido en el contenedor de aplicaciones --> <bean id="datasourceactual" class="org.springframework.jndi.jndiobjectfactorybean"> <property name="jndiname" value="jdbc/${datasourcename}" /> <property name="resourceref" value="true"/> </bean> <bean id="datasource" class="org.jdbcdslog.connectionpooldatasourceproxy"> <property name="targetdsdirect" ref="datasourceactual" /> </bean> 6 de 12

7 3.2.3 Modificar el fichero log4j.xml Añadir un nuevo appender al log4j.xml. Lo mejor es copiar y pegar el appender llamado FILE_LOG y cambiar el param name= File log4j.xml <appender name="slow_sql_log" class="atlas.core.log.cliente.appender.atlasrollingfileappender"> <param name="threshold" value="debug"/> <param name="file" value="${monitor.file.directoriocliente}/${nombredespliegue}_slowsql.log"/> <param name="maxfilesize" value="1024kb"/> <param name="maxbackupindex" value="10"/> <layout class="org.apache.log4j.patternlayout"> <param name="conversionpattern" value="[%d{dd/mm/yyyy H:mm:ss,SSS}] [%p][%m][%x{host}][%x{aplicacion}][%x{metodotraza}][%c.%m] [%c][%x{idrequest}][%x{request}][%x{id}][%x{usuario}] [%X{tipoTraza}][%X{tiempoIniTraza}] [%X{tiempoFinTraza}][%X{sesion}][%X{huboExcepciones}]%n" /> </layout> </appender> Añadir al fichero log4j las siguientes categorías log4j.xml <category name="org.jdbcdslog.statementlogger" class="atlas.core.log.atlaslogger"> <level value="error" /> </category> <category name="org.jdbcdslog.resultsetlogger" class="atlas.core.log.atlaslogger"> <level value="error" /> </category> <category name="org.jdbcdslog.connectionlogger" class="atlas.core.log.atlaslogger"> <level value="error" /> </category> <category name="org.jdbcdslog.slowquerylogger" class="atlas.core.log.atlaslogger"> <level value="info" /> <appender-ref ref="slow_sql_log"/> </category> 7 de 12

8 3.2.4 Creación del fichero de propiedades de jdbcdslog Crear un fichero llamado jdbcdslog.properties en src/main/resources Con el siguiente contenido Src/main/resources/jdbcdslog.properties jdbcdslog.showtime=true jdbcdslog.logtext=true jdbcdslog.slowquerythreshold=${jdbcdslog.slowquerythreshold} Incluir la propiedad jdbcdslog.slowquerythreshold en el enviroment.properties Añadir las siguientes líneas al fichero enviroment.properties de la carpeta src/main/resources y de todas las carpetas /web/war enviroment.properties # Milisegundos a partir de los cuales las queries saldrán en el log de queries lentas jdbcdslog.slowquerythreshold=500 El parámetro jdbcdslog.slowquerythreshold es el que indica que se muestren las queries que tarden más de los milisegundos que se indiquen en él mismo. Atención El valor de esta variable para desarrollo y validación se sugiere en valor de 500, pero para producción se puede subir a a 2000 milisegundos. 8 de 12

9 3.2.6 Eliminación de los logs de queries lentas Una vez configurado el log para queries lentas, si se quisiera quitar para ya no mostrarlas (aunque simplemente se aconseja dejar el slowquerythreshold a 2000 o un valor suficientemente alto) se puede hacer de la siguiente forma: Modificar el fichero applicationcontext-database.xml Comentando el datasouce (ConnectionPoolDataSourceProxy) Renombrando datasourceactual a datasource applicationcontext-database.xml (DESPUES) <!-- DataSource Definition --> <!-- via JNDI definido en el contenedor de aplicaciones --> <bean id="datasource" class="org.springframework.jndi.jndiobjectfactorybean"> <property name="jndiname" value="jdbc/${datasourcename}" /> <property name="resourceref" value="true"/> </bean> <!-- <bean id="datasource" class="org.jdbcdslog.connectionpooldatasourceproxy"> <property name="targetdsdirect" ref="datasourceactual" /> </bean> --> 9 de 12

10 4 USO DE LOS LOGS DE QUERIES LENTAS Todas las queries que superen el tiempo definido en el fichero jdbcdslog.properties se mostrarán en el log normal de la aplicación y también en uno llamado <nombreaplicacion>_slowsql.log Importar el log de queries lentas en un excel y ordenar por tiempo de la query 1. Abrir un excel con una hoja en blanco 2. Importar datos como texto y seleccionar el fichero de log 3. Seleccionar el fichero <nombreaplicacion>_slowsql.log 4. Seleccionar tipo de los datos originales delimitados 5. Seleccionar como separadores Punto y coma y otro ] y pulsar finallizar 6. Crear un nueva columna vacia depués de la columna D 7. Meter la siguiente formula en la columna F: =VALOR(SUSTITUIR(E1;" ms.";"";1)) 8. Arrastrar a todas las filas 10 de 12

11 9. Añadir una fila más al principio y nombrar las columnas al menos con una letra Framework Atlas 10. Pulsar en la columna F, ir a la solapa Datos y pulsar Ordenar Rendimiento El uso de este log para queries lentas prácticamente no penaliza en rendimiento las queries de la aplicación. Según la documentación testeando 1 millón de queries se ve que añade 0,02 milisegundos por query. According to our stress tests jdbcdslog produces 20s overhead for 1 million queries or 0.02 ms per query with log4j and asynchronous appender. 11 de 12

12 5 ENLACES RELACIONADOS Producto URL jdbcdslog 12 de 12