Métricas para Informes de Pruebas de Rendimiento.

Transcripción

1 para Informes de Pruebas de Rendimiento. Unidad de Calidad y Certificación. Pag 1

2 Contenido 1 INTRODUCCIÓN MÉTRICAS PARA INFORMES DE PRUEBAS DE RENDIMIENTO MÉTRICAS CLIENTE Internet Web Tiempos de página Transacciones MÉTRICAS SERVIDOR Peticiones Web Webservices Base de datos Datasource Uso de la memoria Porcentaje de actividad del GC Errores Excepciones mínimas Datos Gráficas Pag 2

3 1 INTRODUCCIÓN. La Unidad de Calidad y Certificación utiliza las siguientes herramientas para obtener las métricas de rendimiento de una aplicación bajo las siguientes perspectivas: SILKPERFORMER para obtener las métricas desde el lado del usuario final. DYNATRACE análogo desde el lado del servidor. En los siguientes apartados se recogen las métricas que desde la Unidad de Calidad y Certificación se consideran relevantes para aportar información sobre las pruebas de rendimiento realizadas sobre una aplicación. 2 MÉTRICAS PARA INFORMES DE PRUEBAS DE RENDIMIENTO. De todas las métricas reflejadas se han marcado en azul aquellos que aporten valor para una adecuada evaluación de la prueba de rendimiento. 2.1 MÉTRICAS CLIENTE. Las métricas del rendimiento de la aplicación desde el lado del usuario se han agrupado del modo siguiente: 1. Internet. 2. Web. 3. Tiempos de Página. 4. Transacciones. En cada una de esas agrupaciones se ha mantenido el dato de Active Users (número de usuarios activos durante la ejecución de la prueba) ya que el resto de métricas van a estar relacionados con este valor. El número de usuarios activos en principio no superaría el valor de Internet Errors. Deben ser cero. Concurrent connections. Las conexiones deben escalar en función del número de usuarios (Active users). Request data sent[kb] / sec. y Response data received[kb] / sec. Normalmente, se debería ver una correlación positiva entre los datos enviados y recibidos y la carga. Connects failed / sec. Deberían ser cero. Pag 3

4 Métrica. Active users. Errors Concurrent connections. Request data sent[kb] / sec. Response data received[kb] / sec. Connects failed / sec Número de usuarios activos durante la ejecución de la prueba. Número de errores por segundo. El número de conexiones TCP/IP que actualmente hay abiertas. La suma de los datos de todas las peticiones relacionadas con la petición y la recuperación de una página web entera incluyendo todos los objetos embebidos. La suma de los datos de todas respuestas relacionadas con la petición y la recuperación de objetos embebidos en una página Web. Conexiones fallidas Web. Http Hits / Sec. Debería indicar una correlación positiva con la carga (Active users). Hits failed. Deberían ser cero. Respuestas HTTP 4xx y Respuestas HTTP 5xx. No deberían mostrarse errores http 4xx y 5xx. Métrica Active users. Http Hits / Sec. Http pages / sec. Número de usuarios activos durante la ejecución de la prueba. El número de peticiones HTTP que llegan al servidor Web con éxito. El tiempo que se tarda en recuperar una página Web completa desde el servidor, es decir, para recuperar todos los documentos HTML y todos los documentos embebidos tales como imágenes, vídeos y archivos de audio. Hits failed El número de peticiones HTTP fallidas Respuestas HTTP 4xx Errores cliente (típicamente estos errores representan un problema en el script o perfil). Respuestas HTTP 5xx Páginas HTTP Throughput / Concurrency - Http Hits Errores del servidor El número de páginas HTML descargadas con éxito. Número de peticiones http que llegan al servidor Web. Pag 4

5 2.1.3 Tiempos de página. Pages Time [s]. Normalmente, los tiempos de páginas deben permanecer constantes a lo largo de la prueba de carga. Este tiempo deberá ajustarse al requisito particular establecido para la aplicación. Desde la Unidad de Calidad y Certificación se recomienda que sea menor de 8 segundos. Server busy time [s] Tiempo servidor ocupado. Los tiempos de servidor ocupado deben permanecer constantes a lo largo de la prueba. Document download time [s] + Server busy time [s]: Deberían dar lugar al Pages Time [s]. Active users. Pages Time [s] Document download time [s] Server busy time [s] Page Data [KB] Embedded objects data[kb] Número de usuarios activos durante la ejecución de la prueba. El tiempo que se tarda en recuperar una página Web completa desde el servidor, es decir, para recuperar todos los documentos HTML y todos los documentos embebidos, tales como imágenes, vídeos y archivos de audio. El tiempo que se tarda en recuperar todos los documentos HTML de la página Web. El tiempo que el servidor tarda en procesar una petición. La medición empieza después de que el usuario virtual haya enviado el último byte de la petición y finaliza cuando el usuario recupera el primer byte de la respuesta. La suma de los datos de todas las peticiones y respuestas relacionadas con la petición y la recuperación de una página web entera incluyendo todos los objetos embebidos. La suma de los datos de todas las peticiones y respuestas relacionadas con la petición y la recuperación de objetos embebidos en una página Web. Datos página [KB]/ Transacciones. Transactions. Normalmente, se debería ver una correlación positiva entra las transacciones/seg y la carga (usuarios activos). Trans. OK[s] y Trans.(busy) OK[s]. Ambas métricas miden lo mismo, el tiempo de respuesta en segundos para las transacciones que han finalizado con éxito. La primera métrica incluye el Think Time y el segundo no. No obstante ambos deberían ser estables durante la prueba independientemente de la carga de usuarios (Active users). Pag 5

6 Active users. Transactions Trans. OK[s] Trans.(busy) OK[s] Trans. failed[s] Número de usuarios activos durante la ejecución de la prueba. Numero de transacciones por segundo. El tiempo de respuesta en segundos para las transacciones que han finalizado con éxito. El tiempo de respuesta incluye el Think Time. El tiempo de respuesta en segundos para las transacciones. Este tiempo no incluye el Think Time. El tiempo de respuesta en segundos para las transacciones que han fallado. Una transacción falla si ocurren errores de severidad "error" o "superior" dentro de la transacción. 2.2 MÉTRICAS SERVIDOR. Dynatrace es una herramienta de monitorización que recoge métricas del servidor, peticiones web, operaciones de base de datos, webservices, memoria, errores, etc ) 1. Peticiones Web. 2. Webservices. 3. Base de Datos. 4. Datasource. 5. Uso de la memoria. 6. Porcentaje de actividad del GC (Recolector de basura). 7. Excepciones. 8. Errores Peticiones Web. Total Avg {ms]. No deberán superarse tiempos medios de respuesta de más de 4 segundos. Total Max [ms]. No deberán superarse tiempos máximos de respuesta en más de 8 segundos. Failed %. El porcentaje de fallos deberá ser 0. URL Count Total Avg {ms] Total Min [ms] Total Max [ms] Petición Web que se ejecuta. Número de veces que se llama a la web request. Tiempo medio empleado en la web request. Tiempos de las peticiones más rápidas. Tiempos de las peticiones más lentas. Pag 6

7 Total Sum [ms] Web Request Response Time Avg [ms] Failed % Tiempo total de todas las peticiones web. Tiempo medio de respuesta del lado del servidor Web HTTP- Request. Porcentaje de fallo de la web request Webservices. Total Avg. No deberá superar tiempos medios de respuesta en la invocación al webservice más de 4 segundos. Endpoint and Class Namespace and Method Count Total Avg [ms] Total Min [ms] Petición http de llamada al Webservice. Nombre del método del webservice que se ha ejecutado. Número de veces que el Webservice es invocado por el cliente. Tiempo medio en milisegundos empleados en la invocación del servicio Web. Tamaño máximo del pool de conexiones. Total Max [ms] Tiempo máximo en milisegundos empleados en la invocación del servicio Web. Total Sum [ms] Tiempo máximo en milisegundos empleados en la invocación del servicio Web. Failed % Porcentaje de fallo en las llamadas al webservices Base de datos. Exec Avg [ms]. No deberán superarse tiempos medios de respuesta de más de 4 segundos. Exec Max [ms]. No deberán superarse tiempos máximos de respuesta de más de 8 segundos. Failed %. El porcentaje de fallos deberá ser 0. Sentencia SQL. Executions Sentencia SQL que se ejecuta. Número total de ejecuciones. Pag 7

8 Preparations Exec Avg [ms] Número de llamadas a PreparedStatement. Tiempo medio en milisegundos empleados en la ejecución de la sentencia SQL. Exec Min [ms] Exec Max [ms] Response Time [ms] RT/Exec [ms] Acqu Avg [ms] Acqu Total [ms] Failed % Tiempo mínimo en milisegundos empleados en la ejecución de la sentencia SQL. Tiempo máximo en milisegundos empleados en la ejecución de la sentencia SQL. Tiempo de respuesta en milisegundos. Media de tiempo de respuesta por ejecución [ms]. Incluye el tiempo de adquisición de la conexión y la ejecución de la sentencia SQL. Tiempo medio de adquisición de la conexión de llamadas getconnection [ms]. Tiempo total de adquisición de la conexión. Porcentaje de fallo en las ejecuciones de sentencias SQL Datasource. Pool Usage. No deberán superarse el tamaño máximo del pool de conexiones. Thread Wait Count. No deberá existir más de un thead esperando a obtener la conexión de BD. Prepared statement cache discard rate. No debe existir ninguna sentencia SQL sin cachear. Leaked Connections. No debería quedarse ninguna conexión abierta en BD. DATASOURCE Pool de Conexiones. Pool Usage. Active Connection Current Count. Objeto que permite la conectividad de base de datos a través de un pool de conexiones JDBC. Manejo de una colección de conexiones abiertas a una base de datos de manera que puedan ser reutilizadas al realizar múltiples consultas o actualizaciones. Si la conexión activa alcanza el tamaño máximo del pool, el pool de conexiones debería ser redimensionado. Total de conexiones JDBC activas del pool de conexiones del datasource. Pag 8

9 Maximum Size. Connection Acquisition. Delay Time. Thread Wait Count. Prepared statement cache discard rate. Tamaño máximo del pool de conexiones. Si hay elevados tiempos de retardo y múltiples threads en espera para la obtención de la conexión se debe a una saturación del pool, habría que revisar la configuración del pool. El tiempo medio, en milisegundos, empleado para crear una conexión física a la base de datos. El valor se calcula como la suma de todos los tiempos de conexión dividida por el número total de conexiones. Total de peticiones que están en espera parar obtener una conexión del datasource la obtengan o no finalmente. Si el valor es mayor que 0 indica una incidencia en el tamaño de la cache de los prepared statement o un uso inapropiado de los prepared statement. Prepared statement cache Delete count Failures to Reconnect Count. Fallos al reiniciar el contador Total de statements descartadas de la cache. Cada conexión del pool de conexiones tiene su propio caché de sentencias. Esta métrica es la suma del número de sentencias que fueron descartadas de la caché por todas las conexiones del pool. Si el valor es mayor que 0 indica que hay problemas de conexión con la base de datos. El número total de intentos de conexión con la base de datos fallidos. Los fallos pueden ser debidos a que la base de datos está caída o bien porque existe algún problema con la conexión de red a la base de datos Creación de conexiones. Leaked Connections. Contador de conexiones creadas. El número de conexiones creadas en el datasource. Conexiones que no se han cerrado apropiadamente. Leaked Count. Número de conexiones que no se han cerrado. No se ha ejecutado la llamada close(). Pag 9

10 2.2.5 Uso de la memoria. Max Memory. No debe alcanzar el total de memoria máxima de la JVM dónde está desplegada la aplicación. Used Memory Memoria consumida por la aplicación durante la ejecución de la prueba. Memoria mínima en MB consumida durante la ejecución de la prueba. Memoria máxima en MB consumida durante la ejecución de la prueba. Memoria media en MB consumida durante la ejecución de la prueba. Garbage Collector(GC) Time. Tiempo de Actividad del GC en milisegundos. Tiempo medio. Tiempo medio en milisegundos de actividad del GC. Tiempo máximo. Tiempo máximo en milisegundos de actividad del GC Porcentaje de actividad del GC. Porcentaje máximo. No debe superar el 30% de actividad del GC de manera contínua. Uso del Garbage Collector (GC) Porcentaje de uso del Garbage Collector. Porcentaje mínimo. Porcentaje máximo. Porcentaje mínimo de actividad del GC. Porcentaje máximo de actividad del GC. Porcentaje medio. Porcentaje medio de actividad del GC. Pag 10

11 2.2.7 Errores. La aplicación no debería tener errores no controlados. Errores producidos durante la ejecución de la prueba. - Total de errores por tipo. - Errores que afectan a transacciones. Tipología de Errores: Errores de Base de datos. Errores no tratados por la aplicación. Mensajes de Log. Errores http 4xx. Errores del cliente. Errores http 5xx. Errores del servidor Excepciones. Clase Mensaje Count Clase que instancia la excepción. Mensaje capturado en la excepción. Número de veces que es lanzada la excepción. Throwing Class Throwing Method Clase que lanza la excepción. Método que lanza la excepción. 2.3 mínimas Sería idóneo que los informes de pruebas de rendimiento recojan las métricas anteriores. Cuando no sea posible al menos deben incluir las siguientes: Datos Duración de la prueba Inicio de la ejecución Fin de la ejecución Hilos Concurrentes Tiempo de respuesta Transacciones correctas Transacciones fallidas Throughput Consumo CPU Pag 11

12 Consumo de memoria de la JVM, % de Uso de CPU % de actividad del GC Gráficas Hilos Concurrentes vs. Throughput (Bytes/seg) durante la ejecución Hilos Concurrentes vs. Throughput (Nº de peticiones/seg) durante la ejecución Tiempo de respuesta (seg)vs. Transacciones/hora durante la ejecución Transacciones correctas y Transacciones fallidas durante la ejecución Listado de URL s consultadas y detallando para cada una los tiempo mínimo, tiempo máximo, tiempo medio, desviación estándar, Percentil Pag 12