Pruebas de Desempeño. Bárbara Espinoza Vanessa Quintas Alexandra Vega

Transcripción

1 Pruebas de Desempeño Bárbara Espinoza Vanessa Quintas Alexandra Vega 1

2 Pruebas de desempeño Qué son? Objetivo Cómo analizar el desempeño Tipos de pruebas Consideraciones finales 2

3 Qué son las pruebas de desempeño? Son un tipo de pruebas que permiten analizar y evaluar las características del software relacionadas con el desempeño, por ejemplo: Tiempos de respuesta Throughput (tasa de atención de peticiones) Capacidad (máximo trabajo útil por unidad de tiempo) [RUP] Performance testing is a class of tests implemented and executed to characterize and evaluate the performance-related characteristics of the target-of-test, such as the timing profiles, execution flow, response times, and operational reliability and limits. Different types of performance tests, each focused on a different test objective, are implemented throughout the software development lifecycle (SDLC). [Prof. Curiel] Tiempo de Respuesta: es el intervalo de tiempo que transcurre entre la solicitud de un usuario al sistema y la respuesta de este último. Throughput: es la tasa a la cual el sistema puede atender las peticiones. Capacidad: Máxima cantidad de trabajo útil que se puede realizar por unidad de tiempo. 3

4 Objetivo de las pruebas de desempeño El objetivo de las pruebas de desempeño es verificar y validar los requisitos de desempeño que se han especificado. 4

5 Cómo analizar el desempeño? 1. Se evalúan los resultados de una prueba para un actor o un caso de uso comparándolo con varias ejecuciones de la misma. 2. Se examinan las estadísticas resumidas recaudadas para un actor o caso de uso en busca de indicadores de variabilidad de las respuestas del sistema. [RUP] The first level of performance analysis involves evaluating the results for a single actor or use-case instance and comparing the results across several test executions; for example, capturing the performance behavior of a single actor performing a single use case without any other activity on the target-of-test and comparing the results with several other test executions of the same actor or use case. This first-level analysis can help identify trends that could indicate contention among system resources, which may affect the validity of the conclusions drawn from other performance test results. A second level of analysis examines the summary statistics and actual data values for specific actor or use-case execution, and the target-of-test's performance behavior. Summary statistics include standard deviations and percentile distributions for the response times, which provide an indication of the variability in system responses as seen by individual actors. A third level of analysis can help in understanding the causes and significance of performance problems. This detailed analysis takes the low-level data and uses statistical methods to help testers draw correct conclusions from the data. Detailed analysis provides objective and quantitative criteria for making decisions, but it's more time consuming and requires a basic understanding of statistics. 5

6 Cómo analizar el desempeño? 3. Se utilizan métodos estadísticos con el fin de obtener conclusiones acerca del desempeño del sistema, comprender sus causas y su importancia. 6

7 Tipos de pruebas de desempeño Pruebas de benchmark Pruebas de stress Pruebas de perfil de desempeño Pruebas de carga [RUP] The following types of tests are included in Performance Testing: Benchmark testing: Compares the performance of new or unknown target-of-test to a known reference standard, such as existing software or measurements. Contention test: Verifies the target-of-test can acceptably handle multiple actor demands on the same resource (data records, memory, and so forth). Performance profiling: Verifies the acceptability of the target-of-test's performance behavior using varying configurations while the operational conditions remain constant. Load testing: Verifies the acceptability of the target-of-test's performance behavior under varying operational conditions (such as number of users, number of transactions, and so on) while the configuration remains constant. Stress testing: Verifies the acceptability of the target-of-test's performance behavior when abnormal or extreme conditions are encountered, such as diminished resources or an extremely high number of users. 7

8 Pruebas de Benchmark Comparan el desempeño del sujeto de prueba con el de un sistema y carga de trabajo de referencia. Benchmark es sinónimo de carga de prueba: programas utilizados para cargar el sistema y medir el rendimiento del sistema o de partes de éste. [RUP] Benchmark test: A type of performance test that compares the performance of a new or unknown target-of-test to a known reference-workload and system. 8

9 Pruebas de Benchmark Cada benchmark se concentra en un aspecto distinto del desempeño y se debe escoger el adecuado a cada caso: Uso intensivo del CPU. Uso intensivo de disco. Uso intensivo de memoria. Representación gráfica Otros [Prof. Ignacio Casas] Si el ambiente planeado va a dedicarse al cálculo numérico o al análisis estadístico (uso intensivo de CPU), no se puede tomar una decisión en base a benchmarks de bases de datos (uso intensivo de discos) o de representación gráfica. 9

10 Pruebas de Stress Permiten verificar la aceptabilidad del desempeño del sistema ante condiciones anormales o extremas: Volumen de usuarios/transacciones extremadamente alto Recursos escasos: Poco ancho de banda Memoria reducida Espacio en disco reducido Verifies the acceptability of the target-of-test's performance behavior when abnormal or extreme conditions are encountered, such as diminished resources or an extremely high number of users. 10

11 Pruebas de Stress En realidad las condiciones de stress no se espera que sucedan en la realidad. Estas pruebas también permiten documentar las condiciones bajo las cuales el sistema falla: límites. 11

12 Pruebas de perfil de desempeño Enfocadas a monitorear el comportamiento de una aplicación en ejecución con el fin de conocer dónde invierte su tiempo: Acceso a a datos Llamadas a un procedimiento Llamadas al sistema Permiten identificar cuellos de botella y procesos ineficientes [RUP] A test in which the target-of-test's timing profile is monitored, including execution flow, data access, function and system calls to identify and address both performance bottlenecks and inefficient processes. [Edu Metz] Performance profiling is the means of determining where a software system spends its execution time. It uses trace instrumentation to gather event data. Various types of event information can be obtained with traces, such as component entry and exit, function calls, software execution states, message communication, resource usage, etc. 12

13 Herramientas de perfil de desempeño Una herramienta de perfil de desempeño: Corre la aplicación en un ambiente controlado Realiza una traza de su flujo de ejecución Retorna un reporte del consumo de tiempo y memoria. [Linux Journal] Performance profiling runs your code in a controlled environment and returns a report listing such statistics as time spent within each function, how long each database query takes and how much memory has been used. By doing performance profiling on your code, you quickly can see where you may be wasting time with slow database queries or inefficient code. Having this information then allows you to spend your time tuning PHP and SQL where it needs it most. No more guessing what's going on internally: performance profiling gives you hard figures. 13

14 Pruebas de carga Permiten verificar y validar el desempeño de un elemento de un sistema bajo diferentes condiciones de carga: Número de usuarios Número de transacciones Son importantes cuando los sistemas deberán soportar un gran volumen de usuarios o transacciones concurrentes [RUP] The Load Testing process component is concerned with the process of testing software under emulated production transaction and user loading. Load Testing is an important concern in software that will support large transaction or user volumes. 14

15 Pruebas de carga Se utilizan simulaciones de cargas de trabajo promedio y pico dentro de los niveles normales. Deben ser realizadas bajo condiciones controladas para asegurar la precisión de las medidas tomadas: Tiempo de respuesta Throughput A type of performance test used to validate and assess acceptability of the operational limits of a system under varying workloads while the system-under-test remains constant. In some variants, the workload remains constant and the configuration of the system-under-test is varied. Measurements are usually taken based on the workload throughput and in-line transaction response time. The variations in workload usually include emulation of average and peak workloads that occur within normal operational tolerances. 15

16 Consideraciones finales Las pruebas de desempeño son muy senbibles a las condiciones sobre las cuales se aplican. Se debe ser cuidadoso al: Elegir la carga de trabajo. Considerar/ignorar los distintos parámetros que intervienen: Variaciones en el ambiente Intervención de herramientas de monitoreo Realizar el análisis de los resultados. 16

17 Bibliografía Rational Unified Process. Versión Prof. Mariela Curiel. Introducción a la Evaluación del Desempeño de Sistemas Informáticos. Edu Metz, Efficient Instrumentation for Performance Profiling. etz.pdf PHP Performance Profiling, Linux Journal. Prof. Ignacio Casas. Técnicas de Pruebas de Cargas. 17