Facultad de Ciencias de la Computación. Medir, reportar, y analizar el rendimiento.

Transcripción

1 Benemérita Universidad AutónomA de Puebla Facultad de Ciencias de la Computación RENDIMIENTO Verano 2009 Juárez Rocha Carlos Moisés Lima Romero Carlos Daniel Méndez Romero Israel Reyes Aburto Marcos Ignacio Vera Guevara Alberto INTRODUCCIÓN Medir, reportar, y analizar el rendimiento. El rendimiento del hardware es el elemento mas importante de la efectividad de una computadora. La correcta medición del rendimiento es primordial para el diseñador y para el comprador. Para mejorar nuestros sistemas de software, muchas veces requerimos saber que elementos del hardware se ven involucrados para poder mejorar el desempeño de la aplicación. Cómo se ejecuta una instrucción Cómo se maneja la memoria Cómo se interactúa con otros dispositivos (I/O) 1

2 Qué es Rendimiento? Cómo podríamos definir el Rendimiento? Avión Pasajeros Velocidad Crucero (mph) Boeing Boeing BAC/Sud Concorde Douglas DC Tiempo vs. Capacidad Diferentes Medidas de Rendimiento Para las computadoras, también tenemos diferentes formas de medir el rendimiento Analizando el rendimiento de dos equipos. 1. PC de escritorio: Si ejecutaramos el mismo proceso en dos computadoras, podríamos decir que la que tiene mejor rendimiento (más rápida) es la que termina primero. Tiempo de Respuesta/ Tiempo de ejecución (El tiempo total que una computadora tarda en ejecutar una tarea). 2. Servidor : Si tuvieramos varios servidores atendiendo clientes, podríamos decir que el de mejor desempeño es la que atiende (y procesa) el mismo número de peticiones en el menor tiempo. Throughput (La cantidad TOTAL de trabajo en un determinado tiempo). => Diferentes maneras de medir el rendimiento de un equipo. 2

3 Midiendo el Rendimiento Para una computadora X que esta corriendo un proceso: Si tenemos dos computadoras, X y Y, y si el rendimiento de X es mayor que el rendimiento de Y, tenemos entonces que: Rendimiento X > Rendimiento y Muchas veces, necesitamos relacionar el rendimiento de dos equipos: X es N veces más rápida quey N= relación de rendimiento 3

4 EJEMPLO: Una computadora (A) corre un programa en 10 segundos, mientras que otra (B) corre el mismo programa en 15 segundos, cuántas veces es más rápida A que B? Entonces: A = 1.5 veces más rápida que B O bien: que la computadora B es 1.5 veces mas lenta que A Rendimiento determinado por el tiempo de ejecución! Medimos el rendimiento en base al TIEMPO. La computadora que ejecuta una misma cantidad de trabajo que otras en menos tiempo es la más rápida. Tiempo de respuesta/ Tiempo elapsado : Tiempo total que le toma a la computadora en hacer y finalizar una tarea. (incluye accesos a memoria, accesos a disco duro, interaccción con dispositivos E/S, otros procesos del Sistema Operativo). En ocasiones, el procesador debe hacer múltiples tareas, y en lugar de tratar de optimizar el tiempo de respuesta de cada programa, se enfoca en el Throughput. Queremos hacer distinción entre el tiempo de respuesta y el tiempo en el cual el procesador está trabajando en nuestra tarea. Tiempo de Ejecución del CPU ó Tiempo de CPU 4

5 Tiempo de CPU Tiempo de CPU de usuario Tiempo de CPU de sistema Tiempo que el CPU trabaja en nuestro programa. Tiempo que el CPU trabaja en cosas relativas a nuestro programa y el S.O. Como diseñadores se requiere de una medida que nos indique qué tan rápido es el hardware, o qué tan rápido puede realizar algunas operaciones. Computadoras cuentan con un reloj con intervalos constantes, y que determina cuándo ocurren cambios en el hardware. (Ciclos de reloj) Longitud de un Periodo/Ciclo de reloj: 0.25 nanosegundos, 250 ps, etc.. Velocidad de Reloj: 4GHZ (el inverso de un ciclo de reloj). Para mejorar el rendimiento de una aplocación, debemos ver las distintas mediciones que elaboremos y localizar aquellos cuellos de botella que afecten nuestro sistema. 5

6 Rendimiento del CPU y sus Factores. Fórmula para medir el rendimiento del CPU CPU para un programa = para un programa * Tiempo de ejecución de Ciclos de reloj de CPU Tiempo de ciclo de reloj Ó Tiempo de ejecución de CPU para un programa Ciclos de reloj de CPU para un programa = Velocidad de reloj Esta fórmula deja en claro que el diseñador de hardware puede mejorar el rendimiento, ya sea mediante la reducción de la duración del ciclo de reloj o el número de ciclos de reloj necesarios para un programa. 6

7 Ejemplo: Un programa se ejecuta en 10 segundos en la computadora A que tiene un reloj de 4Mhz. Un diseñador d esta tratandot de crear una computadora B que corra el mismo programa en 6 segundos, el diseñador asegura que un incremento substancial en la velocidad de reloj es posible, pero esto afectara el diseño general del CPU, causando que la computadora B requiera 1.2 veces más ciclos de reloj que la computadora A para este programa. Cuál es la velocidad de reloj de la computadora B? Tiempo de CPU para la computadora B 7

8 Ecuaciones Compilador ->genera instrucciones-> CPU ejecuta instrucciones. El tiempo de ejecución depende del número de instrucciones en un programa. Ciclos CPU= # de instrucciones X promedio de ciclos por instrucción (CPI). CPI Ciclos de reloj por instrucción. Es el número promedio de ciclos de reloj de todas las instrucciones de un programa. Se puede usar para comparar rendimiento en computadoras con la misma arquitectura, ya que el número de instrucciones es la misma. 8

9 Ecuación básica de rendimiento Éstas dos formulas son útiles porque separan los tres factores clave que afectan el desempeño Otra ecuación Los diseñadores obtienen el CPI usando simulaciones o contadores hardware. Otras veces es posible obtener los ciclos de reloj de CPU con la siguiente fórmula: Donde: C es el número de instrucciones de la clase i. CPI número de ciclos promedio por instrucción en la clase i. n es el número de la clase de instrucción. 9

10 El rendimiento de un programa depende de: Algoritmo Lenguaje de Programación Compilador Arquitectura hardware actual. La siguiente tabla resume cómo estos componentes afectan los factores en la ecuación del funcionamiento de la CPU. 10

11 Evaluando el rendimiento Benchmark es una técnica utilizada para medir el rendimiento de un sistema o componente de un sistema, es el resultado de la ejecución de un programa o un conjunto de programas en una máquina. Los benchmark tienen las siguientes funcionalidades: Comprobar si las especificaciones de los componentes están dentro del margen propio del mismo. Maximizar el rendimiento con un presupuesto dado. Minimizar costes manteniendo un nivel mínimo de rendimiento. 11

12 Tipos de benchmarks: Dado el elemento a ser evaluado, existen diferentes tipos de benchmark: Sintéticos vs Aplicaciones. Sintéticos: están especialmente diseñadas para medir el rendimiento de un componente individual de una computadora. Aplicaciones: herramientas basadas en aplicaciones reales, simulan una carga de trabajo para medir el comportamiento global del equipo. Bajo nivel vs Alto nivel. Test de Bajo nivel: Miden directamente el rendimiento de los componentes Test de Alto nivel: Están más enfocados a medir el rendimiento de la combinación componente/controlador/so de un aspecto específico del sistema. Una vez elegidos los benchmarks, habrá que decidir como resumir el rendimiento del conjunto de benchmarks. Problema: Cómo combinar el rendimiento de un conjunto de programas? Ejemplo: sean los tiempos de ejecución de dos programas en dos máquinas diferentes. Computadora A (tiempo de ejecución en segundos) Computadora B (tiempo de ejecución en segundos) Programa Programa Tiempo Total

13 Usando únicamente tiempo de ejecución se llega a situaciones confusas: A es 10 veces más rápido que B para el programa 1 B es 10 veces más rápido que A para el programa 2 No queda claro el rendimiento relativo de las 2 computadoras. Es mejor utilizar el tiempo de ejecución total de los dos programas Por lo tanto B es 9,1 veces más rápida que A para la ejecución de ambos programas. Medida aritmética: es el promedio del tiempo de ejecución en un numero determinado de ejecuciones. Donde Tieme i es el tiempo de ejecución para la iésima ejecución de un programa y n es el numero total de ejecuciones de un programa 13

14 Benchmarks (comparativas) Conjunto de programas para evaluar el rendimiento. La elección de un benchmark no es trivial. El rendimiento dependerá de que el programa elegido sea el apropiado para la máquina. Hay que elegir un conjunto equilibrado de programas: que formen una carga de trabajo con la que se pueda medir el rendimiento. i SPEC (Standard Performance Evualuation Corporation) Corporación de evaluación de rendimiento estándar. Fundada en 1988 por representantes de HP, DEC, MIPS y Sun. Propósito: establecer, mantener y aprobar conjuntos estandarizados de benchmarks para computadoras de alto rendimiento y última generación. 14

15 SPEC Existen docenas de benchmarks diferentes diseñados para una amplia variedad de entornos computacionales usando aplicaciones reales, reglas de ejecución y requerimientos. Incluyen: benchmarks para rendimiento de CPU, graficos, COO, aplicaciones JAVA, modelos cliente-servidor, servidores de correo, de archivos, Web, entre otros. SPEC CPU SPEC CPU2006: comparar cargas de trabajo intensas, tiene 2 suites: CINT2006: medir rendimiento de cómputo entero intenso CFP2006: medir rendimiento de cómputo flotante intenso SPEC CPU2000, CPU95, CPU92. 15

16 SPEC Graficos: SPECviewperf 10, SPECapc SM for 3ds Max 9, SPECapc SM for Maya 6.5 MPI: MPI2007, OMP2001, HPC2002 Java Cliente-servidor: SPECjAppServer2004, SPECjAppServer2002, SPECjvm2008. Web Servers: SPECweb2009, SPECweb2005 SPEC CPU

17 SPEC CPU2000 Trampas y falacias de la arquitectura de computadoras Error Habitual: Esperar que la mejora de un solo aspecto de una maquina provoque un aumento del rendimiento proporcional a la mejora de Aspecto. E/J: Suponemos que un programa tarda 100 seg. En ejecutarse en una maquina, de los cuales 80 corresponden a operaciones de multiplicar. Cuanto tengo que mejorar la operación de multiplicar si deseo que mi programa se ejecute 5 veces mas rapido? 17

18 El tiempo de ejecucion del programa despues de la mejora viene dada por la siguiente ecuacion llamada ley de Amdahl : Tiempo de ejecucion Despues de la mejora = Tiempo de ejecucion Afectado por la mejora Cantidad de la mejora + Tiempo de ejecucion No afectado por la mejora Como queremos que el rendimiento i sea 5 veces mas rapido, entonces el nuevo tiempo de ejecucion deberia ser de 20 segs. 20 segs. = 80 segs n + (100-80)segs. 0 = 80 segs n Esto significa que no hay una cantidad que pueda mejorar la multiplicacion para conseguir incrementar el rendimiento por 5 si esta representa el 80% de la carga de trabajo La posible mejora esta limitada por la proporcion en que se utilice la prestacion mejorada. Corolario de la ley de Amdahl: Hacer mas rapido el caso mas frecuente. La frecuencia con la que un suceso ocurre puede ser mas alta que la de otro. La ley de Amdahl nos recuerda que la posible mejora esta afectada por el tiempo que el suceso consume. Haciendo mas rapido el caso mas frecuente se obtiene un mejor rendimiento que si se optimiza el caso menos frecuente. A menudo el caso mas normal es mas simple que el menos comun, y por tanto mas facil de mejorar. 18

19 Falacia: Las metricas independientes del diseño de hardware predicen el rendimiento. En el pasado, un metdo que se utilizaba para medir el rendimiento, era el tamaño de codigo como medida de velocidad.el tamaño del programa compilado, es por supuesto, importante cuando el espacio en memoria es escaso, pero esto no es lo mismo que rendimiento. De hecho, las maquinas mas rapidas tienden a tener repertorios de instrucciones que generan programas mas grandes y que pueden ser ejecutados mas rapido con menos circuiteria. Un programa de una CDC6600 es 3 veces mas grande que el de uno en una Burroughs B5500, aunque una CDC ejecuta programas en Algol 60 unas 6 veces mas rapido que una Burrougs, una maquina diseñada especialmente para Algol 60. Error Habitual:Utilizar MIPS como metrica de rendimiento. Una alternativa para medir el rendimiento es un programa, es MIPS, y viene dada por la siguiente formula: MIPS = Contador de instrucciones i Tiempo de ejecucion x 10^6 Ejemplo: consideremos 3 instrucciones, suponemos que es el mismo programa para 2 compiladores diferentes, con una velocidad de reloj a 4GHz. 19

20 Primero se busca el tiempo de ejecucion de los 2 compiladores mediante la siguiente formula: Para los ciclos de reloj usamos: Ahora encontramos el tiempo de ejecucion para los 2 compiladores: Podemos decir que el compilador 1 genera mas rapido el programa. Ahora calculamos los MIPS para cada instruccion. 20

21 El codigo obtenido por el compilador 2 tiene un mayor MIPS, pero el codigo del compilador 1 se ejecuta mas rapido. Como se demuestra en este ejemplo MIPS puede fallar al dar una idea del rendimiento, incluso comparando 2 versiones de un programa en una misma maquina. Observaciones Finales 21

22 Aunque se haya centrado en el rendimiento y a cómo evaluarlo, el diseño para el rendimiento sin la consideración del: costo funcionalidad y otros requisitos es poco realista. Existe un dominio del diseño de alto- rendimiento, en el cual el rendimiento es la meta primaria y el costo es lo secundario. Muchas de las industrias d d de supercomputadoras y de servidores diseñan de este modo. 22

23 En el otro extremo tenemos los de bajo costo y diseño, típicos del mercado actual, donde el costo tiene prioridad sobre el rendimiento. En medio están la mayoría de los diseños de escritorio, así como algunos servidores; estas computadoras requieren diseño de costo/rendimiento, en el cual el diseñador balancea el costo con el rendimiento. 23

24 Como hemos visto, hay un método confiable para determinar e informar del rendimiento, usando el tiempo de ejecución de programas. Este tiempo de ejecución se relaciona con otras medidas importantes que podemos hacer por la ecuación siguiente: i Utilizaremos esta ecuación y sus factores del componente muchas veces. Recuerde, el pensamiento: El rendimiento viene determinado por el producto, NO por cada factor. Es una medida confiable de rendimiento. 24

25 Por supuesto, simplemente saber esta ecuación no es bastante para dirigir el diseño o la evaluación de una computadora. Debemos entender cómo los diversos aspectos de un diseño afectan a cada uno de estos parámetros. Imprescindible usar buenos conjuntos de programas de prueba para medir el rendimiento de forma fiable. 25