Medición del rendimiento

Transcripción

1 Medición del rendimiento

2 Medición del rendimiento El rendimiento de la CPU es el tiempo de ejecución. Ecuación del rendimiento de la CPU Tiempo CPU = Ciclos de reloj para el programa x Periodo del reloj Alternativamente Tiempo CPU = Número de instrucciones x CPI x Periodo del reloj Donde CPI es el número de ciclos en promedio por instrucción. Universidad de Sonora Arquitectura de Computadoras 2

3 Medición del rendimiento Para comparar dos sistemas computacionales: 1. Correr la carga de trabajo (workload) del usuario en los dos sistemas. 2. Correr un benchmark. Un programa o conjunto de programas usados específicamente para medir el rendimiento de una computadora. Universidad de Sonora Arquitectura de Computadoras 3

4 Tipos de benchmarks 1. Programas de juguete tipo quicksort. 2. Benchmarks sintéticos. No hacen nada aparte de evaluar el rendimiento de la CPU como Whetstone y Dhrystone. 3. Aplicaciones reales como los benchmarks de SPEC (Standard Performance Evaluation Corporation) y de TPC (Transaction Processing Council). La tercera es la opción con mejor reputación. Universidad de Sonora Arquitectura de Computadoras 4

5 Benchmarks clásicos Utilizados hasta principios de los 1990s. Todavía son populares porque son gratis y fáciles de usar y entender. Dos clases de benchmarks clásicos: Universidad de Sonora Arquitectura de Computadoras 5

6 Benchmarks clásicos 1. Benchmarks sintéticos: No realizan ninguna computación util. Whetstone. Dhrystone. 2. Benchmarks de kernel. Obtenidos de un programa (o librería) real. Linpack. Livermore loops. Universidad de Sonora Arquitectura de Computadoras 6

7 Benchmarks clásicos Cada benchmark viene en dos versiones. Versión optimizada. El benchmark fue compilado con las opciones de optimización del compilador. Versión no optimizada. El benchmark fue compilado sin las opciones de optimización del compilador. La versión optimizada debe correr mas rápido que la versión no optimizada. Universidad de Sonora Arquitectura de Computadoras 7

8 Whetstone Publicado en 1976 originalmente en Algol 60. Intenta replicar el comportamiento de un típico programa científico en la computadora KDF9. Contiene varios módulos, cada uno contiene instrucciones de un tipo en particular: Aritmética entera. Aritmética de punto flotante. ifs. Llamadas a funciones (coseno, seno, etc.) Universidad de Sonora Arquitectura de Computadoras 8

9 Whetstone Un buen número de las instrucciones son de punto flotante. Se usa para medir el rendimiento de instrucciones de punto flotante. Reporta resultados: KWIPS o MWIPS (kilo/mega instrucciones Whetstone por segundo) Comparación con una VAX 11/780 de MFLOPS (millones de operaciones de punto flotante por segundo) o MOPS (millones de operaciones por segundo) para cada módulo. Universidad de Sonora Arquitectura de Computadoras 9

10 Dhrystone Publicado en 1984 originalmente en Ada. Intenta replicar el comportamiento de un programa no científico. No tiene instrucciones de punto flotante. Menos ciclos y mas ifs y llamadas a procedimiento. Mide el rendimiento de instrucciones enteras. Universidad de Sonora Arquitectura de Computadoras 10

11 Dhrystone Reporta resultados en DPS (Dhrystone por segundo) o en DMIPS (Dhrystone MIPS). DMIPS = DPS / es el número de DPS obtenido en una VAX 11/780 que supuestamente era una máquina de 1 MIPS. Universidad de Sonora Arquitectura de Computadoras 11

12 Linpack Publicado en 1976, Linpack es un conjunto (paquete) de subrutinas de algebra lineal en Fortran. El benchmark basado en Linpack mide cuánto tarda una computadora en resolver un sistema denso de N x N ecuaciones lineales. Típicamente N = 100, pero puede ser mayor. Hay versiones de precisión sencilla y doble. Los resultados se reportan en MFLOPS. Universidad de Sonora Arquitectura de Computadoras 12

13 Livermore loops Publicado en 1986 originalmente en Fortran. Mide el rendimiento de computadoras paralelas. Consiste en 24 ciclos (kernels). Cada ciclo hace una función matemática distinta: Fragmento de hidrodinámica. Gradiente conjugado de Cholesky incompleto. Búsqueda de Montecarlo. Reporta MFLOPS para cada uno de los ciclos. Universidad de Sonora Arquitectura de Computadoras 13

14 Desventajas De los benchmarks clásicos: Es fácil hacer trampa, un compilador puede reconocer el benchmark y generar código especial. Reflejan el estilo de programación de 1970 y No miden las capacidades de las CPUs actuales. No hay control del código fuente. Nadie certifica los resultados. No hay reglas standard. Universidad de Sonora Arquitectura de Computadoras 14

15 Desventajas Hacen énfasis en medir MIPS y MFLOPS: Sustituyendo el tiempo de ejecución: El CPI es variable incluso dentro de una misma CPU. Universidad de Sonora Arquitectura de Computadoras 15

16 Desventajas MIPS y MFLOPS no siempre son relevantes, p.e.: Servidores de web, correo, archivo Estaciones gráficas Universidad de Sonora Arquitectura de Computadoras 16

17 Ejemplo Qué computadora tiene MIPS mayor? Qué computadora es más rápida? Universidad de Sonora Arquitectura de Computadoras 17

18 Ejemplo MIPS = (Velocidad reloj / CPI) Computadora A MIPS = 4 x 10 9 / (1.0 x 10 6 ) = 4 x 10 3 Computadora B MIPS = 4 x 10 9 / (1.1 x 10 6 ) = 3.6 x 10 3 Conclusión: A tiene MIPS mayor. Universidad de Sonora Arquitectura de Computadoras 18

19 Tiempo de ejecución T = I x CPI / V Computadora A T = 10 x 10 9 x 1.0 / 4 x 10 9 = 2.5 segundos Computadora B T = 8 x 10 9 x 1.1 / 4 x 10 9 = 2.2 segundos Conclusión: B es más rápida. Universidad de Sonora Arquitectura de Computadoras 19

20 Mejor medida Fuente: COD, p. 52 Universidad de Sonora Arquitectura de Computadoras 20

21 Por qué se estudian? Todavía se mencionan. Son gratis y fáciles de usar. Son útiles como una primera aproximación. En algunos sistemas (por ejemplo controladores) no hay otra cosa. Universidad de Sonora Arquitectura de Computadoras 21

22 SPEC Standard Performance Evaluation Corporation Organización sin fines de lucro fundada en Miembros originales: Apollo, HP, MIPS y Sun. Objetivo: producir benchmarks justos e imparciales. Los resultados se conocen como SPECmarks. Universidad de Sonora Arquitectura de Computadoras 22

23 Benchmarks de SPEC 1. Desktop (computadoras de escritorio) Mide el rendimiento de: CPU. SPEC CPU La máquina virtual de Java. SPECjvm2008. Sistemas de gráficas: SPECviewperf para OpenGL 3D. SPECapc para aplicaciones en 3D como Maya, 3ds Max, SolidWorks, etc. Universidad de Sonora Arquitectura de Computadoras 23

24 Benchmarks de SPEC 2. Server (servidores) Mide el rendimiento en: Servidores de correo. SPECmail2008. Servidores de archivos. SPECsfs2008. Servidores de Web. SPECweb2005. Servidores basados en JMS (Java Message Service). SPECjms2007. Servidores de aplicaciones en Java. SPECjAppServer2004. Universidad de Sonora Arquitectura de Computadoras 24

25 SPEC CPU programas para evaluar instrucciones enteras. 9 escritos en C. 3 escritos en C programas para evaluar instrucciones de punto flotante. 6 escritos en FORTRAN. 4 en C y FORTRAN. 4 en C++. 3 en C. Universidad de Sonora Arquitectura de Computadoras 25

26 SPEC CPU Universidad de Sonora Arquitectura de Computadoras 26

27 SPEC CPU Cada benchmark i se corre en la CPU a evaluar. 2. Se mide el tiempo de CPU de cada benchmark i. 3. Para cada benchmark i se obtiene el SPECmark. Tiempo de ejecución de i en A / Tiempo de ejecución de i en R Donde R es la computadora de referencia: una estación de trabajo Sun Ultra Enterprise 2 con un procesador UltraSPARC II de 296-MHz. Universidad de Sonora Arquitectura de Computadoras 27

28 SPEC CPU Escribir un reporte. Los resultados deben ser reproducibles. El reporte debe decir todo lo necesario para que otra persona obtenga los mismos resultados. Incluyendo sistema operativo y compiladores usados, datos de entrada, etc. 5. Promediar los SPECmark de todos los benchmarks usando la media geométrica. Universidad de Sonora Arquitectura de Computadoras 28

29 Ejemplo Universidad de Sonora Arquitectura de Computadoras 29

30 Ejemplo Universidad de Sonora Arquitectura de Computadoras 30

31 Ejemplo Universidad de Sonora Arquitectura de Computadoras 31

32 Intel Core I7 920 Fuente: COD 5, p. 47 Universidad de Sonora Arquitectura de Computadoras 32

33 Media geométrica La media geométrica es: En el reporte de SPEC, sample i es el SPECRatio de la computadora A para el benchmark i. Universidad de Sonora Arquitectura de Computadoras 33

34 Media geométrica Usando logaritmos la raíz enésima no es necesaria. Universidad de Sonora Arquitectura de Computadoras 34

35 Desviación standard Da una medida de la variabilidad de los datos. Sirve para decidir si la media es un buen predictor. La desviación standard aritmética se calcula: Universidad de Sonora Arquitectura de Computadoras 35

36 Desviación standard geométrica Se usa en conjunto con la media geométrica. Se calcula como: Universidad de Sonora Arquitectura de Computadoras 36

37 Desviación standard Para una distribución lognormal: 68% de las muestras caen en el rango [gmean/gstdev, gmean x gstdev]. 95% de las muestras caen en el rango [gmean/gstdev 2, gmean x gstdev 2 ]. Universidad de Sonora Arquitectura de Computadoras 37

38 SPECmark Con los SPECmarks se puede comparar dos computadoras sin conocer los tiempos de los benchmarks ni la computadora de referencia. Universidad de Sonora Arquitectura de Computadoras 38

39 SPECfp 2000 Universidad de Sonora Arquitectura de Computadoras 39

40 Ejemplo Usando los datos del SPECfp 2000 Calcular la desviación standard geométrica de los SPECRatio del Itanium 2 y el Opteron. Calcular el porcentaje de benchmarks que caen dentro de una desviación standard de la media geométrica. Universidad de Sonora Arquitectura de Computadoras 40

41 Media geométrica: Itanium 2: Opteron: Ejemplo Desviación standard geométrica: Itanium 2: 1.93 Opteron: 1.38 Rango de una desviación standard: Itanium 2: [27.12 / 1.93, x 1.93] = [14.06, 52.30] Opteron: [20.86 / 1.38, x 1.38] = [15.12, 28.76] Universidad de Sonora Arquitectura de Computadoras 41

42 Ejemplo Porcentaje de benchmarks dentro de una desviación standard de la media: Itanium 2: 10 / 14 = 71% Opteron: 11 / 14 = 78% Universidad de Sonora Arquitectura de Computadoras 42