Medición del Rendimiento de Computadores

Transcripción

1 Arquitectura 09/10 Medición l Rendimiento Motivación: Qué medidas tiempo se utilizan para evaluar el rendimiento? Cómo finimos el tiempo cpu y el rendimiento l procesador? Qué parámetros condicionan el tiempo cpu? Qué medidas productividad se utilizan para evaluar el rendimiento? Qué ventajas e inconvenientes presentan dichas medidas? Qué tipos programas se utilizan para evaluar el rendimiento? 1

2 Arquitectura 09/10 Medición l Rendimiento Introducción Tiempo ejecución. Rendimiento l Procesador Medidas Productividad MIPS MFLOPS Programas evaluación (Benchmarks) 2

3 Arquitectura 09/10 Medición l Rendimiento Por qué se necesita medir el rendimiento? comparación l hardware las máquinas comparación l software las máquinas (compiladores) Propósito final: tomar cisiones compra sarrollar nuevas arquitecturas Basta con una sola medida? es más rápida una máquina 2 GHz que otra 1,5 GHz? Medidas utilizadas: 3

4 Arquitectura 09/10 Tiempo Ejecución Tiempo Respuesta (transcurrido, reloj, elapsed time) incluye todo (procesador, accesos a memoria, E/S, S.O., multiprogramación) en un sistema scargado da ia l rendimiento l computador o sistema útil, pero no muy acuado para efectuar comparaciones Tiempo CPU no incluye E/S ni tiempo ejecutando otros programas (multiprogramación) Tcpu = Tcpu (usuario) + Tcpu (sistema) Tcpu (sistema) = tiempo ejecutando código l S.O. Tcpu (usuario) tiempo dicado a la ejecución código nuestro programa da ia l Rendimiento l Procesador o Rendimiento CPU esta influido por 4

5 Arquitectura 09/10 Comando time Unix Resume los tiempos consumidos en la ejecución un programa - Formato: $time programa - Ejemplo salida: 90.7u 12.9s 2:39 65% (shell csh) real 2m 39s (shell bash) user 1m 30.7s sys 0m 12.9s Tcpu(usuario) = 90,7 s. Tcpu(sistema) = 12,9 s. Ttranscurrido = 159 s. 65% = % l Tcpu sobre el Ttranscurrido = 100%-65% = 35% = % tiempo esperando por E/S o ejecutando otros programas 5

6 Arquitectura 09/10 Ciclo Reloj El rendimiento se calcula en función l ciclo reloj segundos ciclos segundos = x programa programa ciclo El tiempo se pue medir en ciclos reloj T t Tiempo ciclo (T) = tiempo entre dos eventos reloj (período reloj) Frecuencia reloj (f) = ciclos / segundo 6

7 Arquitectura 09/10 Son iguales Ciclos el por número Instrucción instrucciones y el número ciclos pen la organización hardware el número cambia para cada procesador Consumen todas las instrucciones igual n las multiplicaciones/divisiones consumen mas que las sum las instrucciones flotantes consumen mas que las enteras las que accen a memoria consumen mas que las que a Ciclos por Instrucción (CPI) número ciclos promedio consumido por las instruccion permite comparar organizaciones alternativas que soport Si NI = nº instrucciones l programa 7

8 Arquitectura 09/10 Rendimiento l Procesador NI = nº instrucciones l programa CPI = ciclos por Instrucción T = tiempo ciclo nº total ciclos = NI x CPI TCPU (usuario) = nº total ciclos x tiempo ciclo = (NI x CPI ) x T TCPU = T x NIi x CPIi (i = tipo instrucción) CPI = CPIi X Fi (Fi = frecuencia aparición instrucciones i) NI = función(compilador, Lenguaje máquina) CPI = función(lenguaje máquina, Organización) T = función(organización, Tecnología) 8

9 Arquitectura 09/10 Rendimiento l Procesador TCPU = NI x CPI x T La mejora uno los parámetros pue empeorar los otros, forma que no disminuya el tiempo ejecución Ejemplo: Mejora en el juego instrucciones NI Si NI y T=cte. pue ocurrir que CPI (inst. + complejas) Tcpu ~ NI x CPI Si NI y CPI=cte. pue ocurrir que T (inst. + complejas) Tcpu ~ NI x T 9

10 Arquitectura 09/10 Medidas Productividad 10

11 Arquitectura 09/10 MIPS (nativos) Millones Instrucciones Por Segundo NI NI 1 f MIPS = = = = Tejecucion x 10 6 TCPU x 10 6 CPI x T x 10 6 CPI x 10 6 Mayor velocidad implica mayor valor MIPS (a priori) NI Tejecucion = MIPS x

12 Arquitectura 09/10 MIPS (nativos) Inconvenientes: MIPS pen l juego instrucciones difícil comparar máquinas con JI diferentes MIPS pen l programa ( su mezcla instrucciones) MIPS pue llegar a variar inversamente al rendimiento medida no consistente (Ejemplo: incorporación FPU NI cte) solución: 12

13 Arquitectura 09/10 MIPS relativos Se elige una máquina referencia a la que se le da el valor referencia MIPS=1 Treferencia MIPS relativos = Tejecucion MIPS referencia - Molo VAX 11/780 (1978) MIPS referencia = 1 (~ 10E6 Inst./seg.) - Treferencia (VAX 11/780) / Tejecucion = G = MIPS relativos Ventajas: resuelve el problema la inconsistencia los MIPS nativos Inconveniente: 13

14 Arquitectura 09/10 MFLOPS (nativos) Millions of FLoating Point Operations Per Second Nº Operaciones Flotantes MFLOPS = Tejecucion x 10 6 Aplicable a programas con Operaciones Flotantes: sumas, restas, multiplicaciones, divisiones Simple precisión o Doble precisión 14

15 Arquitectura 09/10 MFLOPS (nativos) Inconvenientes: MFLOPS penn si se dispone o no FPU (Floating Point Unit) MFLOPS penn si están o no soportadas funciones complejas (multiplicación, división, raíz cuadrada, seno, coseno, etc.) MFLOPS penn la mezcla I. enteras y flotantes l programa MFLOPS penn la mezcla operaciones flotantes (operaciones mas complejas tienen un mayor tiempo ejecución) solución: 15

16 Arquitectura 09/10 MFLOPS normalizados Se da un peso a cada tipo operación flotante proporcional a su complejidad Se utilizan tablas conversión MFLOPS nativos a normalizados Ejemplo: Tipo operación (i) +, -, *, COMP /, SQRT EXP, SIN, COS Nº Op.norm Nº total Op. normalizadas = Σ i (NºOp.) i x (NºOp.norm.) i MFLOPS normalizados = 16

17 Arquitectura 09/10 Medición l Rendimiento La única medida objetiva es el Tiempo Ejecución Cualquier otra medida ofrece una visión parcial nº instrucciones por programa nº ciclos por programa nº ciclos por instrucción nº segundos por ciclo nº ciclos por segundo nº instrucciones por segundo 17

18 Arquitectura 09/10 Resumen Vocabulario NI CPI Tejecucion T f MIPS MFLOPS número instrucciones (máquina) (ciclos por instrucción) tiempo ejecución (segundos por programa) tiempo ciclo (segundos por ciclo) frecuencia reloj (ciclos por segundo) (millones instrucciones por segundo) (millones operaciones flotantes por segundo) 18

19 Arquitectura 09/10 Programas Evaluación (Benchmarks) Carga ial para la evaluación: Programas Usuario + Comandos S.O. ( Carga Trabajo, Workload ) Problema: No disponibilidad los computadores para correr la Carga Trabajo Alternativa: Cargas neutrales ejecutadas por los fabricantes u organismos evaluadores Tipos programas evaluación (benchmarks): 19

20 Arquitectura 09/10 Benchmarks sintéticos Simulan la frecuencia instrucciones y operandos un abanico programas reales (código artificial) Ejemplos: Dhrystone (código entero) Whetstone (código flotante) Inconvenientes: optimizaciones l fabricante solo para la mejora ese tipo programas compiladores tectores benchmarks su pequeño tamaño da lugar a un rendimiento óptimo l sistema memoria 20

21 Arquitectura 09/10 Programas tamaño reducido Pequeños programas entre 10 y 100 líneas con resultado conocido Incluyen normalmente bucles, repitiéndose mucho algunas instrucciones Fáciles simular durante el diseño la máquina (compilador no disponible) Fáciles estandarizar Ejemplos: programas ornación multiplicación matrices, etc. Flops: resolución integrales Linpack: resolución sistemas ecuaciones lineales Inconvenientes: optimizaciones l fabricante solo para la mejora ese tipo programas rendimiento óptimo l sistema memoria 21

22 Arquitectura 09/10 Optimizaciones específicas para Benchmarks 22

23 Arquitectura 09/10 Aplicaciones reales Programas uso común que forman parte las cargas trabajo Compiladores y Editores texto Bases datos y Hojas cálculo Programas científicos Ejemplos: Conjunto programas SPEC y benchmark SYSmark (PCs) SPEC = Programas consensuados por el conjunto fabricantes Los mas utilizados para medir rendimiento y eficiencia l compilador Actualizaciones continuas: SPEC 92, SPEC 95, SPEC 2000, SPEC 2006 SYSmark: 23

24 Arquitectura 09/10 Problema 2.2 1) MIPS con copro = f CPU / (CPI con copro x 10E6) = MIPS sin copro = f CPU / (CPI sin copro x 10E6) = 2) NI con copro = MIPS con copro x 10E6 x Tej con copro = NI sin copro = MIPS sin copro x 10E6 x Tej sin copro = 3) NI con copro = = N Iter x (NI enteras básicas + NI flotantes) NI enteras básicas = NI sin copro = = N Iter x (NI enteras básicas + NI enteras emulación) NI enteras emulación = NI medio enteras / flotante = NI enteras emulación / NI flotantes = 4) MFLOPS nativos = Nº Operaciones flotantes x NIter / (Tej con copro x 10E6) = Nº Op. Normalizadas = (nº sum + nº res + nº mul + nº conv + nº comp) x 1 + nº div x 4 = MFLOPS normalizados = Nº Op. Normalizadas x NIter / (Tej con copro x 10E6) = 5) Nº Op. en funciones = Nº total Op. flotantes - Nº basico Op. flotantes = Nº invocaciones función = nº atan + nº sin + nº cos + nº sqrt + nº exp + nº log = Nº medio Op. / función = Nº Op. en funciones / Nº invocaciones función = 24