Departamento de Automática

Transcripción

1 Departamento de Automática Tema 1 Introducción al paralelismo Prof. Dr. José Antonio de Frutos Redondo Dr. Raúl Durán Díaz Curso

2 Tema 1: Introducción Necesidad del paralelismo Rendimiento de computadores Taxonomía de Flynn Ley de Amdahl Procesamiento paralelo Entornos de programación paralela 1. Introducción al paralelismo 2

3 Necesidad del paralelismo Necesidad de potencia de cálculo Procesos complejos en tiempo real (control de centrales, de viajes espaciales, control de tráfico, etc.) Simulación (de moléculas, de poblaciones, predicción meteorológica, modelos mecánicos, etc.) Problemas hasta ahora no atacables (salvo por procesos heurísticos) pero resolubles. Realimentación entre los avances tecnológicos y la potencia de cálculo solicitada. 1. Introducción al paralelismo 3

4 Necesidad del paralelismo Limitación de las posibilidades de la arquitectura clásica Presencia de múltiples cuellos de botella: memoria, unidades funcionales. Limitaciones físicas: límites en la capacidad de integración, crecimiento incontrolado de la disipación de calor al aumentar la frecuencia, límites en la frecuencia: (suponiendo velocidades de transición en el silicio cm/s y distancias de 1cm) f máx = 1/1cm/ cm/s = 3 GHz dificultades de manejo de altas frecuencias en circuitos. 1. Introducción al paralelismo 4

5 La computación paralela es inevitable Demanda de las aplicaciones: Insaciable necesidad de potencia de cálculo. De propósito general: video, gráficos, CAD, bases de datos... Científica: Biología, Química, Física,... Tendencias tecnológicas: El número de transistores en un CI crece rápidamente. Se esperan crecimientos lentos de la frecuencia de reloj. Tendencias en arquitectura: Límites del paralelismo a nivel de instrucción (superescalares). Paralelismo a nivel de tareas la vía más adecuada. 1. Introducción al paralelismo 5

6 Tendencias actuales: Los microprocesadores actuales tienen soporte para multiproceso. Aparición de estaciones de trabajo multiprocesador : Sun, SGI, HP, Los microprocesadores del mañana serán multiprocesadores. Tendencia en las aplicaciones: Realimentación entre la demanda de potencia y la complejidad de las aplicaciones. Amplio rango de prestaciones demandadas. Progresiva potencia con coste progresivo. 1. Introducción al paralelismo 6

7 Objetivo en la aplicación del paralelismo: aumentar el speedup. Speedup (p procesadores) = Para un problema determinado, el rendimiento es la inversa del tiempo: Speedup (p procesadores) = Rendimiento (p procesadores) Rendimiento (1 procesador) Tiempo (1 procesador) Tiempo (p procesadores) 1. Introducción al paralelismo 7

8 Demanda científica Fuente: Parallel Computer Architecture, Culler et al, Morgan Kauffman, Introducción al paralelismo 8

9 Demanda de la Ingeniería Las grandes máquinas paralelas tienen especial aplicación en industrias tales como: Petróleo (análisis de reservas). Automóvil (simulación de choques, análisis aerodinámicos, eficiencia de la combustión). Aeronáutica (análisis de flujos de aire, eficiencia en motores, mecánica estructural, electromagnetismo). Diseño asistido por ordenador. Farmacia (modelos moleculares). Visualización (GUI, entretenimiento, representaciones virtuales). 1. Introducción al paralelismo 9

10 Qué es un computador paralelo? Es un conjunto de elementos de proceso que cooperan para resolver rápidamente grandes problemas. 1. Introducción al paralelismo 10

11 Cómo es un computador paralelo? Algunas características generales: Asignación de recursos: Cuántos elementos? De qué potencia? Cuánta memoria? Acceso a los datos, comunicación y sincronización: Cómo cooperan los elementos y se comunican? Cómo están los datos que se transmiten? Cuáles son las funciones disponibles para la cooperación? Rendimiento y expansión: Cómo influyen estas características en el rendimiento? Cómo se puede ampliar el sistema? 1. Introducción al paralelismo 11

12 Evolución en la computación paralela AMBER programa de simulación de dinámica molecular. Punto de partida: código vectorial para Cray-1. Las gráficas corresponden a la ejecución en un Intel Paragon. 145 MFLOP en Cray90, 406 para la versión final en 128-processor Paragon, 891 en 128-processor Cray T3D. 1. Introducción al paralelismo 12

13 Computación Comercial También confía en el paralelismo para aumentar sus prestaciones: Menor grado de paralelismo, pero más extendido. La potencia del computador determina el nivel de negocio que se puede manejar. Ejemplos: Bases de datos, procesos de transacciones online, apoyo a la toma de decisiones, data mining, almacenamiento de datos... TPC benchmarks (TPC-C, TPC-D) Se tienen en cuenta los criterios de escalabilidad. Rendimiento medido en transacciones por minuto (tpm). 1. Introducción al paralelismo 13

14 Tendencias en Tecnología Performance 100 Supercomputers 10 Mainframes Microprocessors Minicomputers Introducción al paralelismo 14

15 Tendencias en Tecnología La potencia de los microprocesadores crece 50% - 100% por año. El número de transistores se duplica cada 2 años. El tamaño de la DRAM se cuadruplica cada 3 años. La gran actividad del mercado genera grandes inversiones en investigación. 1. Introducción al paralelismo 15

16 Tendencias en Tecnología DEC 120 alpha 100 IBM 80 HP 9000 RS MIPS 40 MIPS Sun 4 M2000 M/ Integer FP 1. Introducción al paralelismo 16

17 Tecnología: Avance básico: decremento del tamaño de separación. Circuitos más rápidos y con menor disipación de potencia. Crecimiento del tamaño de los dados. Cómo utilizar más transistores? Paralelismo en el procesamiento: Múltiples operaciones por ciclo para reducir el CPI. Localidad en el acceso a datos: Elimina latencias y reduce CPI. Aumenta la utilización del procesador. Proc $ Interconnect Ambos necesitan recursos: hay que buscar un compromiso. Tarea fundamental es la distribución de recursos, como en uniprocesadores. 1. Introducción al paralelismo 17

18 Aumento de la frecuencia de reloj en un 30% al año. Clock rate (MHz) 1, i8086 i8008 i4004 i8080 i80286 i80386 R10000 Pentium Introducción al paralelismo 18

19 Incremento en el nº de transistores: 100 millones en el año Crecimiento más rápido que la frecuencia de reloj: 40% por año. Transistors 100,000,000 10,000,000 1,000, ,000 10,000 i80286 i8008 i8080 i4004 i8086 R10000 Pentium i80386 R2000 R3000 1, Introducción al paralelismo 19

20 Evolución en la memoria: Mayor divergencia entre capacidad de memoria y velocidad. Capacidad 1000x entre , velocidad sólo 2x. Gigabit DRAM por CI. 2000, pero gap con la velocidad del procesador mucho mayor. Las grandes memorias son lentas, mientras que los procesadores son más rápidos. Necesidad de transferir datos en paralelo. Necesidad de profundizar en la jerarquía de cache. Cómo organizar las caches? El paralelismo aumenta el tamaño efectivo de cada nivel sin incrementar el tiempo de acceso. 1. Introducción al paralelismo 20

21 Tendencias Arquitectónicas La arquitectura traslada los avances tecnológicos al rendimiento y a la capacidad. Resuelve los compromisos entre paralelismo y localidad. Microprocesadores actuales: 1/3 computación, 1/3 cache, 1/3 conexiones off-chip. Los compromisos pueden cambiar con los avances en la escala de integración y la tecnología. Entender las tendencias arquitectónicas en microprocesadores ayuda a entender las cuestiones de diseño de máquinas paralelas, muestra la integración del proceso paralelo incluso en máquinas secuenciales. 1. Introducción al paralelismo 21

22 Tendencias Arquitectónicas La mayor tendencia en la generación VLSI consiste en incrementar el paralelismo Hasta 1985, paralelismo a nivel de bit: 4 bits 8 bits 16 bits. Desaceleración hasta 32 bits. Adopción de 64 bits actualmente; 128 bits lejano (no influye demasiado en el rendimiento). Punto de inflexión: unión de microprocesador de 32 bits y cache en un único chip. 1. Introducción al paralelismo 22

23 Tendencias Arquitectónicas La mayor tendencia en la generación VLSI consiste en incrementar el paralelismo Mediados de los 80 a mediados de los 90: paralelismo a nivel de instrucción. Segmentación y conjunto de instrucciones reducido (RISC), junto con avances en compiladores. Múltiples unidades funcionales y caches en único chip => ejecución superescalar. Mayor sofisticación: ejecución fuera de orden, especulación, predicción. Para tratar con problemas de transferencia de control y latencia. Siguiente paso: paralelismo a nivel de hebras. 1. Introducción al paralelismo 23

24 Fases en la generación VLSI Transistors 100,000,000 10,000,000 1,000, ,000 10,000 i4004 Bit-level parallelism Instruction-level Thread-level (?) i8008 i8080 i80286 i8086 R10000 Pentium i80386 R2000 R3000 1, Introducción al paralelismo 24

25 Rendimiento de ILP Fraction of total cycles (%) Number of instructions issued Recursos y ancho de banda infinitos para fetch. Renombrado y perfecta predicción de saltos. Caches reales (incluye fallos en accesos). Speedup Instructions issued per cycle 1. Introducción al paralelismo 25

26 Resultados de estudios de ILP Maquinas paralelas que pueden emitir 4 instrucciones por ciclo. perfect branch prediction 4x 1 branch unit/real prediction 3x 2x 1x Jouppi_89 Smith_89 Murakami_89 Chang_91 Butler_91 Melvin_91 Estudios reales muestran un speedup de tan solo igual a Introducción al paralelismo 26

27 Rendimiento de computadores I c número de instrucciones del programa CPI ciclos por instrucción τ ciclo de reloj T = Ic CPI τ Desarrollando el término de ciclos por instrucción T = I ( p+ m k ) τ c p número de ciclos del procesador para la ejecución de la instrucción (decodificación, ejecución, etc.) m número de referencias a memoria. k relación en ciclos que existe entre las operaciones del procesador y las operaciones de acceso a memoria. 1. Introducción al paralelismo 27

28 Rendimiento de computadores Repertorio de instrucciones Tecnología del compilador Implementación del computador y control Cache y jerarquía de memoria I c Instrucciones por programa x x p ciclos de procesador x x x C P I m Referencias a memoria x k Latencia de la memoria x τ Ciclo de reloj x x 1. Introducción al paralelismo 28

29 Rendimiento de computadores Clasificación del rendimiento: Rendimiento teórico. Es el máximo rendimiento que se puede alcanzar (rendimiento de pico). Rendimiento real. Es el que se obtiene en un programa determinado. Rendimiento sostenido. Es el más indicativo, representa la media de rendimiento para diversas tareas. 1. Introducción al paralelismo 29

30 Rendimiento de computadores Cálculo del rendimiento (en MIPS): Ic MIPS = T 10 6 f f Ic MIPS = = CPI 10 C 10 CPI = C I c Introducción al paralelismo 30

31 Rendimiento de computadores Nombre Valor MFLOPS megaflops = 10 6 GFLOPS gigaflops = 10 9 TFLOPS teraflops = PFLOPS petaflops = EFLOPS exaflops = Rango Rango de las workstations actuales Rango de los actuales supercomputadores Rango de los supercomputadores que están apareciendo en la actualidad El sueño, los ingenieros se preguntan qué problemas se podrán resolver con esta potencia Probablemente necesite una tecnología nueva 1. Introducción al paralelismo 31

32 Productividad (throughput) Indica el número de programas que el sistema puede ejecutar por unidad de tiempo: W p = MIPS I c 10 6 = I c f CPI 1. Introducción al paralelismo 32

33 Ejemplo de productividad Computador VAX 11/780 IBM RS/ MHz 25 MHz W p f MIPS 10 6 = = I VAX 11/780 CPI = 5/1 = 5 IBM RS/6000 CPI = 25/18 = I c = MIPS T r = = c Rendimiento 1 MIPS 18 MIPS I c f CPI Tiempo de CPU 12x Relación entre la longitud de los programas: el programa ejecutado en el IBM es 1,5 veces mayor que el ejecutado en el VAX. x 1. Introducción al paralelismo 33

34 Taxonomía de Flynn: SISD: un flujo de instrucciones único trabaja sobre flujo de datos único (arquitectura clásica, superescalares). SIMD: un flujo de instrucciones único trabaja sobre un flujo de datos múltiple (computadores matriciales). MISD: un flujo de instrucciones múltiple trabaja sobre un flujo de datos único (clase no implementada, resultado de la clasificación). MIMD: un flujo de instrucciones múltiple trabaja sobre un flujo de datos múltiple (multiprocesadores). 1. Introducción al paralelismo 34

35 Taxonomía de Flynn UC UP Dato SISD UP Dato UC UP Dato UP Dato SIMD UC UP UC UP Dato UC UP MISD UC UP Dato UC UP Dato UC UP Dato MIMD 1. Introducción al paralelismo 35

36 Ley de Amdahl W + W S l n n = W + W n l n S n : mejora del rendimiento (speedup) W l : parte no paralelizable W n : parte paralelizable n: número de procesadores 1. Introducción al paralelismo 36

37 Ley de Amdahl Carga 8% W l W n 14% W l Porcentaje de la parte no paralelizable sobre el total de la carga 20% W 25% l 29% W 33% l W l Wl W n W n W n Wn Wn Nº EPs Introducción al paralelismo 37

38 Paralelismo: Conjunto de tareas independientes entre sí susceptibles de ser llevadas a cabo de forma simultánea. Tipos de paralelismo: en cuanto al hardware: Monoprocesadores Segmentación División funcional Multiprocesadores SIMD MIMD Acoplo fuerte Acoplo moderado Acoplo débil en cuanto al software: SPMD: El mismo programa es cargado en múltiples procesadores y se ejecuta sobre conjuntos de datos distintos. MPMD: Cada procesador ejecuta programas distintos. Esta estructura suele ser del tipo maestro-esclavo en la que un procesador coordina el trabajo del resto. 1. Introducción al paralelismo 38

39 Niveles de paralelismo en un programa Aumento de la necesidad de comunicación y planificación Mayor grado de paralelismo Programa, trabajo (job) Módulo, proceso Función, rutina, tarea (task) Bucle Instrucción, sentencia Paralelismo de grano grueso Paralelismo de grano medio Paralelismo de grano fino Explotado por el diseñador del algoritmo o el programador Puede ser necesario el programador, con ayuda del compilador Explotado por el compilador o el hardware 1. Introducción al paralelismo 39

40 Entornos de programación paralela El aprovechamiento de un computador paralelo depende, en gran medida, del entorno de programación en dos facetas: Las herramientas de programación. El sistema operativo. 1. Introducción al paralelismo 40

41 Enfoques del paralelismo en computadores paralelos: Paralelismo implícito: se programa en lenguaje secuencial y el compilador se encarga de paralelizar y asignar recursos. Pequeño aprovechamiento (depende de la inteligencia del compilador). El trabajo del programador es fácil. Aprovecha todo el código secuencial existente. Paralelismo explícito: se usan dialectos paralelos de programación. Mejor aprovechamiento de las posibilidades paralelas de la máquina. Más trabajo para el programador. 1. Introducción al paralelismo 41