Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO. Índice

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO. Índice"

Gregorio Santos Mora
hace 8 años
Vistas:

1 Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO 1 Índice 1. Necesidades de cómputo. Exascale. Arquitecturas de altas prestaciones. Top 500. Green Memoria compartida 1. soporte para programación paralela 2. coherencia de cachés: repaso y directorios 3. modelo de coherencia de memoria (introd.) 3. Memoria distribuida, clusters y cloud 4. Coprocesadores (GPUs y MIC) 2 Page 1

Memoria compartida 1. soporte para programación paralela 2. coherencia de cachés: repaso y directorios 3.

2 Por qué ejecución paralela Es la ejecución paralela una necesidad? A) Demanda de cómputo B) Logros tecnológicos C) Logros en la arquitectura D) Aspectos económicos 3 Demanda de cómputo Grand Challenge: National Science Foundation (NSF) Advisory Committee for Cyberinfrastructure Task Force on Grand Challenges Final Report, March 2011: Exascale Computing: The International Exascale Software Project Roadmap: [pág. 5 y siguientes] 4 Page 2

org/wiki/grand_challenge National Science Foundation (NSF) Advisory Committee for Cyberinfrastructure Task Force on Grand Challenges Final Report, March 2011:

3 Ejemplos Algunos ejemplos:» Modelización y predicción meteorológica y climática» Diseño virtual de productos [ejs., pág. 18, NSF report]» Test de seguridad en automoción» Modelización y procesamiento en astrofísica (IAC)» etc., etc. 5 [lo que ha ocurrido, según P&H Un core]. (Hennessy & Patterson 5 th ed) 6 Page 3

18, NSF report]» Test de seguridad en automoción» Modelización y procesamiento

4 Logros en la arquitectura Evolución de los microprocesadores: ligado al desarrollo VLSI: aumento del nivel de paralelismo interno Hasta 1985: paralelismo entre bits (bit level parallelism): 4 bits 8 bits 16 bits 32 bits» los 32 bits: inflexión: inclusión de caché en el chip» 64, 128 bits Mediados de los 80s hasta hace poco: paralelismo entre instrucciones (instruction level parallelism, ILP), API»(pipelining + RISC) + mejoras en los compiladores» varias unidades funcionales + cachés ejecución superescalar» sofisticación en el control: ejecución fuera de orden, speculative execution, predicción de saltos Logros recientes:» paralelismo entre threads: Intel Multi-Threading» procesadores Multicore» (GP)GPU: procesadores gráficos para HPC: en su momento, revolución en coste: difíciles de programar!: CUDA, OpenCL» MIC: Intel Multiple Integrated Core, más fáciles de programar: OpenMp + vectorización, p.ej. 7 Límites del ILP Resumen resultados experimentales: nº de recursos y ancho de banda de instrucciones infinitos + predicción de salto y renombrado de registros ambos perfectos 30 3 Fraction of total cycles (%) Speedup Number of instructions issued Instructions issued per cycle 8 Page 4

API»(pipelining + RISC) + mejoras en los compiladores» varias unidades funcionales + cachés ejecución superescalar» sofisticación en el control: ejecución fuera de orden, speculative execution,

5 Límites del ILP Otras limitaciones en este tipo de arquitecturas: 1. Su rendimiento máximo está limitado por condiciones físicas (velocidad de la luz, consumo de energía power-aware architectures, etc.) 2. No son escalables 3. En su caso, requiere un alto grado de sofisticación en la generación de código por el compilador 9 ] 10 Page 5

consumo de energía power-aware architectures, etc.) 2. No son escalables 3.

6 Top500 Rendimiento y proyección 11 Top500 Evolución en el tiempo: Rendimiento y proyección Tipo de arquitectura Sistemas operativos Fabricantes Coprocesadores MUY INTERESANTE! Etc. 12 Page 6

7 Top500 Coprocesadores 13 Green500 Sostenibilidad desde nov 07 MFLOPS/watio 14 Page 7

8 Sitios con actualidad en HPC Arquitecturas paralelas: clasificación [Sima97] Computadores paralelos 16 Page 8

scientificcomputing.com/hpc http://www.hpcinthecloud.

9 Computadores paralelos 17 Qué es un computador paralelo: Son un subconjunto de los MIMD de Flynn Varios procesadores o cores, en general, idénticos Los procesadores son normalmente microprocesadores comerciales Una posible clasificación (no excluyente): SMP (Symmetric MP): UMAs, poco escalables Multicore Computación distribuida:» Multicomputadores: demodé. Redes: hipercubo, malla, etc. HPC» MPP (Massive Parallel Processors): NUMAs [nomenclatura Top500]» Computación cluster y cluster + o clusters para HPC: ([2 4] CPU x [4 6] cores + [2 4] {GPU MIC}) x [6 12] procesadores x N racks + red [tipo Infiniband o 100 Gbps]» Computación Grid» Computación Cloud Clusters y Cluster Computing Qué es un cluster: A cluster is a type of parallel a or distributed processing system, which consists of a collection of interconnected stand-alone/complete computers (*) cooperatively working together as a single, integrated computing resource. [Buyya98] (*) interesante: commodity Hw vs. cluster + o cluster-hpc Hw Infraestructura de comunicación: Redes más rápidas que las LAN habituales Protocolos de comunicación con latencias bajas Se basan en el principio SSI (Single System Image) 18 Page 9

HPC» MPP (Massive Parallel Processors): NUMAs [nomenclatura Top500]» Computación cluster y cluster + o clusters para HPC: ([2 4] CPU x [4 6] cores + [2 4] {GPU MIC}) x [6 12] procesadores x N racks +

10 Arquitecturas cluster componentes 19 Clusters + o HPC Se pueden entender como un salto cuantitativo en los clusters (poco que ver con Beowulf o Berkeley) Están diseñados para HPC Tienen del orden de miles de procesadores/núcleos Los procesadores suelen ser multicores Tienden a usar coprocesadores para cómputo, (GP)GPUs o, últimamente, MIC. Usan redes de alta velocidad d ( pata t negra ) 20 Page 10

de miles de procesadores/núcleos Los procesadores suelen ser multicores Tienden a usar coprocesadores

11 Computación Grid Qué es: artículo en IEEE Computer en enero de 2000 (antes de que se acuñara el término Grid Computing): Distributed Net Applications Create Virtual Supercomputers Cluster vs. Grid: Cluster: Red de máquinas dedicadas 100 % a ejecutar una tarea específica. Computación Grid: red de computadores con software adecuado para compartir todos los recursos computacionales existentes en diferentes lugares del planeta: Globus, TeraGrid, etc. Teóricamente abiertos, no como SETI o GIMPS (nros. primos)! 21 [M. Pérez y P. Herrero]? P E R F O R M A N C E 2100 Administrative Barriers Individual Group Department Campus State National Globe Inter Planet Universe Desktop SMPs or SuperComputers Local Cluster Enterprise Cluster/Grid Global Inter Planet Cluster/Grid Cluster/Grid?? 22 Page 11

Computación Grid: red de computadores con software adecuado para compartir todos los recursos computacionales existentes en diferentes lugares del planeta: Globus, TeraGrid, etc.

12 [M. Pérez y P. Herrero] Computación Cloud Business model: Grid computing: project-oriented, in which it is possible to spend an amount of service units, generally CPU hours Example: TeraGrid, proposals for the increasement of computational power Cloud computing: customers pay providers on a consumption basis (such as electricity) Example: EC2 from Amazon (instance hour consumed),s3 from Amazon (GB/Month of storage) Véase 23 Ley de Amdahl Encontrar suficiente paralelismo: Ley de Amdahl Sea un MP con p procesadores o núcleos: speedup (p) = tiempo_de_ejecución (1) / tiempo_de_ejecución (p) Ideal: speedup (p) = p posibilidad de sobrespeedup? Ley de Amdahl: el speedup teórico está limitado por la fracción secuencial s del programa no paralelizable : speedup (p) 1 / (s + (1 - s) / p) 1 / s hasta qué punto es cierta la Ley de Amdahl? P.ej., Gustafson / Shi / Multicores (IEEE Computer, July 08) 24 Page 12

increasement of computational power Cloud computing: customers pay providers on a consumption basis (such as electricity) Example: EC2 from Amazon (instance hour consumed),s3 from Amazon (GB/Month of

13 Overhead del paralelismo No paralelizar por que sí: considérese el overhead asociado Una vez encontrado suficiente trabajo para ejecutar en paralelo l hay que averiguar si merece la pena que se ejecute en paralelo: hay que considerar el coste u overhead asociado a la ejecución en paralelo: Regla ingenieril: sólo ejecutar en paralelo si el ahorro en tiempo es mayor que el overhead 25 Beneficios del paralelismo Merece la pena usar paralelismo? Fácil: multiproceso: throughput Difícil: el gran reto: t ejecución particionamiento + planificación paralelización Óptima: problema NP-completo! 26 Page 13

ingenieril: sólo ejecutar en paralelo si el ahorro en tiempo es mayor que el overhead 25 Beneficios del paralelismo Merece la pena usar paralelismo?

14 Overhead del paralelismo ejs. de overhead: - Coste de arrancar un proceso o un thread. - Coste de comunicar información compartida. - Coste de sincronización. - Coste de la ejecución extra (y redundante) -... El coste puede ser del orden de milisegundos Cuestión muy difícil de analizar pues depende completamente de en qué máquina se ejecute?: más difícil todavía!: NP-completo y encima es una solución no transportable 27 Depuración de pp. paralelos Depuración de programas paralelos: doble: lógica + rendimiento Los programas paralelos son (mucho) más difíciles de depurar que los secuenciales: en principio, i i irrepetibilidad d de las ejecuciones Doble depuración: - Lógica: el programa haga lo que queremos - De rendimiento: haciendo lo que queremos, lo haga de la manera más eficiente: tb. en los programas secuenciales, pero menos ciudadano de primera clase (expresión políticamente incorrecta) depuración lógica + depuración de rendimiento (logical and performance debugging): tema muy abierto todavía: en la vida real, la depuración de rendimiento se hace fundamentalmente probando a ver : versión/ejecución: curva de aprendizaje : no modelos analíticos: si se usan, mucho, herramientas de visualización de ejecuciones 28 Page 14

: más difícil todavía!: NP-completo y encima es una solución no transportable 27 Depuración de pp.

15 Curva de aprendizaje dic t nov oct sep 29 Algunos depuradores para paralelismo / valgrind XMPI GNU: DDD 30 Open MPI: FAQ: Debugging applications in parallel Page 15

org/ XMPI http://www.lam-mpi.org/software/xmpi/ GNU: DDD http://www.gnu.

Documentos relacionados

FUNDAMENTOS DE COMPUTACIÓN PARA CIENTÍFICOS. CNCA Abril 2013

FUNDAMENTOS DE COMPUTACIÓN PARA CIENTÍFICOS CNCA Abril 2013 6. COMPUTACIÓN DE ALTO RENDIMIENTO Ricardo Román DEFINICIÓN High Performance Computing - Computación de Alto Rendimiento Técnicas, investigación