Taller de Programación Paralela

Transcripción

1 Taller de Programación Paralela Departamento de Ingeniería Informática Universidad de Santiago de Chile March 17, 2008

2 Qué es paralelismo? Una estrategia compuesta de elementos de hardware y software para resolver complejos problemas computacionales, en forma más rápida. En términos simples, paralelismo se logra realizando las siguientes etapas 1. Dividir el problema en tareas más pequeñas 2. Asignar las tareas a un conjunto de procesadores que trabajen simultáneamente 3. Coordinar a los procesadores Una solución secuencial sólo se preocupa de encontrar un algoritmo que resuelva el problema. Paralelismo implica además considerar la infraestructura paralela. 2 / 28

3 Velocidad secuencial Considere un procesador moderno de 3.0 Ghz el cual completa una instrucción en 3 ciclos. Luego N = (ciclos/s) 1 (inst./ciclo) = instrucciones por segundo Es decir, en 60 segundos, el procesador ejecutaría, 60 mil millones de instrucciones. Consideraciones de acceso a memoria, memoria cache, contención del bus, y otros aspectos impiden alcanzar este rendimiento En grandes aplicaciones paralelas se requieren Trillones (10 12 ) de operaciones por segundo 3 / 28

4 Supercomputadores tradicionales 1. Tecnología Procesador creado específicamente para un supercomputador Max. performance posible con buen ancho de banda de memoria 2. Beneficios Programación secuencial Más de 30 años de desarrollo de herramientas de software I/O es relativamente simple 3. Limitaciones Procesadores dedicados extremadamente caros Se requiere de sistemas sofisticados de enfriamiento Rendimiento por procesador llegando a un ĺımite 4 / 28

5 Supercomputadores paralelos 1. Tecnología 2. Beneficios Uso de muchos procesadores pequeños que trabajen en una parte del problema a resolver Capitalización de la inversión de la industria de microprocesadores y redes Variedad de procesadores de propósito general en el mercado Buena capacidad de escalamiento Más barato 3. Limitaciones Nueva tecnología; programación paralela Códigos secuenciales no sirven Necesidad de nuevas tecnologías de software: compiladores, depuradores I/O más complicado 5 / 28

6 Programación paralela Programación paralela involucra 1. Descomposición de la tarea en partes más simples 2. Distribución de las tareas en un pool de procesadores 3. Coordinación del trabajo y comunicación entre procesadores Consideraciones 1. Tipo de arquitectura paralela usada 2. Tipo de comunicación entre procesadores usada 6 / 28

7 Procesador escalar Un procesador escalar base consiste de un procesador que emite una instrucción por ciclo También existe una o más unidades de I/O Los elementos se comunican a través de un bus del sistema En general, los procesadores escalares están basados en pipelining El 99.2% de los computadores top 500 (2007) tienen procesadores escalares Memoria Principal Bus de Memoria DMA ALU Cache I/O FPU Control Bus de I/O 7 / 28

8 Procesador super escalar Un procesador super escalar emite múltiples instrucciones por ciclo de reloj Por ejemplo, si el procesador tiene m pipelines, puede ejecutar m instrucciones en paralelo (si éstas son independientes) El número real de instrucciones ejecutadas por ciclo depende de la independencia entre las instrucciones. Uso de optimización en fase de compilación for i=0 to N { a[i] = sin(30*i/pi) } a[0] = 0.5 for i=1 to N { a[i] = a[i-1]*sin(30*i/pi) } 8 / 28

9 Procesador vectorial En un procesador vectorial paralelo (PVP) una instrucción opera simultáneamente sobre elementos de vectores o arreglos de datos Generalmente son muy caros y limitados en aplicaciones No hay mucho desarrollo en la actualidad Apoyo del compilador para vectorizar loops (Fortran 90) Ejemplos: Cray SV1, Cray SV2, NEC Earth simulator El 0.8 % de los computadores top 500 (2007) tienen procesadores vectoriales z(1:100) = x(1:100) + y(1:100) 9 / 28

10 Multiprocesadores de memoria compartida Un multiprocesador de memoria compartidad contiene dos o más procesadores escalares que comparten el espacio de memoria. Dos modelos: 1. UMA (Uniform memory-access): la memoria física es compartida por todos los procesadores; por lo tanto el tiempo de acceso es el mismo para todos. 2. NUMA (Non-uniform memory-access): la memoria física esta distribuida (local a cada procesador) y por lo tanto el tiempo de acceso a ella no es uniforme. La colección de todas las memorias locales forman el espacio global de direcciones Programación multihebra usa eficientemente esta aquitectura P 1 P 2 P 3 P n Red de Interconneccion (Bus, Crossbar, Red Multietapas etc) Red de Interconneccion (Bus, Crossbar, Red Multietapas, etc) P 1 P 2 P 3 P n M 1 M 2 M 3 M n I/O M 1 M 2 M p 10 / 28

11 Multiprocesadores de memoria distribuida Cada nodo consiste de un procesador autónomo con memoria local, y dispositivos de I/O. Los nodos se comunican mediante una red de paso de mensajes, la cual provee conexiones punto-a-punto y estáticas La memoria local a cada nodo sólo puede ser accesada por dicho nodo Variadas topologías de interconección: anillo, torus, hypercubo, etc. Librerías nativas para comunicación proveen mejor rendimiento que librerías de propósito general Red de Interconneccion de paso de mensajes (malla, anillo, torus, hipercubo, etc) P 1 M 3 M 1 P 2 M 2 P 3 P n M n 11 / 28

12 Cluster de computadores Cada nodo es un computador separado del resto, ej: PCs, estaciones de trabajo, etc Los nodos pueden o no ser heterogéneos (procesador, velocidad, memoria, SO, otros) Se conectan a través de un red de paso de mensajes Sencillos de construir, actualizar; baratos Limitada escalabilidad I/O puede ser complicado 12 / 28

13 Redes de interconección estáticas Una red de interconexión estática se puede describir mediante un grafo, donde 1. cada nodo es un procesador 2. un arco es un enlace de comunicación estático Criterios de evaluación de una red estática: 1. Número de nodos 2. Diámetro: distancia máxima entre dos nodos 3. Ancho de bisección: mínimo número de arcos que deben ser eliminados para partir el grafo en dos subgrafos de igual tamaño. 4. Número de arcos por nodo 5. Número de enlaces 13 / 28

14 Arreglo lineal y anillo Un arreglo lineal no es lo mismo que un bus. El arreglo presenta mala escalabilidad Tanto el arreglo como el anillo son baratos Propiedad Arreglo Anillo Número de nodos N N Diámetro N 1 N/2 Ancho de bisección 1 2 Arcos por nodo 2 2 Número de enlaces N 1 N / 28

15 Malla y Torus Una malla es un lattice n-dimensional Por ejemplo, para n = 2 tenemos una malla 2D Los enlances adicionales del torus reducen el diámetro a la mitad, respecto de la malla Propiedad Malla Torus Número de nodos N N Tamaño de la malla r r (r = N) r r Diámetro 2(r 1) 2 r/2 Ancho de bisección r 2r Arcos por nodo 4 4 Número de enlaces 2N 2r 2N / 28

16 Árbol binario y estrella El árbol ofrece buena escalabilidad, pero tiene un diámetro largo La raíz es el cuello de botella; lo mismo para la estrella Propiedad Árbol Estrella Número de nodos N N Altura del árbol h = log N h = 2 Diametro 2(h 1) 2 Ancho de bisección 1 N/2 Arcos por nodo 3 N 1 Número de enlaces N 1 N / 28

17 Hipercubo Cubo n-dimensional Cada no se identifica por un número binario Existe un arco entre nodos cuyos identificadores difieren en 1 bit Número de nodos N Dimensión n = log 2 N Diametro n Ancho de bisección N/2 Arcos por nodo n Número de enlaces nn/2 17 / 28

18 Tendencias actuales Memoria distribuida compartida; necesidad de protocolos de coherencia de memoria cache Procesadores que soporten nativamente (en hardware) hebras Combinación de memoria compartida y memoria distribuida Memoria compartida para sistemas masivos 18 / 28

19 Taxonomía Flynn Propuesta para clasificar las arquitecturas de acuerdo a la multiplicidad de los datos e instrucciones 1. Single-Instruction, Single-Data (SISD) Modelo tradicional, escalar Puede tener pipelining 2. Single-Instruction, Multiple-Data (SIMD) Arquitectura vectoriales 3. Multiple-Instruction, Multiple-Data (MIMD) Mutliprocesadores y multicomputadores MIMD de memoria compartida MIMD de memoria distribuda 4. Single-Instruction, Multiple-Data (SIMD) 19 / 28

20 Ensalada de términos SMP: Symmetric Multi Processing NOW: Network of Workstations Clusters Beowulf: clusters compuesto de computadores comerciales de proposito general PVP: Parallel Vector Processing, procesadores vectoriales en computadores paralelos MPP: Massively Parallel Processing; muuuuuchos procesadores Computación distribuida Computación Grid: unifica recursos dispersos geograficamente para sistema computacional virtual y transparente 20 / 28

21 Los supercomputadores más veloces Rank Nombre Procesadores Procesador Tflop/s Sistema (cores) (Linpack) operativo 1 IBM BlueGene/L PowerPC Mhz (dual core) CNK 2 IBM BlueGene/P PowerPC Mhz (dual core) CNK/SLES 3 SGI Altix ICE Intel Xeon 53xx 3 Ghz (quad core) SLES10 4 HP EKA-Cluster Platform Intel Xeon 53xx 3 Ghz (quad core) Linux 5 HP Cluster Platform Intel Xeon 53xx 2.66 Ghz (quad core) Linux 6 Cray Red Storm AMD x86 64 Opteron 2.4 Ghz (dual core) UNICOS/SUSE Linux... 9 Cray XT AMD x86 64 Opteron 2.6 Ghz (dual core) 85.3 UNICOS/Linux 10 Blue Gene/L PowerPC MHz (dual core) 82.1 CNK/SLES HP Cluster Platform (Brazil) 1024 Intel Xeon 53xx 2.3 Ghz (quad core) 6.2 Linux Diinf-USACH 21 / 28

22 Distribución geográfica Región Número Porcentaje Suma Rmax Suma Rpeak Suma computadores (GFlops) (GFlops) procesadores America del Sur % Norte Africa % America del Norte % Asia del Este % Asia Sur Este % Europa del Sur % Australia y % Nueva Zelandia Asia Centro-Sur % Asia Oeste % Europa del Este % Europa del Norte % Europa del Oeste % / 28

23 Distribución por Sistema Operativo Familia Número Porcentaje Suma Rmax Suma Rpeak Número SO computadores (GFlops) (GFlops) procesadores Linux % Unix % BSD Based % Mixed % Mac OS % / 28

24 Distribución por procesador 24 / 28

25 Pasado, presente y futuro 25 / 28

26 Arquitectura del Blue Gene/L Procesador dual 2.8 GFlops, 6.5 GFlops Tarjeta cómputo con dos procesadores, 11.2 GFlops Tarjeta nodo con 16 tarjetas de cómputo, 180 GFlops Rack con 32 tarjetas nodos, 5.6 TFlops Total 350 TFlops 26 / 28

27 Procesador del Blue Gene/L 27 / 28

28 Modelos de programación paralela 28 / 28