Modelado de los computadores paralelos

Transcripción

1 Modelado de los computadores paralelos Francisco Almeida, Domingo Giménez, José Miguel Mantas, Antonio M. Vidal: Introducción a la rogramación aralela, araninfo Cengage Learning, 2008 Figuras tomadas directamente del libro y de la conferencia de Casiano Rodríguez sobre OpenM 1

2 rogramación paralela Uso de varios procesadores trabajando juntos para resolver una tarea común: Cada procesador trabaja en una porción del problema Los procesos pueden intercambiar datos, a través de: la memoria (Modelo de Memoria Compartida) por una red de interconexión (Modelo de aso de Mensajes) 2

3 aralelismo en monoprocesadores Segmentación encauzada. ipeline Múltiples unidades funcionales Unidades vectoriales (SSE de Intel) rocesadores de E/S Jerarquía de memorias División de memoria en bloques aralelismo a nivel de instrucción (VLIW) Ejecución fuera de orden Especulación Multithreading (posible programación paralela)... 3

4 Segmentación múltiples unidades 4

5 Jerarquía de memorias 5

6 Very Long Instruction Word 6

7 rocesador segmentado Se segmenta el proceso de ejecución de la instrucción: búsqueda, decodificación, ejecución, almacenamiento 7

8 rocesador supersegmentado Cada etapa se divide en subetapas, y se lanzan subetapas sin completar el ciclo de reloj 8

9 rocesador superescalar Lanzar varias instrucciones de forma simultánea (ejecución fuera de orden, especulación...) 9

10 Multithreading Se lanzan varios hilos simultáneamente, que comparten recursos 10

11 Modelos computadores paralelos clasificación de Flynn 11

12 SISD SECUENCIAL (SISD) Modelo Von Neuman Memoria Instrucciones: de memoria a procesador Datos: entre memoria y procesador rocesador 12

13 SIMD Una única Unidad de Control. La misma instrucción se ejecuta síncronamente por todas las unidades de procesamiento. programa instrucciones rocesador rocesador rocesador datos 13

14 MIMD Cada procesador ejecuta un programa diferente independientemente de los otros procesadores. programa instrucciones programa programa instrucciones rocesador rocesador datos datos instrucciones... rocesador datos 14

15 Modelos de computadores paralelos M M M M M M Network Memoria distribuida cada procesador tiene su propia memoria local. Se utiliza paso de mensajes para intercambiar datos. BUS M em o ry Memoria compartida un único espacio de memoria. Todos los procesadores tienen acceso a la memoria a través de una red de conexión: - Bus - Red de barras cruzadas - Red multietapa 15

16 Sistemas de memoria compartida BUS Mem ory Uniform memory access (UMA) Cada procesador tiene acceso uniforme a memoria. También se llaman symmetric multiprocessors (SMs) Non-uniform memory access (NUMA) El tiempo de acceso depende de dónde están los datos. El acceso local es más rápido. Más fácil y barato de escalar que SMs BUS BUS Me m o ry Me m o ry Ne tw o rk 16

17 Sistemas de memoria compartida NUMA: SGI Origin 2000 (antiguo) 17

18 Sistemas de memoria compartida (cc-numa) Ben-Arabí (Centro de Supercomputación de Murcia): Memoria compartida + cluster: 944 cores Arabí: cluster de 102 nodos con 2 quad-core Ben: H Superdome, cc-numa con 128 cores Composición jerárquica con interconexiones crossbar: los computadores y 2 placas de crossbard. Cada computador tiene 4 dual-core Itanium-2 y un controlador para conectar la CU con memoria local y los commutadores crossbar El ancho de banda máximo a memoria en un computador es 17.1 GB/s y con los conmmutadores 34.5 GB/s: el acceso a la memoria es no uniforme, y los usuarios no controlan a qué cores van sus threads, uso de sistema de colas 18

19 19

20 Memoria compartida Saturno, imagen con hwloc 20

21 Sistemas de memoria distribuida Topologías de red red anillo Diámetro: p/2 Hipercubo Malla Diámetro: p Servidor Estaciones de de ficheros trabajo 21

22 Sistemas de memoria distribuida: híbrido, heterogéneo, jerárquico marte GU luna mercurio GU 112 GU

23 Evolución de los sistemas paralelos TO500 23

24 En Murcia ersonal: Uso de OpenM y MI en monoprocesadores, bipros, quad; GU Empresas y Administración: Redes o multiprocesadores de reducido tamaño Uso para manejo de volúmenes de datos grandes, sin programación paralela Uso de programas paralelos desarrollados por otros Ben-Arabí: supercomputador MC+clusters, computación científica+empresas Universidad: Cartagena: híbrido MC+MD, 12 nodos de 8 núcleos + 2 nodos de 16 núcleos Murcia: híbrido MC+MD, 12 nodos de 8 núcleos? Resolución de problemas científicos, uso mínimo de paralelismo Grupos de investigación Computación Científica y rogramación aralela: Redes, clusters, GU: para computación científica o paralelismo CGUM: tetra con GU 112 c (luna)+2 hexa (marte, mercurio) con GU 1024 c cada uno; cluster (sol): 3 bipro con duales+ 2 bipros; multicore 24 c con GU 448 c 24 (saturno)

25 Sistemas actuales y futuros Multicore Actual: Bipro y Quad en portátiles, y en sobremesa también hexa, octa... rocesadores específicos Gráficos GU De tratamiento de señal DS FGA y heterogéneos embebidos De juegos, S3 Computadores heterogéneos CU+GU Futuro: lataformas híbridas Itanium2+Xeon con MC Distribuidos Redes, Grid, Web, Cloud 2, móviles 25

26 ara la próxima sesión Ir pensando temas alternativos para presentaciones del día 7 de noviembre. Ejemplos: cuántica, paralelismo en.net... Se verá programación en memoria compartida, con OpenM. Consultar la parte correspondiente del capítulo 3 del libro de I. Traer los portátiles para hacer las prácticas a continuación de la clase y en el mismo aula? La primera práctica (común) se hará con el problema D del concurso de programación paralela de Es una multiplicación de cuatro matrices. La entrega es el 30 de noviembre. Consultar en la página del concurso: cpp.fpcmur.es. Está resuelto, pero habrá que hacerlo en OpenM, MI y MI+OpenM, y se 26 valorarán innovaciones y batir el record.