Modelado de los computadores paralelos

Transcripción

1 Modelado de los computadores paralelos Francisco Almeida, Domingo Giménez, José Miguel Mantas, Antonio M. Vidal: Introducción a la rogramación aralela, araninfo Cengage Learning, 2008 Figuras tomadas directamente del libro y de la conferencia de Casiano Rodríguez sobre OpenM 1

2 rogramación paralela Uso de varios procesadores trabajando juntos para resolver una tarea común: Cada procesador trabaja en una porción del problema Los procesos pueden intercambiar datos, a través de: la memoria (Modelo de Memoria Compartida) por una red de interconexión (Modelo de aso de Mensajes) 2

3 aralelismo en monoprocesadores Segmentación encauzada. ipeline Múltiples unidades funcionales Unidades vectoriales (SSE de Intel) rocesadores de E/S Jerarquía de memorias División de memoria en bloques aralelismo a nivel de instrucción (VLIW) Ejecución fuera de orden Especulación Multithreading (posible programación paralela)... 3

4 Segmentación múltiples unidades 4

5 Jerarquía de memorias 5

6 Very Long Instruction Word 6

7 rocesador segmentado Se segmenta el proceso de ejecución de la instrucción: búsqueda, decodificación, ejecución, almacenamiento 7

8 rocesador supersegmentado Cada etapa se divide en subetapas, y se lanzan subetapas sin completar el ciclo de reloj 8

9 rocesador superescalar Lanzar varias instrucciones de forma simultánea (ejecución fuera de orden, especulación...) 9

10 Multithreading Se lanzan varios hilos simultáneamente, que comparten recursos 10

11 Modelos computadores paralelos clasificación de Flynn 11

12 SISD SECUENCIAL (SISD) Modelo Von Neuman Memoria Instrucciones: de memoria a procesador Datos: entre memoria y procesador rocesador 12

13 SIMD Una única Unidad de Control. La misma instrucción se ejecuta síncronamente por todas las unidades de procesamiento. ueden incluirse aquí las GU? programa instrucciones rocesador rocesador rocesador datos 13

14 MIMD Cada procesador ejecuta un programa diferente independientemente de los otros procesadores. Es el modelo general que usaremos. programa instrucciones programa programa instrucciones rocesador rocesador datos datos instrucciones... rocesador datos 14

15 Modelos de computadores paralelos M M M M M M Network Memoria distribuida cada procesador tiene su propia memoria local. Se utiliza paso de mensajes para intercambiar datos. BUS M em o ry Memoria compartida un único espacio de memoria. Todos los procesadores tienen acceso a la memoria a través de una red de conexión: - Bus - Red de barras cruzadas - Red multietapa 15

16 Sistemas de memoria compartida BUS Mem ory Uniform memory access (UMA) Cada procesador tiene acceso uniforme a memoria. También se llaman symmetric multiprocessors (SMs) Non-uniform memory access (NUMA) El tiempo de acceso depende de dónde están los datos. El acceso local es más rápido. Más fácil y barato de escalar que SMs BUS BUS Me m o ry Me m o ry Ne tw o rk 16

17 Sistemas de memoria compartida NUMA: SGI Origin 2000 (antiguo) 17

18 Sistemas de memoria compartida (cc-numa) Ben-Arabí activo? (Centro de Supercomputación de Murcia), otros similares en otros servicios de computación (CESGA, BSC...): Memoria compartida + cluster: 944 cores Arabí: cluster de 102 nodos con 2 quad-core Ben: H Superdome, cc-numa con 128 cores Composición jerárquica con interconexiones crossbar: los computadores y 2 placas de crossbard. Cada computador tiene 4 dual-core Itanium-2 y un controlador para conectar la CU con memoria local y los commutadores crossbar El ancho de banda máximo a memoria en un computador es 17.1 GB/s y con los conmmutadores 34.5 GB/s: el acceso a la memoria es no uniforme, y los usuarios no controlan a qué cores van sus threads, uso de sistema de 18 colas

19 19

20 Memoria compartida Saturno, imagen con hwloc 20

21 Sistemas de memoria distribuida Topologías de red red anillo Diámetro: p/2 Hipercubo Malla Diámetro: p Servidor Estaciones de de ficheros trabajo 21

22 Sistemas de memoria distribuida: híbrido, heterogéneo, jerárquico 22

23 Evolución de los sistemas paralelos TO500 23

24 En Murcia ersonal: Uso de OpenM y MI en monoprocesadores, bipros, quad; GU Empresas y Administración: Redes o multiprocesadores de reducido tamaño Uso para manejo de volúmenes de datos grandes, sin programación paralela Uso de programas paralelos desarrollados por otros Ben-Arabí : supercomputador MC+clusters, computación científica+empresas Universidad: Cartagena: híbrido MC+MD, 12 nodos de 8 núcleos + 2 nodos de 16 núcleos; Xhi + kepler Murcia: híbrido MC+MD, 12 nodos de 8 núcleos? Resolución de problemas científicos, uso mínimo de paralelismo Grupos de investigación: Redes, clusters, GU: para computación científica o paralelismo CC: cluster: tetra con GU 112 c (luna)+2 hexa (marte, mercurio) con GU 1024 c cada uno+multicore 24 c con GU 448 c (saturno); cluster apagado (sol): 3 bipro con duales+ 2 bipros; próximamente muticore con 4 GUs 24

25 Sistemas actuales y futuros Multicore Actual: Bipro y Quad en portátiles, y en sobremesa también hexa, octa... rocesadores específicos Gráficos GU De tratamiento de señal DS FGA y heterogéneos embebidos De juegos, S3 Computadores heterogéneos CU+GU lataformas híbridas Itanium2+Xeon con MC+GU+Xhi... Distribuidos Redes, Grid, Web, Cloud 2, móviles 25

26 ara la próxima sesión Ir pensando temas alternativos para presentaciones del día 7 de noviembre. Se pondrá una lista de posibles temas en la web de la asignatura. Se verá programación en memoria compartida, con OpenM. Consultar la parte correspondiente del capítulo 3 del libro de I. Traer los portátiles para hacer las prácticas a continuación de la clase y en el mismo aula. La primera práctica (común) se hará con los problemas A, B, C y D del concurso de programación paralela de La entrega es el 30 de noviembre. Consultar la tabla de records en luna.inf.um.es. Están resueltos pero habrá que entenderlos y programarlos en OpenM, MI y MI+OpenM intentando mejorar 26 los tiempos.