Intersemestral de Arquitectura de Computadoras II. AGPS

Transcripción

1 TEMARIO 1. FUNDAMENTOS TEÓRICOS DEL CÓMPUTO PARALELO Antecedentes Historia del cómputo paralelo Ventajas Taxonomía 1.2. Paradigmas del cómputo paralelo Paradigmas del software paralelo Clasificación de paralelismo Temporal Espacial Independiente Niveles de paralelismo Desempeño Ley de Amdahl 1.3. Paralelismo en los programas Estructuras de datos Paralelismo de datos Localidades de datos Ciclos paralelos Sentencias para control paralelo Pipelining 1.4. Arquitecturas paralelas de computadoras Tipos de organización de procesadores Rejilla Hiperárbol Pirámide Hipercubo Conexión cubo en ciclos 2. ALGORITMOS PARALELOS Y COMPLEJIDAD COMPUTACIONAL Flujo de datos y paralelismo implícito Von Neumann vs. Paralelo 2.2. Modelos computacionales RAM y PRAM Introducción Modelos de PRAM Tipos de PRAM CRCW Algoritmos PRAM Modelo del árbol binario Reducción paralela Suma de n valores 2.3. Organización de procesadores Organización de procesadores representados por grafos Diámetro Ancho de bisección de la red Número de aristas por nodo 1/61

2 2.4. Introducción a la complejidad de los algoritmos paralelos Tiempos de corrimiento La gran O 3. DISEÑO DE PROGRAMAS PARALELOS 3.1. Modelos de cómputo paralelo Modelos de hardware paralelo Tipos de sistemas de memoria Sistemas de memoria única Sistemas de memoria múltiple Modelos de ejecución paralela Paralelismo a nivel procesos Paralelismo a nivel hilos Paralelismo a nivel declaraciones Modelos de computación distribuida Modelo MPI (Message-Passing-Interface) Modelo PVM (Parallel Virtual Machine) 3.2 Control del paralelismo Segmentos Procesos Semáforos Lectores y escritores Secciones críticas Sincronización Comunicación interprocesos 3.3 Tendencias del cómputo paralelo Proyecto Grid Intersemestral de Arquitectura de Computadoras II. 4 HERRAMIENTAS PARA PROGRAMACIÓN PARALELA 4.1 Introducción a los clusters Linux 4.2 Ventajas y desventajas entre PVM, MPI y Cilk 2/61

3 1.1 Antecedentes Historia del Cómputo Paralelo Inicia en el año de 1955 con Gene Amdahl en los Estados Unidos, trabajando en la compañía IBM. (Ver documento) Que es el procesamiento en paralelo? Es la división del trabajo en pequeñas tareas. Asignar varias pequeñas tareas a múltiples empleados para trabajar simultáneamente. El procesamiento en paralelo es el uso de múltiples procesadores para ejecutar diferentes partes del mismo programa simultáneamente. Dificultades: coordinación, controlar y monitorear trabajadores Las principales metas del procesamiento en paralelo son: Resolver problemas más grandes más rápido Reducir el tiempo de ejecución de los programas de cómputo Incrementar el tamaño de los problemas computacionales que se pueden resolver. En la actualidad existen varias líneas de investigación dentro del cómputo paralelo, así como también diversos equipos, lenguajes y aplicaciones Ventajas La idea de crear el cómputo paralelo surge de las siguientes necesidades: efectuar operaciones mucho más rápido, procesar grandes volúmenes de información y obtener resultados en el menor tiempo posible Estas necesidades son el por qué y a la vez las principales metas del cómputo paralelo. Definiciones: Computadora paralela Es una colección de procesadores interconectados de alguna forma dentro de un mismo gabinete, para intercambiar información. Sistema distribuido Físicamente los procesadores se encuentran distantes (WAN, LAN). Distribuidos geográficamente en áreas grandes Taxonomía Taxonomía (del griego ταξις, taxis, "ordenamiento", y νοµος, nomos, "norma" o "regla") significa ciencia de la clasificación. La clasificación de computadoras debe ser en base a las características más notorias y no en las más detalladas que aparecen en las hojas de datos (data sheets). Existen varias taxonomías o clasificaciones de computadoras, como la de Skillicorn, la de Shore (6 tipos), la de Handler, y la taxonomía estructural de Hockney and Jesshope. (Ver ) La más importante de estas clasificaciones es la de Flynn. Taxonomía de Flynn: clasifica las computadoras (su arquitectura y sus sistemas operativos) de acuerdo a la capacidad de un sistema de procesar uno o más flujos [FLYNN72], [FLYNN96] simultáneos de datos (data streams) e instrucciones (instruction stream) 3/61

4 SISD - Single Instruction Stream, Single Data Stream Paralelismo a Nivel de Instrucciones (ILP: instruction-level paralelism) Pipelining Superscalar Processors [SMITH] VLIM: very long instruction word [CRUSOE1] [CRUSOE2] SIMD - Single Instruction Stream, Multiple Data Stream Synchronous, Systolitic Array Processors Associative Memories Vector Processors: CRAY, Illiac-IV, CM-1 [ASANOVIC] Intel MMX, XMM [MMX] [MMX1] [MMX2] MISD - Multiple Instruction Stream, Single Data Stream Radar, Tomografía, Sonografía y Resonancia Magnética Procesadores DSP (Digital Signal Processing) Procesadores Redundantes (Fault Tolerant Systems) Máquinas Criptográficas Information Filters and Data Mining Processors MIMD - Multiple Instruction Stream, Multiple Data Stream Tightly Coupled Multiprocessors SMP: Symmetric (Shared Memory) Multiprocessor Systems [top500.org] Shared Disk Systems: RAID, Disk Arrays Dataflow Machines HP ASCI White: 8K CPUs, 12Tflops, $110M (2nd TOP500) [ASCI] NEC Earth Simulator: 5K CPUs, 40Tflops, 10Tb RAM (1st TOP500)[ESC] IBM ASCI Purple: 12K CPUs, 100Tflops, 50Tb RAM, $290M (2004) [Jones] Blue Gene: 4M CPUs, 1 petaflop (10 15 flops), 2004 [IBM][WIRED][AR] Fig. 1. Módulos de Blue Gene MIMD ligeramente acoplados: Redes, Sistemas Distribuidos, Cluster Computing [Clusters], C/S, P2P, Web Services, etc. [SETI]: Search for Extraterrestrial Intelligence, Grid Computing 4/61

5 Taxonomía de Skillicorn: Extensión de la Taxonomía de Flynn para discriminar hasta 28 clases MP distintas, en base a: [SKIL88] No. procesadores de instrucciones (IPs) No. unidades de memoria para instrucciones (IMs) Tipo de conexión IPs - IMs No. procesadores de datos (DPs) No. unidades de memoria de (DMs) Tipo de conexión DPs - DMs Tipo de conexión IPs - DPs Tipo de conexión DPs - DPs 5/61

6 1.2 Paradigmas del cómputo paralelo Paradigmas del software paralelo Existen varios métodos de programar computadoras paralelas. Los dos más comunes son paso de mensajes y paralelismo de datos. Paso de mensajes (message passing) el usuario hace llamado a librerías para específicamente compartir información entre procesadores. Paralelismo de datos (data parallel) la partición de datos determina el paralelismo Memoria compartida (shared memory) multiples procesadores comparten un espacio de memoria común Operación remota de memoria (remote memory operation) un conjunto de procesadores en los cuales un proceso puede accesar la memoria de otro proceso sin su participación Hilos ( threads) un sólo proceso tiene múltiples (y concurrentes) rutas de ejecución Modelos combinados (combined models) compuestos de dos o más modelos de los mencionados arriba. Nota: estos modelos son independientes de la máquina/arquitectura; cualquiera de los modelos puede ser implementado en cualquier hardware con el soporte de un sistema operativo apropiado. Una implementación efectiva es aquella que se acerque más al modelo de hardware y le dé al usuario facilidad en la programación. Message Passing The message passing model is defined as: set of processes using only local memory processes communicate by sending and receiving messages data transfer requires cooperative operations to be performed by each process (a send operation must have a matching receive) Programming with message passing is done by linking with and making calls to libraries which manage the data exchange between processors. Message passing libraries are available for most modern programming languages. Data Parallel The data parallel model is defined as: Each process works on a different part of the same data structure Commonly a Single Program Multiple Data (SPMD) approach Data is distributed across processors All message passing is done invisibly to the programmer Commonly built "on top of" one of the common message passing libraries Programming with data parallel model is accomplished by writing a program with data parallel constructs and compiling it with a data parallel compiler. The compiler converts the program into standard code and calls to a message passing library to distribute the data to all the processes. 6/61

7 1.2.2 Clasificación del Paralelismo Temporal (pipeline) Un programa se ejecuta de manera secuencial y en cierto momento se dividen las tareas a varias unidades de procesamiento. Al terminar la ejecución en cada unidad, de nuevo se retoma la ejecución secuencial Espacial El paralelismo espacial se produce cuando se tiene varios procesadores y se puede ejecutar un proceso en cada uno de ellos de forma más o menos independiente. En el caso óptimo, el tiempo de ejecución se divide por el número de procesadores que estén trabajando Independiente Este paralelismo no depende de la topología de la red de procesadores, ya que el programa no adapta su estructura al de las conexiones de la red, es decir, no importa cómo están conectados los procesadores, la ejecución del programa en paralelo se realiza Niveles de paralelismo: Existen dos cualidades para la programación en paralelo Granularidad: Es el tamaño relativo de la unidad de cómputo que ejecuta en paralelo. Esta unidad puede ser una declaración, una función o un proceso completo. Canal de comunicación: Es el mecanismo básico por el cual las unidades independientes del programa intercambian datos y sincronizan su actividad Nivel de declaraciones (statement) Es el nivel mas fino de granularidad. Se utiliza en lenguajes como Power C, Fortran 79/90, Power Fortran 79/90. Se usan variables en común dentro de un sistema único de memoria Nivel de hilos (thread) Un hilo es un estado independiente de ejecución, dentro del contexto de un programa más grande, esto es: Un conjunto de registros máquina Una pila (stack) de llamadas La habilidad de ejecutar código. Un programa puede crear varios hilos para ejecutarse en el mismo espacio de dirección. Las razones de usar hilos son la portabilidad y el desempeño. Se comparten los recursos de un solo procesador Nivel de procesos (process) Un proceso en UNIX consiste en Un espacio de dirección Un gran número de valores de estado de proceso Un hilo de ejecución 7/61

8 El mecanismo para comunicación entre procesos puede usarse para Intercambiar datos Coordinar las actividades de múltiples procesos asíncronos Un proceso puede crear uno o más procesos, el proceso que crea otro se llama proceso padre y el creado se llama proceso hijo. El proceso inicial se llama raíz Desempeño El desempeño de un programa en paralelo se mide bajo tres términos: Aceleración (Speed up), Eficiencia, y Costo Donde: T = tiempo en segundos T 1 = Tiempo usando una unidad de procesamiento T p = Tiempo usando dos o más de unidades de procesamiento P = número de unidades de procesamiento Ley de Amdahl La ley de Amdahl se refiere a la aceleración de usar procesadores en paralelo en un problema a comparación de usar solo un procesador serial. Para entender lo que es aceleración, primero veremos que es velocidad. La velocidad de un programa es el tiempo que le toma para ser ejecutado. Esto puede ser medido en cualquier incremento de tiempo. Ahora bien, la aceleración (speedup) se define como el tiempo que le toma a un programa ejecutarse en serial (con un procesador) dividido por el tiempo que le toma ejecutarse en paralelo (con varios procesadores). 8/61

9 1.3 Paralelismo en los programas Estructuras de datos Son de acuerdo a las topologías de red (árbol binario, arreglos lineales, etc.). Los programas aprovechan las conexiones de los procesadores para adaptar las estructuras de los datos que aparecen en el programa Paralelismo de datos Uno de los más sencillos principios de sistemas de programación paralela es el paralelismo de datos (data parallelism). En éste una estructura de datos es distribuida entre los procesos y los procesos individualmente ejecutan las mismas instrucciones en sus datos correspondientes a la estructura. Esto se usa en máquinas SIMD y raramente en MIMD Localidades de datos Se utiliza en la programación de sistemas de memoria distribuida y sistemas de memoria compartida con acceso a memoria no uniforme (NUMA). La comunicación es más cara que el cómputo en sí. X0, X1, X2, X3 => Q0 X4, X5, X6, X7 => Q1 X8, X9, X10, X11 => Q Ciclos paralelos En un sistema de tres procesadores, al primer procesador se le asigna un primer elemento, al segundo el segundo y al tercero el tercero, el cuarto al primero, el quinto al segundo y el sexto al tercero. X0, X3, X6, X9 => Q0 X1, X4, X7, X10 => Q1 X2, X5, X8, X11 => Q3 Bloques de ciclos paralelos X0, X1, X6, X7 => Q0 X2, X3, X8, X9 => Q1 X4, X5, X10, X11 => Q Sentencias para el control paralelo Deben ser explícitas para facilitar la programación de paralelismo de datos. Contienen constructores para distribuir las estructuras de datos entre los procesadores y permiten a cada procesador cargar más o menos las mismas operaciones en su porción de datos Pipelining La extensión más usada del modelo básico de Von Neumann es el pipelining. Si los circuitos contenidos en el CPU son divididos en unidades funcionales y son éstas acomodadas en una línea, esta línea puede, en teoría, producir un resultado en cada ciclo de instrucción. 9/61

10 1.4 Arquitecturas paralelas de computadoras Tipos de organización de procesadores Existen 7 importantes métodos de organización de procesadores para conectar procesadores en una computadora paralela. Redes de Rejilla (Mesh Networks) Redes de árbol binario (Binary Tree Networks) Redes de hiperárbol (Hypertree Networks) Redes de Pirámide (Pyramid Networks) Redes de mariposa (Butterfly Network) Redes de hipercubo (Hypercube Networks) Redes de ciclos de cubos conectados o cubo en ciclos (Cube-Connected Cycles Networks) La organización de procesadores también se le conoce como topología, y de acuerdo a ésta, existen criterios para evaluar cuál modelo es más conveniente que otro. Las aplicaciones también pueden definir si un modelo conviene o no. Criterios de evaluación de modelos: Diámetro Ancho de bisección Número de aristas por nodo Máxima longitud de aristas Grado de una arquitectura Rejilla Arreglos lineales Diámetro: p Ancho de bisección: 1 Número de aristas por nodo: 2 Rejillas Número de nodos: kq Diámetro: q(k-1) Ancho de bisección: kq-1 Número de aristas por nodo: 2q Hiperárbol Árboles binarios Número de nodos: 2k-1 Profundidad: k-1 Diámetro: 2(k-1) (bajo) Ancho de bisección:1 (pobre) Número de aristas por nodo: máximo 3 10/61

11 Para un árbol cuaternario: Profundidad: 4 Número de hojas: 4d Número de nodos: 2d (2d+1 1) Diámetro: 2d Ancho de bisección: 2d+1 Número de aristas por nodo: no más de 6 Intersemestral de Arquitectura de Computadoras II Pirámide Número de nodos: k2 Diámetro: 2 log k Ancho de bisección: 2k Número de aristas por nodo: no más de Hipercubo Dimensión = k Número de nodos: 2k Diámetro: k Ancho de bisección: 2k-1 Número de aristas por nodo: k log (2k) Conexión cubo en ciclos Anillo Diámetro: máximo p/2 Ancho de bisección: 2 Número de aristas por nodo: 2 Conexión cubo en ciclos Dimensión = k Número de nodos: k 2k Diámetro: 2k Ancho de bisección: 2k-1 Número de aristas por nodo: 3 (constante) 11/61

12 Mariposa Número de nodos: (k+1)2k Número de renglones: k+1 (los renglones son numerados de 0 a k) Número de nodos por renglón: 2k Diámetro: 2k Ancho de bisección: 2k-1 Número de aristas por nodo: máximo 4 Material complementario del tema: Types of processor organizations Seven important processor organizations-methods of connecting processors in a parallel computer. Mesh Networks Binary Tree Networks Hypertree Networks Pyramid Networks Butterfly Network Hypercube (Cube-Connected) Networks Cube-Connected Cycles Networks Mesh Networks Nodes are arranged into a q-dimensional lattice. Communication is allowed only between neighboring nodes Two-dimensional meshes. Mesh with no wrap-around connections. Mesh with wrap-around connections between processors in same row or column. Mesh with wrap-around connections between processors in adjacent rows or columns. Wrap-around connections can connect processors in the same row or column adjacent rows or columns. 12/61

13 Evaluation of the mesh Interior nodes communicate with 2q other processors The diameter of a q-dimensional mesh with k q nodes is q(k - 1) The bisection width of a q-dimensional mesh with k q nodes is k q-1. The maximum number of edges per node is 2q. The maximum edge length is a constant, independent of the number of nodes, for two- and three-dimensional meshes. The two-dimensional mesh has been a popular topology for processor arrays Goodyear Aerospace's MPP AMT DAP MasPar's MP The Intel Paragon XP/S multicomputer connects processors with a twodimensional mesh. Binary Tree Networks 2 k 1 nodes are arranged into a complete binary tree of depth k 1. Node has at most three links. Every interior node can communicate with its two children and every node other than the root can communicate with its parent. The binary tree has low diameter - 2(k - 1) poor bisection width of one it is impossible to arrange the nodes of a binary tree in three-dimensional space such that as the number of nodes increases, the length of the longest edge is always less than a specified constant. Hypertree Networks An approach to building a network with the low diameter of a binary tree with an improved bisection width. The easiest way to think of a hypertree network of degree k and depth d is to consider the network from two different angles. From the front a hypertree network of degree k and depth d looks like a complete k-ary tree of height d 13/61

14 From the side, the same hypertree network looks like an upside down binary tree of height d. Joining the front and side views yields the complete network. Hypertree evaluation 4-ary hypertree with depth d has 4 d leaves 2 d (2 d+1-1) nodes. diameter is 2 d bisection width is 2 d+1 number of edges per node is never more than six maximum edge length is an increasing function of the problem size. Hypertree network of degree 4 and depth 2 (a) Front view (b) Side view (c) Complete network. Connection Machine CM-5 multicomputer is a 4-ary hypertree. Pyramid Networks An attempt to combine advantages of mesh networks tree networks. A pyramid network of size k 2 is a complete 4-ary rooted tree of height log 2 k augmented with additional interprocessor links the processors in every tree level form a 2-D mesh network A pyramid of size k 2 has at its base a 2-D mesh network containing k 2 processors. The total number of processors in a pyramid of size k 2 is (4/3)k 2 - (1/3). The levels of the pyramid are numbered in ascending order The base has level number 0, and the single processor at the apex of the pyramid has level number log 2 k. 14/61

15 Pyramid network of size 16. Every interior processor is connected to nine other processors: one parent, four mesh neighbors, four children. Pyramid evaluation The advantage of the pyramid over the 2-D mesh is the pyramid reduces the diameter of the network. When a message must travel from one side of the mesh to the other, fewer link traversals are required if the message travels up and down the tree rather than across the mesh. The diameter of a pyramid of size k 2 is 2log k. The addition of tree links does not give a significantly higher bisection width than a 2-D mesh. The bisection width of a pyramid of size k 2 is 2k. The maximum number of links per node is no greater than nine, regardless of the size of the network. Unlike a 2-D mesh, the length of the longest edge is an increasing function of the network size. Butterfly Network consists of (k+1)2 k nodes divided into k+1 rows, or ranks, each containing n=2 k nodes. The ranks are labeled 0 through k. The ranks 0 and k are sometimes combined, giving each node four connections to other nodes. 15/61

16 Node connection Let node(i, j) refer to the jth node on the ith rank, where 0 <= i <=k and 0 <= j < n. Node(i, j) on rank i > 0 is connected to two nodes on rank i-1, node(i-1, j) and node(i-1, m), m is the integer found by inverting the ith most significant bit in the binary representation of j If node(i, j) is connected to node(i-1, m), then node(i, m) is connected to node(i- 1, j). Butterfly evaluation As the rank numbers decrease, the widths of the wings of the butterflies increase exponentially. The length of the longest network edge increases as the number of network nodes increases. The diameter of a butterfly network with (k + 1)2 k nodes is 2k. The bisection width is 2 k-1. A butterfly network serves to route data from non local memory to processors on the BBN TC2OOO multiprocessor. Hypercube A cube-connected network, also called a binary n-cube network, is a butterfly with its columns collapsed into single nodes. Consists of 2 k nodes forming a k-dimensional hypercube. 16/61

17 The nodes are labeled 0, 1 2 k -1; Two nodes are adjacent if their labels differ in exactly one bit position. A four-dimensional hypercube. Hypercube evaluation The diameter of a hypercube with 2 k nodes is k The bisection width of that size network is 2 k-1, The hypercube organization has low diameter High bisection width at the expense of the number of edges per node and the length of the longest edge. The number of edges per node is k-the logarithm of the number of nodes in the network. The length of the longest edge in a hypercube network increases as the number of nodes in the network increases. Cube-Connected Cycles Networks The cube-connected cycles network is a k-dimensional hypercube 2 k "vertices" are actually cycles of k nodes. For each dimension, every cycle has a node connected to a node in the neighboring cycle in that dimension. 17/61

18 24-node cube-connected cycles network. Cycles hypercube evaluation Node(i, j) is connected to node(i, m) if and only if m is the result of inverting the ith most significant bit of the binary representation of j. Compared to the hypercube, the cube-connected cycles processor organization has the advantage the number of edges per node is three - a constant independent of network size. Disadvantage the diameter is twice that of a hypercube the bisection width is lower. Given a cube-connected cycles network of size k2 k, its diameter is 2k its bisection width is 2 k-1 18/61

19 CHARACTERISTICS OF VARIOUS PROCESSOR ORGANIZATIONS Network Nodes Diameter Bisection Width Constant Number of Edges Constant Edge Length 1-D mesh k K-1 1 Yes Yes 2-D mesh k 2 2(k-1) K Yes Yes 3-D mesh k 3 3(k-1) k 2 Yes Yes Binary tree 2 k -1 2(k-1) 1 Yes No 4-ary 2 k (2 k+l -1) 2k 2 k+i Yes No hypertree Pyramid (4k 2-1)/3 2logk 2k Yes No Butterfly (k+1)2 k 2k 2k Yes No Hypercube 2 k K 2 k-1 No No Cubeconnected k2 k 2k 2 k-1 Yes No cycles Shuffleexchange 2 k 2k-1 >=2 k-1 /k Yes No de Bruijn 2 k K 2 k /k Yes No 19/61

20 2.1 Flujo de datos y paralelismo implícito Von Neumann vs. Paralelo Parallel random access machine (PRAM) Provides a mental break from the Von Neumann model and sequential algorithms. PRAM (pronounced "pea ram") model of parallel computation. Allows parallel-algorithm designers to treat processing power as an unlimited resource Unrealistically simple; Ignores the complexity of interprocessor communication. The designer of PRAM algorithms can focus on the parallelism inherent in a particular computation. Cost-optimal PRAM solutions exist, meaning that the total number of operations performed by the PRAM algorithm is of the same complexity class as an optimal sequential algorithm. Cost-optimal PRAM algorithms can serve as a foundation for efficient algorithms on real parallel computers. 2.2 Modelos computacionales RAM y PRAM Introducción RAM, model of Serial Computation The random access machine (RAM) is a model of a one-address computer. Consists of: memory read-only input tape write-only output tape program RAM program The program not stored in memory can not be modified. 20/61

21 The input tape contains a sequence of integers. Every time an input value is read, the input head advances one square. The output head advances after every write. Memory consists of an unbounded sequence of registers r0, r1, r2,. Each register can hold a single integer. Register r0 is the accumulator, where computations are performed. The exact instructions are not important, as long as they resemble the instructions found on an actual computer. load, store, read, write, add, subtract, multiply, divide, test, jump, and halt. RAM Time Complexity The worst-case time complexity of a RAM program is the function f(n) maximum time taken by the program to execute over all inputs of size n. The expected time complexity of a RAM program is the average, over all inputs of size n, of the execution times. Analogous definitions hold for worst-case space complexity expected space complexity. There are two ways of measuring time and space on the RAM model. uniform cost criterion logarithmic cost criterion Cost criterion The uniform cost criterion says each RAM instruction requires one time unit to execute every register requires one unit of space. The logarithmic cost criterion takes into account that an actual word of memory has a limited storage capacity. The uniform cost criterion is appropriate if the values manipulated by the program always fit into one computer word. The PRAM model of parallel computation A PRAM consists of a control unit global memory an unbounded set of processors each with its own private memory Active processors execute identical instructions Every processor has a unique index The value of a processor's index can be used to enable or disable the processor 21/61

22 Influence which memory location it accesses Intersemestral de Arquitectura de Computadoras II. PRAM computation A PRAM computation begins with input stored in global memory single active processing element. During each step, an active enabled processor read a value from a single private or global memory location perform a single RAM operation write into one local or global memory location. may activate another processor. The processors are synchronized. All active, enabled processors must execute the same instruction, on different memory locations. The computation terminates when the last processor halts. 22/61

23 2.2.2 Modelos de PRAM differ in how they handle read or write conflicts; when two or more processors attempt to read from, or write to, the same global memory location. 1 EREW (Exclusive Read Exclusive Write): Read or write conflicts are not allowed. 2 CREW (Concurrent Read Exclusive Write): Concurrent reading allowed; i.e., multiple processors may read from the same global memory location during the same instruction step. Write conflicts are not allowed. (This is the default PRAM model.) 3 CRCW (Concurrent Read Concurrent Write): Concurrent reading and con-current writing allowed. A variety of CRCW models exist with different policies for handling concurrent writes to the same global address Tipos de PRAM CRCW Three different models: Common Arbitrary Priority Various CRCW PRAM a. Common. All processors concurrently writing into the same global address must be writing the same value. b. Arbitrary. If multiple processors concurrently write to the same global address, one of the competing processors is arbitrarily chosen as the "winner," and its value is written into the register. c. Priority. If multiple processors concurrently write to the same global address, the processor with the lowest index succeeds in writing its value into the memory location. Strengths of PRAM models EREW PRAM model is the weakest. Clearly a CREW PRAM can execute any EREW PRAM algorithm in the same amount of time; the concurrent read facility is simply not used. CRCW PRAM can execute any CREW PRAM algorithm in the same amount of time. 23/61

24 PRIORITY PRAM model is the strongest. Any algorithm designed for the COMMON PRAM model will execute with the same complexity on the ARBITRARY PRAM and PRIORITY PRAM models Strengths of PRAM models (2) if all processors writing to the same location write the same value, choosing an arbitrary processor would cause the same result. if an algorithm executes correctly when an arbitrary processor is chosen as the "winner," the processor with the lowest index is as reasonable an alternative as any other. Any algorithm designed for the ARBITRARY PRAM model will execute with the same time complexity on the PRIORITY PRAM model. Because the PRIORITY PRAM model is stronger than the EREW PRAM model, an algorithm to solve a problem on the EREW PRAM can have higher time complexity than an algorithm solving the same problem on the PRIORITY PRAM model. Increase in parallel time complexity The increase in parallel time complexity can occur when moving from the PRIORITY PRAM model to the EREW PRAM model. Lemma. A p-processor EREW PRAM can sort a p-element array stored in global memory in θ(log p) time. Theorem. A p-processor PRIORITY PRAM can be simulated by a p-processor EREW PRAM with the time complexity increased by a factor of θ(log p). Simulation PRIORITY PRAM by EREW PRAM Assume the PRIORITY PRAM algorithm uses processors P 1, P 2 P p global memory locations M 1, M 2 M m. The EREW PRAM uses auxiliary global memory locations T 1, T 2 T p and S 1, S 2 S p to simulate each read or write step of the PRIORITY PRAM. When processor Pi in the PRIORITY PRAM algorithm accesses memory location Mj, processor Pi in the EREW PRAM algorithm writes the ordered pair (j,i) in memory location Ti. Then the EREW PRAM sorts the elements of T. This step takes time θ(log p) (Lemma). By reading adjacent entries in the sorted array, the highest priority processor accessing any particular location can be found in constant time. Processor P 1 reads memory location T 1, retrieves the ordered pair (i1,j1), and writes a 1 into global memory location Sj 1 24/61