Procesamiento paralelo: Paralelismo en sistemas monoprocesadores Mecanismos de procesamiento en paralelo. Multiprogramación y Tiempo compartido.

Transcripción

1 Paralelismo en Sistemas Procesamiento paralelo: Paralelismo en sistemas monoprocesadores Mecanismos de procesamiento en paralelo. Multiprogramación y Tiempo compartido. Paralelismo en sistemas multiprocesador Principales Características de los Sistemas Multiprocesadores Estructura lógica Organización vertical Organización horizontal Estructura física Transferencia de datos Interconexión topológica Estructura lazo cerrado Estructura completa Estructura bus común Estructura en estrella Modos de interacción Sistemas débilmente acoplados Sistemas fuertemente acoplados Sistemas medianamente acoplados Descomposición de tareas Granularidad Paralelismo en sistemas simétrico Paralelismo en sistemas asimétrico Bibliografía

2 Procesamiento paralelo: Es una forma eficaz de procesamiento de información que favorece la explotación de los sucesos concurrentes en el proceso de la computación. (Hwang kai, 1984). Existen varios sucesos, mencionados a continuación: Sucesos paralelos: Son los que pueden producirse en diferentes recursos durante el mismo intervalo de tiempo. Sucesos simultáneos: Son los que pueden producirse en el mismo instante de tiempo. Sucesos solapados: Son lo que pueden producirse en intervalos de tiempo superpuestos. El nivel más alto de procesamiento paralelo se aplica a trabajos y programas múltiples a través de la multiprogramación, el tiempo compartido y el multiprocesamiento. El procesamiento paralelo puede abordarse por niveles, el nivel superior se aborda a menudo algorítmicamente, y el nivel inferior se implementa con frecuencia directamente por medios hardware. Lo que se intenta es tener un balance entre técnicas software y hardware, para tener una combinación de ambos. Este procesamiento engloba conocimientos de: Algoritmos. Lenguajes. Software. Hardware. Evaluación de rendimiento. Alternativas de computación. Se encuentra dividido en: Procesamiento paralelo Procesamiento distribuido. Primero mencionar que se empezó con un solo procesador central, denominado monoprocesador, y luego se desarrollo aún más, hasta llegar a los sistemas multiprocesadores. Los cuales son procesadores múltiples con espacio de memoria y periféricos compartidos bajo control de un sistema operativo integrado. Paralelismo en sistemas monoprocesadores Todos estos sistemas tienen casi la misma estructura básica, la cual consta de tres partes: UCP (Unidad Central de Procesamiento). Memoria principal. Subsistema de entrada y salida. Entre las computadoras más conocidas comercialmente se encuentran: VAX-11/780: Fabricado por Digital Equipment company. IBM Sistema 370/modelo 168. Hablaremos de cómo dotar de paralelismo a los sistemas monoprocesadores. Es fundamental empezar primero con planteamientos de hardware, para buscar la multiplicidad de recursos y el solapamiento en el tiempo. Es necesario equilibrar las velocidades de proceso de los diferentes subsistemas, esto con el propósito de evitar cuellos de botella e incrementar productividad total del sistema, esto

3 consiste en el número de instrucciones efectuadas por unidad de tiempo. Por eso es importante mencionar los mecanismos de procesamiento en paralelo. Mecanismos de procesamiento en paralelo. Están clasificados en seis categorías: Multiplicidad de unidades funcionales: Los computadores antiguos sólo tenían una Unidad Aritmético Lógica (UAL) en la CPU, la limitación que esta tenía era que sólo podía realizar una función cada vez, lo que evidentemente lo hacía un proceso lento. Lo que busca con la multiplicidad de unidades funcionales es, que las funciones de la UAL se distribuyan sobre las múltiples unidades funcionales especializadas que puedan operar en paralelo, trata principalmente en crear secciones funcionales especificadas que desarrollen tareas en paralelo y produzcan resultados. Paralelismo y segmentación encausada dentro de la CPU: Un ejemplo de esto, puede tomarse lo dicho en el párrafo anterior, múltiples unidades funcionales. Se fraccionan las instrucciones, extracción de instrucciones, codificación, extracción de operandos, ejecución y almacenamiento, en etapas, para ser almacenadas en cascada formando un cauce. La mayoría de los sistemas monoprocesadores comerciales están hoy en día encauzadas en la CPU con un periodo de reloj entre 10 y 500 nseg. Solapamiento de las operaciones de CPU y de dispositivos de entrada y salida (E/ S). Estas operaciones se pueden ejecutar simultáneamente con los cálculos CPU. Esto es posible utilizando controladores de E/S canales o procesadores de E/S separados. Uso de un sistema jerárquico de memoria Este tipo de sistema ayuda para acortar la diferencia de velocidad que existe entre el procesador y la memoria. Esta jerarquía puede visualizarse mediante la siguiente ilustración. Es muy importante mencionar que para mitigar la diferencia de velocidad entre el procesador y la memoria principal, se han incorporado un tipo de memoria especial denominada cache. Equilibrio de los anchos de banda de los subsistemas. Como se mencionó anteriormente, la CPU es la unidad más rápida del computador, después sigue la memoria principal. Y por último y más lenta los dispositivos de entrada y salida.

4 La definición de ancho de banda se define como: número de operaciones efectuadas por unidad de tiempo. El ancho de banda de la memoria principal se mide por el número de palabras de memoria que pueden ser accedidas por unidad de tiempo, y el ancho de banda del procesador se mide por la máxima velocidad de cálculo bus procesadas en la CPU. Equilibrado del ancho de banda entre CPU y la memoria principal. Se ha tratado de solucionar este problema implementando memorias cache que sirvan de intermedio para instrucciones y datos. Equilibrado del ancho de banda entre memoria y dispositivos de entrada y salida. Busca utilizar canales de entrada y salida con diferentes velocidades, los cuales realizan funciones de memorización y multiplexión para transferir datos desde múltiples discos hasta la memoria principal mediante el robo de ciclos a la CPU, además utilizar controladores de disco inteligentes o máquinas de buses de datos para filtrar los datos relevantes de las pistas del disco. Todo esto pretende aliviar el problema de saturación del canal. Multiprogramación y Tiempo compartido. Multiprogramación: La multiprogramación en un monoprocesador se centra en la compartición de la CPU por muchos programas. Esto ayuda a reducir el tiempo de ejecución total. La filosofía de la multiprogramación es conseguir la interacción de unos programas con otros y favorecer la mejor utilización de los recursos mediante el solapamiento de las operaciones de CPU y de E/S. Tiempo compartido: Aplica el mismo principio de la multiprogramación, solo que esta mejorado, ya que puede suceder que algún programa utilice un recurso hardware durante mucho tiempo, esto provoca que no se dé procesamiento paralelo, debido a que un solo programa está acaparando el recurso que otros programas también necesitan. Sin embargo esto se puede solucionar utilizando los sistemas de tiempo compartido, el cual está manejado por el sistema operativo. El concepto de sistema de tiempo compartido, es una extensión de la multiprogramación, el cual asigna intervalos de fijos o variables de tiempo a múltiples programas. El sistema compartido es indispensable para el desarrollo de computadoras de tiempo compartido. Paralelismo en sistemas multiprocesador A pesar de los constantes avances tecnológicos, la tecnología del silicio parece que está llegando a su límite. Si se pretende resolver problemas cada vez más complejos y de mayores dimensiones se deben explorar nuevas alternativas tecnológicas. Una de estas es el paralelismo, que plantea obtener mayor rendimiento distribuyendo la carga computacional entre varias CPUs trabajando simultáneamente. Definición: Conjunto de procesadores que se comunican y cooperan para resolver problemas muy complejos de forma rápida.

5 Principales Características de los Sistemas Multiprocesadores Las clarificaciones importantes que afectan a los sistemas con múltiples procesadores son las que hacen referencia a: Estructura lógica Estructura física Modo de interacción Estructura lógica Se entiende por estructura lógica el modo de distribuir la responsabilidad del control entre los diversos elementos del sistema. Es decir, define la relación entre los diversos elementos de un sistema multiprocesador. Las dos relaciones lógicas más elementales son la vertical y la horizontal. En un sistema vertical los elementos se estructuran jerárquicamente, implicando una relación maestro-esclavo. En un sistema horizontal los elementos mantienen una relación de igualdad desde el punto de vista lógico, implicando una relación maestro-maestro (o peer-to-peer). Organización vertical Una organización vertical contiene un único maestro y uno o varios esclavos, siendo sus características principales: 1) Desde el punto de vista lógico no todos los elementos son iguales.

6 2) En un instante determinado sólo un elemento puede actuar como maestro, aunque otros elementos pueden tener la capacidad de llegar a actuar como maestros en otro momento. 3) Todas las comunicaciones entre los procesadores deben realizarse a través del maestro, o bien deben ser iniciadas por él. Los sistemas verticales pueden tener más de un nivel de estructura maestro-esclavo. Esto quiere decir que uno de los esclavos puede actuar a su vez como maestro de otros elementos, dando lugar a una configuración de tipo piramidal. Organización horizontal Los sistemas así organizados requieren una coordinación más sofisticada. Sus características principales son: 1) Desde el punto de vista lógico todos los elementos son iguales. 2) Cualquier elemento puede comunicarse con cualquier otro del sistema. En general, los sistemas horizontales son más flexibles que los verticales y son capaces de repartirse las tareas a ejecutar de una forma más dinámica. Estructura física Se denomina estructura física de un sistema multiprocesador a la forma de realizar el intercambio de información entre los procesadores que lo conforman. La estructura física depende tanto del modo de transferencia de los datos como de la interconexión topológica entre dichos procesadores. Transferencia de datos Los procesadores pueden realizar transferencias de datos a través de una estructura de memoria común o de una estructura de bus. En la estructura de memoria común los procesadores no tienen acceso directo entre sí y utilizan la memoria para intercambiar los datos. En la estructura de bus, se establece un camino de comunicación entre todos los procesadores y, en general, la transferencia de datos es inicializada y ejecutada de forma distribuida. Interconexión topológica Físicamente, hay muchas formas de conectar N procesadores en un sistema, pero. A la hora de elegir una interconexión hay que tener en cuenta dos factores importantes: la capacidad de expansión y la fiabilidad. Una conexión expandible es aquella que facilita la adición de más procesadores sin afectar a la estructura existente. Una conexión fiable es aquella que proporciona un camino alternativo de comunicación entre procesadores para utilizarlo en caso de fallo del camino directo. Las estructuras topológicas de interconexión más comunes son: Estructura en lazo cerrado Estructura completa Estructura bus común Estructura en estrella

7 Estructura lazo cerrado Esta topología, como se muestra en la figura 9.3a, consiste en varios elementos procesadores (PE), cada uno de los cuales se conecta a dos procesadores vecinos a través de caminos de comunicación. El tráfico en un lazo cerrado puede ser bidireccional. Sin embargo, en la práctica suelen utilizarse los lazos unidireccionales. En un lazo unidireccional, un vecino de un elemento procesador es considerado como vecino fuente, y el otro como vecino destino. Un procesador recibe mensajes únicamente de su vecino fuente y los envía exclusívamente a su vecino destino. Cuando un elemento procesador envía un mensaje, dicho mensaje indica cual debe ser el procesador de destino. Los mensajes circulan alrededor del lazo, desde el procesador fuente al destino, con los procesadores intermedios actuando como unidades buffer, transparentes a la comunicación, ya que envían los mensajes que reciben y de los cuales no son su destinatario. Nótese que se pueden insertar procesadores al lazo sin que apenas afecte al flujo de mensajes. Por lo tanto, el sistema es fácilmente expandible y, además, la expansión no resulta cara. Sin embargo, la fiabilidad del sistema es baja ya que un simple fallo causará la parada de la comunicación. En una estructura en lazo cerrado, por cada camino de comunicación sólo puede circular un mensaje. Esto representa un problema de cuello de botella, por que si un procesador quiere utilizar un camino que está ocupado, tiene que esperar a que éste se desocupe.

8 Estructura completa Conceptualmente, la estructura completa, mostrada en la figura 9.3b, es la más simple de diseñar: Cada procesador se conecta a todos los demás mediante un camino bidireccional. De esta forma, los procesadores realizan la transmisión de mensajes únicamente por el camino de comunicación que lo une con el procesador destino del mensaje. Para ello, el procesador fuente debe escoger el camino correspondiente al procesador destino, dentro de todos los posibles, y todos los procesadores deben estar capacitados para recibir mensajes de los múltiples caminos conectados a ellos. El principal inconveniente de los sistemas con estructura completa es su costosa expansibilidad. En un sistema con n procesadores, la adición al sistema del n-ésimo procesador requiere la adición de (n - 1) caminos de comunicación entre él y los demás procesadores del sistema, y éstos, a su vez, deben ser capaces de aceptar al nuevo procesador como fuente de datos. Esto supone una limitación, dado que el número de interconexiones, o interfaces, de los procesadores que componen el sistema acotan el tamaño del sistema multiprocesador. Es decir, si un procesador posee (M -1) puertas de comunicación, también llamadas puertos, el número máximo de procesadores que puede admitir el sistema es M. La fiabilidad del sistema es muy buena ya que, aunque se produzca un fallo en un elemento procesador o en un camino de comunicación, el resto del sistema sigue funcionando. Por otra parte, la estructura completa no presenta nunca el problema de cuello de

9 botella, puesto que el camino de comunicación entre dos procesadores es dedicado, no compartido. Estructura bus común En la estructura de bus común los diversos elementos procesadores del sistema están conectados a un mismo bus. Como el bus no admite simultaneidad en su uso, se requiere un mecanismo adicional que administra las peticiones de uso, resolviendo en cada momento a qué procesador se le asigna el bus para realizar la siguiente transferencia: árbitro de bus. Esta característica hace del bus el cuello de botella del sistema que, en la práctica, limita el número máximo de procesadores del sistema (aunque esto está en función del número de accesos por unidad de tiempo que requiere cada procesador para realizar su tarea). La fiabilidad del sistema depende del elemento que falle. Si falla un elemento procesador, el sistema seguirá funcionando. Si falla el bus, el sistema dejará de funcionar.

10 Estructura en estrella La estructura en estrella, está conformada por varios elementos procesadores que se conectan a un conmutador central o switch mediante un camino bidireccional. Para cualquier procesador el conmutador central actúa, aparentemente, como fuente y destino para todos los mensajes. Así, el número máximo de procesadores del sistema multiprocesador depende del número de puertos del conmutador central. La fiabilidad del sistema dependerá del elemento que falla. Si falla un elemento procesador, el sistema puede seguir funcionando, pero sí falla el conmutador central, el sistema se parará.

11 Modos de interacción Los sistemas con múltiples procesadores pueden clasificarse según el acoplamiento, que indica la capacidad de compartir recursos y la naturaleza de la intercomunicación de los distintos procesadores, de la siguiente forma: a) Sistemas débilmente acoplados b) Sistemas fuertemente acoplados c) Sistemas medianamente acoplados. Sistemas débilmente acoplados Son las redes de computadores y se configuran con varios computadores convencionales que pueden intercomunicarse a grandes velocidades (típicamente mediante Ethernet). El reparto de trabajo entre los computadores de la red lo realiza un único sistema operativo.

12 Las características más importantes de los sistemas débilmente acoplados son: 1) Computadores autónomos. Los computadores son independientes y pueden estar geográficamente dispersos. 2) Protocolo de comunicación. La comunicación sigue un rígido protocolo. 3) Comunicación serie. Utilizando líneas de alta velocidad. 4) Accesibilidad. Desde cualquier computador se puede acceder a todos los demás. 5) Eficacia. El funcionamiento resulta eficiente cuando las interacciones de los procesos de los diferentes computadores es mínima. Sistemas fuertemente acoplados A los sistemas fuertemente acoplados se les conoce como sistemas multiprocesadores, y todos los procesadores que lo forman pueden utilizar todos los recursos del sistema. Sus características más importantes son: 1) Memoria común. Todos los procesadores del sistema pueden acceder a una memoria principal común, aunque cada uno de ellos pueda también tener una memoria de datos propia. 2) Entrada/Salida. Todos los procesadores del sistema comparten el acceso a los dispositivos de entrada/salida. 3) Sistema operativo común. El sistema se controla mediante un sistema operativo, que regula las interacciones entre procesadores y programas. Los sistemas fuertemente acoplados deben disponer de un mecanismo de sincronización entre procesadores. En general, todos los procesadores deben ser iguales, formando así una configuración simétrica. En la figura 9.5 se muestra la estructura básica de un sistema multiprocesador fuertemente acoplado. En este tipo de sistemas es posible que los procesadores originen conflictos en el acceso a memoria principal o a los dispositivos I/O. Estos conflictos deben ser minimizados por

13 el sistema operativo y por la estructura de interconexión. Sistemas medianamente acoplados También denominados sistemas distribuidos, combinan las cualidades de los sistemas fuertemente y debilmente acoplados: Existe un mapa de memoria único y un sólo sistema óperativo, sirviendo la memoria como elemento de comunicación entre los diferentes procesadores. Descomposición de tareas En aplicaciones complejas, es deseable dividir el trabajo principal en pequeñas tareas, lo más independientes que sea posible. Idealmente, cada tarea debería ser asignada a un procesador, reduciendo en la medida de lo posible la comunicación a nivel de datos entre procesadores. Granularidad La granularidad se define como el número de elementos de proceso que componen un computador paralelo. Una granularidad fina consiste en el empleo de muchos elementos de proceso de poca

14 potencia. En este caso, el grado de paralelismo es máximo. Los computadores de grano fino exigen técnicas de programación y algoritmos que potencien el paralelismo. Una máquina de grano grueso consta de pocos elementos procesadores, pero de alta potencia cada uno. Paralelismo en sistemas simétrico Los microprocesadores del sistema comparten los recursos del sistema, como la entrada salida de memoria y disco. Se distribuye uniformemente la carga de trabajo a los procesadores disponibles, de modo que uno no esté inactivo mientras otro tiene un exceso de trabajo con una tarea específica. Las prestaciones se incrementan para todas las tareas al añadir microprocesadores, su desventaja es que los sistemas operativos que soportan este tipo de multiprocesamiento son más difíciles de diseñar. Explicación detallada La arquitectura SMP (Multi-procesamiento simétrico, también llamada UMA, de Uniform Memory Access), se caracteriza por el hecho de que varios microprocesadores comparten el acceso a la memoria. Todos los microprocesadores compiten en igualdad de condiciones por dicho acceso, de ahí la denominación "simétrico". Los sistemas SMP permiten que cualquier procesador trabaje en cualquier tarea sin importar su localización en memoria; con un propicio soporte del sistema operativo, estos sistemas pueden mover fácilmente tareas entre los procesadores para garantizar eficientemente el trabajo. Una computadora SMP se compone de microprocesadores independientes que se comunican con la memoria a través de un bus compartido. Dicho bus es un recurso de uso común. Por tanto, debe ser arbitrado para que solamente un microprocesador lo use en cada instante de tiempo. Si las computadoras con un solo microprocesador tienden a gastar considerable tiempo esperando a que lleguen los datos desde la memoria, SMP empeora esta situación, ya que hay varios parados en espera de datos.

15 Debido a que SMP comparte globalmente la memoria RAM, tiene solamente un espacio de memoria, lo que simplifica tanto el sistema físico como la programación de aplicaciones. Este espacio de memoria único permite que un Sistema Operativo con Multiconexión (multithreaded operating system) distribuya las tareas entre varios procesadores, o permite que una aplicación obtenga la memoria que necesita para una simulación compleja. La memoria globalmente compartida también vuelve fácil la sincronización de los datos. SMP es uno de los diseños de procesamiento paralelo más maduro. Apareció en los supercomputadores Cray X-MP y en sistemas similares hace década y media (en 1983). Sin embargo, esta memoria global contribuye el problema más grande de SMP: conforme se añaden procesadores, el tráfico en el bus de memoria se satura. Al añadir memoria caché a cada procesador se puede reducir algo del tráfico en el bus, pero el bus generalmente se convierte en un cuello de botella al manejarse alrededor de ocho o más procesadores. SMP es considerada una tecnología no escalable. Arquitectura NUMA Multiproceso simétrico, una de las formas más fáciles y baratas de aumentar el rendimiento del hardware es poner más de una CPU en la placa. Esto se puede realizar haciendo que CPUs diferentes tengan trabajos diferentes (multiproceso asimétrico) o haciendo que todos se ejecuten en paralelo, realizando el mismo trabajo (multiproceso simétrico o SMP). El hacer multiproceso asimétrico requiere un conocimiento especializado sobre las tareas que la computadora debe ejecutar, que no es fácilmente discernible en un sistema operativo de propósito general como Linux. En cambio el multiproceso simétrico es relativamente fácil de implementar. En un entorno de multiproceso simétrico, las CPU comparten la misma memoria, y como resultado, el código que corre en una CPU puede afectar a la memoria usada por otra. No se puede estar seguro de que una variable que se ha establecido a un cierto valor en la línea anterior todavía tenga el mismo valor; la otra CPU puede modificar el valor de la variable. No es posible programar algo de esta manera. En el caso de la programación de procesos esto no suele ser un problema, porque un proceso normalmente sólo se ejecutará en una CPU a la vez. El núcleo, sin embargo, podría ser llamado por diferentes procesos ejecutándose en CPUs diferentes. En la versión 2.0.x del núcleo de Linux, esto no es un problema porque el núcleo entero

16 está en un gran `spinlock'. Esto significa que si una CPU está dentro del núcleo y otra CPU quiere entrar en él, por ejemplo por una llamada al sistema, tiene que esperar hasta que la primera CPU haya acabado. Esto es lo que hace el SMP en Linux; es seguro, pero ineficiente. En la versión 2.2.x, varias CPUs pueden estar dentro del núcleo al mismo tiempo. Esto es algo que los escritores de módulos deben tener en cuenta. Paralelismo en sistemas asimétrico En el asimétrico hay un procesador (maestro) en el cual se ejecuta el sistema operativo y los demás (esclavos) donde se ejecutan las demás tareas. La ventaja de éste es que al aumentar más procesadores se tiene que hacer un cambio mínimo y fácil para el manejo de éstos y en general se eliminan muchos problemas de integridad de datos. La gran desventaja es que al haber sólo una copia del sistema operativo en un sólo procesador (maestro) cuando este procesador falla todo el sistema falla porque todos los recursos que son manejados por el sistema operativo no pueden ser accesados.

17 Bibliografía Hwang Kai, B. F. (1984). Arquitectura de Computadoras y procesamiento paralelo. McGraw. Stallings, William. (1997). Organización y Arquitectura de Computadoras. Editorial Prentice Hall. Tanenbaum, Andrew (1992). Organización de los Computadoras. Editorial Prentice Hall. Wikipedia: Aprendiendo Multiprocesamiento Simétrico con Minix: alcazaba.unex.es/~jmalvllo/articulos/ minix4siie.pdf