Programación Multiproceso

Transcripción

1 Proyecto Universidad-Secundaria Incorporación de contenidos de programación paralela en la rama de tecnologías informáticas Facultad Informática, Universidad de Murcia e Instituto de Enseñanza Secundaria Ingeniero Juan de la Cierva Programación Multiproceso

2 Posible utilización Módulo de Programación de servicios y procesos, segundo de Desarrollo de Aplicaciones Multiplataforma Parcialmente se podría usar en Tecnologías de la Información y de las Comunicaciones, primero de Bachillerato

3 Contenido Procesos 1 Procesos 2 3

4 Concepto de proceso Un proceso es una instancia de un programa que se ejecuta: Programa: Colección de instrucciones. Proceso: Ejecución de las instrucciones. se pueden ejecutar varias instancias (procesos) del mismo programa, varios procesos (del mismo o distinto programa) pueden colaborar en la resolución de un problema, compartiendo los recursos del sistema computacional, se necesitan mecanismos de comunicación y sincronización.

5 Recursos asociados a un proceso Cada proceso tiene asociados una serie de recursos del sistema: Una imagen del código máquina del programa Una parte de memoria, para almacenar el código, los datos del proceso, la pila de llamadas de sus rutinas... Descriptores de los recursos del sistema asociados al proceso (por ejemplo, descriptores de ficheros) El contexto del proceso: contenido de los registros, direcciones de memoria... El sistema operativo almacena la información de los procesos activos en bloques de control de procesos.

6 Estados de un proceso Inicialmente se crea el proceso: se carga de memoria secundaria a principal. Después pasa a estado de esperando, hasta que el scheduler del sistema lo asigna a un procesador. Pasa a estado de ejecutándose. Cuando necesita esperar a que un recurso esté disponible pasa a bloqueado, y cuando ya tiene el recurso pasa a esperando y de ahí a ejecutándose. Finalmente pasa a terminado.

7 Planificación de procesos El sistema operativo puede mantener varias instancias programas al mismo tiempo: puede haber programas de usuarios distintos, varias instancias del mismo programa... Un núcleo ejecuta sólo un proceso en un instante de tiempo. En sistemas con varios núcleos o procesadores se pueden asignar procesos distintos a núcleos distintos (ejecución concurrente). La asignación y desasignación de procesos a núcleos debe hacerla el sistema operativo de forma rápida. Los procesos pueden cambiar de estado por interrupciones software o hardware. Un cambio de contexto ocurre cuando un proceso en un núcleo para y se le asigna otro proceso.

8 Procesos versus hilos Un proceso puede tener subprocesos o hilos, que son secuencias independientes de ejecución dentro del código de un proceso. Los hilos son las secuencias más pequeñas de instrucciones que el sistema operativo puede manejar de forma independiente. Los hilos dentro de un proceso comparten más recursos que los procesos: la memoria, la última instrucción del código, valores de las variables... La gestión de hilos por el sistema operativo será más rápida que la de procesos.

9 Programación concurrente, paralela y distribuida Programación Concurrente Cuando varios elementos de proceso (hilos, procesos) trabajan de forma conjunta en la resolución de un problema. Puede ser en un único procesador o núcleo. Programación Paralela Es programación concurrente cuando se utiliza para acelerar la resolución de los problemas, normalmente usando varios procesadores o núcleos. Programación Distribuida Es programación paralela cuando los sistemas están distribuidos, por ejemplo una red de procesadores, con lo que hay que usar paso de mensajes.

10 Necesarios mecanismos de creación ejecución finalización comunicación sincronización de procesos.

11 Creación Procesos Se ordena al sistema poner en marcha procesos, y cada proceso tiene asociadas sus zonas de memoria: En C: Confork se crea un proceso hijo, que tiene una copia de las variables del proceso padre. En : Al lanzar la ejecución conmpicc -np X programa se ponen en marchax procesos que ejecutan el mismo códigoprograma y cada uno tiene en su memoria asociada copias distintas de las variables del programa. Los procesos pueden empezar a colaborar cuando se inicializa, con Init. En Java: Está la clase ProcessBuilder, y se inicializan con el método start. También se pueden poner en marcha desde otro proceso con Runtime.getRuntime().exec("programa"). Y se pueden usar RMI (Java Remote Method Invocation) para invocar métodos de forma remota, para aplicaciones cliente-servidor.

12 Ejecución Procesos Una vez puestos en marcha, los procesos trabajan de forma independiente, ejecutando el mismo o distinto programa, y cada uno con los datos a él asociados. Si ejecutan el mismo programa, aunque las variables se llaman igual, cada proceso trabaja con una copia distinta de ellas, por lo que la misma variable tiene valores distintos en procesos distintos. Hay mecanismos para sincronizar los procesos. Cuando un proceso necesita datos de otro proceso el acceso a esos datos se realiza con comunicaciones.

13 Finalización Procesos La finalización de un proceso supone la liberación de los recursos que se le asociaron (memoria, variables, descriptores de fichero...). En C: Conwait el proceso padre espera a que finalice un proceso hijo. En : Los procesos que se lanzaron conmpicc -np X programa acaban cuando llegan al final del programa. Al ejecutar Finalize se liberan los recursos generados para gestionar procesos a través de, y los procesos dejan de poder colaborar. En Java: En la clase ProcessBuilder se pueden usar los métodos finalize, wait, notify y notifyall heredados de la clase Object.

14 Comunicación Procesos Los procesos acceden a datos asociados a otros procesos por medio de comunicaciones. En C: Los procesos padre e hijo emparentados al ejecutar fork pueden comunicarse a través de una tubería usando la función pipe. En : Hay comunicaciones punto a punto ( Send, Recv, y otras versiones) y comunicaciones colectivas ( Bcast, Gather...) En Java: Ofrece multitud de posibilidades: colas de mensajes, canales, RMI, sockets, redireccionamiento de flujos de entrada/salida.

15 Sincronización Procesos Los procesos se sincronizan al comunicarse, pero también al acabar la ejecución, por ejemplo si un proceso espera a otro en unwait. En las comunicaciones puede haber sincronización entre dos procesos (comunicaciones punto a punto, o tuberías asociadas a dos procesos) o entre varios procesos (comunicaciones colectivas). Puede ser necesaria sincronización sin comunicar datos, por ejemplo para esperar que todos los procesos lleguen a un punto de la ejecución para seguir trabajando juntos. Se utilizan barreras, en con la función Barrier.

16 Veremos ejemplos básicos de programación multiproceso: veremos programación por paso de mensajes en con versiones nuevas de los ejemplos vistos en la Introducción a la Programación Paralela, y se podrá trabajar con la pruebapp-fp2014 de la página del Concurso de Programación Paralela.

17 Se crea una tubería con una llamada a la funciónpipe(td), dondetd es un array de dos enteros. Se escribe en la tubería con write(td[1],dir,tam), con dir la dirección de comienzo de los datos, ytam la cantidad de memoria a mandar. Se recibe a través de la tubería con read(td[0],dir,tam). Compilar y ejecutar el programa pipe-basico.c, que suma 10 números utilizando dos procesos. A diferencia del ejemplo anterior de uso defork, donde los procesos se comunicaban a través de la memoria, en este ejemplo se comunican con la tubería, con una especie de paso de mensajes.

18 Ejemplo: ordenación con dos procesos mandando mensajes por tubería El programa en programas/c/pipe-ordenacion.cpp realiza una ordenación con dos procesos, a diferencia del ejemplofork.cpp en este caso no se comparte memoria, sino que se usa una tubería para comunicar datos entre los procesos. Las tuberías tienen un tamaño por defecto, por lo que a partir de un tamaño de envío el programa no funcionaría. Para evitar esto, se usa la funciónfcntl para cambiar el tamaño máximo de los mensajes por la tubería.

19 En los programas maestro.java y esclavo.java tenemos un ejemplo básico de colaboración entre procesos, con comuniación a través de los flujos de I/O: El proceso que ejecuta el programa maestro pone en marcha la ejecución delesclavo con una llamada a Runtime.getRuntime().exec y declara un flujo de entrada para hacer lectura por buffer instream = new BufferedReader(new InputStreamReader(esclavo.getInputStream()) Compilar y ejecutar el programa: Compilar maestro.java y esclavo.java Ejecutar maestro N, que pone en marcha esclavo N (donde N será un número).

20 Ejemplo: ordenación con proceso maestro y esclavo Siguiendo el mismo esquema del ejemplo básico anterior, los programas maestroordenar.java y esclavo.ordenar.java realizan una ordenación de números enteros comunicándose con el flujo de entrada. El número de datos a ordenar se pasa como argumento al maestro. El esclavo es el que genera los datos, envía al maestro la primera mitad, ordena la segunda mitad y la pasa al maestro ordenada. El maestro ordena la primera mitad, recibe la segunda ordenada y mezcla las dos mitades. Los datos se pasan como cadenas de caracteres, por lo que se hace conversión de cadenas a enteros. Analizar la evolución de los tiempos de ejecución secuencial y paralelo aumentando el tamaño del problema. El alto coste de las comunicaciones hace que ahora sea necesario aumentar considerablemente el tamaño de problema para acercarnos a una aceleración de cuatro veces más rápida la versión paralela respecto a la secuencial.

21 (Message Passing Interface) es el estándar de facto actual para programación en sistemas de memoria distribuida. Es una especificación para paso de mensajes. La primera librería de paso de mensajes estándar y portable. Realizada por consenso ( Forum), con participación de unas 40 organizaciones. Acabado y publicado en mayo Actualizado en junio Hay varias versiones y variantes: 2, H, FT-... algunas de ellas libres: CH, LAM/, Open... Previamente PVM: Parallel Virtual Machine (aprox. 1993).

22 Características generales Recordamos los aspectos de vistos en el ejemplo codigo6-16.c: Se usa la libreríampi.h Es un programa C con llamadas a la librería. Las funciones empiezan con... Hay funciones de: inicialización ( Init) y finalización ( Finalize), para obtener el número de procesos (Commsize) y el identificador de proceso ( Comm rank), de sincronización ( Barrier), de envío (Send) y recepción (Recv) Se compila con mpicc -O3 codigo6-16.c Se ejecuta conmpirun -np X./a.out tam, dondexindica el número de procesos a usar, ytam el número de datos a ordenar.

23 Forma de las funciones Las funciones tienen la forma: error= nombre(parámetros) La de inicialización de es int Init ( int *argc, char ***argv ) y la de finalización int Finalize ( ) En algunas funciones aparece la constante COMM WORD. Varios procesos se agrupan en un comunicador, y COMM WORD identifica el comunicador formado por todos los procesos.

24 Funciones de identificación Procesos en el comunicador: Commsize ( Comm comm, int *size) devuelve en size el número de procesos en el comunicador comm. Si la llamamos con el comunicador COMM WORD devuelve el número de procesos puestos en marcha. Identificación de procesos: Commrank ( Comm comm, int *rank) devuelve en rank un identificador para cada proceso. Los procesos se numeran de 0 al número de procesos menos 1.

25 Mensajes Procesos En un mensaje se envía un cierto número de elementos de un tipo. Hay tipos básicos Tipo CHAR SHORT INT LONG UNSIGNED CHAR UNSIGNED SHOT UNSIGNED UNSIGNED LONG FLOAT DOUBLE LONG DOUBLE BYTE PACKED tipo C signed char signed short int signed int signed long int unsigned char unsigned short int unsigned int unsigned long int float double long double y derivados, que los construye el programador.

26 Mensajes punto a punto Interviene un proceso que envía y otro que recibe: Función de envío int Send ( void *buffer, int contador, Datatype tipo, int destino, int tag, Comm comunicador ) Función de recepción: int Recv ( void *buffer, int contador, Datatype tipo, int origen, int tag, Comm comunicador, Status *estado) Se envía el número de datos indicado porcontador, empezando en la zona de memoria señalada por el puntero buffer. Se indica el identificador de proceso que envía (origen) y que recibe (destino). Se puede indicar que se recibe de cualquiera poniendo como origen la constante ANY SOURCE. El parámetro tag sirve para diferenciar mensajes. Tiene que tener el mismo valor en el proceso que envía y en el que recibe. ConANYTAG se indica que se recibe un mensaje con cualquier valor en ese parámetro.

27 Comunicaciones síncronas Con las funciones de comunicación punto a punto anteriores las comunicaciones son síncronas: El proceso que envía sigue trabajando después de llamar a la función. El proceso que recibe lee el mensaje si ya ha sido enviado, pero si no queda a las espera de que se le envíe. La función de recepción es siempre Recv, pero hay varias funciones de envío según el grado de sincronización en el envío y dónde queden los datos una vez enviados: Send: el proceso que envía sigue cuando el buffer de salida está disponible para usarlo. Rsend: se ejecuta sólo si ya se ha realizado la llamada a recepción, si no da error. Ssend: el proceso que envía espera hasta que empieza la recepción. Bsend: cuando se sabe que hay espacio en el buffer de salida. Se puede reservar espacio con la función Buffer attach.

28 Comunicaciones asíncronas En las comunicaciones asíncronas no espera ninguno de los dos procesos. Las funciones son: int Isend ( void *buffer, int contador, Datatype tipo, int destino, int tag, Comm comunicador, Request *request ) int Irecv ( void *buffer, int contador, Datatype tipo, int origen, int tag, Comm comunicador, Request *request) Donde en request se guarda una etiqueta que identifica la operación. Se puede trabajar con ella: int Wait ( Request *request, Status *status ): espera hasta que está disponible la operación. int Test ( Request *request, int *flag, Status *status ): comprueba si está disponible.

29 Comunicaciones asíncronas - Ejemplo En el directorio programas//d-asincrono hay un ejemplo de uso de comunicaciones asíncronas. Se trata del ejemplo de multiplicación de matrices visto en la Introducción a la Programación Paralela y que corresponde al problema D de la pruebappfp1024 de la página del Concurso de Programación Paralela. Se puede analizar su funcionamiento y ejecutarlo en el concurso. Puede que se observe una ligera reducción en el tiempo de ejecución respecto a la versión síncrona, pero en cualquier caso la reducción no será importante debido a la clara estructura del programa. Se puede realizar una versión asíncrona del problema C, que corresponde a una ordenación, y probarla en el concurso.

30 Comunicaciones colectivas En ellas intervienen todos los procesos en el comunicador. En el ejemplo anterior hemos vistobcast, con la que se envían datos de un proceso (raíz) a todos los demás. Otras operaciones colectivas: Barrier: no comunica datos, pero bloquea los procesos hasta que la llaman todos. Gather: para recibir valores de todos los procesos. Scatter: para distribuir un buffer entre los procesos. Alltoall: para enviar datos de todos los procesos a todos. Reduce: combina valores de todos los procesos en un proceso. Reduce scatter: combina valores de todos los procesos y distribuye a todos. Las operaciones que se pueden hacer en las rutinas de reducción son: máximo ( MAX), mínimo (MIN), suma (SUM), producto (PROD), and lógico (LAND), and bit a bit (BAND), or lógico (LOR), or bit a bit (BOR), or exclusivo lógico (LXOR), or exclusivo bit a bit (BXOR), máximo y su posición (MAXLOC), mínimo y su posición ( MINLOC).

31 Comunicaciones colectivas - Ejemplo En el directorio programas//d-colectivas hay un ejemplo de uso de comunicaciones colectivas, donde se ve el funcionamiento de las funciones Scatter y Gather. Es el mismo ejemplo de multiplicación de matrices anterior. Se puede analizar su funcionamiento y ejecutarlo en el concurso. La principal ventaja de las comunicaciones colectivas es que facilitan la programación, y pueden acelerar la ejecución si se usa una implementación de que tenga optimizadas estas funciones para el sistema donde estamos trabajando. Se puede realizar una versión con comunicaciones colectivas del problema C y probarla en el concurso.

32 Empaquetamiento de datos Se pueden empaquetar datos para enviarlos juntos. Por cada dato a empaquetar se llama a: int Pack( void *datos, int contador, Datatype tipo, void *buffer, int tambuffer, int *posicion ptr, Comm comm) Se empaquetan enbuffercontador datos de tipotipo que se encuentran en datos. El tamaño del buffer (tambuffer) puede ser mayor al que se va a ocupar. posicionptr es de entrada-salida. A la entrada apunta a la posición del buffer donde se van a copiar los datos, y a la salida a la posición siguiente al último dato empaquetado. El proceso que recibe desempaqueta los datos en el mismo orden en que se empaquetaron, llamando por cada dato a la rutina int Unpack( void *buffer, int tambuffer, int *posicion ptr, void *datos, int contador, Datatype tipo, Comm comm)

33 Empaquetamiento de datos - Ejemplo En el directorio programas//d-empaquetar hay un ejemplo de uso de comunicación con empaquetamiento, donde se ve el funcionamiento de las funciones Pack y Unpack. Es el mismo ejemplo de multiplicación de matrices anterior. Se puede analizar su funcionamiento y ejecutarlo en el concurso. Empaquetar varios datos para transferirlos juntos permite reducir el número de comunicaciones, y puede producir una reducción del tiempo de ejecución, ya que las comunicaciones son muy costosas. Por otro lado, el empaquetamiento también tiene un coste de gestión de los datos, lo que produce una sobrecarga, y además mientras el proceso que envía está empaquetando el resto están a la espera. Por tanto no podemos asegurar que siempre sea mejor empaquetar varios datos para mandarlos juntos.

34 - Otras características Hemos visto las características principales de. Con las funciones estudiadas se puede realizar cualquier programa de paso de mensajes, pero ofrece muchas más funciones (más de 120). Otras posibilidades de : Tipos derivados: los crea el usuario en tiempo de ejecución. En el ejemplo anterior se podría crear un tipo formado por una porción de la matriz A y toda la matriz B, y a partir de ahí se podrían enviar elementos de ese tipo. Se pueden crear comunicadores con menos procesos de los que hay en marcha (menos que COMM WORLD) y hacer comunicaciones colectivas en ese comunicador, sin necesidad de que se participen el resto de procesos. Se pueden definir topologías, que son patrones de comunicación entre los procesos. Hay topologías más adecuadas que otras para distintos esquemas de programa y distintas conexiones de los procesadores, y una buena selección de la topología puede contribuir a reducir el tiempo de ejecución.