José Matías Cutillas Lozano PROGRAMACIÓN PARALELA Y COMPUTACIÓN DE ALTAS PRESTACIONES MÁSTER EN NUEVAS TECNOLOGÍAS EN INFORMÁTICA Diciembre 2010
Introducción Por qué utilizar Matlab paralelo? MATLAB es un lenguaje ampliamente usado para el prototipado y desarrollo de algoritmos. Como lenguaje de alto nivel con un entorno gráfico y de desarrollo integrado permite ser utilizado por todo tipo de usuarios desde expertos a principiantes. Paralelizando el codigo de MATLAB: - El algoritmo puede ser ejecutado sobre grandes volumenes de datos. - Podemos reducir el tiempo de ejecucion y esfuerzo de programacion considerablemente.
Introducción: Paralelismo local MATLAB Parallel Computing Toolbox: Permite al usuario ejecutar un trabajo en paralelo usando 4 labs ó workers (copias adicionales de MATLAB) que asisten a la copia principal (cliente). Si la máquina tiene multiples procesadores, los labs los activarán. Este tipo de computación en MATLAB es muy similar al paradigma de memoria compartida habilitada con OpenMP, pero en este caso desarrollado de forma mas sencilla e intuitiva.
Introducción: Paralelismo remoto MATLAB Distributed Computing Server ó DCS : Permite escalar la computación paralela en clusters. Podemos distribuir tareas en los distintos nodos ( workers ). Similar al paradigma de memoria distribuida MPI. Computer Cluster MATLAB Distributed Computing Server User side CPU Worker CPU Worker TOOLBOXES BLOCKSETS Parallel Computing Toolbox MATLAB Scheduler CPU Worker CPU Worker
MATLAB + MPI MATLAB paralelo usa una version de MPI (MPICH2). El usuario final no necesita programar de manera explícita el paso de mensajes mediante MPI. MATLAB incluye un amplio repertorio de llamadas que permiten al usuario emplear las actividades típicas de MPI de envío y recepción de mensajes, difusión de datos, sincronización, barreras, etc.
Sesiones interactivas paralelas Podemos ejecutarlas de dos maneras : - pmode. Dispone de GUI, sólo para sesiones interactivas. - matlabpool. Permite sesiones interactivas y batch. >> pmode start >> matlabpool open Starting matlabpool using the parallel configuration 'SGE'. Job output will be written to: /project/scv/kadin/matlab/pct/job1.mp iexec.out QSUB output: Your job 86069 ("Job1") has been submitted Waiting for parallel job to start... Connected to a matlabpool session with 4 labs. >>
Paradigmas paralelos: Spmd 1. Spmd (single program muntiple data). - Equivalente a pmode, pero sin la ventana individual para cada lab. Cada tarea asignada a cada procesador es numerada con un labindex.
Paradigmas paralelos: Spmd
Paradigmas paralelos: Spmd
Paradigmas paralelos: Drange 2. Drange. - Debe ser usado con pmode ó matlabpool + spmd. La distribución de tareas es controlada por el indice del bucle. Las variables o vectores predefinidas en el cliente son accesibles como locales en los workers.
Paradigmas paralelos: Drange
Paradigmas paralelos: Parfor 3. Parfor. - Es similar a drange en cuanto a que las tareas son distribuidas según el índice del bucle. Existen algunas diferencias: 1. Parfor no trabaja en el entorno de spmd. 2. Parfor permite operaciones de reduccion, como la suma, que requiere comunicacion entre los workers. Por ello, perfor se considera una operacion de datos paralelos mientras que drange es una operacion de tareas paralelas.
Paradigmas paralelos: Parfor
Paradigmas paralelos: Parfor La anterior llamada a parfor no es el patrón de uso normal. Es más usual emplearlo en operaciones más específicas donde el contador del bucle es mas grande. Podemos ilustrar esto con el siguiente fragmento de código: Estas operaciones son claramente dependientes del bucle. No obstante, en MATLAB, son operaciones legitimamente paralelas para parfor. Como se ha visto, parfor permite mas opciones de paralelización que drange y que dfeval.
Paradigmas paralelos: Dfeval 4. Dfeval. - Similar a drange y parfor, pero sin el uso explicito de un bucle for. El programador establece la distribución de los datos en lugar de hacerlo el bucle for. Al contrario que parfor o drange, dfeval solo opera con funciones intrinsecas, como rand, o funciones definidas por el usuario. - No se requiere matlabpool. - Dfeval se encuentra dentro de la categoría de trabajos distribuidos.
Paradigmas paralelos: Dfeval
Resumen En principio, crear y ejecutar trabajos en paralelo es similar a programar trabajos distribuidos: Encontrar un planificador. Crear un trabajo paralelo. Crear una tarea. Enviar el trabajo para ser ejecutado. Recibir los resultados.
Resumen Las diferencias entre trabajos distribuidos y paralelos se resumen en la siguiente tabla: Distributed Job Parallel Job Las sesiones MATLAB, llamadas workers, Las sesiones MATLAB, llamadas labs, pueden ejecutan las tareas pero no se comunican entre comunicarse unas con otras durante la ejecución ellos. de sus tareas. El usuario define el numero de tareas en un Se define solo una tarea en un trabajo. trabajo. Duplicados de esa tarea se ejecutan en todos los labs durante la ejecución del trabajo paralelo. Las tareas no necesitan ser ejecutadas simultáneamente. Las tareas son distribuidas a los workers conforme van estando disponibles, así que un worker puede ejecutar varias tareas de un mismo trabajo. Las tareas se ejecutan simultáneamente, así que sólo se puede ejecutar el trabajo en tantos labs como estén disponibles en tiempo de ejecución. El comienzo del trabajo se tendrá que posponer hasta que el número de labs necesarios esté disponible.