Laboratorio de Paralelismo

Transcripción

1 Laboratorio de Paralelismo Trabajos complementarios (optativos) Tal como especificamos al comienzo del curso, la asignatura se va a evaluar teniendo en cuenta varios aspectos: > Parte obligatoria - asistencia y participación activa en las sesiones de clase/laboratorio (hasta 2 puntos) - ejercicios obligatorios (openmp / MPI) (hasta 6,5 puntos) > Parte optativa - (1) ejercicios optativos (hasta 2,5 puntos) - (2) trabajos optativos sobre temas complementarios (hasta 2,5 puntos) - (en su caso, un examen alternativo para quien quiera, hasta 2 puntos) Una vez cubierta la fase de ejercicios obligatorios con OpenMP y MPI, os proponemos una serie de ejercicios y trabajos optativos, individuales, para quien desee complementar la nota. En todos los casos las propuestas son "abiertas" y modificables. Se admite (y se valorará más) cualquier otra propuesta personal. Pueden cogerse trabajos del grupo 1 y/o del grupo 2, sin límite alguno. En los casos en los que haya que utilizar documentación, recurre a los libros y documentos citados en la asignatura (u otros similares) y a la web; en todo caso, asegúrate de que la información que utilizas es técnicamente relevante. Referencia toda la documentación que utilices. En los casos en los que haya que desarrollar un programa, hay que documentarlo correctamente, hacer análisis y medidas de rendimiento, etc. Si estás interesado en alguno de los ejercicios y/o trabajos, indícanoslo para que, a la mayor brevedad, quedemos contigo para especificar más el problema, poner plazos (unas 4 o 6 semanas, como mucho hasta el 23 de Junio), etc.

2

3 1. Ejercicios de programación (hasta 2,5 puntos, en función de la complejidad del problema, a especificar cuando se defina con el profesor) Se trata de resolver una serie de ejercicios típicos de paralelización, de diferente dificultad, en OpenMP, MPI o UPC (en uno o varios de ellos, a elegir). Todos son problemas muy comunes que aparecen en cualquier texto de programación paralela. Si te decides por alguno de ellos, concretaremos más la información. Para los casos en que sea útil algún tipo de representación gráfica, disponemos de una serie de funciones básicas para ello. Ésta es una breve descripción de los problemas (las referencias a los libros recomendados para el curso son sólo para que puedas ampliar la descripción del problema y te puedan ayudar a decidir; en esos libros, y en otros, vas a encontrar multitud de problemas para resolver). 1. En este ejercicio se trata de medir el overhead añadido por los constructores de OpenMP a la ejecución del programa. Por ejemplo, se trata de medir los siguientes parámetros en el multiprocesador del laboratorio: - tiempo mínimo que añade la creación/destrucción de una región paralela, en función del número de hilos generados. - coste de una barrera de sincronización en función del número de threads que se sincronizan. - coste de entrar y salir de una sección crítica Haz un conjunto de pequeños programas de test que midan el tiempo de ejecución de esas estructuras, represéntalos gráficamente y extrae las correspondientes conclusiones. 1'. El mismo análisis se puede hacer para el caso MPI. Por ejemplo, se pueden medir los tiempos de ejecución de las siguientes funciones: - una barrera de sincronización, en función del número de procesos que se sincronizan. - un broadcast, en función del número de procesos y comparándolo con los tiempos de ejecución de la misma función como un bucle de funciones send y receive. - un reduce, en función del número de procesos y comparándolo con los tiempos de ejecución de la misma función como un bucle de funciones send y receive Existen varios bancos de pruebas de este estilo (microbenchmark, perfectest, SkaMPI...), cuyos resultados se pueden comparar con los que obtengas de tu análisis. 2. Problema de difusión del calor (Wilkinson, ej. 6.14, p. 180 // Quinn, cap. 13, p. 316) La difusión del calor en una determinada superficie se modela de manera sencilla por el método de diferencias finitas. Se trata de definir, por ejemplo, una superficie de dos dimensiones, colocar unas fuentes de calor, y estudiar cómo se difunde el mismo hasta alcanzar el equilibrio. Con un interfaz gráfico adecuado, se puede representar el calor en colores y ver cómo evoluciona. Se pueden simular diferentes configuraciones; por ejemplo, como desarrollo del problema, se puede simular una tarjeta de circuitos electrónicos con una serie de chips que generan calor y estudiar la disposición óptima de los chips en la tarjeta para que la temperatura media sea mínima. 3. Cálculo de integrales. (Wilkinson, cap. 4, p. 122) Se trata de programar el cálculo de una integral mediante la suma de áreas bajo la curva (similar a como hemos hecho en los ejercicios del laboratorio), aplicando diferentes algoritmos y utilizando algún criterio de convergencia a definir. Se puede estudiar la eficiencia del algoritmo en función del número de procesos, del método de convergencia, etc. Éste es un caso particular de calculo numérico, que se puede generalizar a cualquier otro tipo de función

4 4. Autómatas celulares. (Quinn, cap. 11, p. 340) Se trata de programar algún autómata celular típico (un conjunto de elementos que evoluciona iterativamente de acuerdo a determinado tipo de reglas); hay múltiples autómatas a escoger (el juego de la vida, todo tipos de nichos ecológicos, etc.); se puede utilizar una interfaz gráfica para ver la evolución del sistema o para interactuar con el mismo, etc. 5. Problema de N cuerpos. (Wilkinson, cap. 4, p. 126) Definida una determinada situación inicial, se trata de programar las ecuaciones que de modo iterativo rigen el movimiento y la posición en el espacio (en un plano) de un conjunto de cuerpos (definido inicialmente), bien sean cargas eléctricas bien sean cuerpos de determinada masa. Si se quiere, se puede trabajar con un interfaz gráfico para ver cómo van evolucionando en el tiempo, etc. 6. Resolución de sistemas de ecuaciones. (Wilkinson, cap. 11, p. 340 // Quinn, cap 12, p. 290) Hay bastantes métodos para resolver sistemas de ecuaciones, que se diferencian en el tipo de algoritmo utilizado, en la velocidad de convergencia hacia una solución, etc. Se trata de programar algunos de esos algoritmos numéricos y ver el rendimiento obtenido en función del número de procesos, el tamaño de grano... De nuevo podemos jugar con las diferentes modelos de memoria: memoria compartida centralizada, memoria compartida distribuida, memoria privada. 7. Algoritmos de ordenación. (Wilkinson, cap. 10, p. 303 // Quinn, cap. 14, p. 338.) Probablemente conoces más de un algoritmo de ordenación de grandes cantidades de datos (bubble, quick sort...). La propuesta en este caso es programar dos o tres de ellos, analizar el rendimiento conseguido, etc. 8. Servidor paralelo. Un determinado servidor tiene que hacer frente a un gran número de demandas de cierto trabajo (búsquedas en bases de datos distribuidas, cálculo de algún tipo...) y está organizado en varios workers que efectúan el trabajo más un gestor que lo distribuye. El gestor se debe encargar de hacer de interfaz entre el cliente y el servicio y de distribuir el trabajo a los workers de manera equilibrada, utilizando algún algoritmo de distribución de carga. Se pueden probar diferentes algoritmos de distribución de tareas, se puede diseñar alguna interfaz gráfica que vaya mostrando cómo está la carga de los workers Procesado de imágenes (Wilkinson, p 84, cap. 12, p370) En los ejercicios de MPI hemos hecho un caso típico de procesamiento de una imagen. Hay muchas más funciones que pueden aplicarse a una imagen en paralelo. El objetivo del problema es programar (quizás añadir al programa que ya has hecho) otras funciones del mismo estilo; por ejemplo, rotar la imagen un determinado número de grados Una propuesta personal. Aparte de los ejemplos anteriores, las posibilidades son casi infinitas. Si lees libros de programación paralela, ojeas por la web... y se te ocurre algún problema que quieras paralelizar... será bienvenido.

5 2. Trabajos complementarios (cada propuesta hasta 2,5 puntos, a especificar cuando se definan con el profesor) Te proponemos una serie de trabajos sobre temas complementarios a los tratados en la asignatura. Son simplemente algunas propuestas que se nos han ocurrido a nosotros, pero estamos dispuestos a considerar (y valorar) cualquier propuesta personal. Los trabajos que proponemos son bastante genéricos, por lo que los concretaríamos con quien esté interesado en realizarlos. 1. Gestión de un cluster. Disponemos de 4 PCs para poder formar con ellos un minicluster y poder hacer diferentes pruebas. Cada vez hay mas herramientas que permiten montar un cluster de manera semiautomática, montar un sistema de ficheros paralelos, etc. La propuesta es montar un cluster de este estilo utilizando Oscar, un sistema paralelo de ficheros, etc. 2. Una determinada empresa ha decidido comprar un cluster de 32 procesadores para su departamento de I+D. Se trata de configurar dicho cluster, con datos y costes reales de mercado, ofreciendo diferentes alternativas, tanto en el tipo de nodo como en la red de comunicación. Por ejemplo, éstas podrían ser algunas de las configuraciones a evaluar: - 32 nodos de 1 procesador / 16 nodos biprocesador / 8 nodos de 4 procesadores - gigabit ethernet / myrinet -... Escribe un informe indicando las ventajas e inconvenientes de cada configuración, su coste real (puedes obtener costes configurando el sistema en múltiples páginas web de fabricantes y distribuidores), el tipo de aplicaciones para las que sería adecuado, el coste de mantenimiento El análisis de rendimiento de las aplicaciones paralelas es un elemento crucial a la hora de estudiar y entender el comportamiento de las mismas y de escoger la alternativa más adecuada. La propuesta consiste en estudiar el capítulo 7 del libro Parallel Programming de Quinn (y un artículo), hacer un resumen del mismo, y probar las métricas que se explican en libro con algún ejemplo real en el cluster del laboratorio. 4. Existen bastantes herramientas de monitorización y análisis de rendimiento, tanto para OpenMP como para MPI, así como de gestión de un cluster. Algunas son de pago, otras de libre distribución, etc. Por ejemplo, te proponemos estudiar cómo funcionan, ver qué posibilidades ofrecen, hacer algunos ejemplos... en estos casos (o, si prefieres, algún otro que conozcas): 4.1 Para OpenMP. Una de las casas importantes que distribuye herramientas para trabajar con sistemas paralelos es The Portland Group. En la máquina acpt49 tenemos instalado el compilador de OpenMP de PGI. La propuesta es analizar la herramienta de profiling que contiene, la posibilidad de generar automáticamente código paralelo, etc. 4.2 Para MPI. La propuesta es estudiar más a fondo la herramienta de análisis que incluye MPICH, Jumpshot, ver qué posibilidades ofrece y preparar unos programas de ejemplo que sirvan para demostrar la utilidad de la herramienta.

6 4.3 Para MPI. Otra posibilidad es instalar y probar el paquete AIMS: automated instrumentation and monitoring system ( desarrollado en la NASA. Otra posibilidad más: probar, analizar... Paradyn, un conjunto de herramientas para el análisis de rendimiento de programas paralelos, desarrollada en la Universidad de Wisconsin (USA). 4.4 Para el caso de gestión del cluster, la propuesta es estudiar/probar herramientas como SCore Cluster System, OpenMosix, Condor Una de las alternativas para la ejecución de programas en paralelo es la que se conoce como Grid Computing: una conjunto muy grande de computadores, distribuidos por "todo el mundo", que permiten su uso, bajo ciertas condiciones, a usuarios no locales. Haz un informe explicando las características principales de esta alternativa, el tipo de herramientas que se utilizan, el área de trabajo en que es más útil, los resultados que se logran, las alternativas de futuro, etc. 6. Dos de los supercomputadores europeos más importantes actualmente son el Jugene, una máquina de tipo BlueGene del Instituto Julich en Alemania (segundo en el top500), y el Mare Nostrum, un cluster de altas prestaciones del Barcelona Supercomputing Center. Recopila información y haz un informe comparando las características de cada una de esas máquinas, centrándote básicamente en las características técnicas de la red de comunicación y de los encaminadores (routers) de mensajes: estructura, estrategias de encaminamiento, evitación de deadlocks, rendimientos obtenidos, etc. 7. Existen numerosos benchmarks o conjuntos de programas de test, desarrollados para poder estudiar el comportamiento de una determinada implementación de OpenMP, MPI o UPC en una determinada arquitectura. te proponemos descargar alguno de estos benchmarks y ejecutarlo en las máquinas de que disponemos, para obtener resultados y poder interpretar de manera adecuada el comportamiento de nuestros programas, etc. 8. Hay muchos otros temas interesantes que tienen que ver con los sistemas paralelos y su utilización, y que no hemos tratado en las asignaturas de paralelismo. Por eso, y en la misma línea que las propuestas anteriores, puedes hacer un estudio sobre cualquier otro tema que sea de tu interés; p.e., entrada/salida paralela, protocolos de comunicación de alto rendimiento como Infiniband, VIA u otros, técnicas de tolerancia a fallos... También puedes centrarte en alternativas a OpenMP/MPI/UPC como pueden ser OpenCL/CUDA para explotar las posibilidades de cálculo de las tarjetas gráficas, o tal vez Parallel Python (posibilidades, diferencias con MPI/OpenMP, ejemplos)