TUTORIAL: COMPUTACIÓN de ALTO DESEMPEÑO

Transcripción

1 TUTORIAL : COMPUTACIÓN de ALTO DESEMPEÑO SERGIO NESMACHNOW Centro de Cálculo, Instituto de Computación FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY

2 CONTENIDO Introducción Computadores paralelos Técnicas de programación paralela Aplicaciones Conclusiones

3 INTRODUCCIÓN Importancia de poder satisfacer los requisitos crecientes de poder de cómputo Problemas complicados. Modelos complejos. Grandes volúmenes de datos. Capacidad de respuesta en tiempo limitado (sistemas de tiempo real). Procesamiento paralelo Varios procesos cooperan para resolver problema común. Aplicación de técnicas de división de tareas o de datospara reducir el tiempo de ejecución de un proceso o una aplicación, mediante la resolución simultánea de algunos de los subproblemas generados.

4 INTRODUCCIÓN Computador paralelo Conjunto de procesadores capaces de trabajar cooperativamente en la resolución de problemas computacionales. La definición incluye un amplio espectro: supercomputadoras, procesadores masivamente paralelos (MPP), clusters, etc. Característica fundamental: disponibilidad de múltiplesrecursos de cómputo. Computación de alto desempeño Ha dejado de ser exótica. Posibilitada por avances en diferentes tecnologías: Poder de procesamiento (microprocesadores). Redes (comunicación de datos). Desarrollo de bibliotecas e interfaces para programación.

5 EVOLUCIÓN TECNOLÓGICA Collosus 2 (UK), primer computador paralelo: op/s ZuseZ1 (Ale), primer computador mecánico: 1 op/s. ENIAC (USA), op/s. IBM NORC (Columbia U, USA), relojde 1 µs., op/s IBM 7030 Stretch (LANL, USA), 1.2 MFLOPS.

6 EVOLUCIÓN TECNOLÓGICA M-13 (Nauchno-Issledovatesky Institute Vychislitelnyh Kompleksov, URSS): 2.4 GFLOPS 1985 Intel ASCI Red/9152 (Sandia NL, USA): TFLOPS Cray-2/8 (LANL, USA): 3.9 GFLOPS Roadrunner (LANL, USA): PFLOPS

7 EVOLUCIÓN TECNOLÓGICA Similar comportamiento para los indicadores de desempeño. Poder de cómputo. Frecuencia de relojes. Densidad de circuitos en chips de procesadores. Capacidad de almacenamiento secundario. Capacidad de transmisión por bus/red. Siguen un comportamiento exponencial, con diferentes pendientes.

8 EVOLUCIÓN TECNOLÓGICA Noviembre de 2011: K computer (RIKEN Advance Institute for Computational Science, Japón) Pico de desempeñoreal (LINPACK): 10.5 petaflops( operacionesde punto flotante por segundo) Pico teórico: 11.3 petaflop/s. Fujistsucluster SPARC64 VIIIfx procesadores 2.0 GHz, 8-core terabytes de memoria núcleos de procesamiento. Red de interconexión de seis dimensiones, interfaz basada en Open MPI. Sistema operativo basado en Linux. File system paralelo basado en Lustre, optimizado para escalar hasta varios cientos de petabytes.

9 EVOLUCIÓN TECNOLÓGICA Kei

10 EVOLUCIÓN TECNOLÓGICA: ARQUITECTURAS

11 EVOLUCIÓN TECNOLÓGICA: SISTEMAS OPERATIVOS

12 INFRAESTRUCTURA La tecnología ha avanzado, permitiendo disponer de máquinas paralelas caseras. Clusters de computadores de bajo costo. Internet surge como una fuente potencial de recursos de computación ilimitados. Se ha desarrollando la tecnología grid(y recientemente cloud): Permiten compartir recursos informáticos (locales o remotos) como si fueran parte de un único computador. Brinda capacidad de gestionar y distribuir la potencia de cálculo disponible en instituciones (investigación, empresas, etc.) Empresas e investigadores trabajan en diseño de soluciones tecnológicas en este sentido. Estas alternativas constituyen opciones realistas para disponer de la capacidad de cómputo para resolver problemas en los entornos académicos, industriales y empresariales, a bajo costo.

13 EL CLUSTER FING Infraestructura de cómputo de alto desempeño de la Facultad de Ingeniería 1364núcleos de procesamiento (404 de CPU y 960 de GPU)

14 CLUSTER FING

15 LOS PROBLEMAS TAMBIÉN CRECEN Requerimientos computacionales de problemas complejos.

16 PROCESAMIENTO PARALELO En este contexto se ha desarrollado activamente la computación paralela: Basado en el estudio en Universidades e Institutos. Aplicado directamente en la industria, organismos científicos y las empresas. Computación paralela: A nivel de instrucciones (pipeline). Paralelismo a través de hilos (multithreading). Paralelismo de alto nivel: Sobre supercomputadores Sobre máquinas paralelas de bajo costo Computación paralela de alto nivel: Varios procesos en ejecución simultánea cooperan para resolver un problema común

17 PROCESAMIENTO DISTRIBUIDO El desarrollo de las redes de computadoras ha permitido el procesamiento distribuido. Clusters distribuidos, grid computing y cloud computing. Conceptos Procesadores independientes, con autonomía de procesamiento. Interconexión mediante redes. Cooperación para lograr un objetivo global. Datos compartidos: varios repositorios de datos. Sincronización y comunicación: En general a través del pasaje explícito de mensajes.

18 OBJETIVOS DE LA PROGRAMACIÓN PARALELA La computación paralela tiene como principal objetivo la resolución eficientede instancias de grandes dimensiones de problemas complejos. Además, desde el punto de vista del usuario, la computación paralela debe proveer: Transparencia de la arquitectura y de los mecanismos de interconexión. Simplicidad de uso y confiabilidad. Manejo de excepciones y tolerancia a fallos. Mecanismos para asegurar la portabilidad y la ejecución en entornos heterogéneos. Soporte para lenguajes tradicionales de alto nivel.

19 TÉCNICAS DE PROGRAMACIÓN PARALELA Las técnicas de programación paralela aplican estrategias de DESCOMPOSICIÓNo PARTICIONAMIENTOde datos y de cómputo, para dividir un problema en subproblemas de menor complejidad. El objetivo primario de la descomposición será dividir en forma equitativatanto los cálculos asociados con el problema como los datos sobre los cuales opera el algoritmo. Según se enfoque principalmente en la descomposición de datos o de tareas, resulta una técnica diferente de programación paralela. Las técnicas más difundidas son las de descomposición de dominio y descomposición funcional.

20 DESCOMPOSICIÓN DE DOMINIO Se concentra en particionar los datos del problema Dividiéndolos en piezas de (aproximadamente) el mismo tamaño Luego se dividen los cálculos a realizar Los datos a dividir pueden ser: La entrada del programa La salida calculada por el programa Datos intermedios calculados por el programa No existe una regla general para realizar la división de datos, existen algunas sugerencias dadas por: La estructura o geometría del problema La idea de concentrarse primero en las estructuras de datos más grandes o las accedidas con mayor frecuencia

21 DESCOMPOSICIÓN DE DOMINIO

22 DESCOMPOSICIÓN DE DOMINIO MODELO DE PROGRAMA, PROCESAMIENTO SINCRÓNICO 1. - Cargar programa 2. - Broadcast de Instrucción Host o Nodo Intermedio Cargar un Par de datos tiempo1 Multiplicar... tiempo2 tiempo1 Nodo 1 Cargar A, B Nodo2 Cargar C, D Nodo 3 Cargar E, F tiempo2 A = A x B. C = C x D. Los nodos reciben y ejecutan E = E x F.

23 DESCOMPOSICIÓN DE DOMINIO MODELO DE PROGRAMA, PROCESAMIENTO ASINCRÓNICO Distribuir datos Calcular Calcular Calcular Calcular Comunicar/sincronizar Comunicar/sincronizar Calcular Calcular Comunicar/sincronizar Calcular Comunicar/sincronizar Calcular Recolectar resultados

24 DESCOMPOSICIÓN DE DOMINIO MODELO DE PROGRAMA, PROCESAMIENTO ASINCRÓNICO Un mismo programa se ejecuta sobre diferentes conjuntos de datos Nodo 1 Conseguir datos if... positivo Hacer algo if... negativo Hacer otra cosa if... es cero Hacer una tercer cosa Nodo 2 Conseguir datos if... positivo Hacer algo if... negativo Hacer otra cosa if... es cero Hacer una tercer cosa Nodo 3 Conseguir datos if... positivo Hacer algo if... negativo Hacer otra cosa if... es cero Hacer una tercer cosa - Todos Todos los nodos los nodos ejecutan ejecutan el mismo el mismo programa, programa, pero pero no las no mismas necesariamente instrucciones las mismas instrucciones.

25 EJEMPLO: Procesamiento distribuido en Internet. Objetivos: Búsqueda de indicios de inteligencia extraterrestre. Demostración práctica de la utilidad de la computación distribuida. Lanzado en 1999, precursor de más de 100 proyectos científicos en el área. 6 millones de participantes, 3 millones de hosts, 800 TFLOPS. Más de 2 millones de años de cómputo.

26 DESCOMPOSICIÓN DE DOMINIO Distribuir datos Calcular Enviar resultados Calcular Enviar resultados Calcular Enviar resultados Calcular Enviar resultados Recolectar resultados

27 DESCOMPOSICIÓN FUNCIONAL Se concentra en particionar las operaciones del problema Se trata de dividir el procesamiento en tareas disjuntas Luego se examinan los datos a utilizar por las tareas definidas Caso típico: Distribuir código para asociar requerimientos a recursos locales Cada tarea trabaja temporalmente con sus datos locales, pero se requiere comunicación para lograr la cooperación set de instrucciones del problema tarea 1 tarea 2 tarea 3 tarea 4

28 DESCOMPOSICIÓN FUNCIONAL Programa principal Inicialización Ejecutar sección secuencial Configurar segmentos paralelos Bifurcar segmentos paralelos Segmento paralelo 1 Segmento paralelo 2 Segmento paralelo 3 Ejecutar una rutina independiente Iniciar/recibir comunicaciones Ejecutar una rutina independiente Iniciar/recibir comunicaciones Ejecutar una rutina independiente Iniciar/recibir comunicaciones Esperar finalización de segmentos paralelos Recibir resultados y combinarlos

29 PARALELISMO OPTIMISTA Realizar operaciones adicionales previendo que deban ser ejecutadas en el futuro (look-ahead execution) Bajo la hipótesis de que hay recursos disponibles para ejecutarlas. if condicion then Funcion1() else endif Funcion2() Evaluar Función1() y Funcion2() de antemano, independientemente del valor de la condición. Típico en aplicaciones de tiempo real. Ejemplo : sistemas que requieren conexión, cajeros automáticos. Típico mecanismo para proveer tolerancia a fallos. En aplicaciones distribuidas en Internet.

30 MODELOS HÍBRIDOS Incluyen dos o más tipos de programación paralela para la resolución de una misma aplicación. Comúnmente utilizados en programas paralelos distribuidos en Internet (donde existe la posibilidad de disponer de recursos ociosos adicionales). Combina una estrategia tradicional con el paralelismo optimista, para mejorar la eficiencia o proveer tolerancia a fallos. Las principales ventajas son eficiencia y robustez, aunque el manejo de los distintos modelos de paralelismo puede incluir complejidades adicionales.

31 IMPLEMENTACIÓN Existen lenguajes y bibliotecas que permiten desarrollar programas paralelos en alto nivel Proveen abstracción del computador paralelo subyacente Permiten implementar la cooperación de varios procesos para resolver el problema común Proveen primitivas/funciones para sincronización de procesos, comunicación de datos, etc. Proporcionan diversos mecanismos para implementar tolerancia a fallos y excepciones. Dan soporte para asegurar la portabilidad y garantizar la ejecución en entornos paralelos heterogéneos.

32 APLICACIONES de la COMPUTACIÓN de ALTO DESEMPEÑO Amplia aplicabilidad en problemas científicos. Industriales. Química y bioingeniería. Estudio de estructuras moleculares, simulación de reacciones, espectroscopía. Fluidodinámica. Análisis de flujos, turbulencias y simulaciones. Mecánica Industrial Diseño asistido. Modelos de elementos finitos. Medicina Estudio del genoma, medicina farmacéutica, radioterapia. Electromagnetismo Diseño de dispositivos de grabación, instrumentos médicos, tubos de rayos X, pantallas planas.

33 APLICACIONES de la COMPUTACIÓN de ALTO DESEMPEÑO Comerciales Telecomunicaciones Análisis de tráfico, desempeño y calidad de servicio. Redes de control inteligentes. Comercio electrónico Manejo transaccional en línea. Servicios web. Buscadores paralelos (metabuscadores). Sistemas de tiempo real. Bases de datos paralelas. Análisis de datos. Data mining. Análisis de mercado, series temporales, etc.

34 COMPUTACIÓN de ALTO DESEMPEÑO Curso de grado, posgrado y actualización, Facultad de Ingeniería Dictado ininterrumpidamente desde 1993 Solo tiene como requisitos previos conocimientos básicos de computación Amplia gama de asistentes, de varias Facultades, empresas, etc. Dictado en el segundo semestre de cada año. Detalles en:

35 GRACIAS POR SU ATENCIÓN FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY