EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA

Transcripción

1 EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA SERGIO NESMACHNOW Centro de Cálculo, Instituto de Computación FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY

2 EL CLUSTER FING Infrestructurade cómputode alto desempeñode la Facultadde Ingeniería

3 CLUSTERS Agregación de varios computadores independientes para utilizarlos como una única unidad integrada de cómputo. En general, se integran con componentes de bajo costo y se conectan por redes de área local. La agregación permite alcanzar poder de cómputo muy superior a las de los supercomputadores específicos. Infraestructura promisoria para contemplar necesidades importantes de cómputo en un entorno de recursos económicos limitados. Prestaciones de un cluster: Alto rendimiento, alta disponibilidad, escalabilidad incremental. Relación costo/performance, sistema multipropósito (no dedicado).

4 CLUSTER FING Financiación inicial: proyecto CSIC Fortalecimientode Equipamientos para la Investigación (2008) Objetivo: Disponer de una plataforma computacional capaz de abordar eficientemente problemas complejos. Proyecto de Facultad de Ingeniería Página web

5 CLUSTER FING: ESTRUCTURA Nodos de cómputo Red Gigabit Ethernet node02-node08 (2008) node20-node23 (2009) Sistema operativo: cluster (head) Linux CentOS Nodo de acceso, servidor de archivos, compiladores, etc. Tesla server (2009) node30-node32 (2010) node40-node47 (2011)

6 CLUSTER FING: ESTRUCTURA ORIGINAL (2009) 9 servidores de cómputo Quad core Xeon E5430, 2x6 MB caché, 2.66GHz, MHz FSB. 8 GB de memoriapornodo. Adaptador de red dual (2 puertos Gigabit Ethernet). Arquitectura de 64 bits. Servidorde archivos: 2 discos de 1 TB, capacidadampliablea 10 TB. Nodosde cómputo: discos de 80 GB. Switch de comunicaciones Dell Power Connect, 24 puertos Gigabit Ethernet. Switch KVM (16 puertos) y consola. UPS APC SmartRT 8000VA.

7 CLUSTER FING: ESTRUCTURA (2010) En 2009 se incorporó la infraestructura del cluster Medusa. 6 SUN FireX2100, OpteronDual Core, 2 GB RAM c/u. Ampliación 2009: 4HPProliantDL180G6,condosprocesadoresQuadCoreIntelXeonserie E5520, 2.26 GHz., memoria RAM 24 GB, DDR MHz., 2 puertos Gigabit Ethernet, almacenamiento local 60 GB SATA2. Tesla GPU server: Dos procesadores Quad Core Intel Xeon serie E5530, 2.66 GHz., memoria RAM 48 GB DDR MHz., 2 puertos Gigabit Ethernet, almacenamiento local 1 TB SATA2. Cuatro tarjetas C1060 (total 960 núcleos de 1.33 GHz), 4GB de RAM por tarjeta(teraflop multi-core processor). TOTAL: 1088 núcleos de procesamiento 128núcleosdeCPUy960núcleosdeGPU. 6TBdeespacioútildediscoy30kVAderespaldodebatería.

8 CLUSTER FING: ESTRUCTURA (2011) Ampliación 2010: 3 servidores HP Proliant DL180 G6, con dos procesadores AMD Magny Cours(12 cores por procesador) 2.26 GHz., memoria RAM 24 GB. TOTAL: 1160 núcleos de procesamiento 200núcleosdeCPUy960núcleosdeGPU. 10TBdeespacioútildediscoy30kVAderespaldodebatería.

9 CLUSTER FING: ESTRUCTURA (2012) Ampliación 2011: 7 servidores HP Proliant DL180 G6, con dos procesadores AMD Magny Cours(12 cores por procesador), 2.26 GHz., memoria RAM 48 GB. 24 servidores de cómputo (Dell Power Edge 2950, HP Proliant DL180) conprocesadoresintelxeonquadcoreyamdmagnycours,12cores) 1 Tesla GPU server (procesadores Xeon quad core y 4 NVIDIA C1060 [960 núcleos de 1.33 GHz.]) TOTAL: 1364 núcleos de procesamiento 404núcleosdeCPUy960núcleosdeGPU. 880GBdememoriaRAM 30TBdealmacenamientoRAID,30kVAderespaldodebatería Pico teórico de desempeño aproximado de 4000 GFLOPS ( operaciones de punto flotante por segundo), el mayor poder de cómputo disponible en el país.

10 PROCESADOR Arquitectura multi-core (multi-núcleo) Combina dos o másnúcleos de procesamientoindependientes en un solo circuito integrado. Varios microprocesadores independientes que permiten ejecución en paralelo a nivel de threads(hilos). Intel Core2 Kentsfieldo Core2 Quad 4 núcleos de procesamiento. CPU local Caché L1 CPU local Caché L1 Especializado para multithreading (paralelismo con hilos, memoria compartida). CPU local Caché L1 Interfaz de bus Caché L2 CPU local Caché L1 Arquitectura quadcore

11 CLUSTER FING: ESTRUCTURA Combina arquitectura de cluster (memoria distribuida) y multi-core (memoria compartida). Permite aprovechar características de ambos modelos de paralelismo: paralelismo de dos niveles. Red Gigabit Ethernet cluster (head) node02/08 node20/23 Tesla server node30/32 node40/47 C1 C3 P1 MEMORIA Cluster: 24 nodos. Cada nodocon dos procesadoresde cuatro/doce núcleosy 8/24/48 GB. de memoria (global). Cluster tiene 404 núcleos de procesamiento (CPU) C2 C4 C1 C3 P2 C2 C4

12 CLUSTER FING: ACCESO Punto de acceso: cluster.fing.edu.uy Habilitación de usuarios: solicitud mediante correo electrónico a gusera@fing.edu.uy y sergion@fing.edu.uy. Autenticación: mediante par de claves pública/privada. Se genera con comandos de ssh(ssh-keygen) y utilitarios (putty-keygen). Clave RSA de 1024 bits. La clave pública se debe enviar por correo electrónico, y la clave privada se almacena en un archivo accesible al(a los) equipo(s) desde los cuales se establecerá la conexión. El procedimiento de generación de claves puede consultarse en y en sitios de Internet.

13 CLUSTER FING: MODELO DE NEGOCIO Infraestructura autosustentada: Operación, administración, mantenimiento y actualización mediante aportes de los grupos de investigación que utilizan el cluster. Aportes de PEDECIBA, proyectos de investigación, convenios, empresas. Contrapartida por uso Aproximadamente$40,U$S2porhoradecluster($0.2a0.4,U$S0.01a 0.02 por recurso de cómputo/hora). Aproximadamente 10 % del costo de infraestructuras distribuidas comerciales(amazon EC2). Con un aporte del orden de un PC tradicional (U$S 1.000) se adquieren aproximadamente horas/núcleo de cómputo.

14 CLUSTER FING: INDICADORES Horas de uso (noviembre 2011): (127 años) Estadística en línea en usuarios, +20 grupos de investigación, +6 facultades, +4 países Proyectos de investigación: +25 Tesis de posgrado Tesis de Maestría: +25 Tesis de Doctorado: +10 Proyectos de grado y trabajos de grado: +50 Convenios: +5 Artículos publicados: +50 Valores aproximados, actualizados a noviembre de 2011

15 NICCAD Núcleo Interdisciplinario de Computación Científica de Alto Desempeño Creado en grupos de investigación Facultades de Ciencias, Ingeniería y Química, Universidad de la República. Institut Pasteur Montevideo. Integrado por investigadores interesados en las temáticas de métodos matemáticos y computacionales aplicados a la resolución de problemas científicos y de computación de alto desempeño. Sitio web:

16 NICCAD Cometidos: Promover la investigación interdisciplinaria que permita la resolución eficiente de problemas científicos complejos. Fomentar la integración entre investigadores de diversas disciplinas para crear una visión integrada del uso de las técnicas de computación científica y de alto desempeño. Impulsar el desarrollo de actividades de formación en las áreas de matemática aplicada, modelación numérica, simulación, y computación de alto desempeño. Difundir la utilización de las técnicas de computación de alto desempeño y la utilización de las infraestructuras computacionales de alto desempeño (clustersde computadores, plataformas distribuidas de computación grid y cloud). Formar y capacitar recursos humanos para colaborar con las actividades de orientación de los investigadores que utilizan las técnicas de modelado matemático, simulación y computación de alto desempeño.

17 CLUSTER FING: PROGRAMACIÓN PARALELA Varios procesos trabajan cooperativamente en la resolución de un problema (complejo). Objetivos: Mejorar el desempeño. Escalabilidad incremental: capacidad de resolver instancias más complejas del problema utilizando recursos computacionales adicionales. Paradigmas de programación paralela: Paralelismo de memoria compartida Comunicaciones y sincronizaciones mediante recurso común (memoria). Paralelismo de memoria distribuida Comunicaciones y sincronizaciones mediante pasaje de mensajes explícitos.

18 CLUSTER FING: APLICACIONES Resolución de problemas complejos en diversas áreas de la ciencia: Modelos numéricos de flujos y corrientes Pronósticos climáticos Optimización combinatoria Química teórica y computacional Geofísica planetaria Física computacional Simulaciones biomoleculares Ingeniería del viento y energías renovables Biología de sistemas Modelos estocásticos y estadísticos Mecánica de los fluidos computacional Redes y robótica Simulación de convertidores energéticos Planificación de sistemas de energía eléctrica

19 SIMULACIÓN NUMÉRICA DE LA CAPA LÍMITE TURBULENTA SOBRE BLOQUE DE EDIFICIOS Simulación numérica del flujo de viento sobre bloques de edificios. Dispersión de contaminantes en desfiladeros urbanos.

20 MEJORA DE DESEMPEÑO DE MODELOS NUMÉRICOS DEL RÍO DE LA PLATA Modelos: Ecuaciones de Navier-Stokes, discretización por elementos finitos Newton-Raphson para resolver sistemas de ecuaciones no lineales.

21 PARALELISMO APLICADO A ALGORITMOS CUÁNTICOS DE BÚSQUEDA Simulación de algoritmos de computación cuántica y su aplicación a la resolución de problemas de búsqueda y optimización.

22 PRONÓSTICOS CLIMÁTICOS CON MODELOS NUMÉRICOS DE ATMÓSFERA Modelos numéricos para atmósfera y temperatura de superficie.

23 SIMULACIÓN DE SISTEMAS DE ENERGÍA ELÉCTRICA Simulación para optimizar los recursos energéticos hidráulicos del país.

24 BÚSQUEDA MASIVA DE GRAFOS DE GRAN ORDEN Búsqueda de estructuras con propiedades determinadas en espacios de alta dimensión.

25 PLANIFICACIÓN EN ENTORNOS HETEROGÉNEOS Algoritmos evolutivos paralelos para problemas de planificación en entornos distribuidos heterogéneos.

26 RADIOSIDAD E ILUMINACIÓN DE ESCENAS Sintetización de imágenes realistas por métodos computacionales.

27 SIMULACIÓN NUMÉRICA DE MOTORES OTTO Simulación del comportamiento de motores de combustión interna.

28 OTROS TRABAJOS Paralelismo aplicado a técnicas metaheurísticaspara resolución de problemas de optimización, búsqueda y aprendizaje. Análisis de herramientas automáticas de panificación de tareas. Implementación en GPU de bibliotecas de álgebra lineal numérica. Estudio y mejora de rutinas para matrices dispersas en Matlab. Algoritmos evolutivos en GPUs. Estudio y desarrollo de algoritmos paralelos de ray-tracing. Diseño optimizado de redes de telecomunicaciones multi-overlay.

29 GRACIAS POR SU ATENCIÓN FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY