Computación de Alta Performance Curso 2008 CLUSTERS

Transcripción

1 Computación de Alta Performance Curso 2008 Basado en el artículo Cluster computing at a glance. M. Baker, R. Buyya, Software Practice and Experience 29 (6), pp , 1999.

2 CÓMO MEJORAR LA PERFORMANCE? Básicamente, hay 3 maneras: 1. Trabajar más intensamente. 2. Trabajar más inteligentemente 3. Solicitar ayuda. Analogía para la computación 1. Utilizar hardware especial, por ejemplo reducir el tiempo por instrucción con un procesador de mayor ciclo de reloj. 2. Optimizar algoritmos y técnicas de programación 3. Utilizar múltiples computadoras para resolver el problema, ejecutando más instrucciones en el mismo tiempo.

3 ARQUITECTURAS SECUENCIALES LIMITACIONES: Cerca de alcanzar las limitaciones físicas (velocidad de la luz, termodinámicas, cuánticas). Mejoras de hardware como el pipelining, el procesador superscalar, etc., son no escalables y requieren una complicada tecnología de fabricación e instrumentación. El procesamiento vectorial funciona adecuadamente para cierta clase de problemas.

4 PROCESAMIENTO PARALELO AHORA? La tecnología del procesamiento paralelo está madura y puede ser (de hecho está siendo) explotada comercialmente. Existe amplio trabajo de investigación y desarrollo en herramientas y entornos de programación El desarrollo significativo de la tecnología de redes ha permitido el avance de la computación heterogénea.

5 : MOTIVACIÓN Analogía biológica: Procesamiento paralelo en estructuras cerebrales. La velocidad global con la cual las millones de neuronas del cerebro humano resuelven problemas muy complejos es asombrosa, aún cuando individualmente, el tiempo de respuesta de una neurona es lento (del orden de milisegundos). Este argumento sugiere la potencial utilidad de utilizar múltiples recursos de cómputo funcionando de modo coordinado para resolver un problema global.

6 MOTIVACIÓN PARA UTILIZAR Permiten reutilizar equipamiento disponible. El ancho de banda para comunicaciones entre workstations ha crecido al desarrollarse nuevas tecnologías y protocolos e implementarse en LANs and WANs. Los clusters de workstations son más sencillos de integrar en los entornos de desarrollo y producción que las supercomputadoras.

7 RESOLUCIÓN DE PROBLEMAS COMPLEJOS Se necesitan más recursos de cómputo para resolver problemas complejos? Considerando: La gran cantidad de equipos subutilizados. La enorme cantidad de ciclos de procesador libres, a los cuales puede darse un uso práctico. El costo desmedido de un supercomputador. Recursos distribuídos encajan con el modelo de clusters. Se necesitan más recursos de cómputo para resolver problemas complejos? SI Pero no siempre es necesario HARDWARE ESPECIAL Es posible implementar soluciones con el equipamiento disponible (de oficina, empresa, centro educativo).

8 MOTIVACIÓN PARA UTILIZAR La brecha entre el poder de cómputo de clusters ysupercomputadorasse redujo considerablemente. La performance de workstations y PCs mejora rápidamente. Estudios muestran que el uso de ciclos de CPU promedio de las estaciones de trabajo es típicamente menor al 10% de su capacidad. Como la performance mejora, la utilización porcentual de CPU decrecerá aún más. Cada vez más difícil justificar la inversión importante para adquirir un supercomputador y sus herramientas de desarrollo.

9 MOTIVACIÓN PARA UTILIZAR Las herramientas de desarrollo para PCS y workstations están exhaustivamente analizadas y probadas (inclusive algunas de ellas estandarizadas). Esta situación contrasta con las soluciones propietarias de las supercomputadoras, muchas de ellas no estandarizadas. Los clusters de workstations son escalables. Por relativamente poco costo adicional es posible agregar nuevos recursos de cómputo.

10 EL ROBO DE CICLOS DE CPU Usualmente una workstation será propiedad de un indivuduo, grupo, departamento, u organización, en el sentido de que estarán DEDICADAS al uso de su(s) propietario(s). Cómo implementar un cluster de workstations para ejecución de aplicaciones paralelas y distribuídas? Típicamente, hay varios tipos de propietarios, de acuerdo al uso que dan a su CPU. 1.Estudiantes o trabajadores ocasionales. 2.Aplicaciones de oficina ( , documentos). 3.Desarrollo de software (edición, compilación, test). 4.Ejecución de aplicaciones que requieren cómputo intensivo.

11 EL ROBO DE CICLOS DE CPU Las técnicas de computación en clusters tratan de robar ciclos de CPU desde (1), (2) y (3) de manera de proveer a (4). Sin embargo, esta práctica requiere superar los egoísmos personales -los usuarios son muy protectores de sus equipos-. Usualmente se requiere de autorización institucional para utilizar las computadoras de esta manera. El robo de ciclos de CPU realizado fuera de las horas estándar de trabajo es viable. El robo de ciclos de CPU realizado en horario laboral, sin impactar el uso interactivo de CPU y memoria es más difícil de implementar.

12 DÓNDE UBICAR A LOS? Cadena alimenticia real

13 DÓNDE UBICAR A LOS? Mainframe Minicomputadora Workstation PC Supercomputadora vectorial Cadena de las computadoras (ca. 1990)

14 DÓNDE UBICAR A LOS? Minicomputadora Mainframe Workstation PC Supercomputadora Vectorial MPP Cadena de las computadoras (ca. 1995)

15 DÓNDE UBICAR A LOS? Workstation Mainframe Minicomputadora PC Supercomputadora Vectorial NOW (Network of Workstations) = Cadena de las computadoras (presente y futuro)

16 FORMALIZANDO: QUÉ ES UN CLUSTER? Un cluster consiste en un tipo de sistema de procesamiento paralelo o distribuido, compuesto por un conjunto de computadoras que trabajan cooperativamente como un único e integrado recurso de cómputo. Características de un típico cluster : Red: rápida, mejor que una típica LAN. Protocolos de comunicación de latencia baja. Menor conexión que un SMP.

17 : POR QUÉ AHORA? El desempeño de los PCs se incrementa. Se duplica cada 18 meses aproximadamente. Las redes son cada vez más veloces. Aumenta ancho de banda, interfaces simples. RAID (Almacenamiento redundante de bajo costo). Alta disponibilidad y escalabilidad. Los clusters tienen escalabilidad incremental Desempeño de nodos individuales puede mejorarse con recursos adicionales (memoria, disco). Pueden agregarse nuevos nodos y reemplazar otros. Clusters de clusters (metacomputadoras). Herramientas de software completas. Threads, PVM, MPI, DSM, C, C++, Java, Parallel C++, Compiladores, Debuggers, SOs, etc. Amplia gama de aplicaciones.

18 EJEMPLOS DE : MARENOSTRUM MareNostrum es un cluster de procesadores PowerPC (arquitectura BladeCenter), SO Linux, y con red de interconexión Myrinet. #5 en Top500 (Junio de 2005) GFlops.

19 EJEMPLOS DE : MARENOSTRUM Teraflops de rendimiento de pico teórico (42.144x10 12 =42 billones de operaciones por segundo) procesadores PowerPC 970FX en 2400 Nodos duales de 2.2 GHz. 9.6 TB de memoria. 236 TB de almacenamiento en disco. 3 redes de interconexión: Myrinet. Gigabit Ethernet. Ethernet 10/100.

20 EJEMPLOS DE : THUNDER #7 Top500 (Junio 2005) GFlops Nodos. 4 CPU/Nodo. Itanium Ghz CPU. 8GB RAM/Nodo. Discos: 75GB/Nodo. SO: CHAOS.

21 MILLENNIUM PC CLUMPS Clusters baratos, fáciles de administrar. Replicados en varios departamentos. Prototipo para grandes clusters de PC.

22 ARQUITECTURA DE UN CLUSTER

23 : COMPONENTES Los componentes de un cluster incluyen: Nodos Procesadores. Software de base Sistemas operativos. Comunicaciones: Redes de alta velocidad. Interfaces y software para comunicaciones. Middleware. Entornos de programación. Bibliotecas y herramientas de desarrollo.

24 : NODOS Múltiples componentes de alta performance. PCs. Workstations. SMPs (CLUMPS). Sistemas de HPC distribuidos, que conducen a la metacomputación. Los componenetes pueden ser de diferentes arquitecturas, y ejecutar con diferentes sistemas operativos (clusters heterogéneos).

25 : PROCESADORES Muchos tipos: CISC/RISC/VLIW/Vectoriales. Intel: Itanium2, Xeon Sun: SPARC, ULTRASPARC III. HP PA. IBM RS6000/PowerPC. SGI MPIS. Digital Alpha. Pueden integrar memoria, procesador y red en un único chip. IRAM(CPU y memoria, Alpha (CPU, Controlador de memoria, NI).

26 : SISTEMAS OPERATIVOS Estado del arte según OS: Linux (Beowulf) Microsoft NT (Illinois HPVM) SUN Solaris (Berkeley NOW) IBM AIX (IBM SP2) HP UX (Illinois - PANDA) Mach (SO basado en microkernel) Cluster Operating Systems (Solaris MC, SCO Unixware, MOSIX (proyectos académicos). OS gluing layers: (Berkeley Glunix).

27 : COMUNICACIONES REDES DE ALTA VELOCIDAD Ethernet (10Mbps), Fast Ethernet (100Mbps). Gigabit Ethernet (1Gbps). SCI (Dolphin-MPI latencia: 12 microsegundos). ATM. Myrinet (1.2Gbps). Digital Memory Channel, FDDI, etc. TARJETAS DE RED Myrinet tiene NIC (Network Interface Card). Soporte de acceso a nivel de usuario. El procesador Alpha integra procesador, controlador de memoria e interfase de red en un único chip.

28 : COMUNICACIONES SOFTWARE PARA COMUNICACIONES Facilidades estándar de IPC de los sistemas operativos Sockets (TCP/IP), pipes, etc.. Protocolos a nivel de usuario Active Messages (Berkeley). Fast Messages (Illinois). U-net (Cornell). XTP (Virginia). Sistemas que pueden ser construidos sobre los protocolos de base.

29 : MIDDLEWARE Reside entre el SO y las aplicaciones, ofrece infraestructura para soportar: Single System Image (SSI). System Availability (SA). SSI permite que un cluster pueda ser visto como un único equipo ( globaliza los recursos de un sistema). Accceso a través de ssh cluster.myinstitute.edu SA provee disponibilidad Check pointing y migración de procesos.

30 : ENTORNOS DE PROGRAMACIÓN MÚLTIPLES VARIANTES Threads (PCs, SMPs, ). POSIX Threads. Java Threads. PVM. MPI. Linux, NT, en muchas Supercomputadoras. Software DSMs (Shmem). Otras tecnologías.

31 : HERRAMIENTAS DE DESARROLLO Compiladores C/C++/Java. Programación Paralela con C++ (MIT Press book). RAD (rapid application development tools). Herramientas basadas en GUI para modelos de PP. Debuggers. Herramientas de análisis de performance. Herramientas de Visualización.

32 CONCLUSIONES Clusters Insfraestructura promisoria para contemplar necesidades importantes de cómputo en un entorno de recursos limitados. Principales ventajas : Relación costo/performance. Escalabilidad incremental. Sistema multipropósito (no dedicado). SERÁ LA PRINCIPAL PLATAFORMA DE TRABAJO A LO LARGO DEL CURSO.