CLUSTER FING: ARQUITECTURA Y APLICACIONES

Tamaño: px

Comenzar la demostración a partir de la página:

Download "CLUSTER FING: ARQUITECTURA Y APLICACIONES"

Álvaro Moreno Maidana
hace 8 años
Vistas:

1 CLUSTER FING: ARQUITECTURA Y APLICACIONES SERGIO NESMACHNOW Centro de Cálculo, Instituto de Computación FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY

2 CONTENIDO Introducción Clusters Cluster FING Estructura

3 INTRODUCCIÓN Cluster FING

4 CLUSTERS Agregación de varios computadores independientes para utilizarlos como una única unidad integrada de cómputo. En general, se integran con componentes de bajo costo y se conectan por redes de área local. La agregación permite alcanzar poder de cómputo muy superior a las de los supercomputadores específicos. Prestaciones de un cluster: Alto rendimiento Alta disponibilidad Escalabilidad incremental Balance de carga

En general, se integran con componentes de bajo costo y se conectan por redes de área local.

5 CLUSTERS Sistema de procesamiento paralelo-distribuido (memoria distribuida) Los componentes de un cluster incluyen: Nodos Procesadores. Software de base Sistemas operativos. Comunicaciones: Redes de alta velocidad. Interfaces y software para comunicaciones. Middleware (entre SO y aplicaciones) Gestores de ejecución, monitores de recursos, etc. Entornos de programación Bibliotecas y herramientas de desarrollo

Comunicaciones: Redes de alta velocidad. Interfaces y software para comunicaciones.

6 CLUSTERS Insfraestructura promisoria para contemplar necesidades importantes de cómputo en un entorno de recursos económicos limitados. Principales ventajas: Relación costo/performance. Escalabilidad incremental. Sistema multipropósito (no dedicado). Más detalles en

Principales ventajas: Relación costo/performance. Escalabilidad incremental.

7 CLUSTER FING Proyecto CSIC Fortalecimientode Equipamientos para la Investigación (2008). Objetivo: Disponer de una plataforma computacional capaz de abordar eficientemente problemas complejos. Proyecto de Facultad de Ingeniería. Página web

Objetivo: Disponer de una plataforma computacional capaz de abordar

8 CLUSTER FING: ESTRUCTURA Nodos de cómputo Red Gigabit Ethernet node2 node3 cluster (head) Nodo de acceso, servidor de archivos, compiladores, etc. node4 node5 node6 node7 Sistema operativo: Linux CentOS node8 node9

9 CLUSTER FING: ESTRUCTURA 9 servidores de cómputo Quad core Xeon E5430, 2x6 MB caché, 2.66GHz, MHz FSB. 8 GB de memoriapornodo. Adaptador de red dual (2 puertos Gigabit Ethernet). Arquitectura de 64 bits. Servidorde archivos: 2 discos de 1 TB, capacidadampliablea 10 TB. Nodosde cómputo: discos de 80 GB. Switch de comunicaciones Dell Power Connect, 24 puertos Gigabit Ethernet. Switch KVM (16 puertos) y consola. UPS APC SmartRT 8000VA.

Servidorde archivos: 2 discos de 1 TB, capacidadampliablea 10 TB. Nodosde cómputo: discos de 80 GB.

10 PROCESADOR Arquitectura multi-core (multi-núcleo) Combina dos o másnúcleos de procesamientoindependientes en un solo circuito integrado. Varios microprocesadores independientes que permiten ejecución en paralelo a nivel de threads (hilos). CPU local Caché L1 CPU local Caché L1 Interfaz de bus Caché L2 Ejemplo de arquitectura dual core(doble núcleo)

Varios microprocesadores independientes que permiten ejecución en paralelo a nivel de

11 QUAD CORE Intel Core 2 Kentsfield o Core 2 Quad Lanzado al mercado el 2 de noviembre de núcleos de procesamiento. Especializado para multithreading (paralelismo con hilos, memoria compartida).

12 CLUSTER FING: ESTRUCTURA Combina arquitectura de cluster (memoria distribuida) y multi-core (memoria compartida). Permite aprovechar características de ambos modelos de paralelismo: paralelismo de dos niveles. node2 node3 node4 MEMORIA P1 P2 C1 C2 C1 C2 cluster (head) node5 C3 C4 C3 C4 node6 node7 node8 node9 Cluster: 9 nodos. Cada nodo con dos procesadores de cuatro núcleos y 8 GB. de memoria (global). Cluster tiene 72 núcleos de procesamiento

node2 node3 node4 MEMORIA P1 P2 C1 C2 C1 C2 cluster (head) node5 C3 C4 C3 C4 node6 node7 node8 node9 Cluster: 9

13 CLUSTER FING: APLICACIONES Programación paralela Varios procesos trabajan cooperativamente en la resolución de un problema (complejo). Objetivos: Mejorar el desempeño. Escalabilidad incremental: capacidad de resolver instancias más complejas del problema utilizando recursos computacionales adicionales. Paradigmas de programación paralela: Paralelismo de memoria compartida Comunicaciones y sincronizaciones mediante recurso común (memoria). Paralelismo de memoria distribuida Comunicaciones y sincronizaciones mediante pasaje de mensajes explícitos.

Escalabilidad incremental: capacidad de resolver instancias más complejas del problema utilizando recursos computacionales adicionales.

14 CLUSTER FING: APLICACIONES Paralelismo de memoria compartida Comunicaciones y sincronizaciones mediante recurso común (memoria). Es necesario sincronizar el acceso y garantizar exclusión mutua a secciones compartidas. Paralelismo multithreading: Bibliotecas estándares (e.g., en lenguaje C). Bibliotecas específicas. Paralelismo de memoria distribuida No existe recurso común: comunicaciones y sincronizaciones mediante pasaje de mensajes explícitos. Mecanismos de comunicación entre procesos: Estándares en lenguajes de programación. Bibliotecas de programación paralela.

g., en lenguaje C). Bibliotecas específicas.

15 CLUSTER FING: APLICACIONES Cómo aprovechar las características del cluster FING? Paralelismo de memoria compartida Multithreading: Bibliotecas estándares (e.g., en lenguaje C). Bibliotecas específicas: OpenMP (para C, C++, FORTRAN). Paralelismo de memoria distribuida Primitivas IPC (en C, C++). Bibliotecas de programación paralela: MPI, MPI-2, PVM (para C, C++, FORTRAN). Uso óptimo: paralelismo de dos niveles Procesos en diferentes nodos (memoria distribuida). Hilos en multicore (memoria compartida).

Bibliotecas específicas: OpenMP (para C, C++, FORTRAN). Paralelismo de memoria distribuida Primitivas IPC (en C, C++).

16 CLUSTER FING: ACCESO Punto de acceso: cluster.fing.edu.uy Habilitación de usuarios: solicitud mediante correo electrónico a gusera@fing.edu.uy y sergion@fing.edu.uy. Autenticación: mediante par de claves pública/privada. Se genera con comandos de ssh (ssh-keygen) y utilitarios (ej. putty- keygen). Clave RSA de 1024 bits. La clave pública se debe enviar por correo electrónico, y la clave privada se almacena en un archivo accesible al(a los) equipo(s) desde los cuales se establecerá la conexión. El procedimiento de generación de claves puede consultarse en -ambiente_pvm.pdf y obviamente en sitios de Internet.

La clave pública se debe enviar por correo electrónico, y la clave privada se almacena en un archivo accesible al(a los) equipo(s) desde los cuales se establecerá la

Documentos relacionados

EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA

EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA SERGIO NESMACHNOW Centro de Cálculo, Instituto de Computación FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY EL CLUSTER