Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011"

María Concepción Hernández Rojo
hace 8 años
Vistas:

1 Clusters Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011

2 Introducción Aplicaciones que requieren: Grandes capacidades de cómputo: Física de partículas, aerodinámica, genómica, etc. Tradicionalmente alcanzadas por medio de supercomputadores Los avances tecnológicos no satisfacen las necesidades Necesidades de alta disponibilidad: Sistemas transaccionales de producción, banca, facturación, etc. No mucho cómputo, pero siempre debe estar disponible

Tradicionalmente alcanzadas por medio de supercomputadores Los avances tecnológicos no satisfacen

3 Introducción Computación de altas prestaciones: resolver problemas muy costosos computacionalmente minimizando el tiempo de respuesta Para hacer algo más rápidamente se puede: Trabajar más duro => mejoras en la tecnología. Trabajar más inteligentemente => optimización de los algoritmos. Buscar ayuda => procesamiento paralelo. Parallelism is the wave of the future and always will be

Trabajar más duro => mejoras en la tecnología.

4 Introducción El procesamiento en paralelo es un método por el que se dividen grandes problemas en componentes más pequeños, llamados tareas o procesos, que pueden resolverse en paralelo Esta solución surge como una respuesta de la arquitectura de computadores a las crecientes demandas de potencia de cómputo de los usuarios Tienen una influencia clave el bajo costo de los equipos y el gran desarrollo tecnológico (Ley de Moore)

como una respuesta de la arquitectura de computadores a las crecientes demandas de potencia de cómputo de

5 Top 500

6 Fabricantes

7 Interconexión

8 Interconexión

9 Sistemas operativos

10 Sistemas operativos

11 Áreas de aplicación

12 Arquitectura

13 Computación distribuida Computación distribuida Conjunto de computadores conectados mediante una red de comunicación que trabajan de forma conjunta para resolver un problema común. Alternativa a las MPP (Massively Parallel Processing) Potencia de procesamiento similar mediante redes de altas prestaciones a un MPP Costo muy inferior

14 Evolución de las arquitecturas

15 Definición de Cluster Un cluster es un tipo de computador paralelo o distribuido que consiste en un conjunto de computadores independientes pero interconectados entre sí que trabajan conjuntamente como un único recurso para resolver un problema común.

computadores independientes pero interconectados entre sí que

16 Motivos de Aparición

17 Protocolos y redes de comunicación estándares de alto rendimiento

18 Procesamiento con Clusters Alternativa a los supercomputadores En lugar de MPP: Hardware específico. Alto costo. Desarrollo de hardware lento. Desarrollo de software dificil. Se pueden usar equipos de propósito general (PCs): Hardware común y corriente. Bajo costo. Desarrollo de hardware rápido. Desarrollo de software aun más difícil.

19 Esquemas de clasificación Los clusters se pueden clasificar atendiendo a diversos factores: Según la aplicación. Clusters de alto rendimiento: diseñados para la implementación de aplicaciones de alto costo computacional. Clusters de alta fiabilidad: diseñado para aplicaciones críticas, en las que lo importante es la disponibilidad más que el rendimiento. Según el propietario de los nodos: Clusters dedicados: las aplicaciones paralelas se ejecutan en todo el sistema, sin ningún tipo de restricción. Clusters no dedicados: cada nodo tiene un propietario y las aplicaciones paralelas se ejecutan en el tiempo en que los nodos están ociosos (ciclos libres).

Clusters de alta fiabilidad: diseñado para aplicaciones críticas, en las que lo importante es la disponibilidad más que el rendimiento.

20 Esquemas de clasificación Según la configuración del cluster: Clusters homogéneos: la arquitectura (hardware y software) de todos los nodos es la misma. Clusters heterogéneos: los nodos tienen diferentes características, en cuanto a hardware o software.

21 Esquemas de clasificación

22 Ejemplo de Cluster Lawrence Livermore Laboratory BlueGene/L, PPC 440, 700 MHz (IBM) Procesadores 596 TFlops (LINPACK) 73 TB RAM 900 TB Disco (GPFS) Red colectiva

23 Ventajas Relación costo/prestaciones. Flexibilidad. Disponibilidad. Escalabilidad. Crecimiento por incrementos. Incorporación de tecnología nueva.

24 Inconvenientes Existen todavía varios problemas propios de estos sistemas: Software. Problemas de administración y gestión. Memoria físicamente distribuida resulta en una utilización menos eficiente. Varias copias del sistema operativo. La red es el cuello de botella del sistema.

25 Arquitectura de un cluster Un cluster está formado por nodos de procesamiento y una red de comunicación. Un nodo del cluster puede ser un ordenador convencional con su propia memoria, sistema de I/O y su propio sistema operativo. Los nodos pueden estar incluidos en un solo rack o físicamente separados y conectados por una LAN.

26 Arquitectura de un cluster Los componentes que forman un sistema de este tipo son los siguientes: Un conjunto de computadores. Redes de interconexión de altas prestaciones (Myrinet, Gigabit, Infiniband). Placa de conexión a red. Protocolos y servicios de comunicación. Middleware, compuesto de dos subniveles de software: La imagen de sistema única (SSI: Single System Image) que ofrece a los usuarios un acceso unificados todos los recursos del sistema. Disponibilidad del sistema que permite servicios como puntos de chequeo, recuperación de fallos, soporte para tolerancia a fallos. Entornos y herramientas de programación paralela, compiladores paralelos, Java, PVM, MPI.

27 Arquitectura de un cluster

28 Middleware La imagen de sistema único (SSI) proporciona al usuario una visión unificada del cluster como un único recurso o sistema de procesamiento. Esta imagen está soportada por el nivel midlleware que está entre el sistema operativo y las aplicaciones de usuario y tiene básicamente dos subsistemas: Infraestructura de imagen de sistema único: que junto al sistema operativo está presenta en todos los nodos y proporciona un acceso unificado a todos los recursos del sistema. Infraestructura de disponibilidad del sistema: que posibilita servicios propios del cluster como puntos de chequeo, recuperación automática de fallos y soporte para tolerancia a fallos.

29 Middleware Objetivos del middleware: Presentar una completa transparencia al usuario de forma que este no tenga que preocuparse por detalles de bajo nivel. Escalabilidad del sistema. Disponibilidad del sistema para soportar las aplicaciones de los usuarios.

30 MOSIX Middleware Herramienta para la gestión de clusters que proporciona imagen de sistema único. Sistema distribuido. Consiste en una extensión al kernel de Linux para migrar procesos bajo condiciones de carga y varias herramientas de usuario también. Originalmente bajo GPL, ahora OpenMOSIX.

31 Diseño de un Cluster Consideraciones de diseño: Maximizar relación precio/prestaciones. Asegurar la disponibilidad. Restringido a un presupuesto. Un cluster está formado por elementos principales: Nodos de procesamiento. Red de comunicación.

32 Diseño de un Cluster El requisito fundamental para el diseño de un cluster es: Diseñar una supercomputadora con un costo reducido. Metodología abajo-arriba de diseño: Requisitos de rendimiento. Hardware Sistema operativo Middleware Aplicaciones

33 Diseño de un Cluster

34 Diseño de un Cluster Requisitos de rendimiento Problemas para obtener el máximo rendimiento de un procesamiento en paralelo: Hardware: procesadores inactivos debido a conflictos en acceso a memoria y comunicaciones. Sistema operativo: problemas de ineficiencia en planificadores, sistemas de archivos y asignación de memoria. Middleware: distribución y coordinación de tareas ineficiente, latencias de comunicación altas. Aplicaciones: algoritmos e implementaciones ineficientes que no explotan el paralelismo inherente de los problemas.

35 Diseño de un Cluster Nodos de procesamiento: Procesador. Número de procesadores por nodo. Prestaciones del procesador. Memoria Cache. Memoria. Capacidad memoria por nodo. Velocidad del bus de memoria. Cantidad de memoria cache de nivel 2. Disco. Capacidad de almacenamiento necesaria. Velocidad de acceso. Posibilidad de utilizar RAID de discos.

36 Diseño de un Cluster Red de Comunicaciones: Prestaciones: Ancho de banda. Latencia. Sobrecarga emisor y receptor. Medios de transmisión: Cobre Fibra óptica Elementos de interconexión: Concentradores (Hubs) Conmutadores (Switches)

37 Diseño de un Cluster Red de Comunicaciones: Topología: Número de elementos de interconexión. Forma de interconexión. Placa de red: Conexión con el nodo. Capacidad de proceso. Utilización de estándares: Bajo costo Estabilidad Independencia de fabricantes

38 Diseño de un Cluster

39 Diseño de un Cluster

40 Aplicaciones más comunes Aplicaciones en la ciencia de la información El paralelismo consiste en millones de tareas completamente independientes Alta disponibilidad Aplicaciones de base de datos Debido a su gran relación precio/prestaciones y escalabilidad Cálculo científico. Permite a pequeños grupos disponer de varias unidades de procesamiento

41 Muchas Gracias!

Documentos relacionados

:Arquitecturas Paralela basada en clusters.

Computación de altas prestaciones: Arquitecturas basadas en clusters Sesión n 1 :Arquitecturas Paralela basada en clusters. Jose Luis Bosque 1 Introducción Computación de altas prestaciones: resolver problemas