Middlewar Middlew es par ar a es par Sistemas de Alto Re R ndimiento José M. Peña

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Middlewar Middlew es par ar a es par Sistemas de Alto Re R ndimiento José M. Peña"

David Carrizo Hidalgo
hace 8 años
Vistas:

1 Middlewares para Sistemas de Alto Rendimiento José M. Peña

2 Contenidos Middlewares: Ejemplo lenguajes/entornos de programación: Lenguaje de programación paralela: OpenMP Ejemplos de servicios HPC: Sistemas de ficheros para cluster Lustre Memoria compartida distribuida TreadMarks

OpenMP Ejemplos de servicios HPC: Sistemas de ficheros

3 Middleware Middleware: En el concepto de software intermediario, da soporte al desarrollo de aplicaciones distribuidas: Abstracción: Haciendo de interfaz entre las tareas/procesos y el hardware o sistema operativo. Servicios: Proporciona servicios y funcionalidades para el desarrollo de aplicaciones. i

interfaz entre las tareas/procesos y el hardware o sistema operativo.

4 Middleware de un Sistema Distribuido Objetivos: Interoperabilidad. Facilidad de desarrollo. Ejemplos de Servicios: Descubrimiento. Seguridad. Mecanismos: Recubrimiento del Software Abstracciones. Deslocalización de servicios. Middleware de un Sistema Cluster Objetivos: Rendimiento. Disponibilidad. Ejemplos de Servicios: Acceso a datos. Checkpointing. Mecanismos: Acceso directo al HW Reparto de carga. Caching. Middleware

Deslocalización de servicios. Middleware de un Sistema Cluster Objetivos: Rendimiento. Disponibilidad.

5 Niveles de Middleware Nivel de implementación: Acceso a E/S compartida (e.g., disco). Migración de procesos/checkpointing. Espacio unificado (procesos, usuarios, ) Nivel de programación: Lenguajes y bibliotecas específicos (HPF, MPI, OpenMP) Servicios: Sistemas de ficheros de cluster Memoria compartida distribuida (DSM) Nivel de gestión: Gestión de trabajos. Administración del sistema.

Espacio unificado (procesos, usuarios, ) Nivel de programación: Lenguajes y bibliotecas

6 MIDDLEWARE DE SISTEMAS DE ALTO RENDIMIENTO Lenguajes y entornos de programación Lenguajes de programación: Lenguajes paralelos

7 OpenMP Estandarizado. Adecuado para: Máquinas SMP Memoria compartida Paralelismo li a nivel de tarea/datos t Características: Basado en directrices de pre-procesador (en fase de compilado). Fácil de utilizar. Flexibilidad limitada. Dependencia del compilador.

nivel de tarea/datos t Características: Basado en directrices de

8 OpenMP Estructuras de control paralelas int main(int argc, char **argv) { const int MAX = ; int i, m[max]; #pragma omp parallel for for (i = 0; i < MAX; i++) m[i] = i*i*1.23; } return 0;

250000; int i, m[max]; #pragma omp parallel for

9 OpenMP Mecanismos de sincronización: Barreras de sincronización: #pragma omp barrier Operaciones atómicas: #pragma omp atomic Secciones críticas: #pragma omp critical

10 OpenMP Funciones auxiliares: Barreras de sincronización: omp_get_thread_num() thread omp_get_num_threads() Información de control: omp_get_nested() omp_in_parallel() parallel() Control de cerrojos: omp_*_lock()

11 MIDDLEWARE DE SISTEMAS DE ALTO RENDIMIENTO Servicios a nivel de programación Servicios: Sistemas de ficheros de cluster. Sistemas de memoria compartida distribuida.

12 Lustre Desarrollado por Sun Microsystems Características Componentes: generales: Compatible POSIX Con estado Basado en objetos Tolerante a fallos Object Storage Client (OSC). Metadata Served (MDS) Object Storage Server (OSS)

POSIX Con estado Basado en objetos Tolerante a fallos

13 Lustre Componentes: Object Storage Client (OSC). Metadata Served (MDS) Object Storage Server (OSS) Lustre Client LDAP Server Configuration information, network connection details, & security management Directory operations, Meta-data & concurrency file I/O & file locking Meta-data Server (MDS) recovery, file status, file creation Object Storage Targets (OST) Object Storage Targets (OST) S.Ravindrandh Chowdary Lustre File System HP, 09

network connection details, & security management Directory operations, Meta-data & concurrency file I/O &

14 Lustre Mejoras de rendimiento: Soporte nativo sobre redes de altas prestaciones (e.g., InfiniBand), en lugar de pasar por la pila TCP/IP

15 DSM Motivación: Migración de código de sistemas multiprocesadores/vectoriales. Modelo de programación más intuitivo. Implementaciones: Basadas en compiladores. Basadas en memoria virtual: TreadMarks

16 DSM: Gestión de Copias Número de copias: Única: Mal rendimiento. Múltiples de lectura. Múltiples de lectura/escritura. Localización: Broadcast. Gestor de páginas DSM Gestión distribuidas: Múltiples gestores.

17 DSM: TreadMarks Biblioteca de DSM a nivel de usuario: Bibliotecas propias de gestión. Identificación selectiva de variables compartidas (páginas de memoria virtual). Indicación explicita de sincronización. Consistencia perezosa. Múltiples lectores/escritores. Utiliza copias de trabajo y originales modificados. Combinación en base a diferencias.

Indicación explicita de sincronización. Consistencia perezosa.

18 DSM: TreadMarks Uso: Reserva de memoria (Tmk_malloc). Compartición explícita de memoria (Tmk_distribute). Sincronización entre todas las copias (Tmk_barrier, Tmk_lock_...). Consistencia al adquirir cerrojos: Invalidando datos compartidos. Alternativas: Recuperándolos bajo demanda (invalidate). Mandando cambios al adquirir el cerrojo (update). p

Sincronización entre todas las copias (Tmk_barrier, Tmk_lock_...).

Documentos relacionados

Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011

Clusters Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011 Introducción Aplicaciones que requieren: Grandes capacidades de cómputo: Física de partículas, aerodinámica, genómica, etc. Tradicionalmente