Tendencias en sistemas de comunicación de altas prestaciones:

Transcripción

1 Conectan nodos en diferentes niveles del sistema (chip, tarjeta, chásis, armario,...). Desarrollado por diseñadores de arquitecturas de altas prestaciones. Comunicar computadores, clasificación redes computación: WAN (Wide Area Network). Conexión de redes de computadores. RDSI, ATM. LAN (Local Area Network). Conexión de cientos-miles de nodos en distancias de decenas kilómetros. Redes Ethernet. SAN (System Area Network). Conexión de cientos-miles de nodos en distancias cientos de metros. Altas prestaciones. Entre los sistemas a medida y LANs. Redes basadas en estándares: SCI o Infiniband. Diseños/implementaciones propias de fabricantes: Myrinet de Myricom, QsNet de Quadrics. Diseños/implementaciones de fabricantes de computadores.

2 Tendencias en sistemas de comunicación de altas prestaciones: Sustitución de buses por redes basadas en enlaces (punto a punto) y conmutadores a todos los niveles: (chip, tarjetas,...) Buena relación precio/prestaciones.

3

4 Componentes de un sistema de comunicación: Interfaz de red: hardware y software Conmutadores (switch o router) Enlaces Sistema de comunicación: Gestiona e implementa las transferencias de datos entre núcleos de nodos. Mensaje: Unidad de información que se transfiere entre nodos a través del sistema de comunicación. Núcleo de nodo: Puede constar de procesador+cache+mp+e/s Transferencia mensaje puede suponer varias transferencias paquetes (unidad de transferencia entre interfaces). Conmutadores y enlaces guían los paquetes a su destino.

5 Multiprocesador: Nodo = Procesador+Cache ó Memoria ó E/S. Mensaje generado por un acceso a memoria (load/store). Controladores de memoria actúan de interfaz con la red interconexión. Sistema transparente al programador y herramienta de programación. Transferencia de paquetes con datos (línea de cache) y sólo de control. Tamaño paquete impuesto por hardware Protocolo de coherencia de cache.

6 Multicomputador: Nodo = Al menos 1 procesador+cache, Memoria e interfaz. Comunicación entre 2 procesos en 2 computadores: transferencia de datos de memoria fuente a memoria destino. (send/receive) Sistema de comunicación es visible al programador como subsistema de E/S. Tamaño de los paquetes controlado por programador. Sistema, puede dividir datos en unidades más pequeñas para su transferencia entre interfaces. Copia datos memoria-hw interfaz (fuente) y HW interfaz-memoria (destino)

7 Interfaz de red: Multicomputadores: Consta de Parte hardware (Network Interface NI) y parte software. Datos a enviar en espacio memoria usuario. Copiar al NI para enviar. Incluye colas de envío/recepción. Para recibir copiar de la cola del NI a memorias de usuario Multiprocesadores: La implementación es sólo hardware. Diferencias cuando existe o no HW de coherencia de caches. Tareas interfaz de red Almacenamiento de salida y entrada de paquetes Formateo de paquetes Copia y almacenamiento de datos Protección. Traducción de direcciones Control de flujo Direccionamiento, encaminamiento y reconfiguración

8

9 Almacenamiento de salida y entrada de paquetes Se realiza en registros o memoria interna del interfaz Gestion tipo cola (estructura circular con punteros) Si los paquetes no tienen tamaño fijo, punteros adicionales. Formateo de paquetes Interfaz genera información de control para los datos (envoltorio paquete): Camino a seguir y nodo destino. Información usada por conmutadores. Código detectores de errores Código detección fin de paquete

10 Formateo de paquetes División del bloque de datos a transferir. Interfaz destino debe reconstruir. Posibilidad de cambio de orden. División supone perdida de rendimiento Ejemplo: 256 bytes->32mb/s y 1024 bytes-> 43MB/s Copia y almacenamiento de datos Transferencias: Multicomputadores->E/S. Multiprocesadores-> accesos a memoria. Copia datos memoria-hw interfaz (fuente) y HW interfaz-memoria (destino)

11 Copia y almacenamiento de datos Gestión de dispositivos de E/S. Manejador de dispositivo (driver): Formar parte de núcleo de S.O. Desde el nivel de usuario se accede mediante llamadas al sistema. Transferencias entre dispositivo y memoria se realizan: E/S Programada. El procesador se encarga de realizar la transferencia. DMA. El controlador DMA es el encargado de realizar la transferencia. Se informa de eventos al procesador mediante interrupciones. E/S controlada por interrupciones. Un procesador se encarga de realizar la transferencia. Se informa de eventos al procesador mediante interrupciones.

12

13 Copia y almacenamiento de datos Gestión de dispositivos de E/S. Es posible copias de memoria a memoria debido a la intervención del núcleo del S.O.. Pérdida de rendimiento. (LAN con TCP/IP ocurre).

14 Copia y almacenamiento de datos Optimización del manejador del hardware de una interfaz para procesamiento paralelo Eliminación de tareas no necesarias del protocolo. Transmisión optimista de paquetes si la fiabilidad es alta. Aprovechar las características del hardware de interfaz. Modificar protocolo, driver,etc para maximizar las posibilidades que ofrece interfaz: control de flujo, ahorrar transferencias al nodo,..etc. Objetivo liberar los procesadores del nodo. Optimizar tareas que deben realizar procesadores del nodo. Copias de memoria combinadas. Reducir coste por intervención del núcleo. Llamadas al sistema ligeras. Evitando copias de memoria a memoria mismo nodo. Eliminar coste de interrupciones: Interrumpir por un conjunto de paquetes, no por uno solo. Consultas de cambio de estado. O combinación. Segmentación o pipeline de diferentes partes del proceso

15 Copia y almacenamiento de datos Alternativas para implementar manejadores de red 1) Gestión de transferencia. E/S Programada, DMA, E/S interrupciones. 2) Información de eventos: Consulta de estado. Interrupciones. 3) Acceso a adaptador de red: Nivel de S.O.. Nivel usuario.

16 Copia y almacenamiento de datos Alternativas para implementar manejadores de red E/S Programada. Procesador del nodo encargado de copias memoria-interfaz. Si es el mismo que esta ejecutando la aplicación->problemas con perdidas en cache. Utiliza consulta de estado para tener conciencia de eventos. Tiempos bajos de inicio de transferencia. Buena para mensajes cortos. Mala a partir de cierto tamaño en la transferencia (Tiempo no ocupado en otras tareas)

17 Copia y almacenamiento de datos Alternativas para implementar manejadores de red DMA Transferencia directa entre memoria y adaptador mediante controlador DMA. Tiempos altos de inicio de transferencia. Malo para mensajes cortos. Bueno a partir de cierto tamaño en la transferencia (Tiempo no ocupado en otras tareas) Pueden implementar colas de descriptores de transferencias, evitar esperar termine la anterior para programar. Colas en memoria o en adaptador.

18 Copia y almacenamiento de datos Alternativas para implementar manejadores de red DMA Evitar desalojo de páginas afectadas por transferencia de M.P:» Usar memoria del núcleo del S.O. Donde no hay intercambio» Bloquear páginas usuario mediante llamadas al sistema» Declarar memoria de usuario como no intercambiable y usarla como buffer. Copias memoria-memoria.

19 Copia y almacenamiento de datos Alternativas para implementar manejadores de red Recepción de datos. Transferir datos desde adaptador a memoria. Puede avisar al procesador mediante interrupciones. Llamamiento a subrutina de servicio consume tiempo. Otra opción es Consulta de estado. El procesador chequea estado del adaptador. Solución híbrida.

20 Copia y almacenamiento de datos Alternativas para implementar manejadores de red Acceso a adaptador a nivel de usuario Se eliminan llamadas al sistema y copias de memoria a memoria. Asignar región del espacio de direcciones del usuario a la interfaz. Permite acceso del procesador y DMA. Otras opciones son implementar acceso a memoria remotos: Sun Fire Link y QsNet. Las interfaces capturan las operaciones con direcciones de E/S y las mapean a operaciones con memoria en nodo remoto. Ejemplo: El adaptador QsNet realiza DMA remoto sin copia, almacenamiento ni intervanción del S.O.

21

22 Protección. Traducción de direcciones Acceso multiproceso a nivel de usuario elimina protección del S.O. Protección SO: protege destrucción estado adaptador o datos e instrucciones en memoria por otros procesos Implementar algún mecanismo de protección. DMA usa direcciones físicas no virtuales. No la sabe aplicación de usuario. Solución: E/S Programada Usuario copia datos a zona de memoria de uso por DMA. Implica copia memoria-memoria. Llamadas al sistema para bloquear y desbloquear zonas. Adaptador usa una cache TLB con traducciones direcciones virtuales a fisicas. Si no hay entrada se pide al S.O. Que bloquee esa dirección y traduzca.

23 Direccionamiento, encaminamiento y reconfiguración Para un paquete, la interfaz obtiene la dirección en la red del nodo destino y los conmutadores encuentran el camino. En otros casos la interfaz define el camino a seguir que se incluye en la cabecera del paquete. Es posible implementar en la interfaz funciones colectivas de comunicación, como por ejemplo la difisión, evitando la implementación a niveles superiores. Existen interfaces que reconfiguran el sistema de comunicación ante fallos. Objetivo, poder conectar cualquier entrada con culaquier salida. Otra posibilidad es incluir la reconfiguración en los conmutadores.

24 Ubicación de la interfaz respecto al procesador En el propio procesador Transferencia a velocidad de procesador Posible para multiprocesadores memoria centralizada. No para multicomputadores Conexión a cache Interfaz incluida en el HW de la cache. Velocidad influida por implementación coherencia cache y red interconexión nodos. Multiprocesadores memoria centralizada. Conexión a bus de sistema Transferencias a velocidad de bus de sistema. Buena para multiprocesadores con memoria distribuida. Conexión al bus de E/S Transferencia entre memoria e interfaz es más lenta. Menor precio al utilizarse estandares (PCI) en SAN y LAN. Mayor volumen de ventas.

25

26 Elementos: Conmutadores, enlaces y canales. Conmutador Dirigen paquetes hacia nodo destino. Compuesto de : E/S, buffers de almacenamiento a las E/S, conmutador interno y encaminador Varias entradas y salidas. Permiten varias transferencias en paralelo. También es posible conexiones uno-a-todos y todos-a-uno para implementar difusiones o reducciones. Incluyen un buffer de almacenamiento de información de tránsito para cada entrada. Cola circular o lista enlazada. Conmutador interno conecta buffers E/S. Encaminador: Usa información cabecera paquete para encaminar el paquete a una salida.

27 Enlace y canales Enlace: conectan dos componentes del sistema de comunicación (conmutador-conmutador o conmutador-interfaz de red). Canal: conjunto formado por enlace y controladores en emisor y receptor. Controlador enlace adecuan medio de transmisión usado a la información binaria a transmitir o recibir. Los enlaces en computadores paralelos: hilos eléctricos (aluminio sobre silicio, o cobre) o fibras ópticas. Las fibras ópticas permiten equilibrar el ancho de banda de distancias cortas y largas en mayor medida que el cobre.

28 Evaluación sistema de comunicaciones: Prestaciones extremo-a-extremo Prestaciones globales Prestaciones adicionales Funcionalidad del sistema de comunicación

29 Prestaciones extremo-a-extremo Evalúan las prestaciones que ofrece el sistema de comunicaciones al transferir un mensaje desde nodo/proceso fuente a nodo/proceso destino. Se pretende evaluar camino de comunicación entre nodos y bibliteca de funciones de acceso (MPI, PVM, OpenMP). Microbenchmark test ping-pong. Dos proceso, uno envía y otro recibe y devuelve. Tiempos se miden en proceso que envía/recibe. Medidas: Ancho de banda teórico. No experimental. Fast Ethernet = 100Mb/s o 12.4 MB/s. Ancho de banda disponible o capacidad del canal. Latencia total. Tiempo de transferencia de un mensaje de cierto tamaño. Productividad. Tamaño mensaje transferido dividido por la latencia total. Ancho de banda efectivo. Ancho banda asintótico. Productividad límite al aumentar tamaño mensage.

30 Prestaciones extremo-a-extremo

32 Prestaciones extremo-a-extremo Latencia total compuesta por: Tiempo de sobrecarga en el procesador nodo fuente. Tiempo que consume el procesador para enviar mensaje. Puede ser tiempo constante o variable (cuando se realizan copias en memoria). Este tiempo es perdido por el procesador para otras tareas. Tiempo procesamiento en hardware de la interfaz red del nodo origen. Tiempo de transferencia en la red. Incluye el tiempo de encaminamiento. Tiempo de procesamiento en interfaz red y procesador destino.

34 Prestaciones extremo-a-extremo Comunicaciones consecutivas limitadas por interfaz hardware

35 Prestaciones globales Las prestaciones extremo-a-extremo no evalúan el comportamiento del sistema de comunicación completo. No evalúan múltiples transferencias simultáneas (situación real al ejecutar una aplicación paralela). Medidas de latencias medias y ancho de banda global con la intervención de todos los nodos terminales de la red. Se inyecta tráfico en la red desde todos los nodos de entrada, generando nodos destinos con distribución uniforme (todos nodos misma probabilidad ser destino), con distribución normal (nodos cercanos mas probabilidad de ser destinos) o con distribución no uniforme (hay canales más utilizados que otro: reducción o permutaciones). Latencia media: Suma de latencia de todos los mensajes divido por el número de mensajes. Productividad global: Número de bits (bytes) que se transfieren por segundo en toda la red. Se suele dividir por el número de nodos de la red con el fin de normalizar. Se obtiene a partir de la latencia.

36 Prestaciones globales Conveniente conocer la productividad máxima. Se alcanza al saturarse la red, no se acepta más trafico y las latencias aumentan. Los sistemas deben dejar de transmitir al acercarse a ese limite. Productividad solicitada: trafico generado por los nodos. Productividad aceptada: productividad que la red realmente lleva a cabo. Antes del punto de saturación, las dos coinciden. Si la solicitada es mayor entonces estoy en saturación. El punto de saturación depende del patrón de comunicación utilizado (existen patrones donde ciertas líneas actúan como cuellos de botella)

37 Prestaciones Adicionales Funcionalidad: Tipos de transferencias que implementa el sistema de comunicaciones (liberando al software). Transferencias uno-a-uno sicronizadas, colectivas tipo difusión o reducción, etc Escalabilidad: Posibilidad de incrementar la prestación global del sistema al incluir nuevos nodos terminales. No siempre es posible. Tolerancia a fallos. Alta disponibilidad: Es posible conectar todas las salidas y entradas cuando falla algún componente del sistema de comunicaciones?. Recuperación mediante redundancia de componentes. Calidad de servicio (QoS): Asegurar cierto nivel de servicio para cierto tipo de tráfico. Divisibilidad: Posibilidad de dividir el sistema paralelo en subsistemas también paralelos. Tráfico de cierto usuario no afecte a las prestaciones obtenidas por otro. Subdivisión en subredesredes.

38 Prestaciones Adicionales Simplicidad: Diseño sencillo permite fácil comprensión y más asequible explotar prestaciones. Carga de trabajo: Si se conoce la carga de trabajo que va a soportar el computador, se pueden conocer los esquemas de comunicación usuales, tamaños mensajes, frecuencia, etc. Esto permite escoger sistema de comunicaciones adecuado. Mucho cálculo y poca comunicación: LAN con nodos de procesamiento potentes. Mucha comunicación y poco tamaño: Sistema de comunicación con poca latencia y mucho ancho de banda. En clusters se puede utilizar tecnología SAN. Prestaciones/precio. Utilizar componentes modulares disponibles comercialmente en tiendas reduce el coste global.

39 Servicios de comunicación colectivos. Un buen sistema de comunicación ofrece facilidades a los niveles superiores para implementar paso de mensajes, variables compartidas o ambas posibilidades. Ejemplo: Una difusión hacia 4 destinos a nivel de función de biblioteca equivale a 4 primitivas send con el correspondiente consume de tiempo. Si el sistema de comunicaciones dispone de una API (Application Programming Interface) que implemente difusión, se evita la repetición de los 4 sends.