Clusters con soporte a calidad de servicio. Grupo de Redes y Arquitecturas de Altas Prestaciones

Transcripción

1 Grupo de Redes y Arquitecturas de Altas Prestaciones Clusters con soporte a calidad de servicio

2 Contenidos Diseño de componentes para redes con QoS Uso de componentes comerciales

3 Clusters con soporte a QoS Arquitectura IBA CA CA CA QP Memoria QP QP QP QP QP SMA CA RT RT CA DMA Puerto Puerto Puerto CA CA CA

4 Clusters con soporte a QoS Encaminamiento en IBA Random FT DLID LMC Puerto Conmutador Máximo 48K entradas (unicast) SMA Conmutación FT MT 16 bits 3 bits 8 bits Puerto Puerto Puerto DLID 0 1 Puerto Linear FT Máximo 48K entradas (unicast) Tablas de encaminamiento (FTs, forwarding tables) bits M scara Máximo 16K entradas (multicast) Máximo 256 bits

5 Clusters con soporte a QoS Administración de la subred Asimilar cambios en la topología de la red Detección de cambios Exploración de topología Cómputo de tablas de encaminamiento Distribución Proporcionar QoS ante dichos cambios Reducir el tiempo de adaptación Reducir el descarte de tráfico de aplicación Reducir la cantidad de rutas afectadas

6 Clusters con soporte a QoS Desarrollo del proyecto Estudio de la especificaciûn FamiliarizaciÛn con el entorno de modelado DiseÒo y modelado de componentes DiseÒo de componentes Modelado de componentes do del Ûn de la subred rores DiseÒo del ï AdquisiciÛn de topologìa ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas

7 Clusters con soporte a QoS Desarrollo del proyecto Estudio de la especificaciûn FamiliarizaciÛn con el entorno de modelado DiseÒo y modelado de componentes DiseÒo de componentes Modelado de componentes do del Ûn de la subred rores DiseÒo del ï AdquisiciÛn de topologìa ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas

8 de modelado Desarrollo del proyecto Clusters con soporte a QoS DiseÒo de componentes DiseÒo y modelado de componentes Modelado de componentes Handover Topology Discovery Table Table Distribution Process and Subnet Configuration Computation and Subnet Activation on/off end discovery end computation Handover Discoverer Builder Distributor SM found Network Forwarding topology tables SMP response (remote) SMP request Pending SMP response SMPs (remote) trap SMP response (LFT/RFT) SM SMI Dispatcher SMP request SMP request SMP request SMP response trap repress (LFT/RFT) DiseÒo y modelado del de administraciûn de la subred DiseÒo del ï AdquisiciÛn de topologìa ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas Modelado del EvaluaciÛn del n y supresiûn de botella Mejoras OptimizaciÛn de tareas

9 de modelado Desarrollo del proyecto Clusters con soporte a QoS DiseÒo y modelado de componentes DiseÒo de componentes Modelado de componentes DiseÒo y modelado del de administraciûn de la subred DiseÒo del ï AdquisiciÛn de topologìa ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas Modelado del n y supresiûn de botella EvaluaciÛn del Mejoras OptimizaciÛn de tareas

10 Desarrollo del proyecto DiseÒo y modelado del mecan de administraciûn de la sub Clusters con soporte a QoS q p g ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas Modelado del EvaluaciÛn del IdentificaciÛn y supresiûn de cuellos de botella Mejoras OptimizaciÛn de tareas Modelado de tareas Estudio del kit de desarrollo al s ImplementaciÛn del

11 Discovery Time (sec) Desarrollo del proyecto Descubrimiento Total Parcial nodes (8sw / 7hs) nodes (16sw / 14hs) 46 nodes (24sw / 22hs) nodes (32sw / 21hs) 112 nodes (48sw / 64hs) 146 nodes (64sw / 82hs) # New Nodes 0.08 Discovery Time (sec) DiseÒo y modelado del mecan de administraciûn de la sub Clusters con soporte a QoS nodes (8sw / 7hs) nodes (16sw / 14hs) 46 nodes (24sw / 22hs) 53 nodes (32sw / 21hs) nodes (48sw / 64hs) 146 nodes (64sw / 82hs) # New Nodes IdentificaciÛn y supresiûn de cuellos de botella q p g ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas Modelado del EvaluaciÛn del Mejoras OptimizaciÛn de tareas Modelado de tareas Estudio del kit de desarrollo al s ImplementaciÛn del

12 Tables Computation Time (msec) 6 x Desarrollo del proyecto Cómputo de tablas Explícitas Parcialmente implícitas Final routes Provisional routes DiseÒo y modelado del mecan de administraciûn de la sub Clusters con soporte a QoS IdentificaciÛn y supresiûn de cuellos de botella q p g ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas Modelado del EvaluaciÛn del Mejoras OptimizaciÛn de tareas Modelado de tareas Subnet Size (nodes) Estudio del kit de desarrollo al s ImplementaciÛn del

13 Desarrollo del proyecto DiseÒo y modelado del mecan de administraciûn de la sub Clusters con soporte a QoS q p g ï DetecciÛn de cambios ï Algoritmos de encaminamiento ï ActualizaciÛn de tablas Modelado del Distribución de tablas Con desactivación generalizada de puertos Con desactivación selectiva de puertos Con desactivación de dependencias prohibidas 15 x 105 Traffic Received (packets/sec) 10 IdentificaciÛn y supresiûn de cuellos de botella EvaluaciÛn del Mejoras OptimizaciÛn de tareas Modelado de tareas Simulation Time (sec) Estudio del kit de desarrollo al s ImplementaciÛn del

14 IdentificaciÛn y supresiû de cuellos de botella Mejoras Clusters con soporte a QoS OptimizaciÛn de tareas Desarrollo del proyecto Modelado de tareas del modelo ImplementaciÛn en un entorno real Estudio del kit de desarrollo ImplementaciÛn del EvaluaciÛn de prestaciones

15 Clusters con soporte a QoS Diseño de componentes para redes con QoS Encaminador Multimedia MMR Objetivo: Proporcionar QoS mediante soporte hardware, dentro de un elemento de interconexión compacto que funciona al nivel de enlace de datos

16 Encaminador Multimedia MMR Ideas clave Clusters con soporte a QoS Diseño de componentes para redes con QoS Técnicas de conmutación distintas para el tráfico multimedia y el convencional Pipelined Circuit Switching y Virtual Cut-Through Recursos diferenciados para cada conexión multimedia Un canal virtual por conexión Del orden de 100 canales virtuales Organización basada en crossbar multiplexado Esquemas de planificación del tráfico que regulan el uso del ancho de banda de los enlaces y del conmutador Planificación de enlaces: IABP, JBP, SIABP Planificación del conmutador: COA, CCA Apropiados para implementación segmentada y paralela Se ha comprobado como el encaminador MMR, junto con los algoritmos propuestos, es capaz de ofrecer a cada tipo de tráfico el tratamiento adecuado incluso a cargas elevadas (~ 80% ancho de banda de los enlaces)

17 Clusters con soporte a QoS Diseño de componentes para redes con QoS Encaminadores IP Objetivo Minimizar la complejidad de los encaminadores IP actuales, a la vez que se mantienen sus prestaciones Idea clave Desplazar la complejidad de los elementos de conmutación hacia los adaptadores de entrada Para implementar QoS una solución habitual es clasificar los paquetes utilizando canales virtuales o bien colas de acceso aleatorio. Implementar esta solución en todas las etapas del encaminador podría ser redundante

18 Idea: Clusters con soporte a QoS Diseño de componentes para redes con QoS Aprovechar el trabajo realizado en una primera etapa del encaminador Separar los paquetes entrantes en tres canales virtuales Para el tráfico DBTS coger siempre el paquete más prioritario de las cabezas de las colas Para el tráfico DB aplicar un turno rotatorio entre los enlaces Para el tráfico BE, inyectarlo cuando no haya otros paquetes más prioritarios Aplicamos un round robin ponderado entre las distintas colas de la misma prioridad de los distintos enlaces Línea emergente Los primeros resultados son prometedores

19 Algunos productos comerciales incorporan s capaces de proporcionar QoS Clases de tráfico Tratamiento distinto a distintos flujos de datos InfiniBand Clusters con soporte a QoS Adaptando productos comerciales Utilizando adecuadamente los s que proporciona el estándar Se segrega el tráfico en función de sus necesidades Cada flujo recibe un tratamiento distinto en función de sus necesidades Conseguimos garantizar prestaciones a las aplicaciones

20 Clusters con soporte a QoS Calidad de servicio en InfiniBand InfiniBand proporciona varios s para proporcionar QoS: Niveles de servicio Correspondencia SL a Arbitraje de los puertos de salida CA o Switch ArbitrationTable High_Priority Mux Physical Link. De-Mux Weight. CA o Switch Low_Priority Weight SL-to- Mapping Tables Tablas de Arbitraje LimitOfHighPriority High Priority Limit_Of_High_Priority Low Priority.. Cada tiene un conjunto de buffers dedicado

21 Clusters con soporte a QoS Calidad de servicio en InfiniBand Una petición de conexión con requisito de ancho de banda y latencia máxima, será tratada como una petición de un peso w y una distancia máxima d entre las entradas de la secuencia. Las conexiones deben compartir los canales virtuales en base a algún criterio: ancho de banda. latencia. Nuestra propuesta es segregar el tráfico de forma que todas las conexiones que comparten un canal virtual tengan el mismo requisito de distancia: Sólo permitimos las siguientes distancias máximas 1, 2, 4, 8, 16, 32 y 64. Cualquier petición será transformada en la correspondiente potencia de 2 inmediatamente inferior. Hemos desarrollado una teoría formal con una serie de propiedades, teoremas y algoritmos que demuestran que la metodología propuesta consigue garantizar a las aplicaciones la QoS que demandan.

22 Clusters con soporte a QoS Adaptando productos comerciales PCI Express Advanced Switching Nuevo estándar propuesto Sustituye al tradicional bus PCI Puede convertirse en el estándar de facto en los próximos años Línea emergente Aplicar lo desarrollado para InfiniBand en este nuevo entorno Particularizando la metodología a las características concretas de PCI AS. Optimizando los algoritmos propuestos. Utilizando tráfico de E/S propio de este tipo de entornos.

23 Clusters con soporte a QoS Calidad de Servicio en PCI Express AS PCI Express AS incorpora: 8 clases de tráfico (TC) Hasta 8 canales virtuales Planificación entre: entre los distintos CVs (Egress CSQ Scheduling) entre los puertos de entrada para cada CV de salida Connection oriented & connectionless traffic Source rate control mediante Token Buckets