One Dell Way Round Rock, Texas 78682 www.dell.com NOTAS TÉCNICAS PARA EMPRESAS DE DELL DISEÑO TÉRMICO DEL DELL POWEREDGE SERIE M K.C. Coxe Ingeniería térmica para empresas
ESTAS NOTAS DEL PRODUCTO SÓLO TIENEN FINES INFORMATIVOS Y PUEDEN CONTENER ERRORES TIPOGRÁFICOS E IMPRECISIONES TÉCNICAS. EL CONTENIDO SE PROPORCIONA "TAL CUAL", SIN GARANTÍAS EXPRESAS NI IMPLÍCITAS DE NINGÚN TIPO. AMD y Opteron son marcas comerciales de Advanced Micro Devices, Inc. Intel y Xeon son marcas comerciales registradas de Intel Corporation. Es posible que en este documento se utilicen otras designaciones o marcas comerciales para hacer referencia a las entidades titulares de las marcas y designaciones o a sus productos. Dell renuncia al derecho de propiedad sobre las marcas y designaciones de terceros. Para obtener más información, comuníquese con Dell. La información presentada en este documento queda sujeta a cambios sin previo aviso. 2 P á g i n a
1 INTRODUCCIÓN Con los costos de energía en aumento, la eficiencia en el uso de energía de los equipos de TI se ha transformado rápidamente en un tema central para los clientes de Dell. Uno de los métodos principales para abordar el tema de la eficiencia en el uso de la energía a nivel de plataforma consiste en el desarrollo de una solución térmica altamente eficiente. El proceso de refrigeración del sistema puede consumir una gran parte de la energía total del sistema, pero no es necesario que así sea. El lanzamiento del gabinete modular Dell PowerEdge M1000e y de los blades PowerEdge M600 y M605 marca un avance evolutivo en cuanto a eficiencia en diseño térmico por parte de Dell. La arquitectura térmica presente en el sistema va de la distribución de cada blade a la controladora de administración de chasis (CMC), cuya función es administrar la refrigeración de los módulos de ventiladores que suministran el flujo de aire. Estas notas explican a los usuarios algunas de las características del diseño térmico y analizan los principios básicos y los objetivos de diseño orientados a obtener uno de los servidores térmicamente más eficientes del mercado. Los lectores que buscan una descripción más detallada de las características del PowerEdge M1000e, así como de los blades y los periféricos asociados, deben consultar las notas técnicas de la arquitectura de la serie M de Dell, disponible en dell.com. 2 OBJETIVOS DE DISEÑO El Dell M1000e está diseñado para funcionar de manera confiable en condiciones ambientales de hasta 35 C (95 F) y a altitudes de hasta 10.000 pies (3048 m). Además, el sistema admite refrigeración redundante. Sin embargo, en la mayoría de las implementaciones, es frecuente encontrarse con requerimientos de rendimiento térmico que rara vez alcanzan dichas condiciones. Un centro de datos típico podría suministrar un flujo de aire a una temperatura de 15 a 17 C proveniente de las baldosas, lo que implica condiciones de funcionamiento mucho más benignas. Incluso un centro de datos que funciona a temperaturas más elevadas de alrededor de los 25 C brinda una gran oportunidad para reducir la energía utilizada en la refrigeración, si se lo compara con un entorno de 35 C de temperatura. El desafío que Dell tuvo que enfrentar al desarrollar el M1000e fue diseñar una solución que: ofreciera un funcionamiento confiable en las peores condiciones con pérdida de redundancia y que contara con un funcionamiento optimizado para las condiciones típicas de los centros de datos. Las secciones que siguen a continuación brindan detalles acerca de cómo Dell logró incluir estas características en el diseño de hardware, así como en la administración térmica del sistema, a través de la controladora de acceso remoto integrada de Dell (idrac) y la CMC. 3 P á g i n a
3 INFORMACIÓN GENERAL SOBRE LA SOLUCIÓN DE REFRIGERACIÓN Las secciones que siguen a continuación tienen como objetivo brindar una explicación general sobre los elementos principales de la solución térmica presente en el gabinete modular Dell PowerEdge M1000e. Estas secciones no son exhaustivas, pero brindarán al lector una comprensión de la ingeniería aplicada al diseño. Figura 1: Vista frontal del PowerEdge M1000e con 16 gabinetes blade de altura media Figura 2: Vista trasera del PowerEdge M1000e 3.1 Cuál es la fuente de refrigeración El PowerEdge M1000e recibe refrigeración de 9 módulos de ventiladores personalizados. El módulo de ventilador fue diseñado para responder a los requerimientos de refrigeración específicos del M1000e, incluido el punto de funcionamiento del flujo de aire y los requerimientos de uso eficiente de la energía. Todos los ventiladores son intercambiables en caliente, y es posible controlar su velocidad de manera individual, lo que permite optimizar la refrigeración del sistema durante los períodos de funcionamiento normal o en caso de que se pierda la redundancia. 4 P á g i n a
Figura 3: Módulo de ventilador Dell M1000e La refrigeración está administrada por una combinación de controladoras a nivel del blade (idrac) y a nivel del gabinete (CMC) (consulte la figura 4). El algoritmo de control térmico que se ejecuta en la idrac de cada blade es un avance evolutivo de la BMC presente en los servidores Dell PowerEdge 9G. Sus funciones permiten analizar la configuración de hardware en cada blade, la condición térmica creada por la carga de software en el blade y la temperatura ambiente del blade, para luego comunicar los requisitos de refrigeración específicos del blade al gabinete. El gabinete (CMC), a su vez, está diseñado para interpretar las entradas de datos de cada uno de los 16 blades, así como los sensores de temperatura presentes en la infraestructura del M1000e (por ejemplo, en los módulos E/S y en el panel de control ubicado en la parte frontal del M1000e), y establecer los parámetros de velocidad más bajos posibles en cada ventilador (lo que ayuda a minimizar el flujo de aire y el consumo de energía) para satisfacer los requerimientos de refrigeración del sistema. La CMC controla los ventiladores por zonas, y cada zona tiene asignada la refrigeración de un grupo de blades en función de la ubicación en el chasis. Este diseño permite a la CMC incrementar la potencia sólo de los ventiladores que son necesarios para refrigerar los blades con temperaturas más elevadas o aquellos con configuraciones de hardware que requieren un uso más intensivo de la energía y, a la vez, establecer los valores de los ventiladores restantes en un nivel de consumo de energía menor y de ahorro de flujo de aire. 5 P á g i n a
Figura 4: Diagrama de bloques del proceso de control de ventiladores 3.2 Administración del aire El M1000e utiliza recorridos de aire paralelos para refrigerar los blades, los módulos E/S y las fuentes de alimentación. Por este motivo, cada uno de los subsistemas principales recibe aire ambiente para evitar el precalentamiento de los módulos en la parte posterior del sistema. El suministro de aire ambiente en los módulos E/S y en las fuentes de alimentación, a pesar de su ubicación en la parte trasera del sistema, fue un tema central en los comienzos de la ingeniería arquitectónica de sistemas, y su objetivo era permitir que los módulos consumieran un menor flujo de aire y a la vez respondieran a los requerimientos de temperatura de los componentes. Los módulos del servidor se refrigeran mediante el método de refrigeración tradicional desde la parte frontal hacia la parte trasera. Como se muestra en la figura 5, en la parte frontal del sistema se impone un área de entrada para los blades individuales (área resaltada en verde). El aire atraviesa los módulos del servidor mediante los orificios de ventilación ubicados en el plano medio y, a continuación, es atraído por los ventiladores que expulsan el aire fuera del chasis. Hay cámaras de distribución del aire hacia la parte superior del plano medio, entre el plano medio y los blades, y hacia la parte inferior del plano medio, entre el plano medio y los ventiladores, para distribuir el potencial de refrigeración proveniente de las tres columnas de ventiladores en todos los módulos del servidor. 6 P á g i n a
Entrada de los módulos del servidor (Vista frontal del M1000e) Perfil del aire de refrigeración de los módulos del servidor (Vista lateral del M1000e) Figura 5: Recorrido de la refrigeración de los módulos del servidor blade de Dell Las fuentes de alimentación, ubicadas en la parte trasera del sistema, utilizan el método de refrigeración básico desde la parte frontal hacia la parte trasera, pero toman el aire de entrada de un conducto ubicado debajo de los módulos del servidor, resaltado en verde en la parte izquierda de la figura 6. Esto garantiza que las fuentes de alimentación reciban aire a temperatura ambiente, lo que reduce el volumen de aire requerido para refrigerar la fuente de alimentación. Entrada de la fuente de alimentación (Vista frontal del M1000e) Perfil del aire de refrigeración de las fuentes de alimentación (Vista lateral del M1000e) Figura 6: Recorrido de la refrigeración de las fuentes de alimentación del M1000e Los módulos E/S utilizan un conducto de paso para tomar aire ambiente de la parte frontal del sistema y enviarlo a la entrada de módulos E/S, como se muestra en la figura 7. Este conducto está ubicado sobre los módulos del servidor (una vez más, resaltado en verde). De esta manera, el aire fresco pasa a través de los módulos E/S mediante un recorrido que va desde arriba hacia abajo, y se deposita en la cámara de distribución del aire, ubicada entre el plano medio y los ventiladores. Desde esta cámara de distribución, el aire se expulsa del sistema. La CMC y el conjunto de teclado, video y mouse integrado (ikvm) también reciben refrigeración por aire, con este mismo recorrido. 7 P á g i n a
Entrada de módulos E/S (Vista frontal del M1000e) Ubicación de los módulos E/S y dirección del flujo de aire (Vista posterior del M1000e) Perfil del aire de refrigeración de E/S (Vista lateral del M1000e) Figura 7: Recorrido de la refrigeración de los módulos E/S del M1000e 4 CONSIDERACIONES ACERCA DEL DISEÑO QUE AFECTAN LA ENERGÍA UTILIZADA EN LA REFRIGERACIÓN 4.1 Impedancia, flujo de aire y eficiencia del ventilador Desarrollar un ventilador para refrigerar el M1000e y a la vez brindar capacidad de ampliación para las próximas generaciones de arquitectura informática representó un desafío sin precedentes. El ventilador debía alcanzar un punto de funcionamiento más agresivo, y aún así limitarse a un presupuesto de energía mucho más ajustado que el ofrecido por los ventiladores comerciales. Esto se logró mediante la identificación de un objetivo de eficiencia de los ventiladores que requirió el desarrollo de una tecnología personalizada para satisfacer las necesidades del M1000e. Esta sección proporciona un resumen que explica en qué consiste la eficiencia de los ventiladores y por qué resulta esencial para un diseño térmico eficiente. 8 P á g i n a
Impedance (in.w.g.) Existe una idea un tanto errónea sobre cómo funcionan los ventiladores y cómo se especifican. Un ventilador adquirido en una tienda local de artículos electrónicos para colocar en una PC de escritorio, y cuyas especificaciones publicadas dicen "80 CFM", no moverá 80 pies cúbicos de aire por minuto una vez instalado en la PC. A esta medición del rendimiento de un ventilador se la denomina "aire libre", y representa la cantidad de aire que el ventilador mueve cuando está ubicado sobre una mesa sin nada que obstruya la entrada o la salida (como los componentes internos de una computadora). Este método para describir un ventilador es tan habitual, que los proveedores de ventiladores incluso indican este valor en las especificaciones técnicas, aunque sea sólo una especificación parcial de la salida de flujo de aire real de un ventilador. La otra parte de la ecuación del funcionamiento de un ventilador que a menudo no se analiza es la impedancia. La impedancia es lo opuesto al flujo de aire y se mide en unidades de presión, las cuales, según el uso habitual en EE. UU., están representadas por pulgadas de agua (pascales en unidades derivadas del SI). Cuanto mayor sea la carga de impedancia que recibe un ventilador, menor será el flujo de aire que moverá. Un ventilador ubicado al aire libre no tiene impedancia. Sin embargo, en un sistema electrónico, el ventilador funciona con un punto de funcionamiento de "flujo de aire a una determinada impedancia". El gráfico que sigue a continuación representa el funcionamiento típico de un ventilador que podría encontrarse en una computadora de escritorio o en un servidor en torre. En este gráfico, el valor de aire libre es 116 pies cúbicos por minuto, pero el punto de funcionamiento real se acerca más a los 80 pies cúbicos por minuto a 0,19 pulgadas de agua (pulgadas de columna de agua). 0.6 0.5 Fan Curve 0.4 0.3 Operating Point 0.2 0.1 System Impedance Curve Free Air 0 0 20 40 60 80 100 120 140 Airflow (CFM) Figura 8: Ejemplo de curva de rendimiento de un ventilador Por qué esto es importante? Un ingeniero de diseño térmico sabe cuánto flujo de aire se necesita para 9 P á g i n a
refrigerar un gabinete electrónico y puede medir la impedancia del gabinete para determinar el punto de funcionamiento requerido del ventilador del sistema. El punto de funcionamiento del ventilador del sistema es un importante factor para determinar cuánta energía se necesita para refrigerar el sistema. De hecho, el punto de funcionamiento de un ventilador indica la cantidad de energía (que puede representarse como potencia) que es necesario aplicar al aire para forzarlo a pasar a través de un sistema. Cuando se lo compara con la energía eléctrica requerida para el funcionamiento del ventilador, es posible determinar la eficiencia del ventilador. Work Work out in Operating Flowrate Operating Pressure Input Power Ec. 1 La eficiencia del ventilador depende de su fabricación y diseño, es decir, desde la forma de los blades hasta la calidad del motor, y puede variar de manera significativa, incluso de un ventilador a otro en el mismo factor de forma. Qué significa todo esto con respecto a la energía de refrigeración? Existen dos puntos importantes: 1. Un ventilador de alta eficiencia consumirá proporcionalmente menos energía que un ventilador de baja eficiencia. Un diseño de ventilador de alta eficiencia, que conduce a un ventilador de menor consumo de energía, permite contar con más energía disponible para los procesos informáticos. De manera alternativa, permite reducir el consumo general de energía, lo que puede convertirse en ahorros de costos en la implementación. Es posible que para obtener una alta eficiencia se utilicen componentes de fabricación más costosos, por lo que resulta esencial que el ingeniero de diseño térmico seleccione un ventilador cuyo costo de materiales se ajuste a la cantidad de energía que es posible ahorrar en la implementación. 2. Si es posible diseñar un sistema con un requerimiento de capacidad de trabajo menor, el ventilador consumirá menos energía. Se ha analizado de qué modo el punto de funcionamiento queda determinado por el flujo de aire y la impedancia del sistema. Si bien el volumen del flujo de aire requerido para refrigerar un gabinete electrónico es un tanto flexible, a menudo debe mantenerse a un nivel mínimo para controlar el aumento de temperatura en todo el sistema (más adelante se proporcionará más información). Si se supone la existencia de un flujo de aire fijo y mínimo, la impedancia es la otra variable que puede afectar la energía utilizada en la refrigeración. Estos principios guiaron no sólo el desarrollo del ventilador del M1000e, sino que además, la estrecha relación con la impedancia condujo a un diseño de baja impedancia. La eficiencia del ventilador del M1000e es considerablemente mayor que la de los ventiladores típicos de factor de forma de 92 u 80 mm que se utilizan actualmente en muchas PC del mercado. Esto se logró mediante la optimización de la aerodinámica, el motor y el diseño de la controladora de motor en un factor de forma personalizado. Este ventilador se combina con un diseño de blades con hasta el cincuenta por ciento de la impedancia presente en los productos competidores del mercado y con un plano medio del chasis sometido a diversas iteraciones de diseño con el objetivo de optimizar el flujo de aire. Previo a la construcción de los primeros sistemas funcionales, se analizaron ampliamente el gabinete y la distribución de los blades para comprender qué factores contribuían a la impedancia del módulo e identificar ciertas áreas de mejoras. Los análisis de la distribución dieron como resultado la colocación de los componentes en función del flujo de aire, así como cambios sutiles en el diseño industrial del blade, todo con el objetivo de obtener un menor nivel de impedancia y un diseño térmico que consumiera menos energía. 10 P á g i n a
4.2 Flujo de aire y aumento de temperatura Existen numerosos beneficios que un cliente puede obtener al reducir las velocidades de los ventiladores e incrementar la temperatura del aire que se expulsa fuera de un servidor. Para ilustrar este efecto, es recomendable simplificar la estructura de un servidor Dell PowerEdge 1950 y analizarla como una serie de componentes térmicos básicos: una resistencia al flujo de aire, una fuente de calor, un sistema de distribución de energía y un ventilador (figuras 9 y 10). Figura 9: PowerEdge 1950 Figura 10: Simplificación en un diagrama de bloques del sistema de flujo de aire de un servidor En este ejemplo, se supone que el servidor funciona con una carga constante que requiere una entrada de 300 W. Con el ventilador funcionando a 9.000 RPM, se registra un aumento de 8 C en todo el sistema. Al reducir la velocidad del ventilador a 3.000 RPM, la temperatura de salida del aire aumenta a 22 C por sobre la temperatura de entrada, pero la energía del sistema disminuye 55 W. 11 P á g i n a
Figura 11: Comparación de la velocidad del ventilador, el consumo de energía y la temperatura del aire expulsado a velocidades altas (arriba) y bajas (abajo) del ventilador El motivo de la drástica reducción en el consumo de energía entre las velocidades altas y bajas del ventilador, como se muestra en la figura 11, es que la relación entre la energía y la velocidad en RPM del ventilador no es lineal. De hecho, un cambio en la energía equivale a una función cúbica de un cambio en la velocidad del ventilador, por lo que una leve reducción en la velocidad del ventilador puede tener un gran impacto en el consumo de energía del mismo (Ec. 2). (Ec. 2) Power Power initial final RPM RPM initial final 3 (Ec. 2) A modo de ejemplo, y utilizando la (Ec. 2), una reducción del 10% en la velocidad en RPM de un ventilador puede dar como resultado una reducción del 27% en el consumo de energía del mismo. Teniendo en cuenta esta relación, todos los esfuerzos se orientaron al diseño del M1000e para minimizar la velocidad del ventilador y aumentar la temperatura del aire expulsado, y así obtener el beneficio deseado de reducir de manera significativa el consumo de energía y flujo de aire del sistema. Todos los componentes incluidos en el flujo de aire caliente descendente fueron diseñados para responder a los requerimientos de altas temperaturas que presenta esta forma de diseño. Un beneficio previsto del aumento de las altas temperaturas, que va más allá de las mejoras en la eficiencia del M1000e a nivel de gabinete, es que es posible incrementar la capacidad de los acondicionadores de aire en un centro de datos mediante un aumento mayor de las altas temperaturas a medida que el CRAC (acondicionador de aire para salas de computadoras) funciona aproximándose a 12 P á g i n a
su temperatura óptima de retorno. Se deben tomar las precauciones necesarias al seleccionar un acondicionador de aire para que se adapte correctamente a la implementación de un centro de datos, pero la temperatura de retorno más elevada para el CRAC (temperatura del aire expulsado del sistema) puede brindar beneficios que van más allá de la energía utilizada para la refrigeración a nivel del gabinete de TI. 4.3 Selección de componentes Con un chasis diseñado para obtener eficiencia térmica, aún existen varias oportunidades para que un cliente pueda reducir el consumo de energía y flujo de aire mediante la elección de componentes y configuraciones de blades fáciles de refrigerar. El M600, por ejemplo, está disponible con procesadores con niveles de consumo de energía de diseño térmico que van de 40 W (Intel Xeon 5148LV) a 120 W (Intel Xeon X5355). Además del ahorro de energía asociado con la energía del procesador, el menor precalentamiento que reciben los componentes descendentes por parte del 5148LV en comparación con el X5355 brinda una oportunidad para obtener reducciones en el flujo de aire que van del 5% al 40% a una temperatura ambiente de 25 C, en función de otros componentes presentes en el blade. Las configuraciones de la memoria también pueden afectar la energía utilizada para la refrigeración y los requerimientos de flujo de aire. En particular, el M600 es más eficiente en cuanto a la refrigeración de memoria cuando se utilizan 4 DIMM con mayor capacidad en lugar de utilizar 8 DIMM con menor capacidad para obtener una capacidad de memoria determinada. Es posible obtener una reducción en el flujo de aire de hasta un 25%, en función de la capacidad de la memoria requerida y otros componentes presentes en el blade. Esto se debe a que intercalar las DIMM en las ranuras del banco de memoria permite reducir el calor que se transmite de DIMM a DIMM. 5 CASO PRÁCTICO: COMPARACIÓN ENTRE POWEREDGE M600, M605 Y POWEREDGE 1950-III Qué obtiene el cliente al adquirir un servidor blade con un diseño bien planificado y un eficiente método de refrigeración integrado desde el momento en que se ideó el producto? Considere la implementación de un servidor M600 y 16 servidores PowerEdge 1950 III con hardware similar, en particular: (2) procesadores Intel Xeon 5130 (4) módulos DIMM de almacenamiento completo en búfer de 2 GB Además, considere la implementación de un M605 de 16 blades con (2) procesadores AMD Opteron 2218 HE (4) módulos DIMM DDR2 2Rx4 de 2 GB 13 P á g i n a
Tabla 1: Implementación comparada entre los servidores M600 de 16 blades, los servidores blade M605 y los servidores PowerEdge 1950-III de 16 blades PowerEdge 1950 III PowerEdge M600 PowerEdge M605 Número de servidores 16 16 16 Espacio de rack para implementar 16U 10U 10U Densidad del servidor 1,0 1,6 1,6 servidores/u servidores/u servidores/u Alimentación de CA total requerida 1 4785 W 3835 W 3660 W Alimentación del ventilador 1, 2 530 W 80 W 65 W Consumo de flujo de aire por implementación 3 Promedio de flujo de aire por servidor 3 495 pies cúbicos por minuto 31 pies cúbicos por minuto 370 pies cúbicos por minuto 23 pies cúbicos por minuto 340 pies cúbicos por minuto 21 pies cúbicos por minuto 1 Energía representada en vatios de CA "en la pared" tras considerar la eficiencia de la fuente de alimentación; también supone una carga de trabajo SPECjbb. 2 La alimentación del ventilador está incluida en la alimentación de CA total, pero aquí se desglosa para comparar la eficiencia en la refrigeración. 3 El consumo de flujo de aire se basa en una temperatura ambiente de 25 C para el servidor y variará a medida que la temperatura sufra variaciones. Teniendo en cuenta la tabla 1, la implementación de un servidor M600 de 16 blades consume un 19% menos de energía y un 29% menos de flujo de aire que la implementación de un PowerEdge 1950 III. Del ahorro de energía de 845 W, 450 W se obtienen como resultado de la eficiencia en la solución de refrigeración. La implementación del PowerEdge M605 muestra un ahorro adicional de energía y flujo de aire que es posible gracias a una refrigeración más eficiente en la distribución paralela de la CPU y la memoria en el flujo de aire, así como un ahorro de energía asociado con la memoria DDR2 en comparación con la memoria de almacenamiento completo en búfer (FBD). 6 CONCLUSIONES Diseñar la solución de refrigeración para un equipo de TI puede ser tan simple como seleccionar un ventilador de un catálogo, instalarlo en una computadora y encenderlo. Sin embargo, un enfoque básico como este no permitirá diseñar una solución optimizada para el uso de la energía, el flujo de aire o la refrigeración. La solución de refrigeración implementada en el gabinete modular PowerEdge M1000e y los blades asociados fue desarrollada con el objetivo de maximizar la eficiencia en el uso de la energía, minimizar los requerimientos de flujo de aire y, a la vez, soportar un funcionamiento en las peores condiciones. Las herramientas como los ventiladores de alta eficiencia, el diseño de sistemas de baja impedancia, los avances en la administración de sistemas, el control de ventiladores, la reducción de flujo de aire y el aumento de altas temperaturas están diseñadas para minimizar el consumo de energía de la solución térmica M1000e y permitir que el cliente utilice más energía disponible para el procesamiento informático en lugar de dedicarla a la refrigeración. 14 P á g i n a