TIA http://www.tiaonline.org/about/ Grado de Ingeniería Informática, Universitat de les Illes Balears TIA 942 @IsaacLera isaac.lera@uib.es Telecommunications Infraestructure Standard for Data Centers Notice Propuesta del TIA-942 TIA Engineering Standards and Publications are designed to serve the public interest through eliminating misunderstandings between manufacturers and purchasers, facilitating interchangeability and improvement of products, and assisting the purchaser in selecting and obtaining with minimum delay the proper product for their particular need. The existence of such Standards and Publications shall not in any respect preclude any member or nonmember of TIA from manufacturing or selling products not conforming to such Standards and Publications. Neither shall the existence of such Standards and Publications preclude their voluntary use by Non-TIA members, either domestically or internationally. Standards and Publications are adopted by TIA in accordance with the American National Standards Institute (ANSI) patent policy. By such action, TIA does not assume any liability to any patent owner, nor does it assume any obligation whatever to parties adopting the Standard or Publication. Promover la pronta participación de diseñadores de telecomunicaciones en el proceso del diseño del CPD Llenar el vacío definiendo estándares para planificación de CPD, salas de computación, salas de servidores, y espacios similares Consideraciones multidisciplinares, no tan solo telecomunicaciones Un gran porcentaje de especificaciones sobre la instalación, principalmente, especificaciones sobre la distancia de servicios y estructuración del cableado. 3 4
TIA 942 TIA 942. Espacio Data Center Space (punto 5) Data Center Cabling (punto 6 y 7) Electrical Cooling Tier System (Clasificaciones y Certificaciones sobre la fiabilidad del Data Center) 6 8 Space I Principalmente, Se definen 5 areas para el CPD: Entrance Room (ER) Main Distribution Area (MDA) Horizontal Distribution Area (HDA) Zone Distribution Area (ZDA), opt. Equipment Distribution Area (EDA) 7
Space II Isaac Lera http://www.cablinginstall.com/articles/print/volume-18/issue-11/features/data-center-migrating-to-40-and-100g-with-om3-and-om4-connectivity.html Grau d Informàtica 9 DCX Backbone
TIA 942. Espacio - Requerimientos I TIA 942. Espacio - Requerimientos II Localización: Evitar lugares que restringen la expansión Accesos redundantes Capacidad de aceptar grandes equipos: dimensiones anchas Evitar localizaciones cercanas a fuentes EMI (Interferencias Electromagnéticas) Evitar que haya ventanas exteriores (sol, humedad, vandalismo ) Acceso autorizado y monitorizado Dimensiones: Conocer los requerimientos de equipamiento específico Incluir proyectos futuros Complejo http://www.legrand.us/datacom.aspx 13 14 TIA 942. Espacio - Requerimientos III Lectura Obligada Dimensiones respecto al techo: Altura mínima de 2.59m (8.5 ) de altura con el techo respecto a cualquier elemento (aspersores, luces, cámaras, ) Distancia mínima libre con los aspersores anti incendios de 0.45m (18 ) El sistema de refrigeración tiene sus propios requerimientos http://www.apcmedia.com/salestools/vavr-9k64ra/ VAVR-9K64RA_R0_EN.pdf http://goo.gl/wuryvy Evaluación Cuestiones 15 16
TIA 942. Espacio - Requerimientos IV Suelo y paredes Propiedades antiestáticas Evaluación: Cuestionario de preguntas -muy light para la próxima semana. Sellados para minimizar la entrada de polvo Colores claros para mejorar la iluminación, y evitar un mayor número de focos Soporte mínimo de carga 223,09kg/m2 (150lb/Sq-ft) 18 TIA 942. Espacio - Requerimientos IV TIA 942. Espacio - Requerimientos V Suelo elevado (panelado) vs Suelo duro Aislante térmico - afecta a la dinámica del flujo de aire Puertas 0.9144m x 2.1336m (3 x7 ) Puerta abatible: 62-72-82 Nevera: 60-70 El aire frío cae, pero el suelo elevado no lo empuja Pequeñas aperturas, sellados incorrectos, afecta a la presión del suelo. En la parte superior, utilizar componentes pasivos (zonas con mayor aire caliente) Iluminación: Luces y señales de emergencia Circuitos de iluminación separados En ambos utilizar superficies/pinturas anti estáticas 500lux - 200lux 19 20
TIA 942. Espacio - Requerimientos VI Otro equipamiento (generadores de contingencia) UPS (Uniterruptible Power Supply). Si <100K va dentro y >100k va fuera de la sala Parámetros operacionales: HVAC dedicado (Heating, Ventilation, and Air Conditioning), etc. CPD del Escorial 40%-55% humidad relativa Cambios máximos de temperatura: 15C/h (5F/h) Seguridad Monitorización (int./ext.) Área plana alrededor del recinto de 91.4m (100yr) 21 TIA 942 TIA 942 - Data Center Cabling Data Center Space Data Center Cabling Electrical Cooling Tier System (Clasificaciones y Certificaciones sobre la fiabilidad del Data Center) Afecta a la topología (reduciendo su tamaño) y la disposición de los racks Consideraciones técnicas respecto al par trenzado,fo, coaxiales. Ubicación: Under floor: más barato, minimiza el flujo del aire, capacidad de crecimiento, separación de cobre y fibra (power - data), Overhead: bandejas multinivel (cobre, fibra, alimentación), más fácil el mantenimiento, separación con luces y alimentación (5 ), evitar bloquear bocas de refrigeración. 23 24
TIA 942 Data Center Space Data Center Cabling Electrical Cooling Tier System (Clasificaciones y Certificaciones sobre la fiabilidad del Data Center) TIA 942 - Electrical Considerations Buenas prácticas: - Multiples conexiones - Panel de fusible por rack o linea - Principal y Secundario marcaje - Capacidad de escalar - PDU inteligente - Generador capaz de soportar el sistema de refrigeración (o uno dedicado) e iluminación 27 26
TIA 942 TIA 942 - Cooling El objetivo es eliminar la calor generada Data Center Space Data Center Cabling Electrical Cooling Tier System (Clasificaciones y Certificaciones sobre la fiabilidad del Data Center) Física básica: Cooling Req. = Heat Generated = Electrical Load Consideraciones 29 Ejemplo 30 32 Cooling http://www.silent-aire.com/ Business Storage 4-Bay Rackmount NAS Seagate St4000dm000 4tb 4X Disipar: 180W+22,4W 31
TIA 942 - Cooling - Proceso I TIA 942 - Cooling - Proceso II Determinar la carga de calor crítico: equipamiento, iluminación, personas, y conductos de extracción de calor. 1-ton (12,000 BTU/Hr / 3,516 watts) per 400 square-feet of IT equipment floor space. Establecer la carga crítica - watts/rack location units (RLU): power density varia cada año, y non-rlu loads. Determinar el volumen de aire requerido por cada LRU. CFM/LRU (Cubic feet per minute). Se requiere un nivel de temperatura y de aire al mismo tiempo. American Society of Heating, Refrigerating, and Air- Conditioning Engineers (ASHRAE) fija entre 20-23º (68F-75F), más bajo se produce condensación. 5,000-watt 1U server cabinet requires 800 CFM Realizar una simulación computacional de dinámica de fluidos (Computational Fluid Dynamic CFP). El CFP ayuda a realizar informes sobre la ubicación del CRAC. Determinar donde colocar el tendido eléctrico: PDUs y power cables > CALOR Determinar donde colocar la estación de generación de energía 33 34 TIA 942 - Cooling - Proceso III TIA 942 - Cooling - Proceso IV Realizar una simulación computacional de dinámica de fluidos (Computational Fluid Dynamic CFP). El CFP ayuda a realizar informes sobre la ubicación del CRAC. Determinar donde colocar el tendido eléctrico: PDUs y power cables > CALOR Determinar donde colocar la estación de generación de energía Determinar la metodología de enfriamiento. Diferentes arquitectural afectan al rendimiento. Más tarimas, techos falsos, etc Cooling monitoring Room, rack, y cabina Rendimiento varíe en función del perfil de la carga http://www.embedded.com/print/4011539 35 36
TIA 942 - Cooling - Proceso V TIA 942 Riesgo significativo de incendio Detección: Detectores de humo y calor; en función de los colectores de calor del CRAC Estándar NFPA 72E Supresión Estándar NFPA 75 Aspersores Sistemas químicos: FM200, Inergen, Ecaro-25, Novec 1230, Sistemas manuales Data Center Space Data Center Cabling Electrical Cooling Tier System (Clasificaciones y Certificaciones sobre la fiabilidad del Data Center) 37 38 TIA 942 - Tiers TIA 942 - Tier 1 Single points of failure should be eliminated to improve redundancy and reliability, both within the data center and support infrastructure as well as in the external services and utility supplies. Redundancy increases both fault tolerance and maintainability. Redundancy should be separately addressed at each level of each system, and is typically described using the nomenclature in clause 8. Características: Redundancia: N- no redundancia N+1, se provee de una unidad adicional para satisfacer los requerimientos básicos N+2, dos 2N, para cada uno de los componentes del sistema 2(N+1) Concurrencia y chequeo: las instalaciones deben de ser capaces de mantenerse, actualizarse y comprobarse sin interrumpir las operaciones. Capacidad y escalabilidad: las instalaciones deben de ser diseñadas para acomodar futuros crecimientos sin interrupción de sus servicios Aislamiento : DC usados para los fines específicos, evitar operaciones no esenciales. 39 TIER 1 Data Center: Basic Un DC es susceptible por interrupciones tanto por actividades planeados o no. Posee un sistema de distribución energética, y puede que no tenga un generador auxiliar. La infraestructura se tiene que apagar para operaciones de mantenimiento y reparación. 0 Redundancia 40
TIA 942 - Tier 2 Tier II facilities with redundant components are slightly less susceptible to disruptions from both planned and unplanned activity than a basic data center. They have a raised floor, UPS, and engine generators, but their capacity design is Need plus One (N+1), which has a single- threaded distribution path throughout. Maintenance of the critical power path and other parts of the site infrastructure will require a processing shutdown. TIA 942 - Tier 3 Tier III level capability allows for any planned site infrastructure activity without disrupting the computer hardware operation in any way. Planned activities include preventive and programmable maintenance, repair and replacement of components, addition or removal of capacity components, testing of components and systems, and more. For large sites using chilled water, this means two independent sets of pipes. Sufficient capacity and distribution must be available to simultaneously carry the load on one path while performing maintenance or testing on the other path. Unplanned activities such as errors in operation or spontaneous failures of facility infrastructure components will still cause a data center disruption. Tier III sites are often designed to be upgraded to Tier IV when the client s business case justifies the cost of additional protection. 41 42 TIA 942 - Tier 4 Tiers Tier IV provides site infrastructure capacity and capability to permit any planned activity without disruption to the critical load. Fault-tolerant functionality also provides the ability of the site infrastructure to sustain at least one worst-case unplanned failure or event with no critical load impact. This requires simultaneously active distribution paths, typically in a System+System configuration. Electrically, this means two separate UPS systems in which each system has N+1 redundancy. Because of fire and electrical safety codes, there will still be downtime exposure due to fire alarms or people initiating an Emergency Power Off (EPO). Tier IV requires all computer hardware to have dual power inputs as defined by the Institute s Fault-Tolerant Power Compliance Specification. A tier 1 data center is a basic data center with no redundancy. It has a single path for power and cooling distribution with no redundant components. Tier 1: Guaranteeing 99.671% availability. A tier 2 data center has redundant components, but only a single path. It has a single path for power and cooling distribution, but it has redundant components on this distribution path. Tier 2: Guaranteeing 99.741% availability. A tier 3 data center has multiple power and cooling distribution paths, but only one path active. Because redundant components are not on a single distribution path, the system is concurrently maintainable. Tier 3: Guaranteeing 99.982% availability. A tier 4 data center has multiple active power and cooling distribution paths. Because at least two paths are normally active in a tier 4 data center, the infrastructure provides a higher degree of fault tolerance. Tier 4: Guaranteeing 99.995% availability. 43 44
TIER 1 Data Center: Basic Apropiado para: TIA 942 - Tier 1 pequeñas empresas donde las TIC sirven para mejorar procesos internos del negocio donde la presencia de una web es una herramienta de marketing pasiva O compañías start-up sin financiación causada por la calidad del servicio con el cliente. 46 TIA 942 - Tier 2 TIA 942 - Tier 3 TIER 2 Data Center: Basic Apropiado para: call centers donde multiples sites están disponibles Compañías basadas en internet donde las sanciones no sean serias en QoS Pequeñas empresas donde los requerimientos de las TIC se hacen en horas de trabajo normales y hay periodos donde el sistema puede estar bajo mantenimiento (apagado) Investigación científica no online ni realtime obligaciones TIER 3 Data Center: Basic Apropiado para: compañías con soporte al cliente de 24x7, Empresas con soporte TIC en los procesos automatizados del negocio y con impacto directo sobre los clientes Compañías sobre multiples zonas horarias Compañías basadas en internet donde el impacto del QoS es elevado en la parte financiera 47 48
TIA 942 - Tier IV TIER 4 Data Center: Basic Apropiado para: compañías con soporte internacional al cliente de 24x7 forever y en un mercado altamente competitivo Actividad Proponer una serie de empresas y los TIERs que deberían disponer Empresas basadas en el e-comercio Empresas donde el acceso a los servicios es crucial para el cliente como para el empleado Compañías basadas en internet donde el impacto del QoS es crítico en la parte financiera 49 50