Informe técnico MEJORES PRÁCTICAS DE CONFIGURACIÓN DE ALMACENAMIENTO PARA LA INTEGRACIÓN ADAPTADA DEL CENTRO DE DATOS DE SAP HANA Y LA INFRAESTRUCTURA CONVERGENTE DE EMC SCALEIO Soluciones de EMC Resumen Este informe técnico presenta una nueva forma de superar las limitaciones de las implementaciones tradicionales basadas en dispositivos de SAP HANA. Muestra cómo configurar una solución de integración adaptada del centro de datos (TDI) para HANA basada en el almacenamiento convergente de EMC ScaleIO. Esta solución proporciona almacenamiento basado en servidores estándar para HANA con nuevos niveles de flexibilidad y escalabilidad. Diciembre de 2014
Copyright 2014 EMC Corporation. Todos los derechos reservados. EMC considera que la información de este documento es precisa en el momento de su publicación. La información está sujeta a cambios sin previo aviso. La información de esta publicación se proporciona tal cual. EMC Corporation no se hace responsable ni ofrece garantía de ningún tipo con respecto a la información de esta publicación y específicamente renuncia a toda garantía implícita de comerciabilidad o capacidad para un propósito determinado. El uso, la copia y la distribución de cualquier software de EMC descrito en esta publicación requieren una licencia de software correspondiente. Para obtener una lista actualizada de nombres de productos de EMC, consulte las marcas comerciales de EMC Corporation en www.mexico.emc.com (visite el sitio web de su país correspondiente). Todas las marcas comerciales incluidas/utilizadas en este documento pertenecen a sus respectivos propietarios. Número de referencia H13731 2
Índice Resumen ejecutivo... 5 Caso de negocios... 5 EMC ScaleIO para TDI de HANA... 6 Pruebas de EMC y VCE... 7 Propósito... 7 Alcance... 7 Audiencia... 7 Ambiente de prueba de EMC ScaleIO... 8 Componentes de la plataforma... 8 Cómputo... 8 Red... 8 Almacenamiento... 9 Nodos de ScaleIO... 9 Tipos de disco para HANA... 9 Volúmenes de persistencia de HANA... 9 Sistema de archivos compartido de HANA... 9 Escalamiento vertical y horizontal... 10 Configuración de escalamiento vertical... 10 Configuración de escalamiento horizontal... 11 Detalles de configuración y recomendaciones... 12 Requisitos previos... 12 Configuración de red... 13 VLAN... 14 Enlace... 15 Instalación de componentes de ScaleIO... 17 Procedimiento de instalación... 17 Configurar almacenamiento... 18 Configuración del cluster de ScaleIO... 19 Iniciar sesión mediante la SCLI... 19 Instalar la licencia de ScaleIO en el cluster de MDM... 19 Preparar el MDM... 19 Crear capacidad... 20 Optimización del cluster de ScaleIO... 22 Configuración del almacenamiento en caché... 22 Configuración de tarjetas flash XtremSF PCIe... 23 Controlador LSI y configuración de HDD SAS... 24 Configuración de pool de almacenamiento de ScaleIO... 26 3
Acceso al almacenamiento de ScaleIO desde nodos SAP HANA... 31 Habilitar compatibilidad con múltiples rutas nativas de Linux en ScaleIO... 31 Habilitar múltiples rutas nativas de Linux en nodos de HANA... 31 Aplicar formato a dispositivos de bloques con el sistema de archivos XFS... 32 Montar dispositivos de bloques... 32 Protección de datos y continuidad del negocio... 33 Conclusión... 34 Resumen... 34 Referencias... 35 Documentación de EMC... 35 Documentación de SAP... 35 Recursos web... 35 Notas: Opciones de implementación... 35 Notas: Virtualización... 35 Apéndice... 36 4
Resumen ejecutivo SAP HANA proporciona a las organizaciones oportunidades espectaculares para explotar big data a fin de obtener una ventaja competitiva. Con sus capacidades de procesamiento en memoria masivas, HANA permite a las aplicaciones y a la analítica ejecutarse en tiempo real, con lo que se aceleran los cómputos complejos y Business Intelligence. Aunque tradicionalmente se implementa solo como un dispositivo, con servidor, almacenamiento y redes previamente integrados, SAP también ha definido una opción de implementación alternativa denominada integración adaptada del centro de datos (TDI). TDI ofrece a las organizaciones más flexibilidad para elegir los componentes de hardware que ejecutan HANA. El software EMC ScaleIO ofrece una solución de almacenamiento de alto rendimiento, escalable y rentable para las implementaciones de TDI de HANA. ScaleIO les permite a las organizaciones usar el almacenamiento interno en servidores estándar del sector y crear una red de almacenamiento SAN que le proporciona a HANA almacenamiento de bloques compartido. Al ofrecer opciones de implementación flexibles, ScaleIO se puede instalar en servidores de aplicaciones existentes de una manera completamente convergente o en servidores dedicados. Con ScaleIO, las organizaciones tienen mucha más flexibilidad para comenzar con una implementación de HANA pequeña y crecer a medida que lo requieran los negocios. ScaleIO también elimina la necesidad de una gran inversión inicial en un dispositivo de HANA tradicional y evita la dependencia de proveedores a largo plazo. EMC y VCE trabajaron en colaboración para probar ScaleIO con SAP HANA. Estas pruebas fueron diseñadas para demostrar que ScaleIO podía cumplir con los parámetros de rendimiento de SAP. Además, permitieron que EMC y VCE optimizaran las opciones de configuración para la infraestructura de ScaleIO y las compartieran con otras organizaciones que planificaban implementaciones similares. Este informe técnico describe el ambiente de prueba que desarrollamos junto con las recomendaciones de configuración detalladas y las mejores prácticas para otras organizaciones encargadas de la implementación de ScaleIO para HANA. También incluye orientación sobre cómo permitir que SAP HANA acceda al almacenamiento de ScaleIO. Al seguir la orientación y las recomendaciones de este informe, las organizaciones de todos los tamaños estarán preparadas para implementar con éxito ScaleIO como una solución de TDI para SAP HANA. Caso de negocios SAP HANA es una plataforma eficaz de aplicaciones y bases de datos en memoria que ofrece capacidades innovadoras para transacciones en línea, analítica predictiva, procesamiento espacial y mucho más. Tradicionalmente, SAP requería que HANA se implementara en un modelo de dispositivo en el que los componentes de red, almacenamiento y cómputo certificados se proporcionan en un paquete integrado. Sin embargo, este modelo de dispositivo obliga a las organizaciones a usar hardware de proveedores específicos y les impide que usen recursos existentes en sus centros de datos, lo cual limita la flexibilidad y, con frecuencia, aumenta el costo de la adopción de HANA. En respuesta, SAP definió el modelo de TDI para la implementación de HANA. Con TDI, las organizaciones pueden implementar HANA en servidores certificados de SAP y en los dispositivos de red y de almacenamiento que elijan, siempre y cuando todos esos dispositivos sean compatibles con SAP. 5
El modelo de TDI permite una implementación de HANA más rápida, proporciona más flexibilidad para implementar HANA en ambientes más pequeños y realizar escalamientos según se requiera, y elimina la dependencia de proveedores. Esto ayuda a las organizaciones a reducir el tiempo de respuesta que genera valor, disminuir el riesgo y reducir los gastos operacionales y de capital para HANA. EMC ScaleIO para TDI de HANA EMC ScaleIO ofrece una solución de TDI ideal para SAP HANA. ScaleIO es una red de almacenamiento SAN de solo software que transforma el almacenamiento interno de los servidores estándares del sector en almacenamiento de bloques global y compartido. ScaleIO proporciona una arquitectura de cómputo y almacenamiento flexible de una sola capa que ofrece escalabilidad lineal para aplicaciones de SAP y que no son de SAP. Como se muestra en la Figure 1, esto les permite a las organizaciones comenzar con una baja cantidad de servidores y unos pocos terabytes de capacidad, y escalar el ambiente hasta miles de servidores y varios petabytes manteniendo, a su vez, un rendimiento consistente. Además, ScaleIO se puede escalar vertical y horizontalmente con la misma arquitectura subyacente para permitir que SAP HANA crezca en línea con las necesidades individuales de una organización. Figure 1. EMC ScaleIO crece en línea con sus necesidades de negocios Con ScaleIO, las organizaciones obtienen todo el rendimiento y la capacidad que necesitan para SAP HANA. Las ventajas clave incluyen lo siguiente: Solución de solo software: ofrece la flexibilidad de crecer en línea con sus necesidades de negocios Independencia del hardware: les brinda a las organizaciones la opción de seleccionar de una lista de servidores certificados por SAP para HANA y modificar los discos internos según sea necesario Flexibilidad de implementación: se instala fácilmente en infraestructuras existentes o como una implementación totalmente nueva en ambientes virtuales o físicos 6
Autoadministración: rebalancea la capacidad automáticamente cuando se agregan o quitan servidores y se autorrepara para recuperarse automáticamente de fallas de servidores o discos Pruebas de EMC y VCE EMC y VCE llevaron a cabo pruebas exhaustivas de ScaleIO como solución de TDI para SAP HANA. En función de nuestras pruebas, determinamos las configuraciones óptimas del sistema para cumplir con los indicadores clave de rendimiento (KPI) que SAP ha establecido para HANA. Utilizamos la herramienta de control de configuración de hardware (HWCCT) de SAP para validar estos resultados. En este informe se comparten los procedimientos que seguimos y las configuraciones que probamos para demostrar que ScaleIO es una solución de TDI viable para HANA. También se incluyen sugerencias y mejores prácticas para que otras organizaciones consideren al planificar sus propias implementaciones. Esta orientación ayudará a los equipos a implementar ScaleIO para evitar problemas y lograr los resultados deseados. Propósito El propósito de esta solución es demostrar que el almacenamiento convergente de EMC ScaleIO proporciona una alternativa viable a las implementaciones tradicionales de SAP HANA basadas en dispositivos. En función de las pruebas realizadas por EMC y VCE, el informe presenta pruebas de que ScaleIO ofrece una solución de integración adaptada del centro de datos (TDI) altamente flexible, escalable y rentable que cumple con los KPI que requiere SAP. Además, este informe proporciona información de configuración detallada y recomendaciones de implementación orientadas a ayudar a las organizaciones a implementar ScaleIO con éxito como solución de TDI para sus ambientes SAP HANA. Alcance Audiencia Este informe abarca la siguiente información: Presenta las tecnologías clave de la solución Describe el ambiente de prueba general que EMC y VCE desarrollaron para evaluar ScaleIO con SAP HANA Proporciona información de configuración detallada y mejores prácticas para establecer y optimizar el ambiente ScaleIO para HANA Ofrece recomendaciones sobre cómo acceder al almacenamiento de EMC ScaleIO desde los nodos de SAP HANA Incluye recursos para obtener más detalles La audiencia de este informe incluye integradores de sistemas, administradores de almacenamiento o de sistemas, clientes, partners y miembros de EMC Global Services que necesitan configurar EMC ScaleIO en un ambiente de TDI para SAP HANA. 7
Ambiente de prueba de EMC ScaleIO EMC y VCE desarrollaron un ambiente de prueba para ScaleIO y SAP HANA en un entorno de laboratorio a fin de explorar exhaustivamente las mejores configuraciones para lograr el rendimiento que requieren las características únicas de carga de trabajo de SAP HANA. La carga de trabajo de I/O en SAP HANA tiene dos componentes principales: I/O aleatorio en el volumen de datos I/O secuencial en el volumen de registros Además, SAP HANA usa diferentes tamaños de bloques para los volúmenes de registros y los volúmenes de datos. El I/O para volúmenes de registros utiliza tamaños de bloques de 4 KB, 16 KB y 1 MB. El I/O para volúmenes de datos utiliza tamaños de bloques de 4 KB, 16 KB, 64 KB, 1 MB, 16 MB y 64 MB. Para simular la carga de trabajo de I/O de SAP HANA específica para estas pruebas, EMC y VCE utilizaron la herramienta de control de configuración de hardware (HWCCT) de SAP HANA. Esta herramienta de SAP verifica que los resultados de las pruebas cumplan con los KPI que SAP estableció para SAP HANA. Componentes de la plataforma El ambiente de prueba consistió en servidores Cisco Unified Computing System (UCS) con almacenamiento interno con HANA y ScaleIO en ejecución en un ambiente operativo Linux, junto con redes de Cisco y almacenamiento de EMC. EMC y VCE utilizaron los siguientes componentes específicos y recomiendan que las organizaciones adopten estas configuraciones como mejores prácticas para sus propias pruebas con ScaleIO para SAP HANA. Cómputo Red 4 servidores en rack Cisco UCS C460 M4 (nodos de HANA) 1 1 TB de RAM 3 tarjetas de interfaz virtual (VIC) Cisco UCS 1225T (tarjeta de red de dos puertos de 10 Gbps PCIe) 2 servidores en rack Cisco UCS C240 (nodos de administración de ScaleIO) 96 GB de RAM 2 tarjetas de red de dos puertos UCS VIC 1225T de 10 Gbps PCIe Ambiente operativo: SUSE Linux Enterprise Server (SLES) 11 SP3 en ejecución en servidores de bajo nivel (primera compilación) Red Hat Enterprise Linux (RHEL) 6.5 en ejecución en servidores de bajo nivel (segunda compilación) 2 sistemas Cisco Nexus 3064-T 1 Este documento abarca las pruebas realizadas en servidores físicos. EMC y VCE planean realizar otras pruebas en un ambiente virtualizado de VMware. 8
Almacenamiento 8 unidades SAS de 1.2 TB y 10,000 r/min por cada servidor C460, con 2 tarjetas flash EMC XtremSF de celdas de múltiples niveles (MLC) PCIe Se pueden usar hasta 24 unidades SAS de 1.2 TB y 10,000 r/min por cada servidor C240 VNXe3300 opcional para los volúmenes de encendido centrales, el recurso compartido de HANA y el respaldo Nodos de ScaleIO ScaleIO requiere un mínimo de tres nodos para albergar el administrador de metadatos (MDM), el servidor de datos de ScaleIO (SDS), el cliente de datos de ScaleIO (SDC) y un moderador (TB). Los nodos de ScaleIO se configuraron de la siguiente manera: Nodo 1: MDM, SDS, SDC Nodo 2: MDM, SDS, SDC Nodo 3: TB, SDS, SDC Al ofrecer opciones de implementación flexibles, ScaleIO se puede instalar en servidores de aplicaciones existentes de una manera completamente convergente o en servidores dedicados. Tipos de disco para HANA Volúmenes de persistencia de HANA EMC y VCE utilizaron la siguiente configuración de discos para el ambiente ScaleIO de prueba y recomiendan esta configuración de ScaleIO para SAP HANA: Discos SAS de 10,000 r/min (o más rápidos) Opcional: Tarjetas flash EMC XtremSF MLC PCIe para maximizar el rendimiento proporcionando un pool de discos separado para volúmenes de registros Cada nodo de trabajador de SAP HANA requiere dos volúmenes para permitir la persistencia de base de datos, un volumen de datos y un volumen de registros. El tamaño de los volúmenes depende del tamaño de RAM del nodo de HANA. El informe técnico de requisitos de almacenamiento de SAP HANA proporciona una fórmula para calcular el tamaño de volumen (sistema de archivos) adecuado. EMC y VCE siguieron las fórmulas recomendadas por SAP de la siguiente manera: Tamaño de datos = Tamaño de RAM * 1 Tamaño de registro = Tamaño de RAM * 1 Para lograr alta disponibilidad, ScaleIO contiene dos copias de cada volumen separadas físicamente. EMC y VCE recomiendan apartar una capacidad de reserva igual a la capacidad de un solo servidor (suponiendo que todos los servidores están configurados idénticamente). De esa manera, puede reconstruir los volúmenes automáticamente a partir de las copias si falla un servidor o disco. Sistema de archivos compartido de HANA Los archivos binarios de la base de datos de SAP HANA se deben instalar en un sistema de archivos compartido de alta disponibilidad. Hay varias opciones para generar este sistema de archivos compartido, entre las que se incluyen las siguientes: Implementar un sistema de archivos en cluster (OCFS2) sobre un dispositivo de bloques de ScaleIO compartido Configurar dos nodos de ScaleIO como NFS en cluster de alta disponibilidad 9
Exportar un recurso compartido de NFS a un arreglo de almacenamiento existente En el ambiente de prueba, EMC y VCE configuraron el sistema de archivos compartido de HANA como una exportación de NFS en un arreglo de almacenamiento existente. Para dimensionar el sistema de archivos compartido, se recomienda utilizar la siguiente fórmula: Núm. de nodos de HANA * tamaño de RAM de un solo nodo Escalamiento vertical y horizontal Configuración de escalamiento vertical EMC y VCE llevaron a cabo pruebas de validación de ScaleIO en configuraciones de escalamiento vertical y horizontal. La primera prueba se realizó en una configuración de escalamiento vertical de un solo nodo con un terabyte de memoria, como se muestra en la Figure 2. Figure 2. Configuración de escalamiento vertical utilizada para las pruebas de validación de ScaleIO EMC y VCE calcularon la capacidad total del disco para esta configuración a través de la siguiente fórmula: (1 x 1 TB para datos + 1 x 1 TB para registro + 1 x 1 TB para FS compartido + 0.1 TB para otros) x 2 + 15 % = 7.13 TB Para esta configuración, se estableció el valor de reserva en un 15 por ciento. Cada organización debe ajustar este parámetro en función de sus requisitos de configuración individuales. 10
Configuración de escalamiento horizontal La segunda prueba se realizó en una configuración de escalamiento horizontal de cuatro nodos con cuatro instancias de un terabyte de memoria, como se muestra en la Figure 3. Figure 3. Configuración de escalamiento horizontal utilizada para las pruebas de validación de ScaleIO EMC y VCE calcularon la capacidad total del disco para la configuración de escalamiento horizontal a través de la siguiente fórmula: 4 x (1 x 1 TB para datos + 1 x 1 TB para registro + 1 x 1 TB para FS compartido + 0.1 TB para otros) x 2 + 15 % = 28.52 TB Se estableció el valor de reserva en un 15 por ciento. Cada organización debe ajustar este parámetro en función de sus requisitos de configuración individuales. 11
Detalles de configuración y recomendaciones En esta sección se proporcionan detalles de configuración sobre cómo EMC y VCE crearon el ambiente de prueba de ScaleIO. Se llevaron a cabo pruebas con una variedad de configuraciones diferentes para cada componente, a fin de identificar con qué configuración se obtenían los mejores resultados generales. EMC y VCE determinaron que las siguientes configuraciones proporcionan niveles óptimos de rendimiento, escalabilidad, alta disponibilidad y costo para ambientes SAP HANA. Se recomienda que otras organizaciones de TI usen estas mismas configuraciones para sus propios ambientes de TDI de HANA. Requisitos previos Antes de configurar parámetros específicos para cada componente, se deben completar las siguientes tareas: Desarrollar el cluster físico Instalar y configurar el ambiente operativo de Linux (SLES/RHEL) en todos los nodos del cluster Establecer las siguientes configuraciones de red: Conectividad de red de 10 gigabits entre todos los componentes Ancho de banda de red y latencia aceptables entre todos los nodos Switch Ethernet que admita el ancho de banda entre los nodos de la red Configuración de unidad de trasmisión máxima (MTU) consistente entre todos los servidores y switches Para la compatibilidad con frames jumbo, se debe establecer la MTU en 9,000 bytes para servidores, switches y v-switches Abrir puertos en el firewall local para el servidor: o MDM: 6611 y 9011 o SDS: 7072 o Moderador: 9011 Implementar la nota de SAP 401162 para evitar problemas causados por conflictos de puertos TCP/IP Nota: ScaleIO requiere un mínimo de tres servidores SDS, con una capacidad libre combinada de al menos 300 gigabytes. Estos valores mínimos se deben aplicar por sistema y por pool de almacenamiento. El pool de almacenamiento debe contener dispositivos de al menos tres servidores SDS diferentes para crear un volumen. 12
Configuración de red EMC y VCE desarrollaron una red totalmente configurada entre todos los servidores. Las conexiones de red se balancearon entre dos switches Cisco 3064T, como se muestra en la Figure 4. Figure 4. Configuración de red utilizada para la compilación de ScaleIO Se instalaron tres tarjetas de red UCS VIC 1225T en cada servidor UCS C460, donde cada VIC 1225T proporcionaba dos interfaces de 10 Gbps, como se muestra en la Figure 5. Además, se instalaron dos tarjetas UCS VIC 1225T en cada servidor UCS C240. Figure 5. Interfaces de red C460 13
VLAN EMC y VCE configuraron varias VLAN en la red para las pruebas: VLAN a: conexión de administración a través del Cisco Integrated Management Controller (CIMC) VLAN b: tráfico interno de HANA (internodo de HANA) VLAN c: tráfico interno de ScaleIO (internodo de ScaleIO) VLAN d: red del cliente/producción VLAN e: Inter-Switch Links (ISL) de interconexión y principal ScaleIO usa VLAN c para la comunicación entre los servidores en el cluster de ScaleIO. El tipo de información que se pasa entre los servidores incluye tráfico de datos y de administración. Estos datos se dividen en fragmentos y siempre se escriben en dos dispositivos separados físicamente en diferentes servidores, como se muestra en la Figure 6. Después de una prueba inicial, EMC y VCE agregaron varias IP/VLAN a ScaleIO, representadas por las líneas rojas continuas y líneas verdes entrecortadas. Figure 6. VLAN 14
Escribimos los siguientes comandos para agregar y quitar IP adicionales a través de la interfaz de la línea de comandos de ScaleIO (SCLI): scli --add_sds_ip --sds_name StorageN1 --new_sds_ip 172.24.11.40 scli --remove_sds_ip --sds_name SAP_HANA_NODE2 -- sds_ip_to_remove 172.24.11.70 La SCLI también facilita la visualización de IP asignadas, como se muestra en la Figure 7. Figure 7. Uso del comando de SCLI para ver IP asignadas Al agregar un segundo rango de IP a ScaleIO, se redujeron las cifras de latencia (μs) para los dispositivos de datos y algunos otros números de rendimiento disminuyeron también. A pesar de la leve disminución, los resultados de rendimiento estuvieron por encima de los KPI que requiere SAP. Enlace Para maximizar el ancho de banda y la alta disponibilidad para cada servidor, EMC y VCE enlazaron cada interfaz. El enlace crea una interfaz lógica, generalmente BONDx, que se enlaza a dos interfaces físicas. El enlace se probó dentro de los ambientes operativos SLES y RHEL. Se ejecutaron los siguientes comandos para enlazar las interfaces en SLES. La diferencia entre el enlace en SLES y RHEL es la sintaxis de los archivos de configuración. Primero, se enlazaron seis interfaces Ethernet disponibles en cada servidor C460 en tres enlaces diferentes: Bond0, Bond1 y Bond2. Para esto, es necesario conocer qué interfaces están conectadas a qué puertos en el switch. Después se agruparon las interfaces correctas en pares, como se muestra en la Figure 6. En esta configuración, como se muestra en la Figure 8, cada enlace tenía una interfaz física conectada al switch A y una segunda interfaz conectada al switch B. Las dos interfaces físicas se conocen como esclavos. Figure 8. Archivo de configuración de esclavos en SLES Cada componente, incluido el vínculo lógico, tiene su propio archivo de configuración en SLES, como se muestra en la Figure 9. 15
Figure 9. Archivo de configuración de vínculo en SLES Los archivos de configuración de red para SLES están ubicados en /etc/sysconfig/network. Como ejemplo, se crearon los siguientes archivos de configuración para Bond0: /etc/sysconfig/network/ifcfg-bond0 /etc/sysconfig/network/ifcfg-eth4 /etc/sysconfig/network/ifcfg-eth5 Figure 9 muestra el archivo de configuración para uno de los esclavos físicos. Se hace referencia a BONDING_MODULE_OPTS cuando se carga el driver de Bond0 (consulte la Figure 9). El valor miimon=100 indica al driver que use monitoreo mii para observar cada 100 milisegundos para detectar una falla del vínculo. El parámetro mode especifica una de cuatro políticas de enlace. Los posibles valores de modo son: 0 Política round-robin (predeterminada): la transmisión se realiza en un orden secuencial desde el primer esclavo disponible hasta el último. Este modo proporciona balanceo de carga y tolerancia a fallas. 1 Política de respaldo activo: solo un esclavo del enlace está activo. Un esclavo diferente se activa si, y solo si, el esclavo activo falla. La dirección MAC del enlace está visible externamente en un solo puerto (adaptador de red) para evitar confundir al switch. Este modo proporciona tolerancia a fallas. 2 Política XOR: la transmisión se realiza en función de [(dirección MAC de origen con XOR con dirección MAC de destino) conteo de esclavos del módulo]. Esto selecciona el mismo esclavo para cada dirección MAC de destino. Este modo proporciona balanceo de carga y tolerancia a fallas. 3 Política de difusión: se transmite todo en todas las interfaces esclavas. Este modo proporciona tolerancia a fallas. EMC y VCE llevaron a cabo pruebas y midieron el ancho de banda en todas las opciones anteriores. La configuración round-robin predeterminada proporcionó el mejor rendimiento. 16
También se usó la opción de MTU, que se estableció en 9,000. Instalación de componentes de ScaleIO Los siguientes componentes de ScaleIO deben estar instalados: Administrador de metadatos MDM Configura y monitorea el sistema ScaleO. Instale el MDM en modo de cluster, con un MDM primario, uno secundario y un moderador en tres servidores separados. El modo de cluster admite redundancia. Servidor de datos de ScaleIO SDS Está instalado en todos los servidores, lo que aporta dispositivos de almacenamiento al sistema ScaleIO. Cliente de datos de ScaleIO SDC Se instala en cada servidor que presentará volúmenes de ScaleIO a la aplicación de HANA que se ejecuta en él. Agente de instalación ligera LIA (opcional) Simplifica las actualizaciones futuras y permite el acceso a la operación para obtener información sin requerir las contraseñas del sistema operativo de cada nodo. EMC y VCE configuraron un ambiente de laboratorio como un cluster de seis nodos con dos nodos funcionando como nodos de administración (sio-mgmt1, sio-mgmt2) y cuatro nodos ejecutando SAP HANA (sio-hana1, sio-hana2, sio-hana3, sio-hana4). Los componentes de MDM, SDS, SDC y moderador se instalaron en los siguientes nodos: MDM: nodos de administración sio-mgmt1 (MIP1) y sio-mgmt2 (MIP2). Tenga en cuenta que la IP del cluster de MDM es <IP_CLUSTER>, que es una IP virtual para el MDM. SDS: sio-mgmt1 (MIP1), sio-mgmt2 (MIP2) y sio-nodes 1 a 4 SDC: sio-nodes 1 a 4 Moderador: sio-node1 (IP1) Procedimiento de instalación Los siguientes pasos proporcionan una regla general para la instalación de ScaleIO. Se recomienda consultar también la Guía del usuario de ScaleIO completa en el Servicio de soporte en línea de EMC. Para instalar ScaleIO: 1. Instale el primer MDM en un servidor de administración. Por ejemplo: rpm -i EMC-ScaleIO-mdm-1.30-0.InstallationManager.el6.x86_64.rpm 2. Instale el segundo MDM en un servidor de administración diferente y después instale el moderador en un tercer servidor. Por ejemplo: rpm i EMC-ScaleIO-tb-1.30-0.InstallationManager.el6.x86_64.rpm 17
3. Instale el componente SDS en cada servidor que contribuirá con unidades de almacenamiento en el sistema ScaleIO. Por ejemplo: rpm i EMC-ScaleIO-sds-1.30-0.InstallationManager.el6.x86_64.rpm 4. Instale el componente SDC en cada servidor donde los volúmenes de almacenamiento se deben presentar a la aplicación. Por ejemplo: MDM_IP=<MDM-IP> rpm i EMC-ScaleIO-sdc-1.30-0.InstallationManager.el6.x86_64.rpm 5. Instale el componente LIA en cada nodo (opcional). Por ejemplo: rpm i EMC-ScaleIO-lia-1.30-0.InstallationManager.el6.x86_64.rpm 6. Instale la GUI donde sea necesario. Por ejemplo: rpm -U scaleio-gui-1.30.0-installationmanager.noarch.rpm Configurar almacenamiento ScaleIO funciona con cualquier capacidad de disco libre, ya sea almacenamiento interno o de conexión directa (DAS), incluso unidades de disco duro SAS (HDD) o dispositivos basados en flash, como discos de estado sólido (SSD) y tarjetas PCIe. Se recomienda configurar el almacenamiento crudo como dispositivos independientes (RAID 0) porque ScaleIO proporciona su propio esquema de protección de espejeado en malla y cualquier configuración de RAID adicional tendría un impacto negativo en el rendimiento. Si el servidor tiene un controlador de RAID, se recomienda usar las capacidades de almacenamiento en caché del controlador para mejorar el rendimiento. Para el almacenamiento en caché de escritura, el controlador de RAID debe tener respaldo de batería para evitar el riesgo de daño de datos. Para los dispositivos HDD, se recomienda habilitar el almacenamiento en caché del controlador de RAID. Las configuraciones varían para los dispositivos flash en función del comportamiento del dispositivo. Por ejemplo, las tarjetas EMC XtremSF MLC PCIe requieren una caché integrada para obtener un mejor rendimiento. Cuando se agregan nodos nuevos, ScaleIO redistribuye los datos entre los nodos para mejorar el rendimiento de la red. Cuando ScaleIO detecta una falla en el almacenamiento o en la red, crea una copia nueva de los datos en una ubicación diferente para garantizar la integridad de los datos. Se recomienda utilizar la SCLI para provisionar y realizar el mantenimiento de ScaleIO. Para configurar y monitorear el almacenamiento interno de DAS, use las herramientas proporcionadas por el proveedor. El tablero de ScaleIO ofrece administración y monitoreo sencillos de todo el ambiente, como se muestra en la Figure 10. 18
Figure 10. Tablero de ScaleIO Configuración del cluster de ScaleIO Después de instalar los componentes de ScaleIO (MDM, SDS, SDC, moderador), configure el cluster de ScaleIO de la siguiente manera: Inicie sesión mediante la CLI Instale la licencia de ScaleIO en el cluster de MDM Prepare el MDM Cree capacidad Iniciar sesión mediante la SCLI Inicie sesión en el sistema de administración antes de ejecutar los comandos de SCLI: scli --login --username <username> [--password <password>] La contraseña de usuario predeterminada es admin. Nota: Para obtener un proceso más seguro, se recomienda no agregar el parámetro de contraseña, sino enviar el comando solamente con el nombre de usuario y esperar a que el sistema solicite la contraseña. La contraseña no se mostrará y no se registrará en el historial de comandos. Instalar la licencia de ScaleIO en el cluster de MDM Con la CLI, escriba el siguiente comando: scli --query_license scli --set_license --license_file <license_file> Preparar el MDM Escriba los siguientes comandos para preparar el MDM: 19
1. Defina el MDM primario en el nodo de administración 1 (MIP1): scli --add_primary_mdm --primary_mdm_ip <MIP1> -- virtual_ip <MIP_CLUSTER> 2. Defina el MDM secundario en el nodo de administración 2 (MIP2): scli --add_secondary_mdm --mdm_ip <MIP_CLUSTER> -- secondary_mdm_ip <MIP2> 3. Defina el moderador en el nodo de aplicación 1 (IP1): scli --add_tb tb_ip IP1 --mdm_ip <MIP_CLUSTER> 4. Cambie al modo de cluster: scli --switch_to_cluster_mode --mdm_ip <MIP_CLUSTER> Nota: En nuestro ambiente de laboratorio, configuramos MDM en servidores de administrador dedicados. Los MDM también se pueden ejecutar en servidores de HANA. Crear capacidad Al configurar la capacidad en ScaleIO, realice lo siguiente. Todas las tareas de administración se llevan a cabo con comandos de SCLI ejecutados por el MDM primario. Secuencia de configuración de capacidad Las siguientes descripciones proporcionan orientación para realizar cada paso de la creación de capacidad. Para obtener más información, consulte la Guía del usuario de ScaleIO. Agregar dominio de protección Un dominio de protección es un subconjunto de varios SDS. Cree un dominio de protección denominado SAP_HANA_PROD1 mediante el siguiente comando: scli --add_protection_domain --mdm_ip <IP_CLUSTER> --protection_domain_name SAP_HANA_PROD1 Agregar pool de almacenamiento Un pool de almacenamiento es un subconjunto de SDS dentro de un dominio de protección determinado. Un volumen de datos se asigna entre los dispositivos que conforman un pool de almacenamiento. Nota combine diferentes tipos de discos como SAS y SSD en el mismo pool de almacenamiento. 20
Cree pools de almacenamiento para la aplicación de HANA mediante el siguiente comando: scli --mdm_ip <IP_CLUSTER> --add_storage_pool --storage_pool_name SP_HANA_SAS1 --protection_domain_name SAP_HANA_PROD1 A continuación, agregue un SDS y sus dispositivos al pool de almacenamiento SAP_HANA_PROD1 SAP_HANA_SAS1 mediante los siguientes comandos: scli --add_sds --mdm_ip <IP_CLUSTER> --sds_ip IP1 --device_name </dev/d1>,</dev/d2>,</dev/d3>,</dev/d4> --sds_name SIO-MGMT1 --storage_pool_name SP_HANA_SAS1 -- protection_domain_name SAP_HANA_PROD1 scli --add_sds --mdm_ip <IP_CLUSTER> --sds_ip IP1 --device_name </dev/d1>,</dev/d2>,</dev/d3>,</dev/d4> --sds_name SIO-MGMT2 --storage_pool_name SP_HANA_SAS1 -- protection_domain_name SAP_HANA_PROD1 scli --add_sds --mdm_ip <IP_CLUSTER> --sds_ip IP1 --device_name </dev/d1>,</dev/d2>,</dev/d3>,</dev/d4> --sds_name SIO-HANA1 --storage_pool_name SP_HANA_SAS1 -- protection_domain_name SAP_HANA_PROD1 scli --add_sds --mdm_ip <IP_CLUSTER> --sds_ip IP1 --device_name </dev/d1>,</dev/d2>,</dev/d3>,</dev/d4> --sds_name SIO-HANA2 --storage_pool_name SP_HANA_SAS1 -- protection_domain_name SAP_HANA_PROD1 scli --add_sds --mdm_ip <IP_CLUSTER> --sds_ip IP1 --device_name </dev/d1>,</dev/d2>,</dev/d3>,</dev/d4> --sds_name SIO-HANA3 --storage_pool_name SP_HANA_SAS1 -- protection_domain_name SAP_HANA_PROD1 scli --add_sds --mdm_ip <IP_CLUSTER> --sds_ip IP1 --device_name </dev/d1>,</dev/d2>,</dev/d3>,</dev/d4> --sds_name SIO-HANA4 --storage_pool_name SP_HANA_SAS1 -- protection_domain_name SAP_HANA_PROD1 Escriba el siguiente comando para agregar más dispositivos a un pool de almacenamiento para un SDS en otro momento: scli --add_sds_device --sds_ip <IP1> --protection_domain_name SAP_HANA_PROD1 --storage_pool_name SP_HANA_SAS1 --device_name /dev/d5 Escriba el siguiente comando para quitar dispositivos de un pool de almacenamiento para un SDS: scli --remove_sds_device --sds_ip <IP1> --protection_domain_name SAP_HANA_PROD1 --storage_pool_name SP_HANA_SAS1 --device_name /dev/d4 Crear y mapear volúmenes a SDC Con ScaleIO, los usuarios pueden definir volúmenes fácilmente y compartirlos entre muchos SDC simplemente designando cuáles SDC pueden acceder a volúmenes específicos. Esto hace lo siguiente: 21
Expone el control de acceso por volumen. Mapea volúmenes explícitamente a nodos de HANA en el cluster. Después de que se mapea un volumen a un SDC, inmediatamente obtiene acceso al volumen y lo expone de manera local a las aplicaciones como un dispositivo de bloques estándar o como un dispositivo iscsi para configuraciones de VMware. Los dispositivos aparecen como /dev/scinix, donde X es una letra, como /dev/scinia o /dev/scinib. Los siguientes pasos proporcionan orientación para crear y mapear volúmenes. 1. Defina un volumen de 1,024 GB y nómbrelo HANA_VOL_DATA1 mediante el siguiente comando: scli --add_volume --mdm_ip <IP_CLUSTER> --size_gb 1024--volume_name HANA_VOL_DATA1 --storage_pool_name SP_HANA_SAS1 --protection_domain_name HANA_PROD 2. Asigne HANA_VOL_DATA1 al SDC en IP1 mediante el siguiente comando: scli --map_volume_to_sdc --mdm_ip <IP_CLUSTER> --volume_name HANA_VOL_DATA1 --sdc_ip <SDC_IP1> El mismo volumen se puede mapear a varios SDC, pero solamente un SDC puede usar este volumen por vez debido a la posibilidad de daño de los datos. Si es necesario, se puede eliminar el mapeo de los volúmenes y quitarlos de un SDC mediante los siguientes comandos: scli --unmap_volume_from_sdc --sdc_ip <SDC_IP1> --volume_name HANA_VOL_DATA1 scli --remove_volume --volume_name HANA_VOL_DATA1 Agregar varias IP al SDS El SDS admite hasta ocho direcciones IP, que aumentan el rendimiento y proporcionan redundancia en caso de falla de un enlace. Para configurar nodos de SDS con más de una IP, escriba el siguiente comando: scli --mdm_ip 172.24.12.250 --add_sds_ip --sds_name SIP_HANA1 -- new_sds_ip 172.24.11.10 Detectar el volumen ScaleIO analiza el sistema periódicamente para detectar volúmenes nuevos mapeados a un SDC. Para obtener el estado más actualizado de un nodo de SDC en particular, también puede iniciar un análisis. Optimización del cluster de ScaleIO Después de la configuración del cluster de ScaleIO, EMC y VCE optimizaron el cluster de la siguiente manera. Otras organizaciones de TI también pueden usar esta información como guía para optimizar el rendimiento del cluster de ScaleIO en sus ambientes de HANA. Configuración del almacenamiento en caché La configuración de la unidad SAS utilizada en nuestro ambiente de prueba de ScaleIO cumplió con los KPI de SAP para sistemas de HANA productivos. Para optimizar el rendimiento aún más, las organizaciones pueden agregar pools para volúmenes de registros a través de tarjetas flash EMC XtremSF MLC PCIe o SSD. 22
Estos tipos de discos se optimizaron con éxito mediante la siguiente configuración. Configuración de almacenamiento en caché de escritura de XtremSF: La configuración de almacenamiento en caché de escritura interna de P320h (SLC) y P420m (MLC) se puede habilitar o deshabilitar en P320h únicamente a través de RealSSD Manager. Es importante tener en cuenta que una pérdida de alimentación inesperada podría causar la pérdida de datos en la caché de escritura si se habilita esta configuración. La configuración de la unidad interna de P420m está habilitada de forma predeterminada y no se puede modificar. P420m admite la protección de interrupción de alimentación, que protege los datos durante una pérdida de alimentación inesperada. Optimización de configuración de SSD de ScaleIO: Para mejorar el rendimiento de SSD, escriba la siguiente configuración en el archivo /opt/scaleio/ecs/sds/cfg/conf.txt de cada nodo de SDS: tgt_net recv_buffer=4096 tgt_net send_buffer=4096 tgt_cache size_mult=3 tgt_thread ini_io=500 tgt_thread tgt_io_main=500 tgt_umt_num=1200 tgt_umt_os_thrd=6 tgt_net worker_thread=6 tgt_asyncio_max_req_per_file=400 Escriba el siguiente comando en cada nodo para reiniciar el SDS: # pkill sds Configuración de tarjetas flash XtremSF PCIe Se empleó la utilidad RealSSD Manager de Micron Technology para optimizar la configuración en cada tarjeta flash XtremSF PCIe, como se muestra en la Figure 11. Para iniciar RealSSDManager, escriba el siguiente comando. Primero se debe descargar e instalar la herramienta del sitio web de Micron Technology. /opt/microntechnology/realssdmanager #java jar RealSSDManager.jar 23
Figure 11. Pantalla de resumen de XtremSF con la utilidad RealSSD Manager Se lograron los mejores resultados y la latencia más baja cuando se usaron tarjetas XtremSF MLC como volúmenes de registros en SLES y la configuración de almacenamiento de ScaleIO. Después de probar todas las opciones en Device > Interrupt Coalescing, pudimos optimizar la latencia seleccionando el valor de distinción de latencia en lugar de la configuración de gran cantidad de IOPS predeterminada, como se muestra en la Figure 12. Figure 12. Interrupt coalescing Controlador LSI y configuración de HDD SAS Para el almacenamiento de HDD SAS, se optimizó el ambiente con la siguiente configuración: Servidor: C460 M4 Controlador: LSI MegaRAID 9361-8i Unidades: SFF HDD de 1.2 TB, SAS de 6 Gb y 10,000 r/min La tarjeta del controlador RAID 9361-8i ofrece un factor de forma PCI Express de bajo perfil con 1 GB de caché, con 16 MB de ROM flash para firmware y 32 KB de memoria de acceso aleatorio no volátil (NVSRAM) para almacenar configuraciones de RAID. 24
Hay una gran cantidad de herramientas disponibles para configurar el controlador LSI 2, como una herramienta de configuración de WebBIOS, una herramienta de línea de comandos o una utilidad gráfica del administrador de almacenamiento. 3 Se utilizó la siguiente herramienta de línea de comandos para explorar los valores y elegir la configuración predeterminada como la mejor opción. #/opt/megaraid/megacli/megacli64 AdpAllinfo aall more Nota: En el Apéndice se proporciona más información acerca de la configuración de LSI 9361-81. Se instalaron ocho unidades SAS (HDD) por cada C460 M4, que es el máximo admitido con el controlador LSI. Además del HDD de encendido y el HDD de espejeado asociado, no se configuraron otros tipos de RAID con el controlador LSI. Se configuró un número de parámetros de optimización en los HDD y se aplicaron esos parámetros a todas las unidades de la compilación de ScaleIO. EMC y VCE determinaron que es fundamental que todos los HDD de ScaleIO estén configurados de manera idéntica. Un HDD configurado incorrectamente afectará el rendimiento de todo el pool de almacenamiento de ScaleIO. Se utilizaron los siguientes comandos storcli para cambiar la configuración de caché relacionada con la caché de lectura y escritura de RWBD a HRWTD. #./storcli64 /c0/v6 set wrcache=wb #./storcli64 /c0/v6 set rdcache=ra Los cambios específicos incluyen lo siguiente: Original NR: sin lectura anticipada WT: escritura inmediata Modificado RW: lectura y escritura B: bloqueado D: directo D: directo Escriba el siguiente comando storcli para visualizar la configuración de la unidad y el controlador: #/opt/megaraid/storcli Se detectó que al realizar estos cambios en la configuración se obtuvo el mejor rendimiento durante las pruebas. 4 La Figure 13 muestra los comandos storcli antes de escribir este comando y la Figure 14 muestra los comandos storcli después de ejecutar el comando. 2 Consulte el Manual de LSI 9361-8i MegaRAID. 3 La Guía del usuario del software MegaRAID SAS proporciona más detalles sobre cómo administrar el controlador y los HDD. 4 Todos los comandos de LSI se ejecutaron en SLES. 25
Figure 13. Comandos storcli (antes) Figure 14. Comandos storcli (después) Configuración de pool de almacenamiento de ScaleIO EMC y VCE probaron diferentes configuraciones de pools con HWCCT de SAP. Se evaluaron diferentes tamaños de pool, números de pools, configuraciones de HDD y cantidad de HDD, entre otros parámetros. Nuestro objetivo fue encontrar la configuración óptima para cumplir con los KPI de SAP y proporcionar orientación para la comunidad a gran escala sobre las mejores prácticas de configuraciones de ScaleIO. 26
Se realizaron pruebas en las que se usaron unidades SAS internas exclusivamente (configuración de HDD SAS), así como pruebas en las que se combinaron pools de almacenamiento SAS con XtremSF (configuración de SSD y SAS). Toda la configuración de HDD SAS Para las pruebas realizadas en unidades SAS internas exclusivamente, se usó la siguiente configuración, como se muestra en la Figure 15: 4 servidores C460 M4, 1 TB de RAM Compilación de escalamiento horizontal HANA 3+1 5 Volúmenes de registros y de datos en HDD SAS Un pool de almacenamiento de ScaleIO Figure 15. Configuración de solo unidades SAS Se utilizó la siguiente fórmula para dimensionar HANA en esta configuración: Dispositivo de datos, 1 RAM Dispositivo de registro, 1 RAM Se desarrolló un solo pool de almacenamiento con seis HDD SAS de cada C460 M4. También se desarrollaron tres conjuntos de volúmenes de datos y de registros, dado que este caso de uso se basó en una configuración de escalamiento horizontal de HANA 3+1. Cada servidor tenía un volumen de datos y un volumen de registros asignados y montados desde el pool de ScaleIO (hana1, hana2 y hana3). En la Figure 16 se muestran detalles. 5 3+1 consiste en un servidor en standby de HANA, aunque para ScaleIO es totalmente funcional. 27
Figure 16. Vista/lista de SDS Se configuraron cuatro SDS dentro de ScaleIO con servidores C460 Cisco. Puede agregar varios componentes principales IP a los SDS de ScaleIO para ayudar a balancear el tráfico de ScaleIO y aumentar el rendimiento. Para este caso de uso, se detectó que la mejor configuración fue una sola dirección/componente principal IP para el tráfico de ScaleIO, como se muestra en la Figure 16. Al agregar un componente principal IP adicional a ScaleIO, los resultados de las pruebas fueron una latencia más baja en los volúmenes de registros, pero también se disminuyeron los KPI como el rendimiento de lectura en los volúmenes de datos y de registros. Para lograr los KPI necesarios, proporcionamos al menos un servidor adicional en el cluster de ScaleIO para ejecutar las operaciones relacionadas con ScaleIO exclusivamente. Por ejemplo, si se requieren seis servidores/nodos de HANA, use siete servidores. Este modelo se adapta perfectamente a una compilación de HANA de escalamiento horizontal donde el servidor adicional puede funcionar como un servidor en standby de HANA. El standby en HANA no tendrá un volumen de registros o de datos montado hasta que haya una falla y se requiera la alta disponibilidad de HANA. Si se requiere un rendimiento más alto, puede ampliar el pool de almacenamiento de ScaleIO con HDD adicionales. Otra opción es agregar servidores, como los servidores de administración C240, como se muestra en la Figure 17. Al agregar servidores, se ayuda a mejorar el rendimiento y los IOPS ya que aumenta el número de HDD disponibles en el pool de almacenamiento, así como el número de servidores en el pool de almacenamiento y el cluster de ScaleIO. Nota: El rendimiento en un pool de almacenamiento específico es tan rápido como el componente más lento; combinar tipos de unidades o agregar unidades de servidores más rápidos o más lentos podría no lograr los resultados deseados. 28
Figure 17. Incorporación de un SDS adicional y ampliación del pool de almacenamiento Si se agrega un servidor adicional, se debe instalar un SDS en él. Escriba el siguiente comando para agregar el SDS: #scli --add_sds --sds_ip 172.24.12.90 --protection_domain_name SAP_HANA --device_name /dev/sde --storage_pool_name SAP_HANA_SP_SAS --sds_name NODE4 force_clean Configuración de unidades SAS y SSD (XtremSF) Para las pruebas realizadas a través de unidades SAS internas con discos flash XtremSF, se utilizó la siguiente configuración: 4 servidores C460 M4, 1 TB de RAM Compilación de escalamiento horizontal HANA 3+1 6 Volúmenes de datos en HDD SAS Volúmenes de registro en tarjetas XtremeSF PCIe 1 pool "SAS" ScaleIO para HDD SAS 1 pool SSD ScaleIO para tarjetas XtremSF PCIe Se utilizó la siguiente fórmula de dimensionamiento para HANA: Dispositivo de datos, 1 RAM Dispositivo de registro, 1 RAM Para lograr un rendimiento más alto con latencias muy bajas para los volúmenes de registro, se podrían haber utilizado SSD o tarjetas flash PCIe. La desventaja de usar SSD basadas en SAS 6 3+1 consiste en un servidor en standby, +1 (HANA). 29
es que usan posiciones de HDD, y el C460 M4 está limitado a ocho HDD desde el controlador LSI. Como resultado, se seleccionó una solución basada en PCIe. El C460 M4 de forma predeterminada está equipado con un solo carrier y cinco slots PCIe. Para obtener slots adicionales, compre un segundo carrier económico para obtener un total de diez slots PCIe. Se agregaron dos tarjetas XtremSF a cada uno de los cuatro servidores C460. Para este cluster de ScaleIO, se usaron dos pool de almacenamiento, uno con HDD SAS para hospedar los volúmenes de datos y el otro con tarjetas XtremSF PCIe para hospedar los volúmenes de registro, como se muestra en la Figure 18. El pool de almacenamiento que usa las tarjetas PCIe logró una latencia mucho más baja. Figure 18. Configuración de SAS y XtremSF Se probaron tarjetas basadas en SLC y en MLC. Ambas pasaron los parámetros de SAP, donde la latencia para los volúmenes de registro es un KPI principal. Las tarjetas XtremSF basadas en SLC fueron más rápidas que las tarjetas basadas en MLC, pero el costo de SLC frente a MLC también es mayor. 30