Solución empresarial Hadoop de EMC. NAS de escalamiento horizontal Isilon y Greenplum HD

Transcripción

1 Informe técnico Solución empresarial Hadoop de EMC NAS de escalamiento horizontal Isilon y Greenplum HD Por Julie Lockner, analista ejecutivo, y Terri McClure, analista ejecutivo Febrero de 2012 Este Informe técnico de ESG fue encargado por EMC Corporation y se distribuye bajo licencia de ESG.

2 Contenido Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 2 Introducción... 3 Tendencias del mercado para necesidades de análisis de big data... 3 Aprovechamiento de Hadoop para análisis de big data... 4 Utilización de NAS de escalamiento horizontal para análisis de big data... 5 Cómo completar el paquete: plataforma consolidada Isilon y Greenplum HD de EMC... 7 La gran verdad... 9 Todos los nombres de marcas comerciales son propiedad de sus respectivas compañías. La información incluida en esta publicación se obtuvo a través de fuentes que The Enterprise Strategy Group (ESG) considera confiables, pero no está garantizada por ESG. Esta publicación puede contener opiniones de ESG, que están sujetas a cambios periódicamente. Igualmente, esta publicación está bajo copyright de The Enterprise Strategy Group, Inc. Cualquier reproducción o redistribución de esta publicación, en su totalidad o en parte, ya sea en formato de copia impresa, por Internet o a personas no autorizadas para recibirla, sin el expreso consentimiento de The Enterprise Strategy Group, Inc., constituye una violación a la ley de copyright de los EE.UU. y quedará sujeta una demanda por daños civiles y, si corresponde, a acciones penales. Si tiene consultas, comuníquese con el Servicio al cliente de ESG al

3 Introducción Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 3 A medida que las organizaciones se centran en aprovechar al máximo el valor contenido en sus recursos de información, están descubriendo que la recopilación de datos es un arma de doble filo. En realidad, debido que se ven enfrentadas al reto de administrar datos que están creciendo a una velocidad casi abrumadora (solo Facebook ahora recopila más de 100 terabytes de datos por día), la mayoría de las organizaciones consideran que la administración del crecimiento de datos, el aprovisionamiento de almacenamiento y la ejecución rápida y confiable de análisis de big data son sus principales prioridades. ESG define el análisis de big data como la práctica de analizar conjuntos de datos completos a la vez, sin limitarse a la forma en que están estructurados los datos, usando tecnología especialmente diseñada para realizar tareas de análisis de datos simples a complejos de forma oportuna, rentable y eficiente. En una encuesta reciente de ESG realizada a más de 100 organizaciones, ESG descubrió que estas, a medida que compiten para estar a la altura de las velocidades de crecimiento de datos, detectaron de forma consistente que la administración de datos y el almacenamiento de datos son retos y obstáculos clave para desarrollar funciones de análisis de datos perfeccionadas dentro de sus organizaciones. Todas estuvieron de acuerdo en que, aunque en definitiva agregan un valor intrínseco a la riqueza de conocimiento de sus organizaciones, el big data también está colocando a sus infraestructura de TI actuales bajo un estrés extremo, y muchas están buscando frenéticamente un medio para desarrollar una infraestructura escalable dentro de sus centros de datos. Entonces, qué están buscando exactamente estas organizaciones? Debido a que sus plataformas tradicionales están muy limitadas con respecto a su capacidad de soportar análisis de big data, cada vez más compañías están buscando nuevas soluciones para abordar estos retos y están concluyendo que su solución debe ser una plataforma consolidada y escalable que pueda soportar aplicaciones de big data con servicio de clase empresarial. Una plataforma MapReduce emergente en capas en un sistema de archivos distribuido (Hadoop y HDFS) es una de las soluciones que más seleccionan últimamente las compañías para abordar sus necesidades de análisis de big data. Es una solución específicamente diseñada para escalamiento horizontal, lo que permite mantener niveles de rendimiento consistentes a medida que crecen los datos que se van a procesar o analizar. Tendencias del mercado para necesidades de análisis de big data De acuerdo con la última encuesta de administración de datos de ESG, más de la mitad (55%) de las organizaciones que respondieron identificaron que la agilidad mejorada del negocio es el principal beneficio que esperan obtener al implementar una nueva solución de análisis de datos (vea la Figura 1). 1 Le seguía de cerca en el segundo lugar la capacidad de realizar análisis en un período más corto. Con la necesidad de mayor velocidad y la agilidad de servicio como los factores clave para el proceso de selección, las organizaciones están considerando las herramientas y la tecnología que los soportará y que crecerá con ellos mientras luchan bajo la arremetida de la información, y las plataformas de análisis basadas en MapReduce y Apache Hadoop parecen ser las favoritas en el área. En realidad, Apache Hadoop ha tomado rápidamente la delantera como la solución preferida para análisis de big data entre datos no estructurados, y el procesamiento por batches basado en Hadoop de datos no estructurados y estructurados a niveles masivos ha llevado a un drástico cambio en la manera en que las organizaciones abordan el análisis de big data. 1 Fuente: Informe de investigación de ESG, The Impact of Big Data on Data Analytics, septiembre de 2011.

4 Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 4 Figura 1. Principales beneficios esperados con la implementación de una nueva plataforma de análisis Fuente: Enterprise Strategy Group, Aprovechamiento de Hadoop para análisis de big data Por qué tantas organizaciones están aprovechando Hadoop en su procesamiento de análisis? Por un lado, Hadoop entrega a las organizaciones la capacidad de almacenar y analizar grandes volúmenes de datos independientemente de si los datos están estructurados, no estructurados, o bien si son relacionales o no relacionales. Hadoop actúa como complemento a las plataformas de análisis de datos tradicionales como bases de datos relacionales. Este aumenta su capacidad de ejecutar análisis de SQL interactivo en orígenes de datos a los que era difícil o imposible tener acceso o que eran difíciles o imposibles de procesar debido a limitaciones de los datos colocados en plataformas actuales. Hadoop combina un marco de trabajo de MapReduce con el sistema de archivos distribuido Hadoop (HDFS) y soporta tareas de análisis y procesamiento de datos que son igualmente adecuadas para datos estructurados de forma relacional y no relacional (por ejemplo, datos basados en texto, archivos de log, datos generados por máquinas y detalles de tráfico web). Como ocurre con cualquier tecnología emergente, Hadoop aún tiene algunos problemas innatos que tiene que superar. Por ejemplo: La distribución de Hadoop de código abierto Apache ofrece un solo punto de falla con los metadatos del archivo de administración NameNode almacenados en HDFS. El NameNode es el centro de un sistema de archivos de HDFS. Mantiene el árbol de directorio de todos los archivos en el sistema de archivos, y sirve como el dispositivo de rastreo que indica dónde residen los datos en el cluster. Las aplicaciones de cliente aprovechan el NameNode cuando desean ubicar, agregar, copiar, mover o eliminar un archivo. El NameNode responde a estas solicitudes presentando una lista de servidores donde residen los datos. Sin embargo, existe un peligro distinto con este enfoque: cuando el NameNode deja de funcionar, el sistema de archivos queda offline. Esta es un área que la comunidad de código abierto de Hadoop está buscando abordar, pero en el intertanto, es una preocupación para muchas organizaciones que buscan un componente de alta disponibilidad para su plataforma de análisis de big data.

5 Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 5 Actualmente, Hadoop no cuenta con funcionalidades de protección de datos de clase empresarial. Los desarrolladores deben establecer manualmente el parámetro de replicación de datos para HDFS (el predeterminado es 3) para identificar la cantidad de copias que HDFS debe hacer de cada archivo para protección de datos, en lugar de aprovechar RAID. La dependencia de los desarrolladores para determinar la cantidad de copias que se deben hacer podría conducir a un uso muy ineficiente del almacenamiento. Hadoop requiere una inversión incremental en personal que tenga amplio conocimiento y estén calificados en Hadoop. Puede que las implementaciones tradicionales de Hadoop no se integren fácilmente en las aplicaciones empresariales existentes. Se puede tener acceso a los datos mediante protocolos de Hadoop y HDFS o a través de una interfaz de SQL, para lo que se requiere el desarrollo de interfaces de programación. Hadoop requiere una inversión para la construcción de clusters de cómputo dedicados, que a menudo producen recursos de almacenamiento o cómputo aislados y provocan una utilización deficiente de los recursos de almacenamiento o CPU, dependiendo de qué recurso se necesita. En una arquitectura de referencia común de Hadoop, el cluster de cómputo aprovecha el DAS (Direct Attached Storage) que no se puede compartir fácilmente con otras aplicaciones. Las organizaciones deben implementar el cluster de cómputo de Hadoop para altos requerimientos informáticos o altos requerimientos de capacidad de almacenamiento durante la instalación inicial. En realidad, en el modelo de almacenamiento DAS común, las organizaciones no pueden cambiar fácilmente la proporción de cómputo con almacenamiento después de la implementación del cluster. Las organizaciones que desean utilizar Hadoop para diferentes tipos de cargas de trabajo tendrán que implementar varios clusters Hadoop para alinearse con sus necesidades. Para organizaciones que deseen tener un diseño de almacenamiento en niveles para optimizar el costo de los datos que residen en un cluster Hadoop, los administradores tendrían que configurar manualmente clusters y carpetas de HDFS para alinearse con los niveles, y los desarrolladores de Hadoop necesitarían desarrollar programas para migrar datos entre niveles. En el caso de organizaciones que requieren una estrategia de protección de datos con un plan de recuperación de desastres (DR), los desarrolladores tendrían que coordinar con los administradores para incorporar procesos de respaldo en la capa de HDFS. Para DR, los desarrolladores comúnmente escriben conjuntos de datos en dos clusters Hadoop en una misma ubicación. Esto puede presentar un reto para organizaciones que desean incorporar protección de datos existentes y políticas de DR para datos que residen en un cluster Hadoop. Aunque son fuertes en muchas áreas, las implementaciones de Hadoop pueden representar serios retos para equipos de TI ya sobrecargados basándose en estos principios. Utilización de NAS de escalamiento horizontal para análisis de big data Ingrese al almacenamiento conectado en red (NAS) de escalamiento horizontal. Los sistemas NAS son fáciles de instalar e implementar, accesibles y confiables, además mantienen al mínimo el tiempo de soporte. El NAS de escalamiento horizontal es una buena combinación para ambientes de análisis de big data. ESG define big data en general como el uso de conjuntos de datos que superan los límites y tamaños de las funciones de procesamiento normales, lo que fuerza a tomar un enfoque no tradicional. El NAS de escalamiento horizontal es aquel enfoque no tradicional desde un punto de vista de almacenamiento en red externo. Está diseñado para escalar más allá de los límites de sistemas de escalamiento vertical tradicionales y mantener el rendimiento y disponibilidad a medida que crecen los datos, algo que los sistemas de almacenamiento tradicionales no pueden igualar. En realidad, al usar un sistema de almacenamiento en red compartido para soportar análisis de big data, el principal requerimiento es una arquitectura de escalamiento horizontal. El NAS de escalamiento horizontal ofrece facilidad para expansión de la capacidad y facilidad de administración. Una reciente investigación de ESG reveló que un 86% de las organizaciones en mercado de pequeñas y medianas

6 Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 6 empresas y un 84% de las organizaciones empresariales están utilizando NAS para algún nivel de almacenamiento. 2 Como se muestra en la Figura 2, la capacidad del almacenamiento NAS (un 45% de la capacidad de almacenamiento de disco total de los que respondieron) es mayor que el almacenamiento de la red de almacenamiento SAN (SAN) (36%) y el Direct Attached Storage (DAS) (31%). 3 Los sistemas SAN transfieren datos a través de la red en la forma de bloques de disco, en tanto que los sistemas NAS transfieren datos de archivos. Los sistemas SAN y NAS están conectados en red, mientras que DAS está dedicado al servidor al cual está conectado. Figura 2. Capacidad de almacenamiento empresarial, por tipo de almacenamiento Fuente: Enterprise Strategy Group, Los sistemas NAS de escalamiento horizontal pueden escalar horizontalmente entre nodos y en potencia de procesamiento front-end, además entregan capacidad back-end mediante procesador o nodos de capacidad agregados recién. Las plataformas de almacenamiento de escalamiento horizontal pueden incrementar el rendimiento o la capacidad mediante la adición de recursos (por ejemplo, procesadores, memoria, interfaces de host) como sistemas acoplados en términos generales compuestos de nodos que funcionan de lado a lado, en paralelo. Los sistemas NAS de escalamiento horizontal están diseñados para escalar rendimiento y capacidad de forma independiente, lo que permite que los usuarios mantengan el rendimiento en ambientes de archivos de rápido crecimiento que requieren el manejo de tamaños de archivos muy grandes sin las limitaciones de rendimiento o administración asociadas con sistemas de almacenamiento de escalamiento horizontal. Entre los beneficios se incluyen un mejor rendimiento, mayor disponibilidad, mayor utilización de almacenamiento, administración general más fácil y la necesidad de menor cantidad de administradores (consulte la Figura 3). Las funcionalidades comunes entre Hadoop y NAS de escalamiento horizontal ofrecen una oportunidad obvia de convergencia en una solución que puede asegurar que las organizaciones podrán: Aprovechar las funcionalidades de protección de datos empresariales, como snapshots, replicación y respaldo con el modelo de almacenamiento compartido aplicadas a procesamiento analítico de Hadoop Lograr una mayor utilización de los recursos de almacenamiento e informáticos Aprovechar recursos de almacenamiento de Hadoop para aplicaciones adicionales y operaciones de centro de datos 2 Fuente: Informe de investigación de ESG, Scale-out Storage Market Trends, diciembre de Ibid.

7 Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 7 Figura 3. Beneficios obtenidos en implementaciones de almacenamiento de escalamiento horizontal Fuente: Enterprise Strategy Group, Cómo completar el paquete: plataforma consolidada Isilon y Greenplum HD de EMC EMC, en repuesta a la creciente adopción de Hadoop, está abordando una necesidad del mercado para una plataforma de Hadoop que proporciona protección de datos empresariales y funcionalidades de administración sobre infraestructura especialmente diseñada. EMC está entregando soporte para protocolo HDFS para su plataforma de almacenamiento NAS de escalamiento horizontal de Isilon. Además de soportar el protocolo HDFS sobre plataforma de almacenamiento empresarial de Isilon, la solución de EMC incluye pruebas y certificación con distribución de Greenplum de Apache Hadoop para proporcionar funcionalidades de computación para los datos almacenados en Isilon. EMC está ofreciendo un modelo de soporte de un solo proveedor para Hadoop mediante la infraestructura de almacenamiento NAS de escalamiento horizontal de Isilon, funcionalidades de análisis de Greenplum HD (incluyendo acceso a datos paralelos en la base de datos de Greenplum) y servicios de consultoría, configuración, capacitación y soporte de EMC. La plataforma consolidada combina soporte de almacenamiento nativo de Isilon EMC del protocolo HDFS integrado con marco de trabajo de procesamiento de datos y análisis de Greenplum HD; las organizaciones pueden aprovechar los múltiples beneficios de las implementaciones Hadoop basadas en la arquitectura de referencia de DAS (Direct Attached Storage). Alta disponibilidad para soporte de una amplia variedad de casos de uso: El sistema operativo OneFS de alta disponibilidad de Isilon esencialmente elimina el NameNode como punto único de falla en la capa de almacenamiento HDFS de Hadoop. Debido a que los metadatos se distribuyen a través del cluster de Isilon, cada nodo de Isilon actúa como un NameNode. Esto expande los casos de uso accesibles para que los

8 Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 8 análisis de big data de Hadoop permitan el soporte de aplicaciones de negocios y de misión crítica que requieren mayores niveles de disponibilidad de los que puede proporcionar una configuración de Hadoop estándar que usa DAS. Mejor acceso a datos y carga de datos: Isilon OneFS soporta HDFS así como protocolos estándares del sector, como NFS y CIFS, entre otros. Eso mejora el desagradable proceso de staging y carga de datos que consumen muchos recursos inherentes a las implementaciones de Apache Hadoop tradicionales que solo usan HDFS, y además elimina la necesidad de copias excesiva de archivos. El big data organizacional se carga en la capa de almacenamiento de Isilon OneFS mediante protocolos estándares del sector, como NFS, CIFS, HTTP o FTP, sin embargo, las aplicaciones de Hadoop pueden tener acceso directamente a esos datos mediante HDFS sin tener que copiar o mover la fuente original de datos a un sistema de archivos diferentes. Luego, OneFS administra la protección de la información, lo que elimina la necesidad de que los desarrolladores y administradores sean responsables de configurar apropiadamente los parámetros de rendimiento y protección. Facilidad de uso e implementación: Al proporcionar una plataforma Hadoop integrada que se entrega en infraestructura especialmente diseñada, la implementación de la solución de Greenplum HD e Isilon será más rápida y fácil que el proceso de configuración de hardware y software de DIY que se requiere en implementaciones de Hadoop tradicionales, las que pueden llevar mucho tiempo y consumir muchos recursos. Escalamiento y eficiencia La solución de almacenamiento y cómputo Hadoop segmentada de EMC permite mayores tasas de almacenamiento y utilización de la CPU en comparación con implementaciones DAS tradicionales de Hadoop al hacer posible que los clientes escalen rendimiento o capacidad de forma independiente según sea necesario y que creen pools de almacenamiento separados que cumplan con los diversos requerimientos de rendimiento dentro de un solo sistema. Si las necesidades de análisis del cliente requieren una configuración con uso más intensivo de cómputo versus una configuración más basada en capacidad, ambas opciones pueden satisfacerse mediante la implementación combinada de Greenplum HD e Isilon OneFS. Las eficiencias de almacenamiento son aún mayores mediante el uso de Isilon y su división en niveles automatizada basada en políticas de SmartPool. Al adecuar los requerimientos de valor y rendimiento de los datos con el nivel de almacenamiento de rendimiento apropiado (en lugar de dejar todo eso en almacenamiento primario relativamente costoso en un modelo DAS tradicional), los costos se reducen. Gracias a la facilidad de implementación de NAS de escalamiento horizontal Isilon, la extensión de esa simplicidad a Hadoop elimina la necesidad de desarrollar aplicaciones mediante programación de interfaces de E/S de archivos para almacenar y analizar volúmenes de datos masivos. Permite que las organizaciones implementen una plataforma de almacenamiento NAS de clase empresarial que puede escalar con los volúmenes, pero que también es de uso general para que las organizaciones puedan almacenar datos solo una vez y soportar otros usuarios y cargas de trabajos del negocio.

9 La gran verdad Informe técnico: Solución empresarial Hadoop de EMC: NAS de escalamiento horizontal Isilon y Greenplum HD 9 A medida que Hadoop sigue evolucionando, las organizaciones están descubriendo rápidamente de qué manera se puede usar para crear una ventaja competitiva sustancial usando sus capacidades para tener acceso a valiosos big data y poder extraerlos. Sin embargo, junto con su potencia y capacidades masivas, Hadoop también introduce problemas que se encuentran comúnmente en cualquier tecnología nueva y en evolución. Por lo tanto, las empresas están buscando una plataforma consolidada y escalable que pueda soportar aplicaciones de big data con atributos de servicio de clase empresarial. Con la entrega por parte de EMC de su plataforma de almacenamiento NAS de escalamiento horizontal de Isilon y su soporte para el protocolo HDFS, ahora las organizaciones tienen una opción que aborda los problemas de Hadoop y soportan totalmente sus funcionalidades innatas. Pero ese es solo el primer paso. El segundo paso es aprovechar el soporte de HDFS para entregar una solución completamente integrada y probada. Al aprovechar las virtudes de Hadoop, la solución Isilon y GreenPlum HD de EMC agrega las funcionalidades de carga y acceso a datos simple usando una interfaz de Network File System nativa, capacidad de administración endto-end que incluye implementación de cluster simple, detección y notificación automáticas de fallas, administración en múltiples sitios y actualizaciones rotatorias. Finalmente, con el compromiso de soportar totalmente la pila completa, EMC ofrece un modelo de soporte de un solo proveedor para cada componente que incluye hardware de: almacenamiento, cómputo y red, y software: base de datos Greenplum HD y Greenplum para análisis de datos integrales. La solución Isilon y GreenPlum HD de EMC parece destinada a convertirse en una opción viable para implementaciones basadas en Hadoop de clase empresarial para cualquier organización que cosechan big data y que buscan implementar aplicaciones de análisis de big data para soportar más procesos de negocios de misión crítica.

10 20 Asylum Street Milford, MA Tel: Fax: