Data Lake: una evolución en infraestructura de datos. Nombre

Transcripción

1 1 Data Lake: una evolución en infraestructura de datos Nombre

2 2 Empresa Negocio Nube pública Datos no estructurados Datos de créditos Datos de envío Datos estructurados Datos de telemetría Datos de pronóstico Datos de ubicación Datos de medios sociales, videos

3 3 Los análisis convierten a TI en un punto estratégico para el negocio Lograr un impacto directo en los ingresos de la empresa mejorará la percepción de TI? Tiene en su departamento de TI las habilidades para lograrlo? En 2004, preguntamos Las empresas siguen invirtiendo en TI a oscuras sin una comprensión conceptual clara del impacto financiero o estratégico que pueden obtener eventualmente. Para la mayoría de los negocios, [TI] ha sido más una fuente de frustración y desilusión que de gloria. Es poco común que una empresa obtenga una ventaja competitiva mediante el uso distintivo de una tecnología infraestructural madura. En 2014, vemos A pesar de su alcance mejorado y mayor presupuesto, TI aún ejerce una influencia relativamente pequeña en el desarrollo de una estrategia del negocio. No obstante, gracias a big data, esa brecha de influencia está camino a desaparecer. Por primera vez en su historia, TI tiene el potencial para pasar de ser un centro de costos a ser un centro de ganancias. Para el director de TI, la ventaja es clara: cuando uno lidera un departamento que genera dinero para la empresa, se gana un lugar en la mesa donde se debate la estrategia.

4 4 TI necesita utilizar mejor el monitoreo de los datos La comprensión y el monitoreo de los sistemas de TI se están volviendo más complejos a medida que el departamento produce más datos sobre ellos y las personas que los utilizan. Cinco problemas clásicos Administración de incidentes y marcos de trabajo Equipo de TI del centro de operaciones de red Eventos Administradores y supervisores de elementos Sistemas aislados operacionales Dispositivos Aplicaciones Recursos informáticos y SO Red Almacenamiento

5 5 TI necesita datos para administrar mejor la capacidad La planificación de la capacidad es mucho más que solo predecir necesidades de hardware. TI necesita un análisis de los costos y el valor para convertirse en un intermediador de datos y servicios para el negocio. De la concentración en los componentes Los pronósticos de crecimiento de hardware son menos pertinentes cuando se pueden implementar servicios de negocios en nubes privadas, públicas o híbridas. La administración de la capacidad debe ayudar en la toma de decisiones de ubicación inteligentes. a la concentración en el negocio Un intermediador de servicios de plataforma e infraestructura necesita más datos sobre el valor para el negocio de los servicios y de los costos y el valor de los servicios de infraestructura Recursos informáticos En 2013, hubo un crecimiento del 58 % en la RAM En 2013, hubo un crecimiento del 42 % en los CPU En 2014, se planifica un aumento del 60 % en la RAM En 2014, se planifica un aumento del 45 % en los CPU Red En 2013, hubo un crecimiento del 28 % en los puertos En 2013, hubo un crecimiento del 32 % en BW En 2014, se planifica un aumento del 30 % en los puertos En 2014, se planifica un aumento del 35 % en BW Almacenamiento En 2013, hubo un crecimiento del 37 % en los TB En 2013, hubo un crecimiento del 42 % en IOPS En 2014, se planifica un aumento del 40 % en TB En 2014, se planifica un aumento del 40 % en IOPS SERVICIOS DEL NEGOCIO INTERMEDIARIO DE SERVICIOS Nube privada En Host Nube pública PROVEEDORES DE SERVICIOS

6 6 TI necesita información de los datos y las aplicaciones Para aumentar su pertinencia, TI debe proporcionar información sobre el negocio a partir de una inmensa cantidad de datos. Para hacer esto de manera eficiente, se requieren nuevas maneras de pensar y arquitecturas de tecnología modernas. ALMACENE TODO Datos estructurados y no estructurados. Internos y externos. Datos históricos y transmitidos en tiempo real. La naturaleza de los datos está cambiando y TI necesita adaptarse. ANALICE CUALQUIER COSA Los análisis son prospectivos y predictivos. Los análisis de datos complementan el espejo retrovisor de la inteligencia del negocio. CREE LA APLICACIÓN CORRECTA Las aplicaciones de la tercera plataforma toman los datos de big data y los convierten en valor para el negocio. TI tiene una función en el rápido desarrollo, implementación y escalabilidad de nuevas aplicaciones.

7 7 Las lagunas de datos permiten realizar análisis eficientes Una laguna de datos le permite utilizar sus herramientas de análisis en los datos. Los datos se comparten entre proyectos con herramientas de análisis estandarizadas y un control centralizado. Recopilación Almacenamiento Análisis Obtención de conocimientos Acción Capture datos de una amplia variedad de orígenes, tradicionales y nuevos. Almacene todo en un ambiente para realizar análisis en todo el conjunto de datos. Use algoritmos avanzados para descubrir nuevos patrones predictivos. Comparta los conocimientos con los expertos en el área del negocio. Cree aplicaciones impulsadas por los datos que cumplan con las necesidades del negocio.

8 8 Una laguna de datos para análisis de TI y del negocio Una laguna de datos establece una plataforma común para los datos empresariales y para crear aplicaciones modernas que enfrenten los retos y las oportunidades más apremiantes. Datos Análisis Aplicaciones Datos estructurados y relacionales Datos estructurados y semiestructurados Datos de máquinas y en tiempo real Combine datos transaccionales en tiempo real con datos históricos de los clientes. Use modelado estático para predecir comportamientos futuros. Explore datos generados por máquina de hardware, redes, middleware y aplicaciones. Prediga, informe y alinee las decisiones de TI. Laguna de datos Cree aplicaciones que ofrezcan información en tiempo real a su personal para ayudarlos a mejorar la experiencia del cliente. Evite incidentes y tiempo fuera mediante la identificación de comportamiento anómalo y la toma de acciones para prevenir fallas.

9 9 Una arquitectura de referencia Los servicios estandarizados y según demanda se organizan en niveles en torno a las funcionalidades de procesamiento y los catálogos de datos compartidos para formar la laguna de datos. Recopilación y captura de datos Recopilación de datos por lotes calendarizada para capturar orígenes de datos masivos. La recopilación de microlotes recopila cantidades reducidas de datos. Recopilación de datos de baja latencia y en tiempo real. Enrutamiento de los datos en tiempo real a procesamiento de eventos complejos y almacenamiento persistente. Orígenes de datos Datos estructurados existentes. Orígenes de datos no estructurados o semiestructurados. Datos generados por máquina como logs y datos de sensores. Orígenes de datos externos. Aplicaciones e integración CloudFoundry en vsphere. Cree aplicaciones interactivas impulsadas por los datos mediante enfoques y marcos de trabajo modernos. Análisis de datos Rendimiento en la memoria (GemFire). Procesamiento MPP (Pivotal HD). Acceso de SQL de alto rendimiento a datos HDFS (HAWQ). Reutilización y almacenamiento compartido Isilon y ViPR proporcionan acceso compartido a orígenes de datos nuevos y existentes mediante HDFS. Minimización de las copias de datos. Deduplicación inteligente para Hadoop. Autenticación Kerberos.

10 10 Una arquitectura de referencia Apache Hadoop es un elemento central de una laguna de datos. Admitimos lagunas de datos con administración empresarial y servicios de datos mejorados proporcionados por Pivotal. Hadoop Virtualization Extensions (HVE) Gracias a que PivotaI integra Hadoop Virtualization Extensions de código abierto, la flexibilidad de la infraestructura se traslada a Hadoop. HAWQ: servicios de base de datos avanzados Una interfaz SQL con todas las funciones a datos en Hadoop. GemFire XD Brinda funcionalidades de análisis y procesamiento de datos en tiempo real a la tercera plataforma. Command Center Command Center permite que Pivotal HD esté listo para la empresa con control, monitoreo, configuración e implementación automatizados. Spring XD El marco de trabajo de programación de Spring le permite crear aplicaciones de Hadoop de modo estandarizado y ampliable. Data Loader Herramienta de carga de datos de alto rendimiento para recopilar cientos de TB por hora.

11 11 Caso de Estudio TI de EMC ha creado una solución de análisis del negocio como servicio que proporciona a los usuarios del negocio acceso flexible a los datos y parámetros de análisis. Reto Los negocios que desean ejecutar análisis mediante orígenes de datos externos y de EMC se enfrentan a largos tiempos de planificación, lo que se traduce en el desarrollo de soluciones de TI externa. Solución TI de EMC creó una solución que brinda acceso a EMC ERP, CRM y otros orígenes de datos principales, además de orígenes de datos externos comunes. Se desarrolló una plataforma de análisis flexible que permite a TI de EMC activar rápidamente parámetros de análisis que tienen acceso a los orígenes de datos compartidos. USUARIO DE NEGOCIOS Finanzas TI nos está escuchando. Esto es exactamente lo que necesitábamos! Ahora tenemos un ambiente que nos permite acceder a conjuntos de datos corporativos y que combina datos del negocio para BI y análisis más avanzados. Ya no se necesita lugar para TI externa. Resultados Los usuarios de negocios de EMC pueden probar rápidamente nuevas ideas de análisis sin invertir demasiado tiempo o recursos para obtener datos y configurar ambientes de análisis. Los datos de EMC son mucho más accesibles que antes, y se mejoró el buen manejo y control y la protección de los datos.

12 12 La creación de aplicaciones convierte la información en valor para el negocio Logre ahorros a gran escala mediante la creación de servicios en torno a la laguna de datos ENFOQUE CENTRADO EN LAS APLICACIONES Tiempo perdido buscando y obteniendo acceso a orígenes de datos. Varias copias de los datos. Proyectos de análisis individuales que desarrollan sus propios procesos. ENFOQUE CENTRADO EN EL ANÁLISIS Valiosos orígenes de datos identificados y puestos a disposición como un recurso compartido. Ambientes de análisis estandarizado puestos a disposición de analistas y científicos de datos. Uso más eficiente de los recursos de red, almacenamiento y cómputo del centro de datos. Aplicaciones impulsadas por datos creadas a partir de la laguna de datos Científicos de datos Desarrolladores de aplicaciones

13 Primer paso: taller de visión sobre big data Identifique los casos de uso de big data que optimizan el rendimiento del negocio Los accionistas del negocio y TI colaboran para identificar las mejores oportunidades Oportunidad de las operaciones E Trace el valor del negocio y la factibilidad de implementación. Analice la madurez de big data de la organización Priorice los casos de uso para impulsar la alineación interna Defina un proyecto de prueba de valor (POV) con objetivos, tareas y requisitos claramente definidos Copyright 2014 EMC Corporation. Todos los derechos reservados. 13

14 14 Los beneficios para usted Estandarización del conjunto de herramientas de procesamiento y administración de los datos Estandarización de flujos de trabajo de análisis y recopilación de datos Mejora de su capacidad para identificar información del negocio Creación de aplicaciones impulsadas en datos que convierten la información en valor para el negocio

15