Informe técnico empresarial El poder perturbador de los big data

Transcripción

1 Informe técnico empresarial El poder perturbador de los big data Cómo los análisis de big data están transformando a la empresa

2 Informe técnico empresarial Tabla de contenido 3 Resumen ejecutivo: la revolución de los big data 4 El imperativo de los big data 4 Por qué los big data son diferentes 4 Nuevos (y abundantes) datos de nuevos orígenes 5 Web 2.0 y medios sociales 5 Abundancia de multimedia 6 Sensores 7 Análisis de big data: un nuevo enfoque para big data 9 Los desafíos de los big data 9 Desafíos para las TI 10 Desafíos para los líderes empresariales 11 Plataforma de big data de HP Enterprise 11 Vertica: la solución para los análisis de big data 12 Obtenga más información

3 Informe técnico empresarial Página 3 Resumen ejecutivo: la revolución de los big data Los datos digitales duplican su tamaño cada dos años. De por sí, es un dato interesante. Pero lo realmente fascinante es que las empresas están cosechando y utilizando estos datos para mejorar el conocimiento del mercado, fortalecer la competitividad y transformar sus operaciones e incluso sus modelos empresariales. Es un cambio perturbador para la empresa. Y al igual que ocurrió con Internet y los ordenadores, las empresas que aprendan a utilizar los big data y la gestión de la información en beneficio de sus operaciones prosperarán en esta era de los big data. Aquellas que no lo consigan serán adelantadas por competidores más ágiles y correrán el riesgo de desaparecer. Las empresas siempre han querido extraer información práctica de los datos. Pero aprovechar el amplio valor potencial de los big data requiere un enfoque nuevo. Los almacenes de datos y las herramientas de inteligencia empresarial tradicionales no proporcionan respuestas con la velocidad necesaria. Los análisis de big data (herramientas y procesos creados específicamente para convertir big data y análisis en entendimiento empresarial) permiten a los directores de la empresa desarrollar una relación conversacional con los datos. Se trata de un enfoque en el que las respuestas sugieren mejores preguntas y el refinamiento lleva al entendimiento. Este informe explica la revolución de los big data: qué es, qué oportunidades crea y qué desafíos conlleva. Explica por qué tener una conversación con sus datos es una forma radicalmente distinta de extraer entendimiento empresarial y cómo los análisis de big data - y la plataforma Vertica de Hewlett Packard Enterprise - pueden ayudarle a hacer precisamente eso. Es un desafío al que deben enfrentarse las empresas si quieren prosperar en la era de los big data.

4 Informe técnico empresarial Página 4 El imperativo de los big data Por qué los big data son diferentes La expresión "big data" suele referirse a un volumen de datos tan grande que los sistemas y tecnologías de TI tradicionales ya no son capaces de almacenarlos, gestionarlos ni procesarlos. Pero no se trata sólo de que el crecimiento de datos supere al de la tecnología. Los big data encarnan unas diferencias fundamentales que requieren nuevos enfoques y tecnologías. Doug Laney, de Gartner Group, identificó la tendencia hacia los análisis de big data y la caracterizó utilizando las tres famosas "V", que han sido ampliamente adoptadas y adaptadas: Volumen: la cantidad de datos que se están creando Velocidad: la velocidad a la que se crean los datos y a la que deben procesarse Variedad: el abanico de orígenes y formatos de datos distintos Varios factores han fomentado la escalación del volumen, la velocidad y la variedad de los datos. Nuevos (y abundantes) datos de nuevos orígenes A medida que las empresas se han ampliado (y han extendido su presencia en Internet), el volumen de transacciones ha crecido. Walmart es el minorista más grande del mundo, pero las empresas más pequeñas también han experimentado una explosión de sus volúmenes de transacciones como consecuencia de sus iniciativas de Internet, al tiempo que han ampliado los datos que recopilan. Más allá del procesamiento de pedidos, han implementado nuevos sistemas para realizar el seguimiento de programas de marketing, datos de clientes, reclamaciones de garantías, quejas y otra información. Muchos de estos datos están divididos en silos: son almacenados, gestionados y procesados por sistemas dispares. Además, gran parte del valor de los big data deriva simplemente de reunir datos de multitud de orígenes de gestión de la información para lograr una perspectiva de 360 grados de los clientes, los productos y las operaciones empresariales. Los sistemas basados en web capturan no sólo las transacciones de ventas, sino también los flujos de clics que conducen a la venta. Los comerciantes pueden conocer los otros productos que han visto y considerado los compradores, así como sus reacciones a la publicidad y las promociones del sitio web. La omnipresencia de los teléfonos móviles (y los pedidos y el soporte basado en Internet que los acompañan) han producido una explosión de los registros de datos de llamadas, datos de clientes e información de uso disponibles para los operadores de telecomunicaciones. La automatización en el sector de la asistencia sanitaria y la consolidación de la atención ofrecida a través de grandes proveedores, como las aseguradoras médicas y los programas gubernamentales, han generado cantidades masivas de datos. El sector financiero está tendiendo una enorme red para capturar datos que ayuden a identificar tendencias, evaluar riesgos y gestionar activos.

5 Informe técnico empresarial Página 5 Web 2.0 y medios sociales La Web 2.0 es mucho más que un simple acceso a la información en Internet. Ha revolucionado la forma en que las personas interactúan y colaboran entre ellas o con sus socios empresariales, las redes de distribución y las cadenas de suministro. Los individuos contribuyen con sus propios contenidos y las aplicaciones se enriquecen a medida que las utiliza más gente. Los medios sociales son el resultado de la Web 2.0. Facebook tiene ahora más de 1000 millones de suscriptores activos 1 y se estima que comparten prácticamente 3,3 millones de elementos individuales de contenido por minuto. En ese mismo minuto, los usuarios de Twitter envían tuits. 2 Prácticamente todas las empresas han implementado conceptos de Web 2.0, y muchas cuentan ahora con equipos de medios sociales que establecen la mejor forma de utilizarlos para llegar a los clientes y convertir su contenido en valor empresarial. Los análisis de productos, las comunidades de usuarios, los foros, los blogs y los comentarios que los acompañan contienen un entendimiento empresarial muy valioso. La mayoría de las empresas establecen páginas en Facebook para conectar con sus usuarios y buscan seguidores en Twitter para sus marcas, o incluso para su personal más destacado. Ello les permite transmitir información a los consumidores y capturar sus reacciones a los anuncios y otros cambios. Es más, muchos de estos datos están al alcance del público. Twitter, por ejemplo, proporciona una interfaz de programación de aplicaciones (API) que permite a terceros acceder a tuits públicos. (Todos los tuits son públicos de forma predeterminada.) Además, ha entregado todo su archivo de tuits públicos a la Biblioteca del Congreso de EE. UU. La disponibilidad de este tipo de datos de texto desestructurados ha llevado a la aparición de nuevas técnicas y herramientas para el "análisis de sentimientos": la capacidad para detectar las opiniones y emociones que contiene la información en formato de texto. Abundancia de multimedia Los archivos multimedia, como el vídeo, el audio y las imágenes, están proliferando a una velocidad sin precedentes. En parte impulsado por el aumento del número de smartphones y la creciente presencia de cámaras de seguridad, la abundancia cada vez mayor de archivos multimedia representa una importante fuente de entendimiento. El valor de esta abundancia de archivos multimedia es algo que conocen desde hace mucho tiempo las fuerzas policiales, que en la actualidad inspeccionan cantidades masivas de vídeos, incluidos los capturados con smartphones y compartidos en los medios sociales, para resolver delitos. Las empresas también están experimentando el espectacular crecimiento de los archivos multimedia: el uso del vídeo y el audio se ha catapultado en los últimos años con el aumento de las reuniones en línea, mientras se está capturando una enorme cantidad de información valiosa en sesiones de formación multimedia, videoconferencias, webcasts, demostraciones y material de recursos humanos. Las conversaciones diarias en los centros de llamadas, de las que emana la impresión que tienen los clientes de una marca, son otra fuente de información de enorme valor. El valor de la abundancia de archivos multimedia también es evidente en las tendencias de los consumidores. Según un informe de Cisco, el tráfico de vídeo consume actualmente el 78 % del ancho de banda de Internet en Estados Unidos. El mismo informe prevé que en 2018, el consumo de vídeo represente el 84 % del tráfico de Internet en Estados Unidos. Estas cifras probablemente no sorprenderán a nadie que esté familiarizado con YouTube o que utilice un agregador de noticias. El vídeo es el medio de comunicación principal en Internet. También lo son las fotos, especialmente con el auge de los smartphones. Los sitios de los medios sociales reciben cargas continuas de fotos, y la información que contienen esas imágenes desvelan pistas valiosas sobre los consumidores que las envían. Esas imágenes revelan sus aficiones, preferencias a la hora de vestir, opciones culinarias, inclinaciones políticas, grupos de homólogos, interés caritativos y mucho más. 1 Sala de prensa de Facebook, newsroom. fb.com/company-info/. 2 Página oficial "Acerca de Twitter", 11 de febrero, 2015, about.twitter.com/company.

6 Informe técnico empresarial Página 6 Sensores Los dispositivos están empezando a competir con los humanos en cuanto a la cantidad de información que generan. A efectos de este informe, llamaremos a cualquier dispositivo de este tipo un "sensor": algo que detecta, captura y notifica información. Por ejemplo, los teléfonos móviles "detectan" y notifican sus ubicaciones utilizando sistemas de posicionamiento global (GPS). Las empresas utilizan esa información en servicios basados en la ubicación para entregar anuncios y promociones dirigidos con más precisión. Los minoristas están experimentando con los sensores de identificación por radiofrecuencia (RFID) y otras soluciones para seguir la ubicación de sus clientes en las tiendas a fin de dirigir las promociones y calibrar la respuesta a las iniciativas de comercialización. El sector de la asistencia sanitaria busca mejorar y ampliar la atención, así como reducir el coste, mediante la supervisión remota de pacientes. El sector del automóvil está integrando sensores en los vehículos y las aseguradoras están creando modelos de seguros basados en el uso que aprovechan la información que transmiten esos sensores. Las empresas de servicios están implementando contadores inteligentes para identificar tendencias de uso del agua y la electricidad. Con ello, ayudan a los clientes a reducir el gasto consumiendo estos servicios en periodos de baja demanda. McKinsey Global Institute indica que los sectores del transporte, los automóviles, la industria, los servicios y el comercio minorista utilizan más de 30 millones de sensores en red, y que la cifra aumenta a razón de un 30 % anual. 3 Big data corporativos Datos corporativos integrados ERP, CRM, otros Web 2.0 y medios sociales Twitter, Facebook, Crowdsourcing Sensores Orígenes de datos públicos Servicios de datos, datos financieros, nuevas tarifas Datos web Registros web, flujos de clics Abundancia de multimedia Figura 1. Los big data provienen de nuevos orígenes en cantidades sin precedentes. 3 Big Data: The next frontier for innovation, competition, and productivity (Big data: la próxima frontera para la innovación, la competencia y la productividad), The McKinsey Global Institute, junio de 2012.

7 Informe técnico empresarial Página 7 Análisis de big data: un nuevo enfoque para big data Todos los orígenes de datos mencionados anteriormente están disponibles para las empresas. Pero, qué significan esos datos? Cómo pueden las organizaciones empresariales utilizar los big data para mejorar la eficacia de las operaciones, aumentar la competitividad y multiplicar los ingresos? Por qué los almacenes de datos y herramientas de inteligencia empresarial tradicionales no dan la talla en la era de los big data? Y qué deben hacer las empresas para dejar de limitarse a sobrevivir y empezar a prosperar? Los líderes empresariales buscan entendimiento que les permita actuar, para evaluar a continuación los resultados de sus acciones, y todo ello con el fin de adquirir un nuevo conocimiento de sus mercados, productos y operaciones. Ése es el papel tradicional de la inteligencia empresarial. Pero los sistemas tradicionales no se han diseñado para gestionar el volumen, la velocidad y la variedad de los big data. El resultado final para los líderes empresariales es que estos sistemas producen respuestas a sus preguntas horas o días después de hacerlas. Si la respuesta no entrega el entendimiento que necesitan, pueden formular una pregunta mejor, pero de nuevo, tardarán horas o días en recibir la respuesta. Es como intentar realizar una entrevista de trabajo utilizando cartas y postales. Lo que necesitan las empresas en crecimiento es un enfoque repetitivo y más conversacional de los análisis en tiempo real. Cuando los sistemas producen respuestas en minutos o segundos, los analistas empresariales pueden aplicarlas inmediatamente para enmarcar preguntas más pertinentes y relevantes, lo que a su vez produce respuestas con más información. Pueden preguntar: " Y si?" Y cada respuesta sugiere mejores preguntas, hasta que consiguen la información deseada. Los procesos, las tecnologías y la capacitación necesarios para hacerlo se llaman en su conjunto "análisis empresariales", y nos referimos a esos análisis empresariales aumentados verticalmente para gestionar el volumen, la velocidad y la variedad de los big data como "análisis de big data". Consulta Resultados Datos Figura 2. Un enfoque conversacional de los análisis empresariales

8 Informe técnico empresarial Página 8 Las empresas en crecimiento utilizan los análisis de big data para: Comprender la reacción del mercado y la percepción de la marca. Las empresas pueden evaluar la reacción de los consumidores a los anuncios de productos, cambios de precios, cambios de políticas y otras maniobras. Pueden calibrar el efecto de las promociones, las campañas de anuncios y los programas publicitarios. Y pueden comparar los sentimientos asociados con sus marcas con los de sus competidores. Identificar factores claves de compra. El análisis de los flujos de clics, los análisis de productos, la información de registro de productos y las reacciones públicas a los productos pueden ayudar a los comerciantes y planificadores de producto a comprender qué es lo que buscan los compradores y por qué adquieren lo que adquieren. Segmentar poblaciones para personalizar acciones. Cuando los responsables de marketing consiguen entender los atributos de los distintos segmentos del mercado y cómo los miembros de cada uno reaccionan a los productos, la publicidad y las promociones, pueden ajustar las acciones de marketing para obtener los mejores resultados en cada uno de dichos segmentos. Habilitar la experimentación. Cuando los líderes empresariales pueden evaluar rápidamente el efecto de los cambios en los productos, el marketing y las operaciones, pueden realizar experimentos para ayudar a conocer el valor de los cambios y determinar el mejor rumbo a seguir. Predecir resultados. El entendimiento que emana del resultado de los cambios anteriores sumado a una mejor comprensión de las reacciones del mercado permite a las empresas predecir mejor los resultados de cambios como el aumento de precios, la publicidad y las promociones. Habilitar modelos empresariales. En muchos casos, la información derivada de los análisis de big data tiene valor fuera de la empresa que la recopiló. Los servicios de información que agregan y analizan big data han surgido en sectores como el de la asistencia sanitaria, el inmobiliario, el financiero, el minorista y otros. Cada uno de ellos representa nuevas oportunidades de entendimiento que están a disposición de las empresas desde hace muy poco tiempo. Y cada uno de ellos se está convirtiendo también en un elemento empresarial básico para el siglo XXI. Ése es el motivo de que los big data representen una perturbación, y no una simple evolución, de las operaciones empresariales. Las empresas que dominen los análisis de big data y la gestión de la información tomarán la delantera a los competidores menos ágiles. Analicemos ahora los desafíos para entender por qué los enfoques tradicionales están impidiendo a los líderes empresariales dar el gran salto hacia los análisis de big data.

9 Informe técnico empresarial Página 9 Los desafíos de los big data Las técnicas y tecnologías de inteligencia empresarial llevan utilizándose ampliamente desde los años 90. Para comprender mejor en qué situación de captura y aplicación de los big data se encontraban nuestros clientes, Hewlett-Packard encargó a Coleman Parkes, una empresa de investigación de mercados, que entrevistara a ejecutivos empresariales y de TI de grandes organizaciones en octubre de Los resultados son los siguientes: El 34 % indica que la mitad de su información no se usa. El 35 % cree que no son eficaces a la hora de acceder a la información de la empresa. El 50 % no cuenta con una estrategia de información eficaz. El 98 % indica que no son capaces de entregar la información adecuada cuando se necesita. Recopilar, almacenar y analizar big data presenta nuevos desafíos, tanto para las organizaciones de TI como para los líderes empresariales. Además, los almacenes de datos y sistemas de inteligencia empresarial tradicionales no han ayudado a las empresas a extraer el valor de los big data. Por qué? Desafíos para las TI Veamos primero el lado técnico. La mayoría de las bases de datos utilizadas hoy en día están basadas en la tecnología del sistema de gestión de bases de datos relacionales (RDBMS), desarrollada en los años 80. Están diseñadas para procesar y almacenar transacciones empresariales, por lo que su estructura y métodos de acceso están centrados en las transacciones. Los esquemas de base de datos están muy estructurados y son poco flexibles. Las bases de datos relacionales guardan los datos asociados con las transacciones individuales en filas, por lo que agregar, encontrar, actualizar y eliminar transacciones es una tarea rápida y fácil, justo lo que se necesita en una base de datos de procesamiento de transacciones. El concepto del almacén de datos también evolucionó en los años 80. Los almacenes de datos eran simples bases de datos en las que se consolidaban datos de diversos orígenes con fines de consulta y elaboración de informes. Los almacenes de datos no necesitan compatibilidad con el procesamiento de transacciones, por lo que las tecnologías evolucionaron para gestionar tamaños de conjuntos de datos más grandes y se optimizaron para la recuperación de datos, en lugar de para agregar, actualizar y eliminar datos transaccionales. Algunos productos comerciales consiguieron el almacenamiento necesario distribuyendo los datos a través de varios sistemas, y muchas implementaciones generaron capacidad para almacenar terabytes de datos. Pero incluso estos sistemas se quedan cortos cuando se enfrentan al volumen, la velocidad y la variedad de los big data. No consiguen habilitar el enfoque conversacional de los datos que requieren los análisis de big data. Y éste es el motivo. Las bases de datos e incluso los almacenes de datos tradicionales no escalan fácilmente a los cientos de terabytes o petabytes que necesitan muchas aplicaciones de big data. Las grandes implementaciones multisistema son caras de adquirir y mantener. Los datos no suelen estar comprimidos, y por tanto, se necesitan enormes volúmenes de almacenamiento y ancho de banda de E/S para cargar, almacenar y recuperar datos. En algunos casos, la velocidad de los datos entrantes es tal que no hay horas suficientes para cargarlos en la base de datos. Los datos siguen almacenándose en tablas por filas, por lo que el acceso a un elemento de datos individual a través de muchas filas, una operación común en los análisis empresariales, requiere recuperar prácticamente todos los datos de un conjunto para extraer la pequeña parte que realmente se necesita. Ello exige enormes esfuerzos del ancho de banda de E/S y alarga el tiempo de procesamiento. Las respuestas a las consultas tardan horas en lugar de los segundos o minutos necesarios para los análisis empresariales repetitivos. El resultado es que los sistemas son caros y no consiguen habilitar el enfoque conversacional prácticamente en tiempo real que requieren los análisis de big data.

10 Informe técnico empresarial Página 10 Además, los sistemas tradicionales no admiten fácilmente la gran variedad de tipos y formatos de datos que se encuentran en los big data. Se estima que el 85 % de los big data son desestructurados: se componen de texto, audio y vídeo con todo tipo de formatos, en lugar de estar ordenados en los campos reconocibles que gestionan las RDBMS. Se utilizan nuevas herramientas y técnicas, como los análisis de sentimientos, para extraer información práctica de los datos desestructurados, con el fin de almacenar los resultados en bases de datos para su análisis. Pero los formatos de los datos resultantes son menos previsibles, mucho más variados, y están sujetos a cambios durante los análisis repetitivos en tiempo real. Esto requiere cambios frecuentes de la estructura de las RDBMS, así como de los procesos que cargan datos en ellas. Para la organización de TI, significa que el enfoque repetitivo para la extracción de entendimiento empresarial de los big data requiere nuevos enfoques, herramientas y capacidades. Desafíos para los líderes empresariales Los big data no son sólo un desafío técnico. Obtener y aplicar entendimiento empresarial requiere que los líderes empresariales adopten también nuevas filosofías y métodos de trabajo. Los líderes destacados de las organizaciones que explotan datos se familiarizan cada vez más con los orígenes de los datos a los que tienen acceso. En lugar de preguntar a la organización de TI qué información está disponible en la base de datos, estos líderes la ven desde el nivel correspondiente a su sector. Exploran cómo pueden adquirirla y proyectan el entendimiento que pueden extraer de ella. Desafían a la organización de TI para que adquiera los datos, las herramientas y las capacidades necesarios. Se alían con ellos para desarrollar y aplicar el enfoque conversacional repetitivo que necesitan los análisis de big data. Y forman equipos compuestos por analistas empresariales y especialistas de datos de TI para extraer todo el valor empresarial que contienen. Lo que es más importante, los líderes destacados aplican el entendimiento en la toma de decisiones. En el pasado, los responsables de decisiones examinaban los pocos datos disponibles y confiaban tanto en su experiencia como en su intuición para construir el puente que separaba a los datos del entendimiento. Pero como dijo J. Paul Getty: "En épocas de rápidos cambios, la experiencia puede ser tu peor enemigo". Sin duda, ésta es una época de cambio. Los líderes empresariales pueden obtener ahora entendimiento basado en el análisis de datos reales. Al aplicarlo al proceso de toma de decisiones, adquieren nueva experiencia que pueden aplicar a nuevos problemas empresariales, una receta para el éxito en el siglo XXI.

11 Informe técnico empresarial Página 11 Plataforma de big data de HP Enterprise Vertica: la solución para los análisis de big data HPE Vertica es la primera plataforma completa, escalable, abierta y segura del sector para big data. HPE Vertica, una plataforma de base de datos analítica con escalabilidad masiva, se ha diseñado especialmente para los análisis en tiempo real de conjuntos de datos del orden de los petabytes. Admite análisis estándar SQL, Python y basados en R. Asimismo, es compatible con todos los proveedores líderes de inteligencia empresarial y ETL. Nuestra plataforma de análisis puede instalarse in situ, sobre redes troncales de Hadoop o en la nube. Los usuarios pueden aprovechar el mismo motor de análisis, con independencia de la ubicación o procedencia de sus datos. Vertica entrega los análisis SQL más avanzados como una base de datos relacional basada en estándares, totalmente compatible con SQL, JDBC y ODBC. Ello permite a los usuarios proteger años de inversiones y formación en estas tecnologías, puesto que las herramientas de programación y los lenguajes de SQL interoperan con ellas sin interrupciones. HP Vertica también incluye una amplia variedad de funciones integradas de análisis, como el geoespacial, el de series temporales, el de coincidencia de patrones y más, y es también compatible con todas las herramientas líderes de inteligencia empresarial y visualización.

12 Informe técnico empresarial Obtenga más información Se encuentra entre el 98 % de empresas que indican que no pueden entregar los datos necesarios en el momento adecuado? Cree que el entendimiento disponible en los big data ayudaría a que su empresa prosperara? Si es así, obtenga más información sobre la plataforma HPE Vertica. HPE ha ayudado a más de 600 empresas y organismos oficiales a utilizar los big data para mejorar las operaciones, obtener ventajas competitivas y encontrar oportunidades para generar nuevos ingresos. Pruebe la plataforma HPE Haven en havenondemand.com. HPE ofrece también el software HPE Vertica Community Edition, una versión gratuita de HPE Vertica Enterprise Edition limitada a un terabyte de datos y tres nodos. Inscríbase para HPE Vertica Community Edition en vertica.com/community. Conéctese con HPE hp.com/go/getconnected Regístrese y reciba las actualizaciones Copyright , 2015 Hewlett Packard Enterprise Development LP. La información que contiene este documento está sujeta a cambios sin previo aviso. Las únicas garantías de los productos y servicios de HP quedan establecidas en las declaraciones de garantía expresa que acompañan a dichos productos y servicios. Nada de lo aquí indicado debe interpretarse como una garantía adicional. HP no se responsabiliza de errores u omisiones técnicos o editoriales que puedan existir en este documento. 4AA4-4527ESE, noviembre de 2015, rev. 3