Lagos de Datos Empresariales: Como lograr una mayor integración y un mejor análisis de nuestros datos

Transcripción

1 Inicio Lagos de Datos Empresariales: Como lograr una mayor integración y un mejor análisis de nuestros datos Boletín de Servicios de Asesoría en Riesgos No

2 - No Haga click en los enlaces para navegar a través del documento 4 Lagos de Datos: Un enfoque emergente 4 Por qué un lago de datos? 4 Factores de motivación detrás de la adopción de lagos de datos 4 Flujo de datos en el Lago de Datos 4 Cómo madura un lago de datos? 4 Madurez y Gobernabilidad 4 Lecciones iniciales aprendidas y obstáculos a evitar 4 Referencias 4 Créditos / Suscribirse

3 Lagos de Datos: Un enfoque emergente Los lagos de datos son un enfoque emergente y poderoso para abordar el desafío que presenta la integración de datos, a medida que las empresas aumentan su exposición a las aplicaciones móviles, a las aplicaciones basadas en la nube, al Internet of things, y a otros aspectos de lo que PwC llama La nueva plataforma de TI. 1 Un ejemplo de implementación de lagos de datos es el de un hospital en los Estados Unidos que mantiene millones de registros, de más de un millón de pacientes, que incluyen imágenes de radiología y otros reportes semiestructurados, notas no estructuradas de los médicos, así como amplios volúmenes de datos en hojas de cálculo. Para abordar el reto que representó el almacenamiento, integración y accesibilidad de estos datos, el hospital creó un lago de datos basado en la arquitectura Hadoop 2, la cual permite el procesamiento distribuido de big data haciendo uso de estándares de software abierto ampliamente aceptados, así como procesamiento masivamente paralelo, utilizando hardware comercial genérico o estándar 3. En la Figura 1 se Qué es un lago de datos? presenta una visión gráfica de lo que es un lago de datos. Es un repositorio de grandes cantidades y variedades de datos, tanto estructurados como no estructurados Los generalistas y programadores de datos pueden acceder el flujo de datos para realizar análisis en tiempo real Científicos de datos utilizan el lago para el descubrimiento y la generación de ideas El lago de datos acepta entradas desde varias fuentes y puede preservar tanto la fidelidad como la procedencia de las transformaciones de datos. Los modelos de datos emergen con el uso a lo largo del tiempo, en lugar de ser impuestos desde el inicio El lago puede servir como un área de montaje para el data warehouse, la locación para datos tratados más cuidadosamente para reporte y análisis por lote Los lagos de datos usan técnicas de cluster computing para el almacenamiento masivamente escalable, de bajo costo de archivos de data de cualquier formato Figura 1: Visión gráfica de un lago de datos

4 Lagos de Datos: Un enfoque emergente (cont.) En el caso citado, Hadoop permite que los diversos registros del hospital sean almacenados en sus formatos nativos para su posterior análisis, en lugar de forzar una integración todo o nada desde un inicio, como sería el caso al hacer uso de un data warehouse. El preservar el formato nativo también ayuda a mantener la procedencia y la fidelidad de los datos, de forma que puedan ser realizados diferentes análisis utilizando diferentes contextos. El lago de datos ha hecho viable diferentes tipos de proyectos de análisis de datos, incluyendo la posibilidad de predecir la probabilidad de que ocurran readmisiones de pacientes, permitiendo a su vez tomar acciones que permitan prevenirlas 4. Tal como el hospital, diversas empresas en diversos sectores están comenzando a extraer y colocar datos para su análisis en un repositorio único basado en Hadoop, sin necesidad de transformar los datos, como tendrían que hacerlo en caso de utilizar un data warehouse relacional 5. En la figura 2 se presenta un ejemplo de una arquitectura Hadoop básica para una infraestructura de lago de datos escalable. Arquitectura básica Hadoop para infraestructura escalable de lago de datos Haddood almacena y preserva los datos en cualquier formato a lo largo de un cluster de servidores estándar El sistema separa los trabajos, distribuye procesos y los recombina a través de un cluster que puede escalar a miles de nodos de servidores Split 1 Split 2 Split 3 Split 4 Split 5 Job tracker Sistema de Archivo Distribuido (HDFS) Archivo de entrada Tarea Mapa Entrada Mapear( ) Particionar( ) Combinar( ) Región 1 Región 2 Región 3 Archivo de salida Tarea reducida Entrada Ordenar( ) Reducir( ) Salida Con YARN 6, ahora Haadop soporta varios modelos de programación, así como salidas por lote casi en tiempo real Figura 2: Ejemplo de arquitectura Hadoop. Fuente: Electronic Design, 2012, y Hortonworks, 2014

5 Lagos de Datos: Un enfoque emergente (cont.) El concepto básico que soporta Hadoop fue ideado por Google para cubrir sus necesidades de un modelo flexible y efectivo, en términos de costo, de procesamiento de datos que pudiese escalar a medida que los volúmenes de datos crecían más rápido que nunca. Yahoo, Facebook, Netflix, y otros cuyos modelos de negocio también están basados en gestionar enormes volúmenes de datos, rápidamente adoptaron métodos similares. Un factor importante para su adopción fue los ahorros en términos de costos, dado que Hadoop puede ser entre 10 y 100 veces menos costoso que desplegar cualquiera de los data warehouses tradicionales. Sin embargo, otro factor que impulsó su adopción ha sido la oportunidad de aplazar las actividades de depuración de datos y el desarrollo de esquemas de datos (que por lo general demandan un alto grado de esfuerzo) hasta que la organización haya identificado una clara necesidad de negocio. A su vez, los lagos de datos son más convenientes para los datos menos estructurados que estas compañías necesitaban procesar. Hoy en día, las empresas en todos los sectores se encuentran en un punto similar de necesidad; por ejemplo, las empresas que deben utilizar enormes volúmenes y múltiples variedades de datos para responder a las presiones regulatorias y competitivas están adoptando lagos de datos. Por qué un lago de datos? Los lagos de datos pueden ayudar a resolver el problema persistente de la accesibilidad y la integración de datos. Usando infraestructuras de big data, las empresas están empezando a agrupar crecientes volúmenes de datos para su análisis o simplemente para almacenarlos para su uso futuro indeterminado. (Ver en página el recuadro Definiendo a los Lagos de datos ). Enfoques previos para una amplia integración de datos han forzado a todos los usuarios a un esquema predeterminado común, o modelo de datos. A diferencia de esta visión monolítica de un modelo de datos único a lo largo de la empresa, el lago de datos flexibiliza la estandarización y aplaza el modelado, resultando en un potencial casi ilimitado para el descubrimiento de datos y la comprensión operacional.

6 Por qué un lago de datos? (cont.) Definiendo a Lagos de datos Muchas personas han escuchado nombrar los lagos de datos, pero al igual que el término big data, las diversas definiciones varían. Los cuatro criterios que se mencionan a continuación son vitales para una buena definición: Tamaño y bajo costo: Los lagos de datos son grandes. Pero no son solo grandes, sino económicos; pueden ser un orden de magnitud menos caros de configurar y mantener que un data warehouse, medidos terabyte a terabyte. Con Hadoop, volúmenes de datos a escala de petabytes no son ni costosos ni complicados de construir y mantener. Algunos proveedores que abogan por el uso de Hadoop afirman que el costo por terabyte para data warehouses puede llegar a ser de dólares americanos, versus entre 2500 y 1000 dólares americanos con un clúster Hadoop. Otros proveedores que abogan por el uso de data warehouses e infraestructuras de almacenamiento tradicionales, disputan estas afirmaciones y hacen una distinción entre el costo de almacenar terabytes de datos y el costo de escribir, o de terabytes escritos* Fidelidad: Los lagos de datos basados en Hadoop preservan los datos en su formato original y capturan los cambios que se hagan a los datos y a la semántica contextual a lo largo del ciclo de vida de los datos. Este enfoque es especialmente útil para temas de cumplimiento y de auditoría interna. Si los datos han sufrido transformaciones, adiciones y actualizaciones, la mayoría de las organizaciones generalmente sufrirán para organizar los datos cuando la necesidad surja y tendrán poca esperanza de determinar claramente su origen. Facilidad de acceso: La accesibilidad es simple en los lagos de datos, lo cual es uno de los beneficios de preservar los datos en su formato original. Ya sea que se trate de datos estructurados, no estructurados o semi estructurados, éstos son cargados y almacenados tal como son, para ser transformados posteriormente. Datos operativos, de cliente y/o de proveedores son consolidados por los dueños de los datos sin mayor esfuerzo, lo cual elimina barreras internas tecnológicas, e incluso políticas, incrementando la capacidad de compartir los datos. Pre-requisitos tradicionales, como el conocer los requerimientos detallados del negocio o desarrollar un modelado de datos minuciosos no son pre-requeridos bajo este enfoque. Enlace tardío: Hadoop se presta a la estructuración flexible y orientada a la tarea y no requiere de modelos de datos por adelantado * Para más información con relación a la accesibilidad de los datos, costo de lagos de datos y refinamiento de metadatos, incluyendo tecnología de seguimiento de la procedencia de los datos, ver la entrevista a Mike Lang, Haciendo Hadoop viable para la ciencia de datos empresarial en Para más información con relación a la estimación de costos ver: Loraine Lawson, Cuál es el costo de un Terabyte? ITBusinessEdge, Mayo 17, 2013, en

7 Por qué un lago de datos? (cont.) A medida que los volúmenes de datos, variedad de datos y riqueza de los metadatos crece, de la misma forma crece el beneficio que se puede obtener. Actualmente, las compañías son capaces de crear colaborativamente modelos o vistas de los datos y luego gestionar mejoras incrementales a los metadatos. Estos datos, y sus metadatos, son colocados en HDFS, el cual almacena partes de archivos a lo largo de un clúster distribuido de servidores en la nube, donde éstos son accesibles y pueden ser refinados colaborativamente. Los análisis extraídos de los lagos se vuelven cada vez más valiosos a medida que los metadatos que describen diferentes vistas de los datos se acumulan. Cada industria tiene un caso de uso potencial para los lagos de datos. Un lago de dato puede ser una vía para obtener mayor visibilidad o poner fin a los denominados silos de datos (datos que se mantienen aislados de otras áreas de la organización). Numerosas compañías ven los lagos de datos como una oportunidad de capturar una vista de 360 grados de sus clientes o de analizar tendencias de medios sociales. En la industria de servicios financieros, donde la regulación Dodd-Frank 7 es relevante, una institución ha empezado a centralizar múltiples data warehouses en una repositorio comparable a un lago de datos, pero que está estandarizado utilizando XML. Esta institución está moviendo reconciliaciones, acuerdos y reportes Dodd-Frank a esta nueva plataforma. Para este caso, este enfoque reduce los gastos generales de integración debido a que los datos son comunicados y almacenados en un formato estándar, pero a la vez flexible, adecuado para datos menos estructurados. El sistema a su vez provee una vista consistente de los clientes a lo largo de las funciones operativas, funciones de negocio y productos. Algunas compañías han construido entornos limitados o sandboxes de big data para su análisis por parte de científicos de datos. Estos sandboxes son, de cierta forma, similares a lagos de datos, aunque más limitados en su alcance y propósito. PwC, por ejemplo, construyó un sandbox de medios sociales para ayudar a clientes a monitorear la salud de su marca mediante su aplicación SocialMind 8.

8 Factores de motivación detrás de la adopción de lagos de datos Los data warehouses relacionales y sus rangos de precio más alto, han dominado por largo tiempo las actividades de análisis complejo, reporte y operaciones de datos. (El hospital descrito mente, por ejemplo, primero implementó un data warehouse). Sin embargo, sus modelos de datos poco ágiles y la rigidez de sus esquemas de integración no son adecuados para soportar altos volúmenes y variedad de big data. La gran mayoría de estos sistemas también hacen al usuario de negocio dependiente de TI incluso para las más pequeñas mejoras que se puedan querer realizar, sobre todo por su diseño poco elástico, por la complejidad del sistema y por la baja tolerancia al error humano. El enfoque del lago de datos evita estos problemas. Libertad de los grilletes que representa tener un gran y único modelo de datos La primera actividad a realizar en un proyecto de lago de datos es el de compilar todos los datos en un único repositorio, a la vez que se le brinda la mínima atención a crear esquemas que definan puntos de integración entre sets de datos dispares. Este enfoque facilita el acceso, sin embargo, el trabajo requerido para convertir esos datos en información procesable es un desafío substancial. Aun cuando la integración de los datos se realiza en la capa de Hadoop, la contextualización de los metadatos se realiza al momento de crear los esquemas de datos. El integrar los datos involucra menos pasos dado que los lagos de datos no promueven un esquema de metadatos rígido, como si lo requieren los data warehouses relacionales. En su lugar, los lagos de datos soportan un concepto conocido como enlace tardío o esquema al leer, en el cual los usuarios construyen esquemas personalizados en sus consultas. Los datos están atados a un esquema dinámico creado al momento de la ejecución de la consulta. El principio de enlace tardío transforma el proceso de modelado de datos, pasando de equipos y administradores centralizados de bases de datos y data warehouses, quienes generalmente se encuentran en una locación distinta a donde se encuentran las fuentes de los datos, a equipos locales de analistas de negocio y científicos de datos, quienes pueden ayudar a crear contextos flexibles, específicos para cada dominio en particular.

9 Factores de motivación detrás de la adopción de lagos de datos (cont.) Para aquellos acostumbrados a SQL, este cambio abre todo un nuevo mundo de posibilidades. En este enfoque, mientras más se conozca sobre los metadatos, es más sencillo el realizar las consultas. Los datos pre-etiquetados ofrecen un punto de partida y son muy útiles en implementaciones con poca variedad de datos. En la mayoría de los casos, sin embargo, los datos pre-etiquetados representan una pequeña porción de los formatos de datos entrantes.

10 Flujo de datos en el Lago de Datos El lago de datos carga los extractos de datos, independientemente de su formato, en un gran almacén de datos. Los metadatos son desasociados de sus datos subyacentes y almacenados independientemente, ofreciendo flexibilidad para múltiples perspectivas de usuarios finales y un desarrollo incremental del nivel de madurez de la semántica. Flujo de datos en el lago de datos El lago de datos ofrece una oportunidad única para obtener perspectivas de big data flexibles, evolutivas y maduras Metadatos crecen y maduran a través del tiempo, gracias a la interacción de los usuarios Analistas de datos y de negocios seleccionan y reportan datos de dominios específicos Etiquetados, sinónimos, vinculación Usuarios colaboran para identificar, organizar y dar sentido a los datos en el lago de datos En la figura 3 se presenta una descripción gráfica del flujo de datos en el lago de datos. Extractos de datos ascendentes Un repositorio de big data almacena los datos originales cargando los datos existentes y aceptando nueva información regularmente XML.xls etc. Etiquetado y vinculación de metadatos Científicos de datos y de negocios seleccionan y reportan sobre datos de dominios específicos Máquinas ayudan a descubrir patrones y a crear vistas de datos Nuevos datos ingresan al lago Nuevas acciones (i.e. campañas a clientes) basadas en la información obtenida de los datos Análisis de datos entre dominios Figura 3: Descripción gráfica del flujo de datos en un lago de datos

11 Cómo madura un lago de datos? La incorporación de nuevos datos en el lago de datos puede ocurrir gradualmente y no tendrá un impacto en modelos existentes. El lago inicia con datos en bruto, y va madurando a medida que más datos ingresan, a medida que los usuarios y las máquinas construyen metadatos, y la adopción de los usuarios incrementa. Los términos ambiguos y que pudiesen solaparse, eventualmente convergirán a un entendimiento común (eso es, semántica) dentro y a lo largo de los dominios del negocio. La madurez de los datos resulta del crecimiento natural de la interacción y retroalimentación de los usuarios, en la capa de gestión de los metadatos (interacción que continuamente refina el lago y mejora la discoveribilidad ). Con el lago de datos, los usuarios pueden tomar aquello que les sea relevante y dejar el resto. Dominios individuales del negocio pueden madurar independientemente y gradualmente. La clasificación perfecta de los datos no es requerida. Los usuarios a lo largo de la empresa pueden obtener información de todas las disciplinas, sin estar limitados por silos organizacionales o esquemas rígidos. Madurez y Gobernabilidad Muchas de las personas que escuchan el término lago de datos, podrían asociar el concepto con un gran sandbox de datos, pero el rango de los potenciales casos de uso para lagos de datos es mucho más amplio. Las empresas visualizan depósitos al estilo lago de datos, como áreas de montaje, como alternativas a los almacenes de datos, o incluso como centros de datos operacionales, asumiendo las tecnologías y casos de uso apropiados. Un componente clave es Hadoop, así como muchas de las tecnologías de análisis de datos asociadas con él. Lo que comenzó como un medio de análisis por lotes ad hoc en Hadoop y MapReduce, está evolucionando rápidamente con la ayuda de YARN y Storm 9 para ofrecer analíticas distribuidas de propósito general, así como capacidades de procesamiento en tiempo real.

12 Madurez y Gobernabilidad (cont.) Al menos un proveedor ha estado ejecutando un clúster Hadoop de más de nodos para soportar las aplicaciones de análisis de comportamiento de 8 clientes 10. A pesar de estos avances, las empresas aún siguen preocupadas con el riesgo que existe alrededor de la implementación de lagos de datos, especialmente en esta etapa inicial de desarrollo. Cómo pueden las empresas mitigar el riesgo y gestionar un lago basado en Hadoop para exploraciones de amplio rango? Los lagos pueden proveer beneficios únicos con respecto a los métodos de gestión de datos tradicionales a un costo substancialmente más bajo, pero requieren de muchas consideraciones prácticas y un enfoque reflexivo con respecto a la gobernabilidad, particularmente en sectores altamente regulados. Las áreas a considerar incluyen: Complejidad de datos heredados: Muchos sistemas heredados contienen un amasijo de parches de seguridad, workarounds y diseño deficiente. Como resultado, los datos en bruto podrían proveer un valor limitado fuera de su contexto heredado. El lago de datos funciona óptimamente cuando es alimentado con datos inalterados desde sistemas fuente, y luego complementado con metadatos. Gestión de metadatos: Los lagos de datos requieren de una avanzada gestión de metadatos, incluyendo caracterizaciones de archivos de datos, análisis asistidos por computadoras y seguimiento de la procedencia de los datos para cada transformación. La definición del esquema de datos al momento de la lectura debería ser la regla, y los esquemas predefinidos la excepción? Depende de las fuentes. El primer caso es ideal para trabajar con estructuras de datos que cambian rápidamente, mientras que el último es mejor para dar respuesta, en fracciones de segundos, a consultas sobre datos altamente estructurados. Madurez del lago: Los científicos de datos tomarán la delantera en el uso y maduración de los lagos de datos. Las organizaciones podrán incorporar las necesidades de otros que se podrían beneficiar también de la iniciativa dentro del contexto de los procesos organizacionales, sistemas y controles existentes. Áreas de montaje o zona búfer : El lago puede servir como un lugar efectivo en términos de costos para colocar datos y realizar análisis previos que pudiesen ser prohibitivamente costosos de analizar en data warehouses u otros sistemas.

13 Lecciones iniciales aprendidas y obstáculos a evitar Algunas iniciativas de lagos de datos no han sido exitosas, produciendo en su lugar más silos o sandboxes vacíos. Dado este riesgo, las empresas están abordándolo con mucha precaución. Vemos a nuestros clientes crear cementerios de big data, colocando todos sus datos en HDFS con la esperanza de lograr algo eventualmente. Pero luego simplemente pierden la pista de lo que han colocado ahí dice Sean Martin, CTO de Cambridge Semantics, un proveedor de herramientas de gestión de datos. Las Compañías pueden evitar la creación de cementerios de big data mediante el desarrollo y ejecución de un sólido plan estratégico que aplique la tecnología y métodos adecuados al problema. Pocas soluciones tecnológicas en tiempos recientes han tenido tanto potencial de lograr cambios significativos como Hadoop y las bases de datos de tipo NoSQL (No sólo SQL, por sus siglas en inglés) especialmente cuando pueden habilitar un repositorio único, para toda la empresa, y proveer acceso a datos que mente se encontraban atrapados en silos. El mayor reto no es crear un lago de datos per se, sino el tomar ventaja de las oportunidades que presenta. Un medio para crear, enriquecer y gestionar metadatos semánticos de forma incremental es esencial. Como se ha observado a lo largo de este boletín, las empresas cada vez más se podrán beneficiar de la capacidad de integrar cualquier dato, desde cualquier fuente, en cualquier formato, a cualquier momento. Un aspecto clave de este proceso, generalmente delegado a las organizaciones de TI, es que sea realizado manteniendo la seguridad de los datos pero a su vez facilitando el acceso a personal clave con una reducida dependencia de TI. PwC puede ayudar a las organizaciones a definir estrategias de integración y hojas de rutas bien definidas, así como una arquitectura de integración segura que permita que el ecosistema de la Compañía pueda manejar tecnologías nuevas y emergentes junto con tecnologías ya establecidas, mientras integra de forma segura y transparente servicios soportados localmente y servicios ubicados en la nube. PwC a su vez puede apoyar en la evaluación del modelo de seguridad requerido para soportar esta arquitectura, así como en el mejoramiento del control interno apoyado por procesos más eficientes, más accesibles y más seguros.

14 Referencias 1 Para más información, ver: increasing-it-effectiveness/new-it-platform.jhtml 2 Apache Hadoop es una colección de tecnología de estándar abierto que permiten a los usuarios almacenar y procesar datos de dimensiones petabyte a través de clústeres de computadores comerciales en la nube. Para más información, ver Making sense of Big Data, PwC Technology Forecast 2010, Issue 3 en pwc.com/us/en/technology-forecast/2010/issue3/ index.jhtml. 3 Para más información sobre procesamiento masivamente paralelo utilizando hardware estándar, ver: 4 UC Irvine Health does Hadoop, Hortonworks, hortonworks.com/customer/uc-irvine-health/. 5 The end of data standardization, Marzo 20, 2014, 7 Ley de Reforma de Wall Street y Protección al Consumidor Dodd-Frank. Para más detalle, ver: Frank_Wall_Street_Reform_comprehensive_summary_ Final.pdf 8 Para más información de SocialMind y de otras aplicaciones de análisis que PwC ofrece, ver jhtml 9 Storm es un sistema de computación en tiempo real distribuido que es utilizado para procesar grandes volúmenes de datos a gran velocidad. Más información en: 10 Timothy Prickett Morgan, Cluster Sizes Reveal Hadoop MaturityCurve, Enterprise Tech: Systems Edition, 8 de Noviembre, com/2013/11/08/cluster-sizesreveal-hadoop-maturitycurve/ 6 YARN es el centro arquitectónico de Hadoop que permite a motores de procesamiento de múltiples datos, como SQL interactivo, el poder manejar datos almacenados en una única plataforma, permitiendo todo un nuevo enfoque para la analítica, hortonworks.com/hadoop/yarn/

15 Créditos Contactos de este boletín: José Miguel Chirinos +58 (212) Gustavo Pulgar +58 (241) ve.linkedin.com/in/gpulgar Para suscribirse al Boletín Consultoría Síganos pwcvenezuela pwc-venezuela pwcvenezuela Editado por Espiñeira, Pacheco y Asociados Teléfono master: (58-212) Este boletín es de carácter informativo y no expresa opinión de la Firma. Si bien se han tomado todas las precauciones del caso en la preparación de este material, Espiñeira, Pacheco y Asociados no asume ninguna responsabilidad por errores u omisiones; tampoco asume ninguna responsabilidad por daños y perjuicios resultantes del uso de la información contenida en el presente documento. Las marcas mencionadas son propiedad de sus respectivos dueños. PwC niega cualquier derecho sobre estas marcas Espiñeira, Pacheco y Asociados (PricewaterhouseCoopers). Todos los derechos reservados. PwC se refiere a la firma venezolana Espiñeira, Pacheco y Asociados (PricewaterhouseCoopers) y en ocasiones podría referirse a la red de firmas miembro de PwC. Cada firma miembro es una entidad legal separada. Para más detalles visite R.I.F.: J