BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA

Transcripción

1 BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA

2 EXPLOTA EL BIG DATA A TRAVÉS DE UNA PLATAFORMA DISEÑADA A MEDIDA PARA TU NEGOCIO Inmersos en la era de la información, las nuevas tendencias tecnológicas como la movilidad, el ecommerce, las redes sociales, el Cloud Computing y la aparición de nuevos conceptos de rápida asimilación como es el BitCoin, están provocando que las organizaciones tengan que replantearse su acondicionamiento al nuevo ecosistema digital. Las organizaciones tienen que adaptarse al nuevo entorno competitivo digital y eso implica gestionar los datos y la información como factor de producción, integrado en los procesos y la estrategia de las compañías. Es decir, pasar de usar el dato como KPI de medición del estado del Negocio a usarlo como palanca para realizar más negocio: convertirse en un Data Driven Business. Nuevas formas de interactuar con el cliente que genera nueva información de gran volumen, nuevos sistemas y recursos de información de alto volumen, alta velocidad y alta variedad que requieren nuevas y eficientes maneras de procesar la información. BIG DATA La posibilidad de analizar TB de información, información no estructurada o de fuentes externas, es ahora una posibilidad real a un coste racional. Cada vez hay más fuentes abiertas y se genera más información en detalle susceptible de analizar: sensores, logs de navegación, videos, llamadas... Los sistemas y la tecnología de procesamiento tradicional no fueron diseñados para este escenario, es por ello que apostamos por tecnologías Big Data que sí están diseñadas para dar respuesta a estas exigencias. LOS RETOS DEL BIG DATA 1 2 Identificación beneficios tecnologías Big Data. Descubrimiento del dato de valor o/y caso de uso. No debe considerarse el Big Data como un fin en si mismo, sino como un conjunto de tecnologías que posibilitan y simplifican la definición de nuevos procesos o analíticas, o que permiten grandes optimizaciones en el tratamiento de grandes volúmenes de información Identificación de la plataforma óptima para el caso de uso. Integración en los sistemas actuales de los nuevos entornos analíticos. Governance del dato. 2

3 COMO OBTENER VALOR PARA TU NEGOCIO? Dependiendo de cada empresa, las distintas formas de adaptación a Big Data son fundamentalmente tres: APLICACIÓN DE LA DATA PLATFORM DE BEEVA EN PROYECTOS OPTIMIZACIÓN BI SOLUCIONES DEPARTAMENTALES PROYECTOS BIG DATA ANALÍTICA 3.0 TRANSFORMACIÓN NUEVOS NEGOCIOS B.I. Tradicional Mejora de rendimiento Reducción de costes Complemento al B.I. ETL->ELT: en Cloud Descarga de las ETL Rendimiento queries Descarga del DWH Archivado de datos Informacionales ad-hoc Data Marts para un área Optimización del reporting Prototipado de BI Consultas datos en crudo Analítica en HPC Preparación de datos Modelos estadísticos Volumen DWH de cientos de TB Proceso diario de TB Variedad Fuentes no estructuradas: logs, s, docs, social Velocidad Procesamiento y queries Ingesta en streaming Consultas en tiempo real BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA 3

4 PUEDE UNA MISMA PLATAFORMA SER LA IDEAL PARA TODAS LAS EMPRESAS? No todas las empresas generan el mismo volumen de datos, ni persiguen los mismos objetivos, por eso hemos creado una plataforma que se adapta a las necesidades exclusivas de cada empresa y que permite extender su funcionalidad a través de la integración con otras aplicaciones. Una plataforma que permite olvidarse de componentes prefijados, y complejos cálculos de ROI, crecimientos vegetativos y estimaciones de volumen. BEEVA Data Platform es exclusiva, ajustable y modular diseñada para cada negocio. BI / Reporting Explotación y visualización APLICACIONES & ANALÍTICA Visualización / Exploración App Funcional / Sectorial PLATAFORMA BIG DATA Integración de datos Análisis predictivo Análisis Semántico Desarrollo de aplicaciones UNA PLATAFORMA A TU MEDIDA Nuestro equipo de expertos evalúa las necesidades concretas actuales y los objetivos marcados, plantea un plan de acción y prepara una plataforma Big Data Cloud única para cada caso. Vistas de negocio: Capa de velocidad Data Warehouse: Almacenamiento Integración de información y ETL: Hadoop Carga incremental Real Time Streaming MODELO DE ARQUITECTURA MODULAR Las necesidades analíticas de negocio son las que definen la arquitectura de las nuevas plataformas Big Data. Deben definirse como plataformas orientada al uso. 4

5 TU PROYECTO En la analítica tradicional, el enfoque es TOP-DOWN, es decir, los usuarios de negocio definen las analíticas que quieren ver y se les filtra la información para facilitar el acceso a esa analítica: Una vez definida la analítica a realizar, se identifican las fuentes de la misma. Se eligen determinadas tablas de los sistemas operacionales a volcar en el sistema informacional. Por coste y rendimiento, se evitan volcar fuentes en crudo de alto volumen de información. Se crean hechos-dimensiones o cubos para almacenar estos datos de forma que se facilite su acceso. 5 El usuario accede a la información preparada. Si necesita mayor nivel de detalle del especificado o necesita realizar algún cambio en la analítica el proceso vuelve a comenzar. 6 Ante peticiones especiales en cuanto a volumen, cantidad de usuarios o tipo de información, se suelen crear bases de datos específicas para cada departamento. A través del uso de tecnología Big Data, el enfoque analítico se transforma a BOTTOM-UP, es decir, los usuarios de negocio tienen a su disposición toda la información en detalle con posibilidad de consulta en tiempo real Los usuarios de negocio y el departamento de IT identifican las fuentes de información disponibles.los usuarios de negocio y el departamento de IT identifican las fuentes de información disponibles. Estas fuentes se vuelcan en crudo en la plataforma analítica de BEEVA. Una vez en la plataforma se aplican procesos de ETL, es decir de transformación de la información (ELT puesto que la información está ya cargada y disponible para su consulta por parte del usuario antes de su transformación). Los usuarios de negocio tienen acceso a todo el detalle de información, por lo que podrán decidir o modificar las preguntas que quieran hacer y que sean relevantes. Esta nueva analítica, puede, además, integrarse con los sistemas informacionales actuales. BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA 5

6 DISPONIBILIDAD DE LA INFORMACIÓN Como en cualquier sistema informacional, uno de los puntos más complejos es la captura y la disponibilidad del dato para su consumo. En proyectos de Big Data donde el volumen de la información es elevado y la naturaleza de la información es muy variada, esta disponibilidad de la información pasa a ser un punto crítico. En BEEVA convertimos en sencillo el complejo proceso de extracción de valor de la información estructurándolo en 3 fases: LEVANTAMIENTO DEL DATO 1 PREPARACIÓN DEL DATO 2 CREACIÓN DE LOS MODELOS DE BASES DE DATOS 3 Inventario de datos Estructuración Selección bases de datos Exploración y profiling Ubicación, formato, volumen, frecuencia Data Value Extracción de datos Captura del dato Conversión a archivos Subida de datos a AWS Procesos agente y máster Data Collection Data Aggregation Parsing, tagging, tabulado Data Mining, semántica Creación de metadatos Selección de fuentes KPIs de negocio, filtrado Transformación Procesos agente y máster Unión, combinación, agregación, cálculo, etc Cleansing Análisis contínuo Análisis orientado al caso Columnar, documental, grafos, clave-valor Diseño e implementación Diseño de arquitectura y creación de los modelos Optimización según requerimientos (throughput, columen, concurrencia, etc.) Integración Procesos de carga: full-load, incrementales Conectores con BI Fases del proyector Desarrollo NUEVAS TECNOLOGÍAS PARA POTENCIAR EL VALOR Y EL USO DEL DATO Las nuevas posibilidades que conlleva el análisis de nuevas fuentes de información supone más volumen y requiere nuevas soluciones tecnológicas que vayan más allá de las tecnologías tradicionales. Estas soluciones son las que aplicamos en nuestra plataforma para que aprovechar todo el potencial de las tecnologías disruptivas, en las que la base de todo es la abolición de las barreras tecnológicas. Así, se podrá plantear cualquier analítica sin que la tecnología sea una barrera. 6

7 DESCUBRE LOS FUTUROS COMPONENTES DE TU PLATAFORMA BIG DATA En BEEVA apostamos por la nube de Amazon Web Services para construir tu nueva plataforma analítica avanzada. Esta solución permite procesar los datos con mayor rapidez y flexibilidad que las soluciones tradicionales. COLLECT ELT STORE EXPLORE Carga Batch Encriptación Hadoop Integración Transformación Data Cleaning Data Warehouse Capa NoSQL Servidor BI APIs Servidor R BI APPs Escritorio remoto Comunicaciones ODS (HDFS) Snapshot UX a medida Archivado Salida-Integración MONITORIZACIÓN GOVERNANCE ADMINISTRACIÓN BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA 7

8 POSIBLES COMPONENTES DE LA SOLUCIÓN BIG DATA EN DETALLE COLLECT STORE OPTIMIZADO La información debe ser previamente encriptada en origen antes de ser enviada a nuestra plataforma. Se transferirá de nuevo encriptada. Las comunicaciones serán securizadas con SSL (certificados) y los accesos se harán vía SSH. El almacenamiento y la explotación de datos se realiza identificando la solución que mejor se adapte a las necesidades del cliente. La solución es completamente modular y flexible, permitiendo una máxima adaptación. En la mayor parte de los casos, es necesario un DWH para seguir desarrollando capacidades analíticas tradicionales, por lo que disponemos también de un DWH MPP totalmente escalable. ELT Para poder procesar esta información es necesario disponer de una plataforma de almacenamiento previo a la explotación de los mismo en la plataforma analítica. Estos datos deben ser preparados y tratados tras su recepción, puesto que se trata de datos con estructuras no frecuentes o con información no usual a tratar de forma específica. Estos trabajos también se realizan en el mundo de business intelligence tradicional y suelen ser muy costosos y de largo consumo de tiempo, a pesar de ser información ya conocida o tradicional. Así que, para el mundo de Big Data donde el volumen de información y el grado de desconocimiento es todavía mayor, debemos buscar una alternativa a la tradicional ETL. La data platform de BEEVA permite la carga de la información en crudo para poder procesarla, analizarla, transformarla y explotarla en un único lugar haciéndolo todo desde un único punto. Recoge y transforma datos de diferentes fuentes, estructurados y no estructurados, internos o externos, en tiempo real o en capa batch, usando tecnologías como Hadoop para la realización de estos procesos. Es necesario que todos estos procesos se ejecuten en una plataforma escalable, puesto que las distintas fuentes a tratar igual tienen necesidades en cuanto a carga de trabajo muy distintos. La potencia de Hadoop se dispara si podemos hacer que se encuentre en una plataforma que escale, reduciendo el tiempo de procesamiento de esta preparación de la información al tiempo que queramos. Las bases de datos de nueva generación que actualmente están en el mercado (NoSQL), están diseñadas para ejecutarse de manera eficiente en clusters. Fundamentalmente son bases de datos orientadas a clave-valor (diseñadas para alta disponibilidad y consistencia pero con queries muy limitadas), documentales (que permiten almacenar datos en documentos como xml, json o bson, pero son consistentes por lo que penalizan la escritura de datos) o de grafos (que permite tener queries con caracter semánticos). EXPLORE Utilización de nuevas herramientas business intelligence más visuales y flexibles que no requieran de complejos diseños o modelos de datos propios para su correcta utilización, pero que sean completamente integrables vía ODBC y que permitan aprovecharse de la posibilidad de hacer drill-down en tiempo real, como Tableau, Qlikview,.. La plataforma también permite elaborar analítica estadística usando R en servidor de alta memoria mediante escritorio remoto. Otras de las posibilidades de la plataforma es la de disponibilidad de la información mediante APIs. 8

9 SEGURIDAD GLOBAL EN CADA UNO DE LOS COMPONENTES Dado que la información a tratar va a proceder de diversas fuentes con naturaleza distinta, es necesario aplicar políticas de seguridad en torno a esta información. BEEVA Data Platform garantiza el cumplimiento de estos niveles de seguridad en cada una de sus partes. SEGURIDAD GLOBAL Y EN CADA UNO DE LOS COMPONENTES COLLECT ELT STORE EXPLORE A HTTPS vía SSL A VPN: firewall, subredes, tunel IPsec, etc. A IAM: reglas para perfilado y accesoa A APIs vía SSL B Anonimización y encriptación en origen B Configuración de reglas de firewall integradas B Privilegios intradb por user, group, objeto B Acceso RDP protegido por reglas C Login por SSH C Almacenamiento cifrado AES 256 C Almacenamiento cifrado AES 256 HERRAMIENTAS DE MONITORIZACIÓN Y GESTIÓN DE LA SEGURIDAD BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA 9

10 BEEVA DATA PLATFORM UNA SOLUCIÓN DIFERENTE EN EXCLUSIVA PARA TU NEGOCIO

11 BEEVA DATA PLATFORM UNA SOLUCIÓN DIFERENTE EN EXCLUSIVA PARA TU NEGOCIO EXPERIENCIA EN ÁMBITO CORPORATIVO Plataforma testada en grandes clientes y 100% operativa. Prestaciones empresariales. Seguridad, privacidad, fiabilidad y facilidad de uso. Casos de éxito: Grupo BBVA; gran empresa sector utilities. COSTE MUY COMPETITIVO Pago por uso, sin CAPEX: consumo según las necesidades de negocio. Sin costes de salida ni tiempo mínimo de contratación. PLATAFORMA INTEGRAL; ÚNICA 100% CLOUD Plataforma completa para gestión de datos, almacenamiento y analítica. Escalabilidad: sin limitaciones de computación, almacenamiento o comunicaciones. Elasticidad: aprovisionamiento on-demand, replicación y backups automáticos. TOTALMENTE INTEGRABLE Acceso SQL y compatible con herramientas de Business Intelligence de mercado, así como consolas SQL y R. BEEVA DATA PLATFORM TODA LA POTENCIA DEL BIG DATA A TU MEDIDA 11

12 BIG DATA A TU MEDIDA DESATA EL PODER DE LA TECNOLOGÍA PODEMOS AYUDARTE? Si tienes alguna consulta o quieres informarte más sobre Big Data y podemos ayudarte, no dudes en contactarnos: hablemos@beeva.com [+34]