Cómo IBM BigInsights acelera la generación de valor de Implantaciones HADOOP. Subtítulo

Transcripción

1 Cómo IBM BigInsights acelera la generación de valor de Implantaciones HADOOP. Subtítulo

2 Resumen Big Data: Ideas Arquitectura Completa Principales aplicaciones en Big Data Hadoop IBM InfoSphere BigInsights: IBM Hadoop y mucho más WebConsole / Cluster Status / Files Applications Accelerators: SDA & MDA Dashboards / BigSheets Entorno de Desarrollo: Eclipse Facilitador: AQL Text Analytics Big R Big SQL Ejemplo Desarrollo Rápido: Eclipse Apps BigSheets - DashBoards

3 Características del Big Data: As usual V 4 =Volumen+ Velocidad+ Variedad + Veracidad Procesar eficientemente el Volumen creciente 50x 35 ZB Responder con la Velocidad necesaria 30 Billion Sensores RFID y aumentando Analizar la Variedad de datos existentes 80% de los datos mundiales son desestructurados Establecer la Veracidad de las fuentes de datos Big Data 1 de cada 3 business leaders no confían en la información que usan para la toma de decisiones. VALOR

4 BIG DATA NO ES SÓLO HADOOP There s a belief that if you want big data, you need to go out and buy Hadoop and then you re pretty much set. People shouldn t get ideas about turning off their relational systems and replacing them with Hadoop As we start thinking about big data from the perspective of business needs, we re realizing that Hadoop isn t always the best tool for everything we need to do, and that using the wrong tool can sometimes be painful. Ken Rudin Head of Analytics at Facebook

5

6 Resumen Big Data Arquitectura Big Data Completa Principales aplicaciones en Big Data Hadoop IBM InfoSphere BigInsights: IBM Hadoop WebConsole / Cluster Status / Files Applications Accelerators: SDA & MDA Dashboards / BigSheets Entorno de Desarrollo: Eclipse Facilitador: AQL Text Analytics Big R Big SQL Ejemplo Desarrollo Rápido: Eclipse Apps BigSheets - DashBoards

7 Arquitectura BIG DATA Completa

8 Arquitectura BIG DATA Completa con IBM STREAMS SPSS MODELER SPSS MODELER SPSS MODELER

9 9 IBM Big Data Platform InfoSphere BigInsights Hadoop-based low latency analytics for variety and volume Data-At-Rest Hadoop InfoSphere Information Server High volume data integration and transformation Information Integration Data Warehouse Stream Computing InfoSphere Streams Low Latency Analytics for streaming data Data-In-Motion InfoSphere Warehouse Large volume structured data analytics PureData for Analytics BI+Ad Hoc Analytics on Structured Data

10 Ejemplo Plataforma Global Big Data en la práctica Ingestion and Real-time Analytic Zone Streams Analytics and Reporting Zone Warehousing Zone BI & Reporting Connectors Hadoop Enterprise Warehouse Predictive Analytics MapReduce Hive/HBase Col Stores Data Marts Visualization & Discovery Documents in variety of formats ETL, MDM, Data Governance Landing and Analytics Sandbox Zone Metadata and Governance Zone

11 Resumen Big Data Arquitectura Completa Principales aplicaciones en Big Data Hadoop IBM InfoSphere BigInsights: IBM Hadoop y mucho más WebConsole / Cluster Status / Files Applications Accelerators: SDA & MDA Dashboards / BigSheets Entorno de Desarrollo: Eclipse Facilitador: AQL Text Analytics Big R Big SQL Ejemplo Desarrollo Rápido: Eclipse Apps BigSheets - DashBoards

12 Principales aplicaciones de Big Data Data at Rest Datos Almacenados (estructurados o desestructurados) Multiestructurados Ejemplos: logs, facebook, twitter, audio, video, , geodata... Solución: Hadoop (open source) / IBM InfoSphere BigInsights(Enterprise Hadoop) Data in Motion: Datos Analizados en Tiempo Real, sin necesidad de almacenarlos previamente. Ejemplos: Sensors, RFID, etc. Solución: IBM Infosphere Streams

14 Por qué HADOOP? El hardware mejora continuamente Si, pero cuanto se tarda en procesar un Terabyte? y un Petabyte? cual es su coste? Cuál es la solución? PROCESAMIENTO EN PARALELO. El cual lleva mucho tiempo entre nosotros: GRID MPP DB2 DPF, Netezza, Teradata, etc En todos ellos se paraleliza y se distribuyen datos. Pero no es barato. Ahora HADOOP: 1. Hadoop Common: componentes genéricos 2. HDFS 3. MapReduce

15 Qué es HDFS Hadoop Distributed File System? Se distribuyen los datos en bloques por todos los nodos, replicándose entre los Múltiples Nodos del Cluster. Paradigma Divide y Vencerás. Único sistema de ficheros en todo el Cluster.

16 Qué es MapReduce? Paradigma Divide y Vencerás. Envío de los programas a los datos. Un Job MapReduce se divide en Tareas/Tasks y se envían a cada nodo del Cluster, donde están los datos divididos en Bloques.

17 Ejemplo: MapReduce Distribución public static class TokenizerMapper extends Mapper<Object,Text,Text,IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(object key, Text val, Context StringTokenizer itr = new StringTokenizer(val.toString()); while (itr.hasmoretokens()) { word.set(itr.nexttoken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWrita private IntWritable result = new IntWritable(); public void reduce(text key, Iterable<IntWritable> val, Context context){ int sum = 0; for (IntWritable v : val) { sum += v.get(); Tareas Map se distribuyen por el Cluster Hadoop Data Nodes 1. Fase Map (Trocea job en pequeñas partes) 2. Shuffle (Transferencia de resultados para procesado final)... Shuffle 3. Fase Reduce (Construye un único dataset final) Result Set Reduce: Resultado en un único Set de datos

18 Ejemplo: Programa MapReduce Contar ocurrencias de palabras Entry Data Hello World Bye World Hello IBM Map Process Shuffle Process Reduce Process Map 1: < Hello, 1> < World, 1> < Bye, 1> < World, 1> Reduce (final output): < Bye, 1> < IBM, 1> < Hello, 2> < World, 2> Map 2: < Hello, 1> < IBM, 1>

19 Resumen Lenguajes de Análisis: Pig, Hive, Jaql Characteristic Pig Hive Jaql Developed by Yahoo! Facebook IBM Language Pig Lagin HQL Jaql Type of Language Data structured supported Data Flow Complex Declarative (SQL dialect) Better suited for structured data Data Flow JSON semi structured Schema Optional Not Optional Optional

20 Hadoop no es bueno para todo: CUIDADO No es para transacciones, no es bueno para acceso aleatorio. No es bueno cuando el trabajo no es paralelizable. No es bueno para accesos donde se espera una latencia baja. No es bueno para pequeños archivos/jobs. (Adaptive MapRed de IBM) No es bueno para muchos cálculos con pequeños sets de datos.

22 BigInsights: IBM Hadoop y mucho más Única distribución Hadoop que permite despliegue de soluciones Big Data en Entornos Corporativos. Según requerimientos estándar de direcciones de tecnología Ventajas Principales de BigInsights: Integra todo el KnowHow del Software IBM Capacidades de Administración Aplicaciones Integradas (Big SQL, Big R, Aceleradores, BigSheets, ) Conectores Estándar JDBC ODBC (Big SQL). Entorno de Desarrollo Eclipse y Lenguajes propios (JAQL AQL). Soporte IBM y partners como Habber Tec.

23 BigInsights: WebConsole/Navegación Facilitando acceso a las principales funcionalidades: Cluster Status: Administración de Nodos del Cluster. Files: Acceso al árbol de directorios HDFS. Applications: Acceso aplicaciones existentes o desarrolladas. Bigsheets Dashboards

24 BigInsights: Cluster Status Facilidades para administradores, en la configuración, gestión y monitorización del clusterhadoop. Arrancar/Parar los distintos servicios del sistema Hadoop Añadir Nodos Eliminar Nodos Añadir Servicios Manejo de Alertas Configuración de Logs Sistema de Backup para Hbase

25 BigInsights: Files Acceso cómodo al árbol de directorios HDFS Posibilidad de analizar ficheros y formatearlos de manera sencilla. Acceso a tablas de Catalogo Hive.

26 BigInsights: Applications Aplicaciones para facilitar tareas, desde monitorización, ejecución de scripts/queries, importación de datos o transformaciones.

27 BigInsights : Accelerators Construir y desplegar rápidamente aplicaciones para casos de uso concretos IBM Accelerator for Social Data Analytics - SDA B2C business Ejemplo de aplicaciones: Customer acquisition / retention, Customer Segmentation or Micro Segmentation, Marketing Campaign Optimization, Lead generation, Brand Management or Surveillance Con BigInsights v3 y Streams v3 IBM Accelerator for Machine Data Analytics - MDA Cross-industry: manufacturing, oil & gas, energy and utility, healthcare, travel and transportation, CPG, Retail, etc. SCADA. Con BigInsights v3

28 BigInsights: Dashboards Visualización a través de de tableros. Tableros predefinidos para Administración: Estado del Sistema Estado de las aplicaciones, Jobs, Maps, Reduces Estado del Sistema de archivos distribuido - HDFS Widgets para facilitar creación de nuestros propios tableros: Widgets de administracion y salud del sistema Workbooks de análisis

29 BigInsights: Dashboards

30 BigInsights: BigSheets

31 BigInsights: Entorno Desarrollo Eclipse Para desarrollo en JAQL, Hive, Java MapReduce, Text Analytics, AQL, Pig

32 Qué es Big SQL? Soporte SQL robusto para entornos Hadoop: Arquitectura servidor escalable Soporte SQL'2011 ANSI. Drivers JDBC & ODBC. DB2 Client Driver. Variedad de fuentes de datos (Hive y Hbase) y formatos de ficheros Fundamentos de diseño: Queries ya existentes funcionen sin modificaciones o con pocas modificaciones. Aplicaciones existentes que usan JDBC y ODBC seguirán funcionando. Queries eficientes, tan eficientes como permita el mecanismo de almacenamiento seleccionado (Hive, Hbase, ficheros y sus distintos formatos).

33 BIG SQL v3.0 y Competidores Comparación con HIVE

34 Text Analytics en BigInsights Text Analytics implica estructurar los textos (parseado) y encontrar patrones. Tareas típicas en Text Mining: categorización de textos, extracción de entidades, taxonomías, análisis de sentimientos. Text Analytics incluye análisis léxico, categorización/anotación, extracción. BigInsights facilita todo esto, cómo? Lenguaje especifico para este tipo de análisis - AQL Herramientas de Desarrollo Eclipse Wizards. Compiladores y generadores de perfiles. Facilidades para crear aplicaciones, ejecutarlas y visualizar resultados.

35 Text Analytics: Ejemplo sencillo Football World Cup 2010, one team distinguished well from the rest winning the final. Early in the second half, Netherlands striker, Arjen Robben, had a chance to score, but the awesome keeper for Spain, Iker Casillas made the save. Winner superiority was reflected when Winger Andres Iniesta scored for Spain for the win. World Cup 2010 Highlights Arjen Robben Iker Casillas Andres Iniesta Striker Keeper Winger Netherlands Spain Spain

36 Annotator Query Language (AQL) Lenguaje específico para crear reglas de Text Analytics Similar a SQL. Compilable, generando un plan de acceso y trabajo sobre los datos. No hay cajas negras, o módulos cerrados, todo es parametrizable, con posibilidad de programar y modificar. create view AmountWithUnit as extract pattern <N.match> <U.match> as match from Number N, Unit U; WIZARD SENCILLO

37 BIG R Por fin, R Escalable. Particiones para grandes volúmenes. Ejecución en paralelo en Cluster. Entorno totalmente R.

38 BIGINSIGHTS: Aportes Facilidades para cualquier tipo de usuario: Administradores Desarrolladores Usuarios de Negocio Motores de ejecución y consulta: MapReduce BigSql Facilidades para Desarrollo de Aplicaciones y Análisis: Entorno Eclipse BigSheets Applications Accelerators

39 Conclusiones BigData no es sólo Hadoop. Hadoop es una pata dentro de las Arquitecturas Big Data. IBM InfoSphere BigInsights es la única distribución Hadoop que permite despliegue de soluciones Big Data en Entornos Corporativos. BigInsights aporta facilidad y rapidez para desarrollos BigData Hadoop, apoyándose en todas las herramientas y aplicaciones que incluye, que vienen aportadas por el KnowHow de IBM.

40 Resumen Big Data Arquitectura Completa Principales aplicaciones en Big Data Hadoop BigInsights: IBM Hadoop y mucho más WebConsole / Cluster Status / Files Applications Accelerators: SDA & MDA Dashboards / BigSheets Entorno de Desarrollo: Eclipse Facilitador: AQL Text Analytics Big R Big SQL Ejemplo Desarrollo Rápido: Eclipse Apps BigSheets - DashBoards

41 Ejemplo Desarrollo Rápido: Eclipse - Apps BigSheets - DashBoards 1. Eclipse: Creación Proyecto Nuevo 2. Eclipse: Creación Script Pig 3. Eclipse: Crear APP BigInsights y Desplegarla en portal. 4. WebConsole/Applications: Deploy & Run App BigInsights 5. BigSheets: Analizar Resultados 6. DashBoard: Añadir a nuestro Dashboards los nuevos datos generados.

42 Muchas gracias por su atención. Bruno Roa Cuesta Subtítulo