High Performance Analytics Puredata System for Analytics Jean Paul Tabja Arquitecto de Software para Banca y Seguros IBM del Perú

Transcripción

1 High Performance Analytics Puredata System for Analytics Jean Paul Tabja Arquitecto de Software para Banca y Seguros IBM del Perú

2 Los datos es la base de una nueva ventaja competitiva Los líderes de negocios y de TI deben unir sus fuerzas para realizar el valor de todos los datos Ventaja Competitiva Los datos se perfila como recurso más nuevo del mundo para obtener una ventaja competitiva. Toma de decisiones La toma de decisiones está pasando de la élite pocos a los muchos poderes. Valor de los datos A medida que el valor de los datos sigue creciendo, los sistemas actuales no pueden seguir el ritmo. 2

3 Visión de IBM Data Analytics Platform Bases de Datos Gobierno de Datos y Calidad de Información Business Intelligence Analytica Predictiva Analytics Solutions Soluciones de Analítica Predictiva por Industria Gestión del Riesgo Analítica de Fraude Cloud Hybrid Cloud Platform as a Service Infrastructure as a Service Software as a Service Middleware Integración Business Process Management Gestión de Reglas Mobile Plataforma integral Mobile Servicios Mobile en Cloud Engagement y Customer Experience Cognitive Soluciones Cognitivas Plataforma Cognitiva Commerce Platforma de Marketing Plataforma de ecommerce Analítica Digital y Customer Experience Management Social Plafaforma de Colaboración Social Correo Social 3 3 CAMS Overview

4 Desafíos en los ambientes de BI actuales Consideraciones: Soluciones hecha a la medida que típicamente solo analizan un subset de los datos disponibles Limitado a conocimientos históricos que se deben aplicar a las decisiones futuras Rígido, complejo y costoso de administrar y actualización Agregar capacidades analíticas y mejorar los tiempos de respuestas puede ser muy complejo y costoso 4

5 Pero Cómo lograr esto? hay muchos desafíos que superar Haces frente a estos desafíos? Entonces necesitas una plataforma que provea: Dificultad de agregar nuevos datos o de agregar capacidades analíticas + Agilidad Falta de conocimientos analíticos + conocimiento Grandes cargas de trabajo y SLA ajustados - Dependencia entre componentes Crecimiento de los datos, variedad y velocidad + Big Data Ciclo de vida de aplicaciones complejas + Simplicidad Administración de la complejidad + Simple Costos crecientes del área de TI + eficiencia 5

6 Los ambientes de BI tradicionales Son demasiado complejos Estos NO PUEDEN cumplir la demanda de analíticas avanzadas en ambientes de grandes volúmenes de datos. Demasiado complejos a nivel de infraestructura Demasiado complejos en desplegar Demasiado Tunning requerido Demasiado ineficiente al analizar datos Se necesita demasiado gente para administrarlo Demasiado costoso para operar. Demasiado tiempo para obtener resultados 6

7 Arquitectura de Información Confiable en BI Fuentes de Datos Drivers Entender, Limpiar & Transformar la Información Data Warehouse / Marts Reportes, Dashboards, Tableros de Control DB2 SQL Server Web Services Service sdirect or Oracle JDBC Informix Discovery Information Analyzer QualityStage FastTrack DataStage Db2/z XML / PLAN OS/ Excel ODBC Reglas de Validación Modelo de Datos Metadata Workbench Trazabilidad de la información / Análisis de Impacto / Auditoría Blueprint Director Business Glossary Gobierno de Datos 7

8 Complejidad de los ambientes de DWH tradicional 8

9 Data Warehousing Simplificado 9

10 IBM PureData System for Analytics Appliance de data warehouse que simplifica las analíticas System for Analytics - Motor creado con propósito especifico de analíticas - Integra base de datos, server y storage - Posee Interfaces estándar - El más bajo TCO Que lo hace diferente? Velocidad x más rápido que sistemas tradicionales 1 Simplicidad Administración y tunning mínimo Escalabilidad Escalable hasta Petabyte+ Smart alta performance, analíticas avanzadas 1 Based on IBM customers' reported results. "Traditional custom systems" refers to systems that are not professionally pre-built, pre-tested and optimized. Individual results may vary. 10

11 Procesamiento de Datos en PureData for Analytics Virtual FPGA Core CPU Core Stream via Zone Map From Descomprimir Proyectar Restringir Velocidad SQL & Advanced Analytics From Select Where Group by Select State, Age, Gender, count(*) From From MultiBillionRowCustomerTable Where BirthDate Where BirthDate < 01/01/1960 < And 01/01/1960 State in ( FL, And State GA, in ( FL, SC, GA, Group NC ) SC, by State, NC ) Age, Group Gender Order by State, by State, Age, Gender Age, Gender Order by State, Age, Gender 11

12 Seguridad en datos con discos autoencriptable Protegiendo data sensitiva almacenada Toda la data está encriptada usuario y temporal Manejo de llave directamente realizado por el appliance 2-Capas de administración de llaves Usa AEK - Authentication Encryption Key 256 bit AES key Llave pueden ser inicializadas o cambiadas en cualquier minuto, incluso luego de cargar datos No necesita reinicializar el sistema por la configuración de las llaves Encriptación / Desincriptacion de los datos para todos los usuarios a mayor velocidad gracias a la utilización de una interface dedicadas para el motor de encriptación Configuración una vez, No hay overhead por el paso de las llaves Requerimientos Disponible en todos los modelos N3001 NPS

13 Big Data y Business Intelligence listo para utilizar Desbloqueando el verdadero potencial de los datos Incluido con PureData System for Analytics N3001 Data Warehouse Appliance Business Intelligence Cognos software, 5 Analytics User licenses, plus 1 Analytics Administrator license Hasta 16 TB de capacidad para tu Data warehouse o data mart con capacidades de analíticas avanzadas in-database Incorpora capacidades In-Database analytic e integra con una amplia variedad de aplicaciones de terceros Software para montar un ambiente completo de Big Data & Analytics Data Integration & Transformation InfoSphere DataStage 280 PVUs, 2 concurrent Designer Client licenses and InfoSphere Data Click Hadoop Data Services InfoSphere BigInsights Software licenses to manage ~100 TB of Hadoop data Real-time Analytics InfoSphere Streams Developer Edition 2 users, non-production licenses 13

14 Arquitectura de Información Confiable en BIG DATA Fuentes de Datos Drivers Entender, Limpiar & Transformar la Información Data Warehouse / Marts Reportes, Dashboards, Tableros de Control DB2 SQL Server Web Services Service sdirect or Analíticas en tiempo real Analisis Cognitivo Oracle Informix Db2/z XML / PLAN OS/ Excel JDBC ODBC Discovery Staging Area Exploración Datos no estrucutarados Hadoop Information Analyzer QualityStage Reglas de Validación FastTrack DataStage Zona de Archivo y extensión de capacidades del DWH Hadoop Modelo de Datos Analiticas Predictivas y Descriptiva Analiticas avanzadas Metadata Workbench Trazabilidad de la información / Análisis de Impacto / Auditoría Blueprint Director Business Glossary Gobierno de Datos 14

15 El poder de Big Data incorporando nuevas fuentes de información 15 1

16 Extensión del Data Warehouse con IBM PureData / Netezza y BigInsights for Business Analyst (Hadoop) 16

17 Casos de Uso: Sentimiento Social Social Media Sentiment Analysis Social Media Campaign Analysis Marketing Campaign Tweets about Products Cross-sell Analysis Products Social Media Personas Customer Social Persona Analysis Individual Customers Hadoop Relational 17 1

18 Caso de Uso: Información del Cliente 360 s Foreign Financial Institutions Documents FATCA Compliance Individual Customers Application Forms Account Details Hadoop Relational 18 1

19 Caso de Uso: Volúmenes de datos transaccionales Financial Market Transaction Trader Financial Market Transaction Broker / Dealer Financial Market Instrument Trader Transaction Analysis Hadoop Relational 19 1

20 Los Appliances lo hacen más fácil IBM Pure Data for Analytics Equipo dedicado Optimizado para el propósito Solución completa Instalación rápida Operación muy sencilla Interfases estándar Bajo costo 20

21 Empresa de Retail basada en Perú incrementa la velocidad de respuesta al mercado en 300X Necesidad Optimizando reportes de corte operacional y analíticos. Automatizando la entrega de alertas en su Sistema de Business Intelligence Solución Se utilizó PureData for Analytics y Cognos 21

22 Reportes Analíticos a la velocidad que el negocio necesita Necesidad Optimizar la entrega de reportes analíticos. Bajar los tiempos de carga de información Solución PureData for Analytics 22 Beneficios Incremento de la velocidad de reportes desde 100X hasta 600X Reducción de los tiempos de carga de 20 horas a 15 minutos.

23 Information Management Acepta el reto I B M P U R E D ATA S Y S T E M F O R A N A LY T I C S Tú data. Nuestro Appliance SUPER PERFORMANCE 23 2

24 24 24

25 Gracias 25