Casos de Uso de Big Data

Transcripción

1 Big Data España 2015 Casos de Uso de Big Data Wolfram Rozas 2 Octubre International Business Machines Corporation

2 Cambios en el Paradigma Analítico 2014 International Business Machines Corporation

3 Cambios en el Paradigma Analítico BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH All available information All Analyzed available information analyzed Small amount of carefully organized information Large amount of messy information Analyze Analyze small subsets of all information Leverage more of the data being captured Carefully Analyze cleanse information information as is, before cleanse any as analysis needed Reduce effort required to leverage data BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH Data Hypothesis Data Exploration Question Analysis Data Repository Analysis Insight Answer Insight Correlation Data Insight Start Explore with hypothesis all data and and test identify against correlations selected data Data leads the way and sometimes correlations are good enough Analyze Analyze data after data it s in been motion processed as it s and landed generated, in a warehouse in real-time or mart Leverage data as it is captured 2014 International Business Machines Corporation 3

4 Cambios en el Paradigma Analítico BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH What What will happen has happened and what and should why you do Predict and decide the best action the embedded realm of the in everything specialist Intuitive analytics for everyone BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH BIG DATA TRADITIONAL & ANALYTICS APPROACH APPROACH Learn Pre-programmed to sense and predict analysis using all on types structured of information data Cognitive computing Scheduled Real-time Analytics as and when you need it 2014 International Business Machines Corporation 4

5 Las 5 categorías de casos de uso 2014 International Business Machines Corporation

6 Innúmeros casos de uso en cada industria Banca Optimización de ofertas Servicio a clientes y eficiencia Detección e investigación de fraude Riesgo de crédito y de contrapartida Seguros Vista 360 del sujeto Modelización catástrofes Fraude y Abuso Analítica de rendimiento producto Telecom. Call Center proactivo Analítica de Red Servicios basados en localización Energía y Utilities Analítica de Smart Meter Predicción/ planificación de carga Mantenimiento basado en condición Ofertas a clientes (TOU) Medios y Entretenimiento Transformación de procesos de negocio Optimización de audiencias y marketing Campañas multicanal Optimización de comercio digital Retail Analítica de Cliente y Fidelización Optimización de Mercancías Precios óptimos Transporte y Turismo Analítica de Cliente y Fidelización Analítica de Mantenimiento Predictivo Optimización de Capacidad y Precios Gran Consumo Disponibilidad Estante Optimización de Trade Funds Cumplimiento de mercancías Alertas/Excepciones de promociones Gobierno Servicios públicos Defensa e Inteligencia Servicios fiscales y tributarios Salud Medir y actuar sobre los resultados de salud Involucrar a los consumidores en su salud Automoción Química y Petróleo Aviación y Defensa Electrónica de Consumo Farmacia Monitorización avanzada de condición Optimización Data Warehouse Analítica de Cliente y Fidelización Vigilancia, Análisis, Optimización Operacional Optimización Data Warehouse Investigación Upstream Plataforma de Acceso Información Uniforme Optimización Data Warehouse Plataforma de Certificación Aerolínea Monitorización avanzada de condición Analítica de clientes/ canal Monitorización avanzada de condición Aumentar la visibilidad de la seguridad y efectividad de los medicamentos 2014 International Business Machines Corporation 6

7 Las 5 Categorías de Casos de Uso Exploración Encontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión Vista 360º cliente mejorada Extender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas Seguridad/Inteligencia Aumentada Reducir riesgo, detectar fraude y monitorizar seguridad en tiempo real Inteligencia Operacional Analizar una variedad de datos máquina para mejorar la eficiencia operacional Aumento del Data Warehouse Integrar las capacidades de big data y de data warehousing para mejora de resultados de negocio 2014 International Business Machines Corporation 7

8 Las 5 Categorías de Casos de Uso Exploración Encontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión Vista 360º cliente mejorada Extender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas Seguridad/Inteligencia Aumentada Reducir riesgo, detectar fraude y monitorizar seguridad en tiempo real Inteligencia Operacional Analizar una variedad de datos máquina para mejorar la eficiencia operacional Aumento del Data Warehouse Integrar las capacidades de big data y de data warehousing para mejora de resultados de negocio 2014 International Business Machines Corporation 8

9 Exploracion: Necesidades Encontrar, visualizar, comprender todos los datos para mejorar el proceso de toma de decisiones Luchar para gestionar y extraer valor de las 3 V s en la empresa; necesidad de unificar la información en fuentes federadas Incapacidad de relacionar los datos brutos recogidos de logs de sistema, sensores, clickstreams, etc., con datos de clientes y de negocio Riesgo de exponer información de identificación personal y/o datos privilegiados debido a carencias de conciencia de la sensibilidad de la información 2014 International Business Machines Corporation 9

10 Call Center Access all sources or individual source Dynamic categorization Setup alert to notify change Identify topical experts Narrow down results set Refinements based on metadata Highly relevant, secure & personalized results Comment results Tag results Rate results Store & share results 2014 International Business Machines Corporation 10

11 Distintos propósitos de exploración International Business Machines Corporation 11

12 IBM Confidential 2014 International Business Machines Corporation 12

13 2014 International Business Machines Corporation 13 13

14 Las 5 Categorías de Casos de Uso Exploración Encontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión Vista 360º cliente mejorada Extender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas Seguridad/Inteligencia Aumentada Reducir riesgo, detectar fraude y monitorizar seguridad en tiempo real Inteligencia Operacional Analizar una variedad de datos máquina para mejorar la eficiencia operacional Aumento del Data Warehouse Integrar las capacidades de big data y de data warehousing para mejora de resultados de negocio 2014 International Business Machines Corporation 14

15 Necesidades Extender las vistas actuales de clientes (MDM, CRM, etc.) añadiendo fuentes de información internas y externas Necesita una mayor comprensión del sentimiento de la clientela Deseo de mejorar la fidelización (activa) del cliente y la satisfacción identificando acciones significativas necesarias Desafío en facilitar la información correcta a los decisores para suministrar a los clientes lo que realmente necesitan (resolver problemas, cross-sell, etc.) 2014 International Business Machines Corporation 15

16 Análisis Actitudinal de Clientes 2014 International Business Machines Corporation 16

17 GeoMarketing 2.0 / Geofencing Pisadas Patrones de movimiento de personas y patrones de estancia Análisis por hora y día Inferencia para métricas de estancias dentro de edificios Sociodemográficos y Conducta Perfil sociodemográfico combinado con movimiento Edad, género, país, dirección vivienda, dirección trabajo, tipo dispositivo (datos, status), patrón de actividad Tránsito Inferencia de rutas de transporte público incluyendo carreteras, trenes, autobuses 2014 International Business Machines Corporation 17

18 Análisis de Público Objetivo basado en Fans Datos lineales Datos no lineales Datos suscripción Datos afinidad y de gasto Datos demográficos Datos Redes Sociales 1 Extraer datos y ejecutar integración de entidades para crear perfiles individuales Text Mining Lista de Prospectos Fan Influencia Procesado Tiempo Real Big Data DW Perfil 360º Estructurado No estructurado 3 Crear lista de prospectos mediante modelos predictivos y producir campañas de marketing 2 Visualización Propensión Análisis Predictivo Motor de Reglas Tipo Fan Desarrolla modelos predictivos Vinculación Churn Gestión de Campañas multicanal Portal Marketing/ Research 2014 International Business Machines Corporation 18

19 Las 5 Categorías de Casos de Uso Exploración Encontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión Vista 360º cliente mejorada Extender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas Seguridad/Inteligencia Aumentada Reducir riesgo, detectar fraude y monitorizar seguridad en tiempo real Inteligencia Operacional Analizar una variedad de datos máquina para mejorar la eficiencia operacional Aumento del Data Warehouse Integrar las capacidades de big data y de data warehousing para mejora de resultados de negocio 2014 International Business Machines Corporation 19

20 Necesidades La extensión de Seguridad/Inteligencia mejora las soluciones de seguridad analizando todo tipo de fuentes Inteligencia mejorada y Vigilancia Predicción y mitigación de ciberataques en tiempo real Predicción y protección de crímenes Analizar datos en movimiento y parados para: Encontrar asociaciones Descubrir patrones y hechos Mantener la actualidad de la información Analizar el tráfico de red para: Descubrir nuevas amenazas tempranamente Detectar amenazas complejas conocidas Actuar en tiempo real Analizar datos sociales y de telecomunicaciones para: Reunir evidencia criminal Prevenir las actividades criminales Prender criminales proactivamente 2014 International Business Machines Corporation 20

21 Modelo Conceptual Análisis de Entidades/ Relaciones Datos no estructurados/en streaming Conectores Appliance de monitorizacion de telemetría de red (Opcional) Ingesta y procesamiento en tiempo real Video/audio Red Geoespacial Predictivo Almacenamiento y Análisis Text mining Data mining Machine learning Data Warehouse Análisis profundo Análisis operacional Gestión de datos estructurado de alto volumen Sistema de Seguimiento de Información Criminal Sistema de Monitorización de Vigilancia Información s de Seguridad y Gestión de Eventos (SIEM) Conectores Datos Estructurados Tradicionales 2014 International Business Machines Corporation 21

22 Gestión de Riesgos Preparar Exposición Límites Capital Stress Documentos Cobertura Reportar Evolución Reunir datos de posiciones, mercados, oportunidades, etc. Estimar Ratings y exposiciones Comparar exposición agregada contra límites Determinar reqs. capital Stress testing y Análisis de Escenarios Mitigación de riesgos legales Limitar el daño usando cobertura Informar involucrados Adaptarse a cambios en negocios clientes productos Datos Históricos Cálculos Scoring Complejos Demasiados datos Minimizar Costes Demasiados What ifs? Gestión Información Respuesta a Tiempo Reporting Limitado Problemas Integridad? Muchos datos, cambiando muy rápido, demasiada variedad Los cálculos de scoring necesitan hacerse más rápido No hay simple vista del riesgo de crédito (muchas vistas) Optimización de las pérdidas de crédito, capital, colaterales Múltiples escenarios de stress ad hoc Gestionar datos no estruc. de oportunidades y colaterales. Falta de herramientas de monitorización de crédito Reporting limitado de exposiciones y colaterales Consistencia del proceso de gestión de riesgo de crédito Gestión de Datos: MDM para las entidades de contrapartida legal Datos no estructurados: Análisis de sentidos como Análisis de Entidades Otras fuentes de datos como geoposicionamiento, redes sociales Análisis en Tiempo Real: Cálculos en casi tiempo real Appliance/función calidad streams App. Riesgo: App de riesgo de crédito y colaterales Análisis masivo: x más rápido que sistemas tradicionales con empleo de Appliance Reporting y búsqueda Escalabilidad: Capacidad a nivel de petabytes para grandes portfolios de crédito 2014 International Business Machines Corporation 22

23 Las 5 Categorías de Casos de Uso Exploración Encontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión Vista 360º cliente mejorada Extender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas Seguridad/Inteligencia Aumentada Reducir riesgo, detectar fraude y monitorizar seguridad en tiempo real Inteligencia Operacional Analizar una variedad de datos máquina para mejorar la eficiencia operacional Aumento del Data Warehouse Integrar las capacidades de big data y de data warehousing para mejora de resultados de negocio 2014 International Business Machines Corporation 23

24 Necesidades Analizar una variedad de datos máquina para mejorar los resultados de negocio La capacidad de analizar datos máquina y combinarlos con los datos corporativos obteniendo una vista completa puede capacitar a las organizaciones a: Ganar una visibilidad en tiempo real de las operaciones, experiencia de cliente, transacciones y conducta Planificar proactivamente para mejorar la eficiencia operacional Identificar e investigar anomalías Monitorizar la infraestructura punto a punto para evitar proactivamente la degradación del servicio o las cortes 2014 International Business Machines Corporation 24

25 Modelo Conceptual Logs brutos y datos máquina Sólo almacenar lo necesario Acelerador de Datos Máquina Indexar, buscar Modelización estadística Análisis Causal Análisis en tiempo real Exploración y Descubrimiento 2014 International Business Machines Corporation 25

26 Análisis de los Datos Máquina (M2M) App. Server Logs Ingestión Datos Procesamiento Análisis System Logs Smart Meters Datos en reposo Tiempo real Causa raíz Sensor Data Datos en movimiento Análisis texto Análisis Patrones Utility Systems Extractores Algoritmos adaptativos Detección de Anomalías Facility Systems Estructurado Indexado Análisis Predictivo Message Queues No estructurado Búsqueda Queries Dinámicas Clickstream Data Correlación Visualización Configuration Files Web Access Logs Database Audit Logs and Tables Web Proxy Logs HDFS Logs Solución de Negocio 2014 International Business Machines Corporation 26

27 Detección de Anomalías Datos históricos Ultimos datos Contador Lectura A 100 B 10 C 15 D 200 E 5 1. Para cada punto de suministro se identifican otros puntos que tengan conducta de consumo similar 2. Se identifica cuánto se desvía el último consumo del grupo 3. Se identifican los consumos más anómalos para centrar la investigación 2014 International Business Machines Corporation 27

28 Network Analytics Análisis en tiempo real del uso de los clientes y de su experiencia de los servicios de datos y aplicaciones, para mejorar la experiencia de cliente Soluciones Aplicaciones Mediación, Correlación y Análisis 1. Servicio a Clientes: priorizar problemas de clientes 2. Operaciones de Red: impacto de los eventos de red (cuellos de botella,, llamadas caídas, cortes, etc.) en la calidad de la experiencia de los abonados 3. Ventas & Marketing: aumentar la tasa de aceptación Recogida y extracción de datos 2014 International Business Machines Corporation 28

29 Las 5 Categorías de Casos de Uso Exploración Encontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión Vista 360º cliente mejorada Extender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas Seguridad/Inteligencia Aumentada Reducir riesgo, detectar fraude y monitorizar seguridad en tiempo real Inteligencia Operacional Analizar una variedad de datos máquina para mejorar la eficiencia operacional Aumento del Data Warehouse Integrar las capacidades de big data y de data warehousing para mejora de resultados de negocio 2014 International Business Machines Corporation 29

30 Necesidades Integrar las capacidades de big data y de data warehouse par amejorar la eficiencia operacional Necesidad de usar variedad de datos Análisis profundo en streaming de datos estructurados, no estructurados Requerimientos de latencia baja (horas semanas) Se requiere acceso a los datos Extender la infraestructura Almacenamiento optimizado, mantenimiento y costes de licenciamiento para migrar datos raramente usados (fríos) a Hadoop Costes de almacenamiento reducidos por procesamiento inteligente de datos en streaming Rendimiento del data warehouse mejorado determinando 2014 International Business Machines Corporation 30

31 Valor y Modelo Conceptual Pre-Processing Hub Query-able Archive Exploratory Analysis Streams Real-time processing Data Explorer BigInsights Landing zone for all data BigInsights Information Integration Data Explorer Find and view the data Can combine with unstructured information BigInsights Streams Offload analytics for microsecond latency Data Warehouse Data Warehouse Data Warehouse 2014 International Business Machines Corporation 31

32 Offloading Archivar Datos Fríos Base de Datos Ficheros Archive InfoSphere Optim Distribución Hadoop Aplicar políticas de retención de datos Capturar objetos de negocio completos Preservar integridad de datos Preservar metatada Cargar datos a Hadoop según sea necesario Archivar y purgar datos Archivos comprimidos, auditables, y restaurables Almacén interrogable utilizando Hive en Hadoop 2014 International Business Machines Corporation 32

33 Data Lake 2014 International Business Machines Corporation

34 El problema de los Datos Hay una desproporción en el tiempo empleado en preparación de datos en los proyectos de Análisis El Big Data complicará más la situación con la adición de datos de múltiples formatos y la ingesta en tiempo real 2014 International Business Machines Corporation 34

35 Una demanda creciente. Negocio quiere... Acceso abierto a más información Herramientas de análisis y visualización más potentes A los equipos IT les preocupan los costes les preocupan los requisitos de gobernanza y regulatorios 2014 International Business Machines Corporation 35

36 Lagos o Pantanos? A medida que recogemos datos Podemos preservar la claridad? Conocemos lo que recogemos? Podemos encontrar lo que necesitamos? Estamos creando pantanos de datos? Cómo construimos confianza en Big Data? Sabemos para qué se usan los datos? Hay que gobernar el dato! 2014 International Business Machines Corporation 36

37 Qué es un lago de datos? Un lago de datos facilita datos a una organización para realizar análisis de todo tipo Servicios del Lago de Datos Repositorios del Lago de Datos Es posible introducir el análisis en el lago de datos para generar conocimiento adicional de los datos cargados Gestión de Información y Gobierno del Dato Lago de Datos Un lago de datos gestiona repositorios compartidos de información para analizarla Cada repositorio del lago de datos se optimiza para un procesamiento particular Los datos pueden replicarse en múlitples repositorios en el lago de datos y tener distintos significados/usos 2014 International Business Machines Corporation 37

38 Arquitectura lógica Deploy Real-time Decision Models Information Service Calls Data Export Data Import Deploy Decision Models Understand Information Sources Advertise Information Source Understand Compliance Events to Evaluate Notifications Information Federation Calls Information Service Calls Data Out Data In Data Refineries STREAMING ANALYTICS Real-time Interfaces Publishing Feeds Information Ingestion Real-time Analyics Descriptive Data Shared Operational Data Deposited Data Harvested Data Advanced Data Provisioning CATALOG CONTENT HUB INFORMATION WAREHOUSE DEEP DATA INFORMATION VIEWS OPERATIONAL STATUS CODE HUB Catalog Interfaces Data Lake Repositories Analyst Interaction Information Access Find Curate Access Provision Reporting Data Marts Understand Information Sources Search Requests Curation Interaction Information Service Calls Data Export Data Import Inter-lake Exchange Report Queries Information Integration & Governance INFORMATION BROKER CODE HUB STAGING AREAS OPERATIONAL GOVERNANCE HUB MONITOR WORKFLOW Management Data Lake 2014 International Business Machines Corporation 38

39 Resumen Lago de Datos = Gestión eficiente, Gobernanza, protección y acceso A medida que la analítica de una organización se hace más compleja, será necesario: Acceder a datos históricos de muchos sistemas Estos datos incluyen datos sensible y valiosos que son el núcleo de la operación Hadoop felxible para almacenar muchos tipos de datso, pero no es suficientemente rápido para alguna analítica en producción. Los datos necesitan ser reformateados y copiados en una plataforma especializada paa el análisis Un lago o embalse suministra: Un extracción sencilla de datos Catalogar y gobernar el dato Interfaces sencillos para que la línea de negocio acceda a la infomración que precisan 2014 International Business Machines Corporation 39

40 Preguntas? Gracias por su atención 2014 International Business Machines Corporation