Think Big Think Data Think Big Data

Transcripción

1 Think Big Think Data Think Big Data Fermín Febrero Technology Consultant 1

2 En 2000 se generaron DOS EXABYTES De nueva información Sources: How Much Information? Peter Lyman and Hal Varian, UC Berkeley, IDC Digital Universe Study. 2

3 En 2000 se generaron DOS EXABYTES De información CADA DÍA Sources: How Much Information? Peter Lyman and Hal Varian, UC Berkeley, IDC Digital Universe Study. 3

4 4

5 Cuales son las causas de esta explosión? FACEBOOK carga 250 MILLIONES FOTOS cada dia Sensores móviles Social Media Video vigilancia Reproducción Video Leer contadores inteligentes CADA 15 MINUTOS ES 3000X MAS INTENSIVO en DATOS Extracciones petroliferas GENERAN DATOS POR SEGUNDO Coste de secuenciar UN GENOMA Bajo de $100M EN 2001 a $10K EN 2011 Smart Grids Oil Exploration Imagen Médica Secuencia Genómica 5

6 El valor de los datos crece Nuevos modelos de negocio basados en nuevos DATOS 1,000,000,000 Consultas / Día 250,000,000 Nuevas Fotos/ Día 290,000,000 Atualizaciones / Día 4,000,000 Reclamaciones / Día 2,800,000,000 Operaciones/ Día 31,000,000,000 Interacciones / Día 6

7 Cómo usan BIG DATA en las empresas? Áreas funcionales en las que empresas utilizan BIG DATA para mejorar rendimiento. Ideally Customer insights, segmentation, or targeting Budgeting, forecasting, or planning Operations, service delivery, or supply chain Customer service/support Performance management & transparency in New product strategies Pricing Automation of common or straightforward Improvements to R&D processes % McKinsey Global Survey of 1,469 C-level executive respondents at a range of industries and company sizes, Minding Your Digital Business,

8 Big Data Transformando Banca Reducir desgaste en el cliente Analizamos datos históricos del sistema de beneficios para crear nuevos criterios de prestamos. Contactos proactivos Aumentar ingresos por cliente Recomendar productos en base a tendencias Aumentar eficiencia operativa Basarse en el Quién 8

9 El Proceso Big Data 1 CLOUD 9

10 10

11 EMC Isilon. Escalabilidad. Simplicidad. 11

12 Isilon: Almacenamiento Scale-Out para Big Data Escalabilidad 15 PB en Single File System Rendimiento Lider de la Industria en Throughput e IOPS Simplicidad Gestionar PBs como TBs 12

13 Big Data Transforma Biologia We ve been able to grow a single file system to a PB in less than a year & maintain the throughput necessary to advance our research. Acceso rápido a los datos Escalar hasta 12PB con rendimiento lineal Colaboración en investigación Nuevos tratamientos Reducción de dispersión de epidemias Reducir tiempo de análisis. 13

14 Atmos Big Data. Distribución Global. 14

15 Big Data Distribuido L.A. BOSTON LONDON L.A. BOSTON LONDON Islas separadas Sistemas distribuidos Administración Manual Único inquilino, muchos sistemas Distribución manual de contenidos Unico POOL de Storage Sistema único entre ubicaciones Políticas automatización Muchos Inquilinos, un sistema Acceso autoaprovisionamiento 15

16 Big Data Transforma las subastas ebay and EMC have worked closely for more than a year to create a reliable, scalable cloud storage infrastructure that meets the demands of ebay's expanding business. Alcanzar audiencia GLOBAL Escalar múltiples localizaciones Mejorar la experiencia del cliente Reducir TCO Políticas de activación automática para expiración de contenido Reducir la gestión manual de los contenidos masivos 16

17 17

18 Infraestructura Cloud para Big Data 18

19 Solución EMC Enterprise Hadoop Greenplum Greenplum Command Center Greenplum Chorus Hadoop Tools MapReduce Layer Pluggable Storage Layer (HDFS API) Isilon HDFS Protocol lsilon OneFS 19

20 Big Data Transforma Utilities Predicción de picos y apagones Rápida detección de apagones Reducir la perdida de potencia Reducción de costes al consumidor Vista en tiempo real del consumo de energía Greenplum s data warehousing and analytics platform helps us efficiently turn metering data into actionable information. Comportamiento Precio basado en la demanda 20

21 Predicción de anomalías en contadores 21

22 Análisis predictivo: picos de voltaje Demanda 22

23 El Proceso Big Data 1 2 CLOUD SOCIAL 23

24 24

25 DATA SCIENCE UN NUEVO EQUIPO PARA BIG DATA 25

26 PROCESOS ANÁLITICOS CLÁSICOS 1. Buscar el dato 3. Aprender del dato 4. Crear Sandbox 2. Acceso al dato 6. Modelo Operativo 5. Análisis 26

27 Chorus: Plataforma SOCIAL para Big Data Explorar Datos Proyecto Collaboration Publicar Iterar Comprobar Análisis Datos 27

28 AutoServicio y análisis colaborativo 28

29 Acelerando el proceso de BIG DATA: UAP 1 2 CLOUD SOCIAL 29

30 El Proceso Big Data CLOUD SOCIAL AGILE 30

31 Documentum xcp Flujos de trabajo y presentación para datos 31

32 xcp: modelar y representar Big Data Construcción A Tool For Non-Programmers! Drag & Drop Process Modeling Modelos de decisión Deliver The Latest Data Enable Contextual Decisions Auditoria Keep IT Audit Happy! Reduce Information Risk 32

33 AGILE DEVELOPMENT Desarrollo de APPS 33

34 AGILE DEVELOPMENT TOOLS IN USE BY 240,000 DEVELOPERS 34

35 El Proceso Big Data 1 TRANSICIÓN a EMPRESA 2 3 PREDICTIVA CLOUD SOCIAL AGILE 35

36 Resolviendo la ecuación de Big Data VOLUMEN VELOCIDAD VARIEDAD VALOR CLOUD SOCIAL AGILE 36

37 GRACIAS 37

38

39 El viaje de Big Data CLOUD SOCIAL AGILE 39

40 40