» Big Data = Grandes Volúmenes de Información

Transcripción

1 BIG DATA Julio, 2013

2 Big Big Data data No es es una Big Data No es un caso de uso tecnología Arquitectura Big Data Es un movimiento que demanda uso de nueva información Que es Big Data Habilitando nuevas ideas y conocimiento

3 » Big Data = Grandes Volúmenes de Información

4 » Big Data = Grandes Volúmenes de Información Las bases de datos de procesamiento paralelo han soportado grandes volumenes de información desde hace una decada

5 » Big Data = Grandes Volúmenes de Información Las bases de datos de procesamiento paralelo han soportado grandes volumenes de información desde hace una decada Big Data = Nuevos Tipos de Información

6 » Big Data = Grandes Volúmenes de Información Las bases de datos de procesamiento paralelo han soportado grandes volumenes de información desde hace una decada Big Data = Nuevos Tipos de Información Nuevos tipos de datos multi estructurados con relaciones desconocidas, requiriendo procesamiento especializado independiente de su volumen para descubrir ideas. Ejemplos : Web logs, sensores, redes sociales, texto, audio a texto, decodificadores.

7 User Generated Content User Click Stream Mobile Web BIG DATA Sentiment Social Network External Demographics Web logs WEB A/B testing Business Data Feeds Offer history Dynamic Pricing HD Video Affiliate Networks CRM Segmentation Search marketing Speech to Text ERP Purchase detail Purchase record Payment record Offer details Customer Touches Support Contacts Behavioral Targeting Dynamic Funnels Product/Service Logs SMS/MMS Increasing data variety and complexity

8 » Big Data = Grandes Volúmenes de Información Las bases de datos de procesamiento paralelo han soportado grandes volumenes de información ió desded hace una decadad Big Data = Nuevos Tipos de Información Nuevos tipos de dt datos multi estructurados t t con relaciones desconocidas, requiriendo procesamiento especializado independiente de su volumen para descubrir ideas. Ejemplos : Web logs, sensores, redes sociales, texto, audio a texto, decodificadores. Big Data = Nuevos analiticos ( No SQL)

9 » Big Data = Grandes Volúmenes de Información Las bases de datos de procesamiento paralelo han soportado grandes volumenes de información ió desded hace una decadad Big Data = Nuevos Tipos de Información Nuevos tipos de dt datos multi estructurados t t con relaciones desconocidas, requiriendo procesamiento especializado independiente de su volumen para descubrir ideas. Ejemplos : Web logs, sensores, redes sociales, texto, audio a texto, decodificadores. Big Data = Nuevos analiticos ( No SQL) Nuevos paradigmas analíticos que proveen procesamiento paralelo en datos multi estructurados. Aprovechando el poder de MapReduce( basado en Java, C, C++, Python)

10 » Un framework de Programación Paralela Hecho popular por Google + Search indexes + Algorithms de Scoring C++, Java, Python, etc. Aprovechando granjas de PCs Map Function Scheduler» MapReduce Provee Paralelismo automático Tolerancia a Fallos Monitoreo Hadoop (Two Primary Parts) 1. Hadoop Distributed File System (HDFS) 2. MapReduce (Data processing) Results map shuffle reduce Hadoop is not a substitute for a database

11

12 Source: CEO Advisory: Big Data Equals Big Opportunity, Gartner, 31 March 2011.

13 VALOR PARA EL NEGOCIO

14 Web Logs Mobile Social Call Center ATM BIG DATA ASSETS External Finance HR Core Promotions Products TRADITIONAL ASSETS

15

16 Metodo Clasico de BI Análisis estructurado y Repetible El Negocio determina las preguntas a resolver IT estructura los datos para dar respuestas Captura solo lo necesario

17

18 Metodo Clasico de BI Análisis estructurado y Repetible El Negocio determina las preguntas a resolver IT estructura los datos para dar respuestas Captura solo lo necesario IT Provee una plataforma para almacenar y analizar cualquier fuente de Data Captura por si genera valor Big Data Analytics Multi-estructurado, Iterativo El Negocio Explora la información para descubrir respuestas

19 Fuente :

20 Metodo Clasico de BI Análisis estructurado y Repetible El Negocio determina las preguntas a resolver SQL performance and structure IT estructura los datos para dar respuestas Captura solo lo necesario MapReduce Processing Flexibility IT Provee una plataforma para almacenar y analizar cualquier fuente de Data Captura por si genera valor Big Data Analytics Multi-estructurado, Iterativo El Negocio Explora la información para descubrir respuestas

21 » Habilitando cualquier usuario paraanalizar diversas fuentes y relacionarlas l Java, C/C++, Python, R, SAS, SQL, Excel, BI, Visualization Discover and Explore Reporting and Execution in the Enterprise Capture, Store and Refine Audio/ Video Images Docs Text Web & Social Machine Logs CRM SCM ERP

22 All Data Non- Relational Data Entre mas data mejor Multi- Structured Data Structured Data OLTP DBMS s

23 DISCOVERY TOOLS Entre mas herramientas mejor SQL MapReduce BI Behavioral Analytics Customer Products Machine Supply chain

24 USERS Suficientemente poderoso para los cientificos de datos Data Scientist Suficientemente simple para los analistas de datos Data Analyst

25 All Data DISCOVERY DISCOVERY TOOLS USERS Non- Relational Data Multi- Structured Data Structured Data OLTP DBMS s Fuente : Big Data Platform Doesn t require extensive modeling Data completeness can be good enough No stringent SLAs No persistency Iterative Analysis SQL MapReduce BI-Mining Behavioral Analytics Customer Products Machine data Social Data Scientist Data Analyst

26 Ejemplo: Busqueda de Patrones MapReduce Single-pass of data Linked list sequential analysis Traditional SQL Self-Joins for sequencing Limited operators for ordered data

27

28 Fuente :

29 Fuente :

30 Jan 5: Reverse Fee Request Jan 10: Request Made Again Jan 20: Account Closed Jan 7: Request Made Again Jan 15: Request Made Again What if I knew that this customer was likely to leave? I could Apologize Offer an explanation Reverse the $5 fee It takes 3x more to acquire a customer than to retain one Fuente :

31 1. Find people who watch MMA Fight Night 2. What do they watch 1, 2, 3 shows prior and 1 show after? They must watch channel > 10 min Ignore channel flips 3. Advertise PPV Boxing during those shows. ad ad? ad ad (opt) (opt) (req) (req) (opt) Fuente :

32 Fuente :

33 Fuente :

34 Fuente :

35 Import accident report data and combine this information with customer drive route data to identify individuals that are consistently driving on high-risk traffic routes. In the example below, multiple accidents have occurred involving drivers travelling for +¼ mile south on South Grand Avenue and then making a right turn onto Venice Boulevard. Customers driving this route during rush hour may be at a higher risk of involvement in an accident. Fuente :

36 Tres pasos básicos para considerar : 1. Identificar un área de Negocio con potencial Mercadeo, con un líder convencido del poder de la información 2. Identificar dos o tres oportunidades d de negocio en Big Data Definir el impacto al negocio Identificar otros usos y beneficios de ese análisis 3. Identificar el partner con la experiencia necesaria para apoyar en el esfuerzo de descubrimiento y pruebas.

37