BIG DATA Desde que se cronometran las carreras, se corre más rápido

Tamaño: px

Comenzar la demostración a partir de la página:

Download "BIG DATA Desde que se cronometran las carreras, se corre más rápido"

Alfredo Peña Correa
hace 8 años
Vistas:

1 BIG DATA Desde que se cronometran las carreras, se corre más rápido Santa Cruz, Bolivia 2014

2 Manual

3 HACE UN BILLÓN DE: HORAS nació el homo sapiens MINUTOS empezó el cristianismo SEGUNDOS se lanzó el PC de IBM BÚSQUEDAS EN GOOGLE fue ayer

4 El 90% de los datos del mundo actual se generó en los últimos 2 años! Cada vez tenemos más datos. Cuando se hizo más barato guardarlos que destruirlos, nació el Big Data. llegó la hora de sacarle partido!

5 Es la oportunidad de encontrar ideas en los tipos de datos y contenidos para tomar acción y que los negocios sean más ágiles

6 Cuál es nuestra frontera?

7 La BASE del Big Data VOLUMEN de información Las 3 Vs VARIEDAD de dicha información VELOCIDAD de tratamiento de la información y VERACIDAD?

9 El 80% del esfuerzo se produce en la integración de datos

10 ya que la explotación de Big Data está bajo la superficie

11 BIG DATA es la frontera de una compañía para almacenar, procesar y acceder a todos los datos que necesita para operar eficazmente, tomar decisiones, reducir riesgos, servir a los clientes y cumplir objetivos de negocio.

necesita para operar eficazmente, tomar decisiones,

12 Tipos de datos en Big Data SMART DATA COMBINAR ACCIONAR (múltiples fuentes de datos off/online) IDENTITY DATA (identidad física + identidad online + gustos) OPEN DATA (recopilación externa a la organización)

IDENTITY DATA (identidad física + identidad online

13 SMART DATA IDENTITY DATA OPEN DATA

14 Paso 1: Aplicacion es

15 Utilización del BIG DATA Generar Ideas Mejorar los procesos Modificar cadenas de valor tradicionales Conducir nuevos negocios de datos

16 Procesamiento de datos Real Time analytics Aprendizaje adaptativo

20 Combinar datos para promover acciones

21 Combinar datos para prevenir situaciones

22 Visualización de diferentes clusters de datos

23 Diversas fuentes para formar el puzzle completo y accionar

24 Identificar clusters de datos: Según los datos que tenemos, podemos sacar conclusiones diversas sobre nuestro negocio. Seleccionar los datos cuidadosamente para disponer de todas las posibilidades.

26 Datos a incluir en Open Data

27 El Big Data es Revolución Gestión de salud Administración Pública Telecomunicaciones Predicciones Climáticas Negocios Tiempo Real datos demográficos, datos de transacción, datos de comportamiento, datos médicos

28 Objetivo: trazabilidad del cliente Ver al cliente como un TODO Canales utilizados Uso de cada canal Perfil del cliente Productos/Servicios que interesan Perfil social media del cliente Ciclo de vida del cliente

29 Objetivo: optimización de la estrategia Impacto real de nuestras acciones en el NEGOCIO Multicanalidad Relación entre dichos canales Mejor comprensión del consumidor Búsqueda de oportunidades Marketing de precisión

30 Paso 2: Metodolog

31 Marco de Trabajo Big Data

32 Paso 1 Estrategia del Cliente Cómo es nuestra segmentación del cliente? Hay que ir más allá? Puedo realizar la trazabilidad del cliente? Por qué nos abandonan los clientes?

33 Paso 2 Experiencia Qué insights puedo ir aprovechando? Qué uso podemos hacer del realtime? Qué ha funcionado anteriormente? Qué no? Cuál es el mejor canal para comunicarnos con los clientes? Recopilaremos todo lo necesario para el estudio de los canales y media

34 Paso 3 Gestión Financiera Somos capaces de gestionar bien la atribución de conversión? Cómo debemos distribuir nuestro presupuesto? Puedo personalizar el impacto de publicidad en el cliente? Cuál es el valor de un RT o un Me Gusta?

35 Paso 4 Infraestructura Qué herramienta es la mejor para obtener los datos? Qué sistema de almacenamiento necesitamos? Tienen consistencia los datos? Estamos seguros de la calidad de los datos? Asegurar la normalización de datos

36 Paso 5 Organización Dónde encaja el Big Data en la organización? Debe estar centralizado en un servicio transversal? O en cada una de las líneas de negocio?

37 Beneficio Evaluación Esfuerzo vs. Beneficio Integración Directa de datos Integración Selectiva de datos Datos ya existentes Quizás no vale la pena Esfuerzo

38 Mejores Prácticas Partir siempre de preguntas e hipótesis Pensar en indicadores y dimensiones Construir infraestructura flexible y escalable No almacenar por almacenar: análisis continuo

39 DATOS DATOS NEGOCIO NEGOCIO

40 Diferencias entre correlación y causalidad

41 Una masa de kg se aproxima a tu cabeza a 45 m/seg CUIDADO!!!!!! Precisión Significancia Diferencias entre precisión y significancia

42 Diferencias entre precisión y exactitud

43 Negocio Objetivos Estrategia Provee: Conocimiento, Recomendaciones Analítica Información estadística Pensamiento analítico Resolución problemas Síntesis Centro de Competencia s de Análisis BIG DATA Provee: Datos, herramientas Comunica: Requerimientos de negocio y objetivos Tecnología Capacidades tecnológicas Tagging, BI, Arq. de la Información

44 LA CLAVE DEL ÉXITO datos desestructurados conceptualización de los datos selección herramientas análisis establecer objetivos evaluación esfuerzo/bene ficio control de calidad experiencia No se trata de los datos. Se trata del IMPACTO

45 Paso 3: Tecnologías

46 No por tener muchos datos se accede al conocimiento

49 Big Query

50 La potencia sin control, no sirve

51 Tecnología dominante: HADOOP Almacenaje y procesamiento barato y a escala Crece al 60% anual. Constante.

52 Cómo es por dentro Hadoop Hadoop se compone por 4 módulos: Common: Librerías y utilidades principales HDFS: filesystem de alta disponibilidad YARN: Plataforma de gestión de recursos Map-Reduce -> Motor de extracción (y programación)

53 Api Twitter Api Facebook Api GA ID cliente Open Data Potencia del Map (..) Reduce (..)

54 Ejemplo práctico

55 Diferencias métodos de extracción de datos

56 Tecnologías complementarias

57 Bases datos columnares + Analytics in-database Aprovechamiento de procesamiento masivo en paralelo (MPP) Volumen soportado a nivel TBs Almacenamiento memoria RAM Facilidad de administración y lectura Transformación de datos en conocimiento Modelos de predicción (predictive model markup language PMML) Contendientes: Aster Data, Vertica, Netezza, Greenplum (EMC), ParAccel, SAP Sybase

58 Ejemplo de problema

59 Ejemplo de estrategia

60 Ejemplo de Big Data ONLINE

61 Ejemplos inspiradores

generar páginas vistas en GA para la tienda online

63 Offline & Online wifi + moviles + tarjeta de red tiene un número mac (macid)+ se la enchufa a la cookie para generar páginas vistas en GA para la tienda online ggingbox-gauc-2013/

66 Digital Assistants: Aprendizaje adaptativo Búsqueda de datos real time Qué será lo próximo?

su valor según expectativas de negocio y permanencia

67 Objetivo: Reducción 50% portabilidades Sistemas Cobro (propio) Apis de Redes Sociales Splunk Oferta personalizada a cada cliente en función de su valor según expectativas de negocio y permanencia

68 Transmisión del Conocimiento

74 Visualización datos

75 RESUMEN DEL WORKSHOP DE HOY

77 El BIG DATA es solamente el comienzo de la carrera. Es pensar en nuevos modelos de negocio basados en las necesidades del futuro.

78 GRACIAS

Documentos relacionados

CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK. www.formacionhadoop.com

CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK www.formacionhadoop.com Índice 1 Qué es Big Data? 2 Problemas con los sistemas tradicionales 3 Qué es Spark? 3.1 Procesamiento de datos distribuido