Big Data para analizar Social Media

Transcripción

1 Big Data para analizar Social Media Abril de 2013 Francesc Arroyo Asesor de Innovación 04 de Enero de 2012

2 2

3 Índice Presentación Sociedad aumentada Explosión del Big Data Medir el Social Media Preguntas Fórum de debate 3

4 Social Media - Contexto Realidad Actual: Las Redes Sociales adoptadas plenamente en el día a día de las personas. Entretenimiento y vida Social Relaciones profesionales Información y Comunicación Social Media is Real Life 4

5 Social Media - Contexto Cómo hemos llegado? Aceptación de la tecnología Utilidad Facilidad de uso Fuente: Fuente: Adaptación al cambio No sobrevive el mas fuerte sino el que mejor se adapta al cambio Charles Darwin 5

6 Social Media - Mapa Fuente: 6

7 Social Media - Datos Que hacemos con todos estos datos? Tenemos más información que nunca sobre clientes, mercado, gustos, ideas, etc. Obtener información útil!! Datos Información Decisiones Personalizar ofertas, optimizar campañas, nuevos productos, mejorar atención Información Pasado Presente Futuro Qué ha pasado? (Informes) BUSINESS INTELLIGENCE Qué está pasando? (Indicadores, Alertas) Qué va a pasar? (Predicción) Comprensión Cómo y porqué ha pasado? (Modelado) BUSINESS ANALYTICS Cuál es la siguiente acción a tomar? (Recomendación) Qué es lo mejor y peor que puede pasar? (Optimización y simulación) 7

8 Social Media Valor y propiedades de los Datos Cómo gestionamos los datos? Las empresas cada vez se preocupan más de la obtención y recolección de datos. ANTES Problema de Almacenamiento AHORA Detección de nuevas oportu- nidades y en si un activo o valor Propiedades de los datos Volumen: Se ha incrementado el volumen de datos que se recogen. Variedad: Se ha incrementado su diversidad en forma y origen. Velocidad: Se ha incrementado la necesidad del real-time. Conseguiremos esta gestión de los datos gracias a los sistemas: BigData 8

9 Every Minute Of the Day 9

10 Social Media Big Data El resumen de las reflexiones anteriores: Social Media: Adopción de Social Media por los usuarios nos lleva a Adaptarnos a este nuevo entorno socio económico. Valor Datos: Los datos que se generan en Social Media nos lleva a Conseguir valor de los mismos y con los mismos. Big Data: El volumen, variedad y velocidad de los datos en Social Media nos lleva a Implantar sistemas de BigData para explotarlos y conseguir valor. Conclusión: Big Data es necesario para tener obtener valor de Social Media 10

11 Índice Presentación Sociedad aumentada Explosión del Big Data Medir el Social Media Preguntas Fórum de debate 11

12 Big Data La creciente generación de datos nos genera la necesidad de tener sistemas que: Capturen, Almacenen, Busquen, Compartan, Analicen, Visualicen grandes conjuntos de datos. Serán los sistemas que entendemos como: BIG DATA Con el fin de: Procesar todos los datos disponibles Sacar información de los datos Tomar decisiones con la información DATOS es INFORMACIÓN INFORMACIÓN es PODER 12

13 Análisis Big Data Deberemos definir nuestro sistema Big Data según las siguientes variables: Variedad de los datos de origen Volumen de los datos generados en un periodo Velocidad de proceso de los datos para conseguir de ellos información útil para negocio. How big is BIG? Data Variety Mobile CMS Data Velocity API Real-Time Web Periodic Es importante analizar bien nuestras Social BDD Batch Report necesidades actuales y futuras para definir Marketing GB nuestro Sistema Big Data. Data Volume TB PB No debemos solucionar un problema que no tenemos. 13

14 Cómo aplico Big Data a mis datos de Social Media? You have to separate the signal from the noise 1. Definir claramente que vamos a solucionar usando Big Data Definir la mejora que queremos obtener y como utilizar la información. 2. Conocer que conoces y que no conoces Conoces tus clientes, conoces tu competencia Pero no conoces que realmente piensan tus clientes 3. Escoger la herramienta adecuada Saber que quieres analizar, te ayudará a escoger la herramienta. 4. Testea tus hipótesis Una vez tengamos datos, analizar desde diferentes perspectivas. 5. Crea las ideas y acciónalas De los datos recibidos, las hipótesis testeadas, deben salir nuevas percepciones que nos lleven a realizar acciones para conseguir solucionar nuestras necesidades iniciales. 14

15 Arquitectura Sistema Big Data Arquitectura a alto nivel de un Sistema Big Data para Social Media. Social Media Captación Almacenado Análisis Visualización TIPOLOGIA HERRAMIENTAS ETL BBDD Business Analytics BI, Reporting, Geo HERRAMIENTAS ESPECÍFICAS Kettle Informatica Talend Flume Infobright Hadoop Cassandra Google Cloud Knime SAS Mahout RapidMiner DKS EAP QlikView Tableau JasperSoft HERRAMIENTA SOCIAL MEDIA DKS SocialSmart 15

16 Arquitectura Sistema Big Data Captación Orígenes de Datos Los orígenes de datos pueden ser cualquier fuente Social Media (o no): Redes Sociales, foros, blogs, analytics, mailings, ventas Captación Cada origen de datos puede requerir una manera de captación de datos: Twitter: API pública, GNIP, DataSift Facebook: GraphAPI Blogs: Herramientas de Scraping como 80legs, rss Captación Características a tener en cuenta Volumen: Cantidad de mensajes que podemos recoger Velocidad: Tiempo de recolección de los mismos Antigüedad: Acceso a datos pasados Privacidad: Acceso a datos privados Precio: Que nos cuesta cada mensaje Fiabilidad: Que cantidad de mensajes recogemos respecto al total 16

17 Arquitectura Sistema Big Data Almacenado Debido a la incapacidad de las BDD Tradicionales de dar solución a los retos de los grandes volúmenes de datos, aparecen diferentes tipologías de BDD para dar solución a sistemas Big Data. Hay una tipología de BDD idónea para cada tipo de negocio: Algunas Tipologías de BDD Big Data BDD Analíticas: Implantación real: BBDD idóneas para optimizar el tiempo de Consulta SQL. Yahoo la utiliza para calcular el precio de sus anuncios. (Hadoop) BDD Documentales: BBDD idóneas para la gestión de documentos. Implantación real: Foursquare utiliza para check-in y información geo (MongoDB) Almacenado Infobright Vertica Hadoop MongoDB Apache CouchDB SimpleDB BDD en Grafo: Implantación real: BDD Clave/Valor: Implantación real: BBDD idóneas para datos con relaciones indeterminadas. Google la utiliza para relacionar páginas web. (Plegel) BBDD idóneas para aplicaciones on-line. Twitter la utiliza para su aplicación web. (Cassandra) Neo4j Plegel FlockDB Amazon DynamoDB Apache Cassandra 17

18 Mapa de las Bases de Datos Big Data Non-Relational Relational Operational Document Lotus Notes Analytic Teradata Infobright Greenplum Hadoop HP Vertica Netezza InfinyDB Cloudera PostgreSQL SQL Server SAP Hana NoSQL Key Value Voldemort BerkeleyDB CouchDB MongoDB Big Tables HBASE Cassandra Data as a Service SimpleDB Graph DEX FlockDB NewSQL Amazon RDS Database.com New Databases VoltDB MemSQL Storage Engines Tokutek Clustering ScaleDB 18

19 BDD Analíticas - Infobright Infobright es una Base de Datos Analítica de alto rendimiento, diseñada para el análisis de grandes volúmenes de datos. Qué ofrece Infobright? A IT: A Usuarios: Alto rendimiento, administración mínima, bajo coste Acceso inmediato a los datos, rápido análisis ad hoc Consultas más rápidas sin trabajo añadido Rápida carga / alta compresión Bajo coste Rápido tiempo de puesta en marcha Sin índices Sin proyecciones ni cubos Sin partición de datos Rápidos análisis adhoc Velocidad de carga de hasta 1 TB por hora con carga distribuida por procesadores Compresión de 10:1 a 40:1+ Menos almacenamiento y servidores Subscripciones de bajo coste Un 90% menos de Administración Descargar en cuestión de minutos Configuración mínima Implementación en días 19

20 Arquitectura Sistema Big Data Análisis Qué es Text Analytics? Proceso que permite un análisis automático y unificado de textos provenientes de diferentes fuentes de datos como plataformas de redes sociales, blogs o páginas de noticias. Análisis Variedad: Volumen: Velocidad: Idiomas, dialectos, jergas, plataformas Tweets, Post, blogs, foros, webs Real-time, 1 hora, 1 día, 1 mes? 20

21 Arquitectura Sistema Big Data Análisis cómo funciona? Limpia el texto de: enlaces, jerga, textese Corrige ortográfica mente las palabras Asigna categorías gramatical es Reconoce personas, lugares, organizaciones Relaciona Identifica dependencias qué hace? Detección del idioma Sentiment mining Identificación de cadenas léxicas Categorización de textos en diferentes temas. Descubrimiento de trending topics. Aplicaciones Producto: Cliente: SEO: Empresa: Conocer la valoración de un producto y su competencia. Conocer los temas que están captando la atención del cliente. Gestión crisis de reputación, optimización Ad-words. Detectar la valoración de la empresa en diferentes categorías. 21

22 Arquitectura Sistema Big Data Visualización Visualización La información correcta debe llegar a la persona correcta, en el momento correcto, en el formato correcto, en el dispositivo correcto, con el detalle correcto, etc. Hablaríamos de distribución y presentación de la información. Visualización cómo representar? Hay muchas maneras de representar la información: Cuadros de Mando: QlikView, Tableau Informes: JasperReports, CristalReports Gráficos tradicionales: Any Charts, Google Charts Mapas: DKS GeoSmart, ESRI Gráficos a medida: Flash Infografías El exceso de información conlleva una pérdida de interés en las audiencias que se traduce, en muchos casos, en una falta de comprensión de la información expuesta. David McCandless 22

23 Qué gráfico elegir? 23

24 Índice Presentación Sociedad aumentada Explosión del Big Data Medir el Social Media Preguntas Fórum de debate 24

25 Herramientas Social Media Herramientas de medición de Social Media Hasta ahora hemos visto que para cada funcionalidad específica de la arquitectura a alto nivel de un sistema de análisis existen varias herramientas y cada una con unos puntos fuertes frente a las otras. Herramienta específica La herramienta me soluciona la captación, el almacenamiento, el análisis o la visualización. Herramienta completa La herramienta realiza el trabajo tecnológico por nosotros y solo configuro el Social Media a medir. Qué valorar en estas herramientas? Indicadores de negocio Tiene toda la información que necesito? Detalle de la información Puedo llegar a comprender por que ocurre? Usabilidad Es fácil de utilizar la herramienta y comprender la misma? Integración Se puede integrar con otras herramientas o orígenes de datos? Escalabilidad Va a crecer conmigo la herramienta? Acceso y Seguridad Accesible desde diferentes entornos de manera segura? Rapidez Responde con la frecuencia esperada? Configuración Puedo configurarla según nuestras necesidades? 25

26 Herramientas Social Media - DKSSocialSmart 26

27 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 27

28 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 28

29 CONCEPTOS GENERALES USUARIOS Según su afiliación o actividad tenemos los siguientes ROLES: USUARIOS Cualquier CUENTA de una PLATAFORMA de Social Media. SEGUIDORES USUARIOS que siguen un determinado PERFIL. Especificación: FOLLOWER AUTORES USUARIO que publica un MENSAJE. Especificación: Autor del TWEET AMIGO Autor del POST 29

30 CONCEPTOS GENERALES USUARIOS USUARIO AUTOR TWEET SEGUIDOR 30

31 CONCEPTOS GENERALES USUARIOS AUTOR USUARIO AMIGOS POST 31

32 CONCEPTOS GENERALES USUARIOS Según el alcance y tono de su actividad tenemos los siguientes ROLES: INFLUENCIADOR AUTOR que menciona una PALABRA CLAVE o menciona un PERFIL. Deben tener un gran número de SEGUIDORES para considerarse INFLUENCIADORES EMBAJADORES INFLUENCIADOR donde la mayoría de sus MENCIONES son en TONO POSITIVO TROLLS INFLUENCIADOR donde la mayoría de sus MENCIONES son en TONO NEGATIVO 32

33 CONCEPTOS GENERALES USUARIOS INFLUENCIADOR SEGUIDORES EMBAJADOR TONO POSITIVO MENCIÓN DIRECTA MENCIÓN INDIRECTA 33

34 CONCEPTOS GENERALES USUARIOS EMBAJADOR TONO NEUTRO SEGUIDORES INFLUENCIADOR MENCIÓN DIRECTA MENCIÓN INDIRECTA 34

35 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 35

36 CONCEPTOS GENERALES CONCEPTOS DE NEGOCIO PLATAFORMA Definición: Aplicación de Social Media. Facebook, Twitter, etc. COMPETIDOR Definición: Agrupación lógica de PERFILES, normalmente empresas, que usa PLATAFORMAS para su estrategia Social Media. PERFIL Definición: Canal creado dentro de una PLATAFORMA para ejecutar una parte de la estrategia Social Media. Diagrama Selectores 36

37 CONCEPTOS GENERALES CONCEPTOS DE NEGOCIO PLATAFORMA PERFIL MENCIÓN DIRECTA MENCIÓN INDIRECTA MENSAJE PALABRA CLAVE 37

38 CONCEPTOS GENERALES CONCEPTOS DE NEGOCIO PLATAFORMA PERFIL MENCIÓN DIRECTA MENSAJE PALABRA CLAVE MENCIÓN INDIRECTA 38

39 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 39

40 BRAND PERFORMANCE Definición: Comparativa de la repercusión de la producción de los PERFILES de cada COMPETIDOR. ALCANCE Definición: Especificación: ACTIVIDAD Definición: Especificación: Número de SEGUIDORES de un PERFIL. Cuando un PERFIL publica un MENSAJE este llegará como mínimo a tantos SEGUIDORES tiene ese PERFIL. Ese será el ALCANCE del MENSAJE. FOLLOWERS AMIGOS Número de MENSAJES publicados por cada PERFIL. TWEET POST Tu eres la herramienta para el Social Media. Twitter es solo una aplicacion para que tu crezcas e influencies a tu sociedad. Razan Khatib 40

41 BRAND PERFORMANCE REPRESENTACIÓN Comparativa Competidores Comparativa Perfiles Mensajes 41

42 BRAND PERFORMANCE REPRESENTACIÓN Comparativa Competidores Comparativa Perfiles Mensajes 42

43 BRAND PERFORMANCE AMPLIFICACIÓN Definición: Especificación: Número de veces que un MENSAJE de un PERFIL es difundido por los USUARIOS. RETWEET SHARES ADHESIÓN Definición: Especificación: Número de veces que un MENSAJE gusta a cualquier USUARIO. FAVORITO LIKES CONVERSACIÓN Definición: Especificación: Número de RESPUESTAS en los MENSAJES publicados por un PERFIL. RESPUESTA COMENTARIO 43

44 BRAND PERFORMANCE - DIAGRAMA Diagrama 44

45 BRAND PERFORMANCE EJEMPLO TWITTER RESPUESTA CONVERSACIÓN MENSAJE ACTIVIDAD RETWEET AMPLIFICACIÓN FAVORITO ADHESIÓN FOLLOWERS ALCANCE 45

46 BRAND PERFORMANCE EJEMPLO FACEBOOK AMIGOS ALCANCE MENSAJE ACTIVIDAD SHARES AMPLIFICACIÓN LIKE ADHESIÓN RESPUESTA CONVERSACIÓN 46

47 INDICADORES ENGAGEMENT Definición: Interactuación directa de la comunidad con nuestra estrategia. Que porcentaje de usuarios realmente interactúan: ADHESIÓN + CONVERSACIÓN + COMENTARIO x 100 ALCANCE ROI Definición: Retorno de la inversión en Social Media. Relación de los INDICADORES de Social Media con el MARKETING más tradicional. Leads = ALCANCE Impresiones = ALCANCE x ACTIVIDAD Interacción = AMPLIFICACIÓN, ADHESIÓN, CONVERSACIÓN Patrocinio = MENCIONES de terceros Leads: CPL (Coste por Lead): coste de adquirir un contacto. Impresiones: CPM (Coste por mil): coste de producir mil impactos en el público objetivo. Interacción: CPI (Coste de Interacción) Valor de las interacciones con los consumidores. Patrocinio. El coste es variable en función de la relevancia de la institución o de la persona. 47

48 INDICADORES - ROI 48

49 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 49

50 BRAND ASSET VALUATION BRAND ASSET VALUATION Definición: Análisis que mide el valor de cada COMPETIDOR respecto a los demás. VALOR DE LA MARCA ACTIVO DE LA MARCA Valor Actual FUERZA DE LA MARCA CONOCIMIENTO ESTIMACIÓN RELEVANCIA Reputación marca Experiencia usuarios Estima o seguimiento de la marca Como de apropiada es la marca a los consumidores (penetración) Potencial DIFERENCIACIÓN Puntos diferenciales Branding no tiene que ver con el slogan o logotipo, tiene que ver con tu personalidad con quien eres tu Mirna Bard 50

51 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 51

52 CONSUMER REACTIONS CONSUMER REACTIONS Definición: Análisis de la actividad y MENCIONES realizadas por los USUARIOS. Ámbito: Analiza los mensajes realizados por USUARIOS donde se comenta: DIRECTAMENTE un PERFIL INDIRECTAMENTE una PALABRA CLAVE MENCIÓN Definición: Una MENCIÓN es un MENSAJE donde su AUTOR es cualquier USUARIO de la PLATAFORMA, y en el MENSAJE se menciona o cita directamente un PERFIL del COMPETIDOR o una PALABRA CLAVE del COMPETIDOR. Especificación: Las empresas que entienden el Social Media son las que dicen con su mensaje: te veo, te escucho y me importas Trey Pennington INDIRECTA TWEET (con mención a PERFIL o PALABRA CLAVE). Puede ser DIRECTA o POST (con POST en el muro o mención a PALABRA CLAVE). Puede ser DIRECTA o INDIRECTA 52

53 CONSUMER REACTIONS - MENCIÓN MENCIÓN DIRECTA Definición: MENCIÓN donde se cita explícitamente el PERFIL o se escribe en su muro para dejar claro que se quiere referirse a el PERFIL y que este reciba el MENSAJE. DIRECTA: Cuando mencionan un PERFIL (@PERFIL) DIRECTA: Cuando escriben en el muro del PERFIL MENCIÓN INDIRECTA Definición: MENCIÓN donde se cita explícitamente una PALABRA CLAVE que es seguida por un COMPETIDOR. El AUTOR del MENSAJE no busca referirse directamente al PERFIL y que este reciba el MENSAJE. INDIRECTA: Cuando cualquier usuario menciona una PALABRA CLAVE en su TWEET INDIRECTA: Cuando cualquier usuario menciona una PALABRA CLAVE en su POST 53

54 CONSUMER REACTIONS - SENTIMIENTO SENTIMIENTO Definición: En función del contenido del MENSAJE, una MENCIÓN tiene un SENTIMIENTO que puede ser POSITIVO, NEUTRO o NEGATIVO Categorías: POSITIVO: Cuando la MENCIÓN habla positivamente del PERFIL que menciona. NEUTRO: Cuando la MENCIÓN simplemente comenta sin querer influenciar de manera positiva o negativa sobre el PERFIL que menciona. NEGATIVO: Cuando la MENCIÓN habla negativamente del PERFIL que menciona. 54

55 CONSUMER REACTIONS - SENTIMIENTO 55

56 CONSUMER REACTIONS - DETALLE DETALLE DE LOS MENSAJES Siempre se debe llegar al detalle de los mensajes para comprender mejor y actuar. 56

57 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 57

58 BRAND AUDIENCE BRAND AUDIENCE Definición: Análisis de los SEGUIDORES de los PERFILES de un COMPETIDOR Ámbito: Se centra en analizar diferentes aspectos de los SEGUIDORES de los PERFILES de un COMPETIDOR: PERFIL DE LOS SEGUIDORES DE UN COMPETIDOR COMPARATIVA DE SEGUIDORES ENTRE COMPETIDORES MENSAJES DE LOS SEGUIDORES SEGUIDORES UNICOS Definición: De todos los SEGUIDORES de los PERFILES de un COMPETIDOR se cuentan sin repetidos. ESPECIFIDAD DEL PERFIL Definición: Número de SEGUIDORES que solo siguen el PERFIL de un COMPETIDOR. 58

59 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 59

60 INFLUENCERS INFLUENCERS Definición: Análisis de los AUTORES que realizan MENCIONES DIRECTAS o INDIRECTAS de un COMPETIDOR. Ámbito: Se centra en analizar diferentes aspectos de los AUTORES que realizan MENCIONES de un COMPETIDOR. INFLUENCIADORES POR ALCANCE O ACTIVIDAD ANALISIS DE RELEVANCIA ANALISIS DE SENTIMIENTO INDICE KLOUT EMBAJADORES, TROLLS 60

61 INFLUENCERS - DETALLE DETALLE DE LOS MENSAJES Siempre se debe llegar al detalle de los mensajes para comprender mejor y actuar. 61

62 TEMARIO - FUNCIONALIDADES DKS SOCIALSMART 62

63 CONTENIDOS CONTENIDOS Definición: Ámbito: Análisis de todo el CONTENIDO de los MENSAJES que tienen MENCIONES INDIRECTAS (que se ha hecho referencia a una PALABRA CLAVE de un COMPETIDOR en el MENSAJE). Se centra en analizar los CONTENIDOS de los MENSAJES con MENCIONES INDIRECTAS para detectar las palabras que se utilizan en ellos, a lo que llamaremos TOPICS. TOPIC Definición: Palabras simples o compuestas que aparecen en el CONTENIDO de los MENSAJES que tienen MENCIONES INDIRECTAS de PALABRAS CLAVE que siguen los COMPETIDORES. TRENDING TOPIC Definición: TOPIC más repetido según temporalidad y localización. CATEGORÍAS Definición: Las CATEGORÍAS sirven para agrupar TOPICS. 63

64 CONTENIDOS ANALISIS POR CATEGORÍAS ANALISIS VISUAL (GRAFO) CATEGORÍAS ANALISIS POR TOPICS TRENDING TOPICS TOPIC LIST 64

65 CONTENIDOS - DETALLE DETALLE DE LOS MENSAJES Siempre se debe llegar al detalle de los mensajes para comprender mejor y actuar. 65

66 LOCALIZACIÓN LOCALIZACIÓN Definición: Análisis de la ubicación de los MENSAJES LOCALIZADOS. Ámbito: Solo se analizan la PLATAFORMA TWITTER. Se centra en realizar un análisis geoespacial en un MAPA de los MENSAJES de TWITTER que tienen su posición de envío informada. MENSAJE LOCALIZADO Definición: PAIS Definición: POBLACIÓN Definición: IDIOMA Definición: MENSAJE que ha compartido su ubicación en el momento de la publicación. PAIS desde donde se publica un MENSAJE. POBLACIÓN desde donde se publica un MENSAJE. IDIOMA en que está escrito un MENSAJE. 66

67 LOCALIZACIÓN MAPA La visualización cartográfica nos puede ayudar con el análisis geoespacial con datos socio económicos. 67

68 CONCLUSIONES Estamos de lleno en una sociedad aumentada (Social Media) Big Data nos ayuda a procesador gran volumen y variedad de datos a gran velocidad. Datos es información, información es poder de decisión. Saber que queremos mejorar, nos ayuda a plantear nuestra solución. Cada herramienta soluciona más o menos algunas necesidades que nos puede plantear el Social Media. Siempre hay una más adecuada para cada caso. En el Social Media hay indicadores clave como ROI, engagement, brand value, reputación, influenciadores, etc. Que nos ayudan a evaluar y mejorar nuestras estrategias. Todo para estar más cerca de la gente, que es de lo que se trata el Social Media. 68

69 GRACIAS POR VUESTRA ATENCIÓN Francesc 69

70 Índice Presentación Sociedad aumentada Explosión del Big Data Medir el Social Media Preguntas Fórum de debate 70

71 Índice Presentación Sociedad aumentada Explosión del Big Data Medir el Social Media Preguntas Fórum de debate 71

72 Gracias! Estamos a su disposición info@datknosys.com