Desarrollo de una aplicación para el análisis social en Twitter mediante tecnologías Big Data. Caso de

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Desarrollo de una aplicación para el análisis social en Twitter mediante tecnologías Big Data. Caso de"

Miguel Ángel Soriano Rey
hace 5 años
Vistas:

1 Desarrollo de una aplicación para el análisis social en Twitter mediante tecnologías Big Data. Caso de Autor: Nazareth Guerrero Yébenes Tutor: Felipe Alonso Atienza

2 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

3 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

4 Introducción Twitter Big Data Bases de datos no relacionales Desarrollo de una aplicación Web que realice un análisis sobre cómo se habla de la URJC en Twitter, mostrando estadísticas en una página Web en tiempo real Tratamiento de la información Visualización Web

5 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

de twitter: twttr 2009: Primera versión en español 2013:

6 Twitter Jack Dorsey: mensajes cortos dentro de la compañía Odeo Noah Glass y Evan Williams: Primera versión de twitter: twttr 2009: Primera versión en español 2013: 200 millones de usuarios activos y 400 millones de tweets al día

7 Twitter Mensajes de 140 caracteres llamados tweets Amigos y seguidores TimeLine Hashtag # Retweet

8 Twitter 18%

9 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

10 Big Data 2001 Doug Laney Modelo de las 3 Vs 2012 Gartner Big Data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization

11 Big Data

12 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

13 Desarrollo de la aplicación Recolección de datos Twitter - API - JSON Almacenamiento Python - MongoDB Procesamiento MapReduce Visualización Django - HTML5

14 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

15 Autenticación oauth

16 REST API

17 Streaming API

18 JSON

19 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

Almacenamiento Modelo relacional Estructura de tablas fijas Único nodo Pérdida de información total ante un error Modelo no relacional Estructura

20 Almacenamiento Modelo relacional Estructura de tablas fijas Único nodo Pérdida de información total ante un error Modelo no relacional Estructura flexible Arquitectura distribuida (escalabilidad horizontal) Fácil recuperación frente a errores Modelo no relacional Basado en documentos JSON PyMongo

21 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

22 Procesamiento - mapreduce Algoritmo para Big Data Computación paralela Reducción de tiempo de computación Métodos incorporados en PyMongo

23 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

24 Django Python Numerosas librerías Gestión de URLs Sistema de plantillas HTML5 Bootstrap

25 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

26 Resultados

27 Resultados

28 Resultados

29 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

30 Conclusiones Proyecto muy completo Big Data: Tecnología en desarrollo, interesante forma de tratar los datos. Tecnologías más complejas al tener mayor conjunto de entradas Falta de documentación Redes sociales: Permiten multitud de estudios sociológicos

31 Índice Introducción Twitter Big Data Desarrollo de la aplicación Recolección de datos Almacenamiento Procesamiento Visualización Resultados Conclusiones Líneas futuras

32 Líneas futuras Ampliar las estadísticas - Más campos del JSON - Estadísticas cualitativas

33 Gracias

Documentos relacionados

BIG DATA: Una mirada tecnológica

BIG DATA: Una mirada tecnológica Dr. Rubén Casado ruben.casado@treelogic.com @ruben_casado AGENDA 1. Qué y cómo es Big Data? 2. Batch processing 3. Real-time processing 4. Hybrid computation model 5. Casos