Software Design Document. SENTINEL: Analítica sobre percepción de corrupción en Facebook. Trabajo de grado Ingeniería de Sistemas

Transcripción

1 Software Design Document SENTINEL: Analítica sobre percepción de corrupción en Facebook Trabajo de grado Ingeniería de Sistemas Pontificia Universidad Javeriana Manuela Forero Pedreros Jeffrey Torres Arango Sebastián Gracia Valderrama Alexandra Pomares Quimbaya Ph.D. 1

2 Historial de Cambios Responsable Descripción Fecha Versión Manuela Forero, Jeffrey Torres, Sebastián Gracia Secciones 5, /10/ Manuela Forero, Jeffrey Torres, Sebastián Gracia Corrección revisiones 24/10/

3 1. Tabla de Contenidos Contenido 1. Historial de Cambios Tabla de Contenidos Tabla de Ilustraciones Introducción Arquitectura Vista Lógica del Sistema Vista Física del Sistema Diseño Detallado Estructura del Sistema Comportamiento del Sistema Persistencia Interfaz de Usuario Referencias

4 2. Tabla de Ilustraciones Ilustración 1 Vista lógica del sistema... 8 Ilustración 2 Vista física del sistema Ilustración 3 Modelo de analítica Ilustración 4 Modulo de análisis de sentimientos con requerimientos Ilustración 5 Modulo de agregadas con requerimientos Ilustración 6 Modulo de sesgo con requerimientos Ilustración 7 Modulo de correlaciones con requerimientos Ilustración 8 Diagrama de secuencia de análisis de sentimientos Ilustración 9 Diagrama de secuencia de agregadas Ilustración 10 Diagrama de secuencia de correlaciones Ilustración 11 Diagrama de secuencia de sesgo Ilustración 12 Modelo de datos Ilustración 13 Proceso de guardado y carga Ilustración 14 Visualización del prototipo - descubre (Asociación de palabras) Ilustración 15 Visualización del prototipo líder 1 estadísticas de Facebook Ilustración 16 Visualización del prototipo líderes de opinión acciones Ilustración 17 Visualización del prototipo líderes de opinión - nube de palabras de publicaciones realizadas por el líder Ilustración 18 Visualización del prototipo líderes de opinión tendencias de los comentarios 22 Ilustración 19 Visualización del prototipo líderes de opinión - Reacciones en noticias sobre líder de opinión Ilustración 20 Visualización del prototipo líderes de opinión - Comentarios populares sobre el líder en el mes Ilustración 21 Visualización del prototipo Medios - casos de corrupción Ilustración 22 Visualización del prototipo Medios - Cantidad de publicaciones sobre líderes de opinión vs cantidad de publicaciones de corrupción que mencionan a líderes de opinión Ilustración 23 Visualización del prototipo Medios - Cantidad de publicaciones sobre partido político vs cantidad de publicaciones de corrupción que mencionan a partido político Ilustración 24 Visualización del prototipo Medios - Cantidad de publicaciones sobre la institución vs cantidad de publicaciones de corrupción que mencionan a la institución Ilustración 25 Visualización del prototipo Medios medios que publican más sobre la institución vs medios que publican menos sobre la institución Ilustración 26 Visualización del prototipo Medios cantidad de publicaciones hecha por un medio de comunicación vs otro medio de comunicación

5 Ilustración 27 Visualización del prototipo Medios cantidad de publicaciones sobre un caso de corrupción hecho por dos medios Ilustración 28 Visualización del prototipo Medios cantidad de publicaciones sobre un líder de opinión hecho por dos medios Ilustración 29 Visualización del prototipo Medios cantidad de publicaciones sobre un partido político hecho por dos medios Ilustración 30 Visualización del prototipo Medios cantidad de publicaciones sobre una institución hecho por dos medios Ilustración 31 Visualización del prototipo Medios - Publicaciones sobre corrupción por cada medio Ilustración 32 Visualización del prototipo partidos políticos - Sentimientos expresados en los comentarios Ilustración 33 Visualización del prototipo partidos políticos actividad Ilustración 34 Visualización del prototipo partidos políticos - reacciones en noticias sobre este partido político Ilustración 35 Visualización del prototipo casos de corrupción cantidad de publicaciones sobre el caso vs cantidad de comentarios sobre el caso Ilustración 36 Visualización del prototipo casos de corrupción reacciones en noticias sobre este carro de corrupción

6 3. Índice de tablas Tabla 1 Algoritmo nucleo

7 4. Introducción Este documento conocido como SDD (por sus siglas en inglés Software Design Document), contiene la descripción detallada del diseño del SENTINEL. Este proyecto es realizado como trabajo de grado de la carrera de ingeniería de sistemas de la Pontificia Universidad Javeriana. Este documento permite identificar los principales componentes que construyen al sistema, su relación y principal medio de comunicación. 7

8 5. Arquitectura 5.1. Vista Lógica del Sistema A continuación, en la ilustración 1 se presenta el diagrama de arquitectura de componentes; identificando capas, controladores e interfaces propuestas y requeridas [1][2]. Ilustración 1 Vista lógica del sistema A continuación, se detallan las capas y sus componentes: 1. Fuente de datos Facebook a. Datos: Representa la fuente principal de datos a extraer: el origen y forma inicial provendrá de la red social Facebook, el sistema accede constantemente a los datos abiertos de Facebook y por medio de HTTPS/REST se extraen los datos al sistema. 2. RART 2.0 a. Extracción de datos: Es el componente encargado de extraer datos de Facebook, es un código desarrollado e implementado en Python que permite por medio de métodos POST y GET extraer los datos de Facebook y los deja a disposición del sistema de manera local. 3. Base de datos no relacional: Debido a la forma y estructura de los datos, junto con la naturaleza del proyecto, los datos extraídos no cumplen con una forma estándar para almacenarlos en una base de datos relacional, por el contrario, los datos deben ser tratados y almacenados en base de datos no relacionales, una de las razones principales es que el formato de intercambio de datos está en formato JSON. 4. Componente de analítica Todos los módulos del componente de analítica fueron desarrollados e implementados en Python 3.5+ y R

9 a. Módulo de análisis de sentimientos i. Algoritmos de sentimientos: es una colección de algoritmos enfocados a realizar análisis de sentimientos sobre los datos extraídos. b. Módulo de sesgos i. Algoritmos de sesgos: es una colección de algoritmos enfocados y desarrollados a realizar sesgos de los datos extraídos. Bajo este contexto, el sesgo se mide por medio del rango intercuartil, en donde los valores atípicos son aquellos medios que publican menos sobre un caso de corrupción. c. Módulo de agregadas i. Algoritmos de agregadas: es una colección de algoritmos enfocados y desarrollados a realizar funciones básicas de agregados, tales como suma, restar, contar, entre otros. d. Módulo de correlaciones i. Algoritmos de correlaciones: es una colección de algoritmos enfocados a realizar correlaciones sobre los datos extraídos. 5. Componente de visualización El componente de visualización está definido bajo una arquitectura Cliente-Servidor, donde el servidor está implementado en Node.js y el cliente con las tecnologías HTML5, CSS3 y JavaScript. El servidor se encarga de buscar los resultados del proceso de analítica y enviarlos al cliente para su posterior visualización. Para la visualización se utilizaron una serie de librerías web que proveen herramientas gráficas para poder visualizar los resultados obtenidos del componente de visualización. A continuación, se listan las librerías utilizadas: 1. Vis.js: Librería dinámica de visualización web ( 2. Chartist.js: Librería desarrollada en JavaScript que permite graficar datos en diferentes tipos de graficas en cavas HTML5 ( 3. Chart.js: Librería desarrollada en JavaScript que permite graficar datos en diferentes tipos de graficas en canvas HTML5 ( 4. Word_cloud: Generador de nube de palabras desarrollado en Python. ( 9

10 5.2. Vista Física del Sistema A continuación, en la ilustración 2 se muestra la vista física del sistema en donde se ubican los componentes de software y cómo estos se despliegan en diferentes unidades de hardware, mostrando sus protocolos de comunicación. Ilustración 2 Vista física del sistema A continuación, se detallan los nodos: 1. Servidor SENTINEL: Este servidor genérico almacena todos los componentes del sistema de información Sentinel. a. Base de datos no relacional. b. Analítica. c. RART 2.0. d. Visualización. 2. Device: representa el dispositivo que podrá visualizar los resultados finales de Sentinel, solo se necesita de un navegador web para desplegar la interfaz, ya sea desde un dispositivo móvil o un computador personal. 3. Facebook: Es la red social de donde se extraerán los datos. Diseño Detallado. 10

11 5.3. Estructura del Sistema Inicialmente el sistema busca ser una herramienta que permita a los interesados tener una perspectiva real de los casos de corrupción más populares en ambientes virtuales sociales como lo es Facebook. Para esto es necesario entender qué es la corrupción y cómo se comporta en ambientes sociales, para esto el grupo de trabajo se asesoró de expertos en el negocio y el tema principal de la corrupción en Colombia. Teniendo en cuenta el orden en que los requerimientos van a ser desarrollados e implementados, por medio de la priorización, se procede a crear un modelo de analítica el cual se muestra en la ilustración 3 en donde se ubican los algoritmos a utilizar, identificando la firma del método a implementar. Ilustración 3 Modelo de analítica. Finalmente, con ánimos de llevar una trazabilidad completa se identifican cuatro módulos generales dentro del componente de analítica del sistema, dentro de cada módulo se identifican los algoritmos mencionados en el modelo de analítica y las preguntas correspondientes a cada módulo. 11

12 1. Módulo de análisis de sentimientos. Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes herramientas y lenguajes de desarrollo: 1. Python R Studio o superior Adicionalmente se cuenta con un trabajo de grado desarrollado por estudiantes de pregrado de la Pontificia Universidad Javeriana y liderado por el Ingeniero Jorge Andrés Alvarado Valencia denominado "Análisis del sentimiento político mediante la aplicación de herramientas de minería de datos a través del uso de redes sociales" para llevar a cabo el análisis de sentimientos sobre las publicaciones que el sistema extrae. A continuación, en la ilustración 4 se presentan los requerimientos correspondientes al módulo de análisis de sentimientos: Ilustración 4 Modulo de análisis de sentimientos con requerimientos. 2. Módulo de agregadas Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes herramientas y lenguajes de desarrollo: 12

13 1. Python R Studio o superior. A continuación, en la ilustración 5 se presentan los requerimientos correspondientes al módulo de agregadas: Ilustración 5 Modulo de agregadas con requerimientos. 3. Módulo de sesgo Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes herramientas y lenguajes de desarrollo: 1. Python R Studio o superior. A continuación, en la ilustración 6 se presentan los requerimientos correspondientes al módulo de agregadas: 13

14 Ilustración 6 Modulo de sesgo con requerimientos. 4. Módulo de correlaciones Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes herramientas y lenguajes de desarrollo: 1. Python R Studio o superior. A continuación, en la ilustración 7 se presentan los requerimientos correspondientes al módulo de agregadas: Ilustración 7 Modulo de correlaciones con requerimientos. 14

15 Ahora, se detallan los algoritmos a implementar por cada categorización de minería de datos en la tabla 1, indicado la técnica, nombre del algoritmo núcleo, entrada y salida. Es necesario mencionar que en este documento solo se detalla la entrada y salida mas no como se utiliza a nivel del sistema. Tarea Técnica Algoritmo núcleo Predictiva Análisis de sentimientos Descriptiva Sesgo Rango Intercuartil Descriptiva Asociación de palabras Matriz de correlación Entrada Cadena de caracteres Lista de cada medio. Una matriz M cuyas filas i representan cada documento (ej: comentario o publicación) y las columnas j son cada palabra que aparece en todo el corpus de documentos. Bag-ofwords El valor de cada celda M[i, j] de la matriz es el peso TF- IDF del término j para el documento i. Salida -1 negativo, 0 neutral, 1 positivo Lista de medios, la cantidad de publicaciones de cada medio y una descripción indicando si es un outlier o no según la cantidad de publicaciones que ha hecho comparado al resto de medios. Una estructura de datos que representa un grafo, con cada nodo representando las palabras y las aristas representan la asociación entre las palabras. El tamaño del nodo indica qué tan fuerte es la asociación entre las palabras. Entre más grande el nodo significa que la asociación para esa palabra es mayor y si el nodo es de menor tamaño indica que la asociación es más pequeña. 15

16 Descriptiva Suma sum Lista de elementos del mismo tipo; enteros, decimales, entre otros. Descriptiva Promedio avg Lista de elementos del mismo tipo; enteros, decimales, entre otros. Descriptiva Frecuencia count Lista de elementos del mismo tipo; cadena de caracteres, enteros, decimales, entre otros. Descriptiva Mínimo min Lista de elementos del mismo tipo; enteros, decimales, entre otros. Descriptiva Máximo max Lista de elementos del mismo tipo; enteros, decimales, entre otros Comportamiento del Sistema Tabla 1 Algoritmo núcleo En esta sección se presentan los diagramas de secuencia, mediante estos diagramas de secuencia se identifica el flujo general del usuario al momento de usar el sistema para consultar y observar resultados, es necesario aclarar que la gran mayoría de componentes identificados en estos diagramas hacen parte de la arquitectura previamente descrita mas no los algoritmos utilizados bajo cada módulo. 16

17 Módulo análisis de sentimientos Ilustración 8 Diagrama de secuencia de análisis de sentimientos Módulo agregadas Ilustración 9 Diagrama de secuencia de agregadas. 17

18 Módulo de correlaciones Ilustración 10 Diagrama de secuencia de correlaciones. Módulo sesgo Ilustración 11 Diagrama de secuencia de sesgo Persistencia El sistema maneja una base de datos no relacional y se presenta a continuación en la ilustración 12 la manera en que se representan los datos y su relación. 18

19 Ilustración 12 Modelo de datos 1. Post a. _id: representa el ID del post. b. created_time: representa la fecha de creación del post. c. message: representa la cadena de caracteres que representa el post. d. name: representa el nombre del post. e. description: representa una descripción del post. f. shares: representa la cantidad de veces que un post fue compartido. g. link: representa la url del post. h. reactions: i. sad: representa la reacción Sad. ii. haha: representa la reacción haha. iii. love: representa la reacción love. iv. like: representa la reacción like. v. wow: representa la reacción wow. vi. angry: representa la reacción angry. 2. Comments a. _id: representa el ID del post. b. created_time: representa la fecha de creación del comentario. c. message: representa la cadena de caracteres del mensaje. d. like_count: representa la cantidad de veces que los usuarios le han dado like a ese comentario. Para almacenar los resultados los algoritmos en la base de datos y garantizar un procesamiento adecuado y eficiente de los datos que continuamente se extraen, se deben seguir una serie de pasos que se muestran en la ilustración 13: 19

20 Ilustración 13 Proceso de guardado y carga 1. Recopilar datos de base de datos: En esta parte del proceso, el componente de analítica consume los datos ya extraídos por parte de RART Aplicar algoritmos del componente de analítica: Una vez los datos son consumidos por parte del componente de analítica, los algoritmos empiezan su propio procesamiento y previamente entregan los resultados y salidas de los algoritmos. 3. Generar y guardar resumen del día: Este es uno de los pasos más importantes del proceso debido a que es en esta actividad que el sistema almacena resúmenes del día con ánimos de no repetir los pasos anteriores. El sistema consulta el resumen del día y posteriormente entrega los resultados acumulados finales hasta la fecha actual Interfaz de Usuario Ilustración 14 Visualización del prototipo - descubre (Asociación de palabras) 20

21 Ilustración 15 Visualización del prototipo líder 1 estadísticas de Facebook Ilustración 16 Visualización del prototipo líderes de opinión acciones Ilustración 17 Visualización del prototipo líderes de opinión - nube de palabras de publicaciones realizadas por el líder 21

22 Ilustración 18 Visualización del prototipo líderes de opinión tendencias de los comentarios Ilustración 19 Visualización del prototipo líderes de opinión - Reacciones en noticias sobre líder de opinión 22

23 Ilustración 20 Visualización del prototipo líderes de opinión - Comentarios populares sobre el líder en el mes Ilustración 21 Visualización del prototipo Medios - casos de corrupción 23

24 Ilustración 22 Visualización del prototipo Medios - Cantidad de publicaciones sobre líderes de opinión vs cantidad de publicaciones de corrupción que mencionan a líderes de opinión Ilustración 23 Visualización del prototipo Medios - Cantidad de publicaciones sobre partido político vs cantidad de publicaciones de corrupción que mencionan a partido político 24

25 Ilustración 24 Visualización del prototipo Medios - Cantidad de publicaciones sobre la institución vs cantidad de publicaciones de corrupción que mencionan a la institución Ilustración 25 Visualización del prototipo Medios medios que publican más sobre la institución vs medios que publican menos sobre la institución Ilustración 26 Visualización del prototipo Medios cantidad de publicaciones hecha por un medio de comunicación vs otro medio de comunicación 25

26 Ilustración 27 Visualización del prototipo Medios cantidad de publicaciones sobre un caso de corrupción hecho por dos medios Ilustración 28 Visualización del prototipo Medios cantidad de publicaciones sobre un líder de opinión hecho por dos medios 26

27 Ilustración 29 Visualización del prototipo Medios cantidad de publicaciones sobre un partido político hecho por dos medios Ilustración 30 Visualización del prototipo Medios cantidad de publicaciones sobre una institución hecho por dos medios 27

28 Ilustración 31 Visualización del prototipo Medios - Publicaciones sobre corrupción por cada medio Ilustración 32 Visualización del prototipo partidos políticos - Sentimientos expresados en los comentarios Ilustración 33 Visualización del prototipo partidos políticos actividad 28

29 Ilustración 34 Visualización del prototipo partidos políticos - reacciones en noticias sobre este partido político Ilustración 35 Visualización del prototipo casos de corrupción cantidad de publicaciones sobre el caso vs cantidad de comentarios sobre el caso Ilustración 36 Visualización del prototipo casos de corrupción reacciones en noticias sobre este carro de corrupción 29

30 6. Referencias [1]. Mendoza, Calambás, (2016). Documento de Diseño de Software, RART, Trabajo de Grado, recuperado de 11 de abril de 2017 [2]. López, Iannini, Forero, Torres, Guerrero, Gracia (2015). Software Design Document, JaveShop, Ingeniería de Software. [2] IEEE Standard for Information Technology--Systems Design--Software Design Descriptions 30