Fondo sectorial CONACYT-INEGI (Noviembre- Mayo)

Transcripción

1 Construcción de un marco general y su correspondiente plataforma de software para la generación de información estadística a partir de datos disponibles en la web incorporando tecnologías de Big Data Fondo sectorial CONACYT-INEGI (Noviembre- Mayo) martes, 19 de mayo de 2015

2 Agenda 1 Grupo de investigación 2 Objetivo e impactos del proyecto 4 Avances y lecciones aprendidas 5 Conclusiones y retos a futuro 2

3 Grupo de investigación Dr. Hugo Estrada Esquivel Mtra. Karen Mariel Nájera Hernández Mtra. Blanca Hilda Vázquez Gómez Mtra. Yolanda Raquel Baca Gómez Dr. Demetrio Fabián García Nocetti M.C. Alberto Hernández Espinosa 3

4 2 Objetivo e impactos del proyecto 4

5 Objetivo del proyecto El objetivo del proyecto es proporcionar las bases metodológicas y tecnológicas para la utilización de datos de datos provenientes de fuentes formales e informales disponibles en la Web para la generación de indicadores en materias de interés del INEGI que le sean de utilidad para complementar sus fuentes tradicionales de datos. Debido a la gran cantidad de información que se manejará en el proyecto, se utilizarán técnicas de BigData para la extracción, almacenamiento, procesamiento, análisis y visualización de datos que se generan en la web. Se está desarrollando una plataforma de software con tecnología semántica y soportada en las tecnologías de Big Data, que permita implementar el marco general. 5

6 Impactos del proyecto Creación de un modelo tecnológico que permita analizar la repercusión en redes sociales de eventos/factores económicos, sociales, culturales o políticos en nuestro país. Visualización del impacto de cambios de precio de ciertos productos o servicios con niveles de bienestar subjetivo expresados en la Web. Creación de un modelo que permita el análisis de la Web profunda para contrastar los resultados oficiales de precios contra los reales ofrecidos por cadenas comerciales. Visualización de grandes cantidades de información como mapas de calor que reflejen los niveles de satisfacción de las personas con relación a un tema específico. 6

7 3 Avances y lecciones aprendidas 7

8 Avances del Marco general Desarrollo del marco general que establece la guía metodológica y tecnológica para la extracción, almacenamiento, procesamiento, análisis y visualización de datos que se generan en la Web. Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

9 Avances del Marco general Nuestra estrategia para la generación del marco general y la plataforma de software que lo implementa. Planteamiento inicial: Análisis teórico Planteamiento actual: Análisis del estado del arte a nivel internacional Marco General Experimentación Experimentación Marco general

10 Fase 1: Análisis del problema y planeación En esta fase se define el problema a resolver en forma clara, se identifica y conoce el contexto del problema, se determina la información que se requiere extraer, se establecen los resultados esperados y se define el conjunto de acciones a llevar a cabo para resolver el problema. Especificar fuentes de información Especificar si se requiere búsqueda abierta o basada en palabras clave Especificar naturaleza de la información: Texto, imágenes, videos, números, georreferenciación Especificar aspectos temporales Definir los métodos de análisis (dependiendo de la naturaleza de la información): Estadística analítica, Sistemas Expertos, Redes Bayesianas, Redes Neuronales, Clustering, Clasificación, Clasificación semántica, Series de Markov, etc. Definir la ontología de dominio a utilizar para la clasificación semántica 10

11 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

12 Fase 2: Extracción de datos En esta fase se extrae información de diversos tipos y formatos de forma automática de la web (sitios web, redes sociales, blogs, foros, etc.), para su posterior análisis. Para ello se contemplan tres mecanismos de extracción: Extracción de información de redes sociales (twitter, Facebook, youtube, etc) Crawling y scraping Web superficial, integrada por sitios web estáticos Web oculta, integrada por sitios web dinámicos Adquisición de datos de redes de sensores 12

13 Extracción de Redes sociales Tecnologías utilizadas para extracción de redes sociales 1. Extracción: Uso de Streaming API de twitter. Uso de API de datos de YouTube Uso de API de Klout v2 Uso de API de instagram Actualmente se trabaja en la integración de Google+, Pinterest, Foursquare, Linkedin. 2. Tecnologías de desarrollo: Java, RDF y OWL, Oauth, aplicaciones Web. 3. Representación de conocimiento: ontologías en RDF y OWL. 4. Almacenamiento: Bases de datos relacionales: HSQLDB, MySQL, PostgreSQL, Derby, Oracle, Microsoft SQL Server. Bases de datos RDF nativas: TDB, Virtuoso, Oracle 11g RDF, Allegro Graph, BigData. TripleStores: MongoDb, Kyoto Cabinet, LevelDB 13

14 Extracción de Redes sociales Lecciones aprendidas: Aspectos a considerar para la extracción de datos en redes sociales: Temporalidad. Los temas abordados en las redes sociales son transitorios, por lo tanto, su tiempo de permanencia y popularidad puede ser de unos minutos, unas horas, unos días o una temporada. Ejemplo: Aumento del precio del huevo por temporada de cuaresma, fallas en las líneas de metro, partido de futbol, concierto, día de las madres, día del maestro, etc. Resultados variables dependiendo de la cuenta de usuario usada con la API de la red social. Ejemplo: El API de Twitter proporciona mensajes distintos dependiendo de la cuenta de usuario autenticada, a quién sigue, o quiénes son sus seguidores. Aún no se ha determinado un patrón de comportamiento. Georreferenciación. Un alto porcentaje de la información generada en las redes sociales no contiene información de Georreferenciación. El porcentaje de tweets georreferenciados es muy bajo con respecto al total de los generados, lo que arroja información no representativa sobre un tema en particular. 14

15 Extracción de Redes sociales Lecciones aprendidas: Aspectos a considerar para la extracción de datos en redes sociales: Parloteo insustancial. Estudios internacionales que han clasificado el contenido de las redes sociales indican que un alto porcentaje de la información es insustancial o intrascendente. Por ejemplo, se estima que un 40% de los tweets generados pertenecen a esta clasificación. Dificultad para definir la cadena de búsqueda. Se requiere de un análisis previo referente a la búsqueda para determinar la cadena encargada de extraer información de una red social. Ejemplo de Twitter: Todas estas palabras: precio huevo Ninguna de estas palabras: pascua chocolate kinder Accesibilidad. Se depende de las políticas de acceso de las APIs de las redes sociales, las cuales se actualizan frecuentemente. Por ejemplo, la API 2.0 de Facebook puesta en marcha el 30 de abril, la cual ha limitado los permisos de acceso a la información de los usuarios. 15

16 Extracción de Redes sociales Resultados Se cuenta con una herramienta Open Source para extracción de redes sociales que considera los siguientes aspectos: Java como plataforma de desarrollo. API de conexión de las diferentes redes sociales como lo son Twitter, Facebook, YouTube, Instagram y Klout. Oauth como protocolo de autenticación con las redes sociales. Polaridad con técnicas en el estado del arte. Big Data como concepto de almacenamiento y explotación de información RDF y OWL para manejo de ontologías API de conexión a Google Maps. Relevancia de acuerdo a Klout Porcentaje de avance de extracción de redes sociales: 98% 16

17 Crawling y scraping Crawling y scraping Formas por medio de las cuales un Crawler puede extraer información: Extracción sobre una página simple HTML La extracción sobre una página HTML que necesite autentificarse con un nombre de usuario y contraseña. La extracción de la información sobre páginas con contenido dinámico, un ejemplo de este contenido es aquella que tienen programas scripts, que requieren ejecutarse para conocer el contenido de la página. Se desarrolló un crawler que permite la recuperación de información de: La web superficial, integrada por sitios web estáticos. Se desarrolló un algoritmo que recupera enlaces. La web oculta, integrada por sitios web dinámicos. Se desarrolló un algoritmo que automatiza el llenado de formularios de búsqueda avanzada. 17

18 Crawling y scraping 18

19 Crawling y scraping Éste algoritmo recibe la semilla URL la cual debe recorrer y recuperar todos los enlaces existentes en su contenido HTML, cada enlace recuperado es comparado y evaluado dependiendo del tipo de búsqueda seleccionada. Para la evaluación y selección de enlaces URL se declararon patrones de expresiones regulares, los cuales contienen palabras clave que se comparan directamente sobre el enlace URL, los enlaces que coinciden con los patrones se recuperan y almacenan en tablas correspondientes en una base de datos. 19

20 Crawling y scraping Éste algoritmo busca resolver el acceso a la información mediante el llenado de formularios de búsqueda avanzada. Para recuperar páginas Web que contienen formularios, el algoritmo realiza una lectura de cada uno de los enlaces existentes en la semilla URL y se comparan con patrones de expresiones regulares. El sistema realiza la acción de llenado de los formularios y ejecuta las acciones de realizar click sobre los botones de los formularios. Finalmente, se utiliza un módulo que permite evaluar la respuesta generada a partir de la consulta realizada. 20

21 Crawling y scraping Tecnologías utilizadas para crawling Jsoup: API de código abierto para trabajar con HTML. Permite extraer y manipular datos, utilizando los métodos DOM, CSS y JQuery. Utilizamos Jsoup para extraer los valores de los elementos HTML; form, textbox, combobox y button. HtmlUnit: Librería que simula un navegador Web sin interfaz, permite manipular a un alto nivel de sitios Web a partir de otro código Java, incluye el llenado y envío de datos a formularios mediante la simulación de clics en hiperenlaces. Este lenguaje se para enviar la consulta al formulario de búsqueda avanzada seleccionado. Selenium: Conjunto de herramientas que permiten desarrollar scripts para pruebas de aplicaciones Web. Selenium actúa como un navegador Web, permite el llenado y envío de datos a los formularios Web. Como respuesta a la consulta recibe una cadena cuyo contenido es todo el código de la página Web. 21

22 Crawling y scraping Lecciones aprendidas: Es importante remarcar que NO se puede acceder a información en las siguientes condiciones: La web opaca, aquella que no ha sido incluida en los índices de los motores de búsqueda. La web privada, aquella cuyo contenido ha sido protegido para que no pueda ser indexada por un crawler. La web invisible, involucra páginas con formatos PDF, PostScript, Flash, Shockwave, programas ejecutables y archivos comprimidos. Una de las razones por las cuales no puede ser indexado es que muchas páginas tienen poco o no tienen un contexto textual. 22

23 Crawling y scraping Resultados: Se cuenta con un crawler con las siguientes características: Permite recuperar datos de la web superficial, integrada por sitios web estáticos, iniciando con una URL semilla, detectando patrones y procesando la información extraída y almacenándola. Permite recuperar datos de la web oculta, integrada por sitios web dinámicos. El sistema detecta los formularios y extrae las propiedades, asigna valores a las propiedades y envía los datos y finalmente procesa cada enlace para almacenar la información. Porcentaje de avance Crawling: 70% 23

24 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

25 Fase 3: Pre-procesamiento En esta fase se realiza un pre-procesamiento a la información adquirida de la web para su posterior almacenamiento. El módulo de pre-procesamiento incluye: Eliminación de información duplicada Determinar si se desea información con geolocalización Verificar que la georreferencia sea correcta Verificar el idioma de la información recuperada Determinar si se requiere filtrar información por temas específicos Determinar si es necesario guardar re-tweets Porcentaje de avance de pre-procesamiento: 90% 25

26 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

27 Fase 4: Almacenamiento En esta fase se almacenan los datos adquiridos de la web. Para el almacenamiento se debe considerar: Volumen, considerar la capacidad de almacenamiento, tiempos de respuesta de escritura/lectura, etc. del sistema de base de datos Formato de almacenamiento Si se cuenta o no con una estructura definida de los datos (SQL o NoSQL) La infraestructura de cómputo disponible, los datos pueden almacenarse en un solo equipo, en un clúster de computadoras o en un entorno distribuido. Tecnologías soportadas actualmente: Bases de datos relacionales: HSQLDB, MySQL, PostgreSQL, Derby, Oracle, Microsoft SQL Server. Bases de datos RDF nativas: TDB, Virtuoso, Oracle 11g RDF, Allegro Graph, BigData. TripleStores: MongoDb, Kyoto Cabinet, LevelDB Porcentaje de avance de pre-procesamiento: 70% 27

28 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

29 Fase 5: Análisis de datos En esta fase se realiza un análisis de la información adquirida de la web con el objetivo de inspeccionar, limpiar y transformar datos resaltado información útil. Para ello se pueden utilizar las siguientes técnicas: Stemming, Stop words, bolsa de palabras, análisis sintáctico, extracción de entidades, limpieza, formateo, eliminación de duplicados, predicción de datos faltantes utilizando redes bayesianas o redes neuronales 29

30 Fase 5: Análisis de datos Aspectos a considerar para el análisis de datos: Las técnicas de análisis de datos pueden ser aplicadas en forma efectiva si se considera el contexto del dominio de aplicación. Las técnicas de predicción de datos sólo puede realizarse cuando se tiene un gran conocimiento de los términos utilizados para describir objetos y acciones del dominio de aplicación. Las técnicas de análisis de datos pueden ser de utilidad para manejar datos más completos y limpios pero pueden eliminar información útil para las técnicas de minería de datos. 30

31 Fase 5: Análisis de datos Resultados Se cuenta con módulos software para realizar las siguientes tareas de análisis: Módulo de Análisis de datos Comentario a. Corrección ortográfica b. Etiquetado gramatical c. Lematización d. Eliminación de StopWords Corrector ortográfico Porcentaje de avance de pre-procesamiento: 60%

32 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

33 Fase 6: Minería de datos En esta fase se exploran bases de datos, de manera automática o semiautomática, con el objetivo de encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto. Algunas de las técnicas empleadas para la minería de datos se enlistan a continuación. Clústering (aprendizaje no supervisado) Redes bayesianas Modelos de Markov Minería de opiniones: esta es una de las técnicas más útiles para analizar información no estructura obtenida de la Web. 33

34 Minería de opiniones (i) Módulo de análisis de datos Comentario a. Corrección ortográfica b. Etiquetado gramatical c. Lematización d. Eliminación de StopWords Corrector ortográfico (ii) Módulo de obtención de características Comentario preprocesado a. Detección de Emoticones b. Detección de Modificadores c. Frecuencias de polaridad d. Detección de Negaciones Vector de características Léxico Afectivo en Español a. Instanciación del algoritmo SMO (iii) Módulo de clasificación automática b. Entrenamiento del algoritmo Modelo de clasificación c. Clasificación del comentario Polaridad del comentario Corpus 34

35 Léxico afectivo Se creó un léxico afectivo de manera manual. General Inquirer Polaridad negativa Banish Desterrar Ahuyentar Alejar Desterrar Expulsar Proscribir Desterrar: echar a alguien de un territorio o lugar por mandato judicial o decisión gubernamental Expulsar: 1. Arrojar, lanzar algo. 2.Hacer salir algo del organismo. 3. Echar una persona de un lugar. Desterrar: deportar, expulsar, confinar Significado: 1 Send (someone) away from a country or place as an official punishment Example: they were banished to Siberia for political crimes 2 Forbid, abolish, or get rid of (something unwanted) Example: all thoughts of romance were banished from her head Expulsar: echar, despedir, desterrar, deportar, proscribir Desterrar: desterrado, desterradero Expulsar: expulso, expulsivo, expulsado 35

36 Léxico afectivo El léxico afectivo quedó formado de la siguiente manera: Léxico Afectivo en Español Polaridad 3550 Intensificadores 97 Interjecciones 57 Palabras y Frases 255 Emoticones Neg. 63 Emoticones Pos. 68 Negaciones 15 36

37 Corpus de entrenamiento El corpus quedó constituido de la siguiente forma: Corpus de entrenamiento 3,100 posts Categoría Cantidad Muy positivo 470 Positivo 832 Neutral 469 Negativo 746 Muy negativo

38 Corpus de entrenamiento La evaluación de los resultados se realizó mediante la métrica Kappa de Fleiss. Se obtuvo un valor de

39 Experimento con el tema de precio del huevo Se extrajeron tweets con la cadena de búsqueda: huevo precio Se generó un corpus de 537 tweets. El corpus fue etiquetado por 4 cuatro personas y quedó compuesto de la siguiente forma: 209 positivos 195 negativos 133 neutros Se realizaron dos experimentos, se comparó el resultado que se obtuvo de los etiquetadores vs: 1. Nuestro sistema de polaridad y se obtuvo 43.18% de precisión. 2. Mathematica de Wolfram y se obtuvo 29.68% de precisión. Se realizó un tercer experimento utilizando la técnica 10-fold cross validation, utilizando el corpus generado por los etiquetadores y se obtuvo 66.5% de precisión. 40

40 Minería de opiniones Aspectos a considerar Aspectos a considerar para la minería de opiniones: Se requiere de análisis diferentes para diferentes dominios. Ejemplo: Alza de precio: huevo (significado negativo) vs petróleo (significado negativo) En el caso de que se trabaje sobre un dominio específico, lo más conveniente es crear un corpus específico o reutilizar alguno de un dominio similar. Ejemplo: Tenemos un dominio para huevo que puede ser utilizado para productos de la canasta básica. Es necesario tener un procedimiento para lograr una cadena de búsqueda que recupere datos pertinentes. Ejemplo: Precio de huevo vs huevo Porcentaje de avance de minería de opinión: 100% 43

41 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

42 Fase 7: Visualización de datos El objetivo de esta fase es la representación de la información, a partir de los datos procesados en la fase de minería de datos. Esta representación visual se llevará a cabo a través de la creación y el control de tablas, gráficas, series de tiempo y mapas dinámicos e interactivos. Algunas de las técnicas objetivo para visualización son: Data stratification Time-series graphs Data line listing Mapping Data query Heatmap 45

43 Fase 7: Visualización de datos Existen diversas formas para representar y visualizar los datos, un ejemplo son los mapas de calor. Un mapa de calor es una representación gráfica de datos donde los valores individuales contenidos en una matriz son representados con colores. Para elaborar un mapa de calor, es necesario: Contar con una amplia muestra de datos para poder hallar patrones: el tamaño de la muestra es de gran importancia para que la información que se presente sea realmente representativa. Seleccionar una herramienta gráfica o lenguaje de programación para el desarrollo del mapa de calor. 46

44 Fase 7: Visualización de datos Ejemplos de lenguajes de programación y de librerías especializadas para la generación de mapas de calor son: R: es un lenguaje y entorno de programación para análisis estadístico y gráfico. Este lenguaje, proporciona un amplio abanico de herramientas estadísticas (modelos lineales y no lineales, test estadísticos, análisis de series temporales, algoritmos de clasificación y agrupamiento, etc.) y gráficas. Librería D3.JS: Es una librería JavaScript para producir visualizaciones de datos dinámicos e interactivos en un explorador Web. JavaScript: Es un lenguaje orientado a objetos, basado en prototipos, imperativo, débilmente tipado y dinámico. 47

45 Fase 7: Visualización de datos Ejemplos de mapa de calor 48

46 Fase 7: Visualización de datos Aspectos a considerar Una gran cantidad de datos georreferenciados (mínimo 10,000 para un estado): actualmente nuestro porcentaje de tweets georreferenciados es muy bajo, graficando información poco representativa. Es necesario que los datos de georreferenciación no estén dados en el formato de grados, minutos y segundos, si fuera así es necesario realizar un pre-procesamiento para convertirlos al formato que emplea R para la visualización ( , ). Los porcentajes de la población conectada a internet varía entre las diferentes zonas del país, por lo que podríamos llegar a visualizar más actividad en una zona que en otra, sin que esto implique que una variación en la relevancia del tema. 49

47 Avances del Marco general Toma de decisiones Análisis del problema y planeación Extracción de datos Visualización de datos Pre- Procesamiento de datos Minería de datos Análisis de datos Almacenamiento

48 Fase 8: Toma de decisiones En esta fase se crea nuevo conocimiento, a partir del análisis de los datos realizado en las fases anteriores, que permitirá facilitar la toma de decisiones dentro de una organización. En esta fase, la participación de los expertos del dominio es relevante para el análisis de la información y ofrecer conocimientos para la generación en la toma de decisiones. 51

49 Plataforma para la generación de información estadística VISUALIZACIÓN API de Google D3.js PROCESAMIENTO Y ANALISIS Model- Driven Code Generation Platform Categorización Minería de datos Obtención de polaridad Análisis de datos Corrección ortográfica, etiquetado gramatical, lematización, Stop Words Pre -procesamiento Limpieza de datos Extracción de datos APIs de Redes sociales Crawling y scraping ALMACENAMIENTO LevelDB Conectores a diferentes bases de datos MySQL / Oracle DB2 / BigData / MongoDB, etc. INFRAESTRUCTURA

50 La plataforma se desarrolla con SemanticWebBuilder (SWB) es un framework de desarrollo de aplicaciones Web Semánticas que integra una metodología de desarrollo y una plataforma ágil con diversas utilerías de código Java para el diseño y construcción de aplicaciones Web a partir de modelos ontológicos. SWB cuenta con: API de programación integrada por librería propias de INFOTEC para extender las funcionalidades de un sistema desarrollado con SWB o bien, para integrarse con productos de terceros. Generador de código automático que permita extender un sistema de manera muy rápida. Tecnología semántica (RDF) para: Definir la arquitectura de información de la aplicación. Crear contextos de información alrededor de un tema.

51 Conclusiones y retos a futuro 4 Conclusiones y retos a futuro 54

52 Consideraciones generales El potencial de utilizar Big Data en estadísticas oficiales es investigado en términos de calidad de acuerdo al European Statistical System: relevancia, precisión y fiabilidad, oportunidad y puntualidad, accesibilidad y claridad, coherencia y comparabilidad Debe estar absolutamente garantizada la privacidad de los usuarios, la confidencialidad de la información, la restricción de utilizar la información únicamente para fines estadísticos. Además de las restricciones de calidad, Big Data debe incorporarse con eficacia y eficiencia en los procesos típicos de la producción estadística. 55

53 Consideraciones generales Posibles fuentes de información: Datos de sensores Datos de comportamiento (búsquedas online) Opiniones (comentarios en redes sociales) Qué deseamos lograr? Reutilizar la gran cantidad de información que existe en la Web Reducir el tiempo entre la recolección de datos y la toma de decisiones Explotación de metadatos 56

54 Por su atención: Gracias Preguntas? 57