Sistemas de Inteligencia Web: Análisis de Redes Sociales

Transcripción

1 Sistemas de Inteligencia Web: Análisis de Redes Sociales Fco Fernando de la Rosa Troyano Sevilla 8 de junio de 2012 Dirigida por el Dr. Rafael Martínez Gasca

2 Índice Motivación Vigilancia Tecnológica e Inteligencia Competitiva (VTIC) Sistemas de Inteligencia Web (SIW) Técnicas para extraer y analizar datos Web Extracción de redes sociales Diagramas estructurales Visualización focalizada SIW basado en BPMS Plataforma TREDAR Conclusiones y trabajos futuros Difusión de Resultados 2/55

3 Motivación Estudiar los fundamentos de los procesos para la toma de decisiones a nivel estratégico. Definir y analizar el problema Generar alternativas Valorar las alternativas Evaluar la eficacia de la decisión Implantar la alternativa Elegir la mejor alternativa Existen gran cantidad de herramientas relacionadas con este problema: creatividad, marketing, VTIC, innovación, cuadro de mando, pensamiento visual, delphi, árboles lógicos, DAFO, etc. 3/55

4 Motivación Definición VTIC: Proceso de búsqueda, análisis y distribución de datos que permite obtener información relevante para los procesos de toma de decisiones alertando sobre las tendencias previsibles. El objetivo de la VTIC es evitar contratiempos en los procesos de toma de decisión. Por ejemplo, evitar: Invertir en investigaciones o productos ya realizados Perder oportunidades de negocio Perder cuota de mercado Característica de la información generada: Información +cualitativa -cuantitativa Representa tendencias extraídas del entorno Visión holística del escenario 4/55

5 Problemas planteados Desarrollar Sistema de Vigilancia Tecnológica e Inteligencia Competitiva (SIC) que utilicen fuentes de información Web (SIW). Desarrollar herramientas para extraer, analizar y visualizar grandes cantidades de datos Web Sistema de Inteligencia Competitiva Sistema de Inteligencia Web Utiliza fuentes de información web Características Heterogénea Semiestructurada Dinámica 5/55

7 Ciclo de vida de los SIC 7/55

8 Clasificación de las tareas VTIC Fuentes Extracción Análisis Visualización Ejemplos Dinámicas Google Métricas Impacto temático Análisis de redes sociales Redes CiteSeer SpringerLink Twitter Web 2.0 Estáticas Co-ocurrencias Redes sociales Redes de etiquetas Redes de términos Clustering Diagramas estructurales Reducción PFNET, MST, MDS Visión focalizada Matrices estratégicas RSS (noticias) DBLP Yahoo! finance Documentos Tesauros Análisis de conceptos formales Reconocimiento Automático de Términos TreeMap Aportaciones basada en el ARS 8/55

9 Técnicas de extracción de redes sociales Fuentes Dinámicas Google CiteSeer SpringerLink Twitter Web 2.0 Estáticas RSS DBLP Yahoo! finance Documentos Extracción Métricas Impacto temático Co-ocurrencias Redes sociales Redes de etiquetas Redes de términos Tesauros Análisis de conceptos formales Análisis Clustering Diagramas estructurales Reconocimiento Automático de Términos Visualización Análisis de redes sociales Dirigida mediante Redes heurísticas: Reducción Bola de nieve PFNET, MST, MDS Tópicos de interés Matrices Cómo estratégicas extraer una red social haciendo consultas a motores de búsqueda? TreeMap Ejemplos Análisis de redes sociales 9/55

10 Extracción de semillas Semillas (direcciones de correo): Motor de búsqueda Listas de distribución Sitios web de una organización o congreso Bases de datos bibliográficas 10/55

11 Consultas al motor de búsqueda clique contextos 11/55

12 Análisis de los contextos Proceso de expansión 12/55

13 Análisis de los contextos Proceso de expansión 13/55

14 Visualización de redes sociales auto mat lsi atc dte cs fís 14/55

15 Técnicas de extracción de redes sociales Fuentes Dinámicas Google CiteSeer SpringerLink Twitter Web 2.0 Estáticas RSS DBLP Yahoo! finance Documentos Extracción Métricas Impacto temático Co-ocurrencias Redes sociales Redes de etiquetas Redes de términos Tesauros Análisis de conceptos formales Análisis Clustering Diagramas estructurales Reconocimiento Automático de Términos Visualización Análisis de redes sociales Dirigida Redesmediante Bola de nieve heurísticas: Tópicos de interés Análisis Matrices de redes sociales Reducción estratégicas PFNET, Dado MST, MDS un término o tópico Cómo extraer de forma automática la comunidad asociada con ese tema? Diagnosis TreeMapde sistema Ejemplos Basada en el ARS 15/55

16 Calculo impacto temático 16/55

17 Utilización de heurísticas Grado Pagerank Redundancia 17/55

18 Comparativa con otros sistemas de extracción de redes sociales Microsoft Academic Search, Google Scholar y ArnetMiner: uso intensivo de documentos aprendizaje supervisado, NER (corpus de entrenamiento) integración de fuentes bibliográfica (DBLP) Sistemas Web 2.0 (LinkedIn): redes informales 18/55

19 Trabajos relacionados (google, lista de nombres, NER) POLYPHONET 2003, 2006, 2007 Utilización de heurísticas FLINK 2004, 2005 (google scholar, FOAF, s, web, NER) Lista de nombres ( s, web, NER) 2004 REFERRAL WEB 1997 (red egocéntrica, 19/55NER)

20 Técnicas de análisis de redes Fuentes analizar CiteSeer su estructura para intervenir Clustering SpringerLink Twitter Extracción Co-ocurrencias Redes sociales Redes de etiquetas Análisis Dinámicas Métricas Análisis de redes sociales Google Impacto temático Dada una red social Cómo podemos Diagramas estructurales en la red? patrones de comportamiento (micro) Diagramas estructurales posicionamiento estratégico (meso) Web 2.0 Redes de términos Reducción Estáticas PFNET, MST, MDS Visualización Redes Visión focalizada Matrices estratégicas Ejemplos RSS DBLP Yahoo! finance Documentos Tesauros Análisis de conceptos formales Reconocimiento Automático de Términos TreeMap Basada en el ARS 20/55

21 Diagramas estructurales 21/55

22 Diagrama estructural Patrón núcleo Patrón aislado Patrón emergente Patrón periférico 22/55

23 Diagrama estructural + sociograma 23/55

24 Métricas ARS Globales: lejanía Egocéntricas o locales: grado cercanía o centralidad densidad autoridad o importancia redundancia intermediación 24/55

25 Aplicación de los diagramas Selección de expertos estructurales Marketing viral (quienes son los actores más influyentes) Recursos humanos (a través de los s se puede analizar la estructura organizacional de una empresa y mejorarla) Otros datos representados en forma de grafos: Enlaces entre páginas web Ecosistemas Dependencias en el código fuente 25/55

26 Posicionamiento estratégico de los grupos de investigación 26/55

27 Posicionamiento estratégico de los grupos de investigación centralidad densidad 1º Cuadrante 2º Cuadrante 3º Cuadrante 4º Cuadrante 27/55

28 Aplicación de los diagrama estratégicos Relaciones de poder y las posiciones de afinidad y conflicto al plan de actuación en el Área protegida de la laguna de rocha (Santos et al 2008) Comportamiento de la dinámica grupal de los estudiantes en foros virtuales (Tió 2011) Dinámica de las redes de investigadores en el futuro: Publicaciones realizadas en la Antártida (Bermúdez 2007) Publicaciones en el Boletín Geológico y Minero (Bermúdez 2010) 28/55

29 Técnicas de visualización TwitterNets Fuentes SpringerLink Twitter Extracción Redes sociales Redes de etiquetas Redes de términos Análisis Dinámicas Métricas Análisis de Dada una etiqueta Cómo extraer redes y sociales Google Impacto temático visualizar de forma automática los CiteSeer Co-ocurrencias Clustering centros de interés subyacentes? Web 2.0 Estáticas Diagramas estructurales Reducción PFNET, MST, MDS Visualización Redes Visión focalizada Matrices estratégicas Ejemplos RSS DBLP Yahoo! finance Documentos Tesauros Análisis de conceptos formales Reconocimiento Automático de Términos TreeMap 29/55

30 Sistema TwitterNets red hashtags retweets #BPMS(3) #auckland(1) #intalio(1) #BPM(1) red de etiquetas 30/55

31 Sistema TwitterNets 31/55

32 Consulta nosql co-ocurrencias frecuencia Técnica de reducción Red completa (compacta) 32/55

33 Efecto descentralizado Aparece cuando la red generada está focalizada en un centro de interés (ejemplo: consulta de una etiqueta) PFNET + co-ocurrencias centros de interés dispersos Red completa (compacta) PFNET + frecuencia PFNET técnica de reducción 33/55

34 Visión focalizada 34/55

35 Análisis de etiquetas Determinar los centros de interés relacionados con la consulta: Principales centros de interés: sql-nosql, bigdata Soluciones tecnológicas: neo4j, riak, couchdb, mongodb, graphdb, cassandra, hbase,solr,redis Propiedades relevantes: escalable, distribuida Conceptos relevantes: bigtable, hypertable, topicmap, mapreduce (bigdata) Esta información puede ser útil en los procesos de toma de decisiones 35/55

37 Ciclo de vida de los SIC 37/55

38 Herramientas standards para VTIC y ARS Herramientas de escritorio No permiten ofrecer servicios de VTIC a través de la Web Código no reutilizable Sistemas cerrados: Demasiado complejo modificar los procesos de VTIC Fuentes de información prefijadas (bibliométricas) Sistemas parciales (no cubren el ciclo completo de los sistemas de VTIC) 38/55

39 Modelo conceptual SIW Búsqueda Visualización Crawler Índice Extracción automática de términos co-palabras Clustering WWW Multidimensional scaling Web 2.0 co-autorías Principal component analysis Bases de datos bibliográficas o de patentes Wrapper BDSE co-citas Otras redes Formal concept analysis Social network analysis Fuentes Rastreo y extracción Análisis Difusión 39/55

40 Problemas del modelo SIW Problema de la dinámica de la web y múltiples fuentes Búsqueda Visualización Crawler Índice Extracción automática de términos co-palabras Clustering WWW Multidimensional scaling Web 2.0 co-autorías Principal component analysis Bases de datos bibliográficas o de patentes Wrapper BDSE co-citas Otras redes Formal concept analysis Social network analysis Fuentes Rastreo y extracción Análisis Difusión Problema de la integración de procesos 40/55

41 Plataforma TREDAR Solución tecnológica basada en: Aplicaciones wiki combinar Sistemas de gestión de procesos aplicación de escritorio aplicación web Sistemas wiki Sistemas BPM sistema que permite implementar otros sistemas Colaborativo Interpretado Diseño Implementación Control y gestión Ejecución Servicios web 41/55

42 Modelo conceptual TREDAR Interfaces de usuarios, web 2.0, visualización Aplicaciones Wiki Fuentes de información Tareas de rastreo y extracción Tareas de Análisis Tareas de difusión Diseñar procesos de VTIC (Tareas Wiki) Tareas de almacenamiento 42/55

43 Sistema TwitterNets 43/55

44 Aplicaciones wiki /cfg/microp/examples/hw1/edit /cfg/microp/examples/hw1/eval Edición de recursos (código fuente, plantillas, documentos html, etc) Evaluación del recurso 44/55

45 Diseño de procesos 45/55

46 Gestión de procesos microcharts seguimiento proceso variables reglas seguimiento tarea 46/55

47 Diseño de procesos VTIC Tareas VTIC prediseñadas 47/55

48 Interacción con los procesos 48/55

49 BPMS vs TREDAR Los BPMS tienen limitaciones en los tipos de aplicaciones que pueden ser implementadas: Sistemas web 2.0 Motores de búsqueda Visualización y análisis interactivo Sistemas P2P Foro de discusión TREDAR es más flexible y ágil: a la hora de actualizar los crawlers y wrappers e incorporar nuevas fuentes (aplicaciones wiki) en los procesos de VTIC (tareas prediseñadas) en la arquitectura (distribuido-centralizado, servidor-cliente, sw-apls) 49/55

51 Conclusiones Se ha propuesto: Plataforma para implementar SIW flexibles y ágiles Técnicas de extracción y análisis basadas en ARS Redes sociales Diagramas estructurales Visualización focalizada Extracción de redes sociales: Metodología para modelar fácilmente las necesidades de información en los procesos de VTIC Adquirir sin un coste excesivo un buen corpus de documentos para analizar 51/55

52 Trabajos futuros Experimentar nuevas fuentes web Integrar nuevos módulos de análisis (TextRunner, buscador relacional) Sistemas de alertas tempranas que permitan la recogida incremental de datos en tiempo real para su posterior análisis temporal. Mejora del proceso de clareado de datos utilizando técnicas de extracción de datos 52/55

54 Publicaciones Revista española de documentación científica JISBD 2004 REDC 2005 (3/30) (RESH 0,705) DEXA 2005 JCR (CORE B) REDES 2005 (18/130) (RESH 0,067) REDES 2007 (18/130) (RESH 0,067) DX LNCS 2005 (SJR 0.377) IJCAT 2008 TREDAR, Proyectos Índice de citas Revistas Españolas de Ciencias Sociales y Humanas Scientific Journal Rankings I. J. of Computer Applications in Technology 54/55

55 Participación en proyectos Colaboración pública: Automatización de la detección y diagnosis de fallos de sistemas estáticos y dinámicos usando conocimiento semicualitativo Ministerio de Ciencia y Tecnología. Automatización de la detección, diagnosis y tolerancia a fallos en sistemas con incertidumbre y en sistemas distribuidos Ministerio de Educación y Ciencia. Opbus: Mejora de la calidad en procesos de negocio mediante tecnologías de optimización y tolerancia a fallos Junta de Andalucía. Técnicas para la diagnosis, confiabilidad y optimización en los sistemas de gestión de procesos de negocio Ministerio de Ciencia e innovación. Colaboración con empresas: AVIOL: Asistente Virtual Interactivo: Información para orientación laboral. Sadiel ArchivaE: Archivo electrónico. Emergya /55