Análisis de Redes Sociales

Transcripción

1 sitios Web Análisis de Redes Sociales 1 fuente Mark Newman red de terroristas red de terroristas fuente fuente red de citas bibliográficas red de co-autoría fuente fuente Lothar Krempel 1

2 red de co-autoría (dinámica) red social La teoría de estudia las relaciones a través de nodos y enlaces los nodos son actores individuales dentro de la red los enlaces son las relaciones entre los actores actores fuente James Moody grado de intermediación (betweenness) coeficiente de clustering El grado de intermediación es una medida de centralidad de un nodo dentro de un grafo. Aquellos nodos que aparecen en muchos caminos más cortos entre otros dos nodos tienen un alto grado de intermediación. caminos más cortos de s a t que pasan por v El coeficiente de clustering es la proporción entre el número de nodos en un vecindario y el número total de nodos que podrían existir en dicho vecindario caminos más cortos de s a t mundo pequeño mundo pequeño Propiedad de mundo pequeño A pesar de existir un gran número de nodos, es posible encontrar sendas cortas que conecten a dos nodos cualesquiera. Cuando aumentan de tamaño, su diámetro aumente lentamente. Origen de la idea: Seis grados de separación (experimentos realizados por Stanley Milgran en los años sesenta) Modelo de mundo pequeño (Duncan J. Watts y Steve Strogatz, 1998) aleatorias 2

3 mundo pequeño red libre de escala En una red libre de escala, unos pocos nodos están altamente conectados (poseen un gran número de enlaces a otros nodos) aunque el grado de conexión de casi todos los nodos es bajo. sistemas de recuperación de información clásicos la Web Sistemas de RI tradicionales El valor del documento con respecto a una consulta es intrínseco al documento Documentos unidades auto-contenidas generalmente descriptivos y confiables Web crecimiento indefinido contenido no textual palabras claves invisibles documentos no auto- contenidos consultas de alrededor de 2 palabras Característica distintiva hiperenlaces red social la Web como un grafo de hiperenlaces evolución orgánica, sin control central, con propiedades locales y globales el establecido mucho antes que la Web estimación de popularidad para las consultas medidas sobre la Web y alcance de los buscadores propiedades relacionadas a la conectividad y distancia en grafos Aplicaciones Epidemiología, espionaje: Identificación de unos pocos nodos a ser removidos para incrementar de manera significativa la longitud promedio del camino entre pares de nodos Análisis de citas bibliográficas Identificación de artículos centrales o con gran influencia. 3

4 prestigio a partir de una red de citas punto fijo del vector de prestigio Grafo de citas, Matriz de adyacencia E E[i,j] = 1 sssi i cita a j, 0 de lo contrario. Prestigio p[v] asociado con cada nodo v Punto fijo para el vector de prestigio asignación iterativa p Ep, p = 1 Punto fijo = autovector principal de E Variantes: factor de atenuación p' = αep citas comunes Repaso de PageRank v y w son co-citados por u si u cita simultáneamente a v y w E[i,j]: matriz de citas E T E: matriz de co- citas indicador de relación entre v y w. Clustering Computa un vector de ranking provee una estimación a priori (offline) de la importancia de las páginas en la Web independiente de la consulta In-degree prestigio No todos los votos valen lo mismo El prestigio de una página es la suma del prestigio de las páginas que lo citan: PR(A) = (1-d) + d(pr(t1)/c(t1) PR(tn)/C(tn)) Al momento de la consulta el prestigio se utiliza en conjunción con nociones de recuperación de la información mejorando la calidad de los resultados mejorando la calidad de los resultados Se justifica mayor tiempo de respuesta para mejorar la búsqueda? Cómo utilizaría el buscador ese tiempo adicional? no existen funciones concretas objetivas que respondan al concepto de calidad distintos tipos de consultas específicas (scarcity problem) tópicos generales (abudance problem) páginas similares hiperenlaces manifestación de lo opinión de las personas sobre ciertas páginas conferir autoridad propósitos de navegación publicidad paga 4

5 mejorando la calidad de los resultados dificultad para encontrar balance apropiado para definir autoridad relevancia popularidad Hyperlink-Induced Topic Search, propuesto por Kleinberg, 1998 Técnica que permite recolectar pequeñas colecciones de páginas que probablemente contengan las páginas más prestigiosas sobre sistema Se resuelve al momento de responder la consulta Selección de un conjunto base Sq de enlaces para la consulta q Se deducen hubs y autoridades en el sub-grafo Sq Selección de un sub-grafo de enlaces para la consulta q Usar todas las páginas que contienen q es demasiado costoso Buscamos un sub- grafo Sq tal que Sq es relativamente pequeño Sq contiene varias páginas relevantes Sq contiene la mayoría de las autoridades Partimos de un conjunto inicial Rq Rq: páginas con mayor ranking devueltas por un buscador basado en texto Rq es relativamente pequeño Rq contiene varias páginas relevantes poca estructura (falta de enlaces entre páginas en Rq) Rq podría no contener autoridades BaseSubgraph( R, d) 1. S R 2. for each v in R 3. do S S U ch[v] 4. P pa[v] 5. if P > d 6. then P arbitrary subset of P having size d 7. S S U P 8. remover intrinsic links from S 9. return S Búsqueda de autoridades páginas con mayor in- degree (universalmente populares, no necesariamente autoridades sobre un tema) las páginas con mayor autoridad en un tema no sólo deberán tener un alto indegree, sino también superposición en el conjunto de páginas que les apuntan. 5

6 (contd.) modelos básicos para Alto prestigio buena autoridad Alto prestigio reflejado buen hub iteraciones a = Eh. a =1 h = E t a, h =1 h = E T Eh límites h* y a* algebra lineal h* es el autovector principal de E T E a* es el autovector principla de EE T cada página es un nodo sin propiedades textuales. cada arco es un hiper- enlace conecta dos nodos no tiene peso asociado procesamiento previo para seleccionar un sub- grafo basado en la consulta. Para palabras que representan más de un tópico: Separación automática en comunidades, de hubs y autoridades, cada una representando un posible tópico problemas con el modelo básico modelos más avanzados: Bharat & Henzinger relaciones de refuerzo mutuo entre hosts enlaces generados automáticamente documentos irrelevantes modelo de grafo como en, excepto que el nodo tiene propiedades adicionales representación en espacio vectorial del texto contenido en el nodo correspondiente a la página. Eliminación de outliers: luego de seleccionar un sub-grafo se eliminan aquellos nodos cuyo vector se aleja del vector típico inicial. Rank-and-File estrategias de ranking basadas en links reemplazo del modelo de hubs y autoridades por uno más simple cada documento es una secuencia lineal de tokens términos hiperenlaces los términos de la consulta activan a los enlaces cercanos no se llevan a cabo iteraciones Solucionan en parte el problema de la abundancia Google s PageRanking medida de prestigio para cada página de la Web : Hyperlink Induced Topic Search uso de la consulta para seleccionar un sub- grafo de la web identificación de hubs y autoridades 6

7 ataque de cliques bibliografía enlace a otros sitios sin conexión semántica Mining the Web: Discovering Knowledge from Hypertext Data, Soumen Chakrabarti, Morgan Kaufmann,