Medidas y análisis del grafo de la Web

Transcripción

1 Minería de la Web análisis del Marcelo F. Durante

2 Bibliografía Graph Structure in the Web, por Andrei Broder et al, año The Indexable Web is More than 11.5 Billion Pages, por A. Gulli & A. Signorini, año

3 Graph Structure in the Web 3

4 Introducción (1) El estudio de la Web como un grafo permite una nueva e interesante mirada a los algoritmos de crawling, búsqueda y recuperación de la información. En general es de gran ayuda a cualquier aplicación (académica o comercial) que desee realizar alguna acción sobre la web, al contar con una estructura de alto nivel. En este estudio se pusieron bajo la lupa diferentes propiedades del grafo, incluyendo diámetro, distribuciones de grados en los nodos (cantidad de enlaces entrantes y salientes), componentes conexos y estructura macroscópica y microscópica. 4

5 Introducción (2) Considera a la Web como un grafo dirigido cuyos nodos corresponden a las páginas estáticas, y cuyos arcos son los enlaces entre ellas. 5

6 Propósito Diseñar estrategias de web crawling Analizar el desempeño de los algoritmos que usan la información de los enlaces. Por ejemplo: cómo se comportaría PageRank sobre una estructura como el? la estructura del grafo pueden usarla los buscadores (como Google con su Page Rank) para jerarquizar sus resultados en base a las páginas más referenciadas o apuntadas, que son las páginas más populares. (BAEZA-YATES) Predecir el surgimiento y la evolución de estructuras web, así como desarrollar mejores algoritmos para descubrirlas, y organizarlas. 6

7 Definiciones y Terminología (1) GRAFO DIRIGIDO: Está formado por un conjunto de nodos y un conjunto de arcos. Cada arco es un par ordenado de nodos (u,v) representando una conexión o enlace dirigido desde u hasta v. OUT-DEGREE: representa la cantidad de arcos de la forma (u, v1),..., (u, vk); es decir, es el número de enlaces salientes de u (a cuantas páginas apunta). IN-DEGREE: representa la cantidad de arcos de la forma (v1, u),..., (vk, u); es decir, el número de enlaces entrantes a u (por cuántas páginas es apuntado). CAMINO: es una sequencia de arcos desde el nodo u hasta v, de la forma (u, u1), (u1, u2),..., (uk, v). Un camino de u a v no implica un camino de v a u. 7

8 Definiciones y Terminología (2) DISTANCIA: es la menor cantidad de arcos que representen un camino desde u a v; si no existe un camino de u a v, la distancia es infinito. COMPONENTE FUERTEMENTE CONEXO (SCC): dado un grafo dirigido, un SCC se define como el subconjunto de nodos donde para cualquier par de nodos (u, v) existe un camino desde u hasta v. Un grafo puede tener ninguno, uno o más de un SCC. Si existe más de uno, los SCC son disjuntos entre sí. COMPONENTE DÉBILMENTE CONEXO (WCC): es un componente de un grafo no dirigido obtenido en base a componentes de un grafo dirigido, pero ignorando el sentido de los arcos. 8

9 Definiciones y Terminología (3) BÚSQUEDA PRIMERO EN AMPLITUD (BFS): Una BFS en un grafo dirigido comienza e el nodo u, y procede a construir el conjunto de nodos alcanzables desde u en una serie de capas. Así, la capa 1 contiene a los nodos que están apuntados por un sólo arco desde u. La capa k contiene a los nodos al que está apuntando algún nodo en la capa k - 1, pero que no están en ninguna capa anterior. Por definición, las capas son disjuntas. La distancia de u a cualquier nodo se puede obtener de una BFS: el camino más corto de u a v es el índice de la capa a la que pertence v, si existe tal capa Un nodo que no es alcanzable desde u no pertenece a ninguna capa, y así se define la distancia infinita. Una BFS sobre un grafo no dirigido se define en forma análoga. 9

10 Definiciones y Terminología (4) DISTRIBUCIÓN POWER LAW Definición de Wikipedia ( Una relación power law entre dos escalares x e y se puede escribir como: y = ax k donde a (la constante de proporcionalidad) y k (el exponente de la power law) son constantes. Su característica es que si se grafica con escala logarítmica, la distribución se puede interpretar como una línea recta, puesto que la ecuación anterior se puede escribir como: log(y) = k log(x) + log(a) que es la misma forma que la ecuación de una recta: y = m x+c 10

11 Definiciones y Terminología (5) DISTRIBUCIÓN POWER LAW Definción del paper: Se enfoca en las distribuciones power law sobre los enteros positivos, definidas como la probabilidad de que un valor i sea proporcional a 1/i k, siendo k un número pequeño y positivo. Similar a la ley de Zipf 11

12 Trabajos previos Dos trabajos recientes (para la época de este paper) hechos a escalas completamente diferentes, sugieren que tanto el IN- DEGREE como el OUT-DEGREE de los nodos del grafo de la web siguen power laws. web crawl del año 97 hecho por Alexa INC con 40 M nodos. sitio de la universidad de Notre Dame (*.nd.edu) Todo esto indica que la distribución power law se da tanto a nivel macroscópico en toda la web, como a nivel microscópico dentro de las páginas de una universidad. 12

13 Información general (1) Se usaron 2 crawls de AltaVista (generados en Mayo y Octubre de 1999) ~200 millones (M) páginas ~1.5 billones (G) links en escala, 5 veces más grande que el mayor estudio anterior Kumar, et. al. usó un data set de 1997 con ~40 M páginas The power law for IN-DEGREE: la probabilidad que un nodo tenga i enlaces entrantes (es decir, que sea apuntado por i páginas) es proporcional a 1/i x,parax > 1 Esta ley se verifica en los experimentos actuales (sobre crawls considerablemente mayores), y se confirma como una propiedad básica de la web. 13

14 Infraestructura (1) Software: Connectivity Server 2 (CS2) desarrollado por Compaq Systems Research Center toma como entrada un Web crawl genera como salida el grafo de la web representa el grafo mediante una DB que contiene: URLsdelcrawl in-links out-links diseñado para alta performance en el accesso a los datos (almacenar la base en memoria). La base de datos generada ocupa 9.5 GB de memoria 14

15 Infraestructura (2) Datos: Altavista Crawls basado en un gran conjunto de puntos de inicio con las siguientes reglas: evitar sobrecarga en los servidores y robots traps evitar/detectar spam, resolver time-outs, etc. índice sin duplicados ni enlaces rotos, etc. Hardware: COMPAQ ALPHA SERVER 4100 de 465 Mhz con 12 GB de RAM 15

16 Algoritmos y Experimentos Se generaron las distribuciones de grado (IN-DEGREE y OUT- DEGREE) para verificar que se ajustan a distribuciones power law. Se hallaron los componentes fuertes y débiles de la Web, y se observó que los tamaños de dichos componentes también se ajustan a una distribución power law. (algoritmos SCC y WCC). Se realizaron 570 BFS, comenzando desde nodos elegidos en forma aleatoria (random-start BFS), tanto en forward como en backward. (algoritmo BFS). El análisis de los resultados muestra una figura que representa la estructura de la web en forma macroscópica. 16

17 Resultados (1) 17

18 Resultados (2) Si los enlaces se consideran no dirigidos, el 90% de los nodos están conectados, es decir, forman un gran componente conexo (débil) de 186 M páginas. Si se tiene en cuenta la dirección de los enlaces, éste único gran componente conexo se divide en cuatro partes o áreas: SCC: es el núcleo o centro, y es un componente fuertemente conexo, donde desde cualquier página se puede llegar a cualquier otra. IN: está formado por las páginas que pueden llegar al SCC, pero no viceversa OUT: está formado por las páginas que son accesibles desde el núcleo, pero que no apuntan a él, por ejemplo sitios corporativos que no tienen enlaces externos. TENDRILS: está formado por páginas que no apuntan al núcleo y que tampoco son apuntadas por éste. 18

19 Resultados (3) El diámetro del SCC es al menos 28, y el diámetro del grafo completo está por encima de 500, lo que contrasta con el modelo de small world. Baeza-Yates: en el núcleo existe un camino para ir de una página cualquiera a otra, siendo el largo máximo (diámetro del núcleo) al menos 28. En otras palabras, el camino más corto entre dos páginas en el peor caso implica visitar 28 de ellas. 19

20 Distribución de Grados (1) Se verifican observaciones anteriores Los resultados de mayo y octubre son coherentes y coincidentes. Exponente In-degree = 2.1 Exponente Out-degree = 2.72 El segmento inicial en Out-degree se desvía significatimavemte de la distribución, sugiriendo que las páginas con bajo Out-degree (es decir, que apuntan a pocos sitios) siguen una distribución diferente, talvez Poisson o una combinación entre power law y Poisson 20

21 Distribución de Grados (2) Distribuciones In-degree y Out-degree de Mayo and Octubre,

22 Distribuciones en SCC y WCC Muestra un gran SCC: cerca de 56 M páginas Representa el 28% de todas las páginas del crawl, todos los demás SCC son significativamente más chicos la distribución en el tamaño del SCC también obedece a una power law, con exponente 2.5. Ídem para el tamaño del WCC 22

23 Random-Start BFS Realizados para estudiar aspectos de diámetro y distancia promedio El algoritmo se comportaba de dos maneras: Die out después de alcanzar un pequeño conjunto de nodos (< 90 nodos) Explode hasta cubrir cerca de 100 M nodos aunque nunca los 186 M del WCC aveces ocurría tantoen forward como en backward 23

24 Power Law vs. Zipf La distribución In-degree se ajusta mejor a la ley de Zipf que a una power law. 24

25 Tamaño de componentes (1) Resultados de random-start BFS: 186 M nodos en un gran componente débil. 56 M nodos en un componente fuerte. Éstos resultados se utilizan para estimar los tamaños de los restantes componentes: IN, OUT, TENDRILS, y DISCONNECTED 25

26 Tamaño de componentes (2) Sabiendo que existe un camino directo para cada nodo en IN a cualquier nodo en SCC. Cada BFS con start node en SCC alcanza 100 M nodos, siguiendo una expansión a través de in-links. Sabiendo que existe un camino directo para cada nodo en SCC cualquier nodo en OUT. Cada nodo en SCC alcanza 100 M nodos, siguiendo una expansión a través de out-links. SCC + IN = SCC + OUT = ~100 M IN y OUT = 44 M nodos cada uno. 26

27 Tamaño de componentes (3) DISCONNECTED: Total de nodos en el web crawl M nodos Total de nodos en el WCC M nodos DISCONNECTED = Total WCC 16.8 M nodos TENDRILS WCC SCC IN OUT = Tendrils 44 M nodes 27

28 Conclusiones Utilizando data sets (web crawls) más grandes, se obtienen resultados más exactos. El grafo no dirigido de la web (WCC) muestra mucha más conectividad que el grafo dirigido. Y aunque SCC + IN + OUT comprenden el 70% del total, dadas dos páginas aleatorias, sólo se puede alcanzar una desde la otra un 25% de las veces. El efecto small world ya no es aplicable a ésta realidad, puesto que en algunos casos, para ir de una página a otra, sólo se puede hacer a través de cientos de páginas. 28

29 The Indexable Web is more than 11.5 billion pages 29

30 Propósito y Utilidad Estimar el tamaño de la web indexable, en base a los buscadores más grandes. Estimar el solapamiento o intersección entre GOOGLE, MSN, ASK/TEOMA y YAHOO! Estimar el tamaño de la web es muy útil para aplicaciones que realizan compresión de contenidos web, ranking, crawling y minería de la web. 30

31 Introducción Cuál es es tamaño actual de la web? Estimarlo es bastante difícil, por su naturaleza dinámica, sin embargo se puede estimar el tamaño de la web indexable. Qué es la a web indexable? se define como la porción de la web que indexan los buscadores más grandes. Por ejemplo, los utilizados en estos experimentos, son: GOOGLE: 8 G páginas MSN: 5 G páginas ASK/TEOMA: 2 G páginas YAHOO!: 4 G páginas 31

32 Procedimientos (1) SAMPLING: elege páginas al azar de forma uniforme y del índice de un motor de búsqueda en particular. CHECKING: determina si una página en particular está indexada por un dado motor de búsqueda. 32

33 Procedimientos (2) SAMPLING: basado en consultas se envía un grupo de consultas a un buscador seleccionado y se selecciona un URL al azar dentro de los 100 primeros resultados. para generar las consultas, utilizaron DMOZ (4 M páginas) para crear un diccionario de consultas-términos (2 M), los ordenaron por ocurrencia y los dividieron en bloques. de cada bloque se eligió un término y se envió a un buscador diferente. Luego, para cada consulta se seleccionó una de las primeras 100 respuestas. 33

34 Procedimientos (3) CHECKING basado en consultas cada buscador permite verficar si un dado URL se encuentra indexado esto requiere una cuidadosa normalización de los URLs Tanto para el Sampling como el Checking se utilizó Helios (un metabuscador open source). Cada consulta de sampling se envió a Helios que la reenvió a los motores de búsqueda mencionados. 34

35 Hardware Linux Cluster de 43 servidores Ancho de banda 70 GB Más de 3600 horas máquina 35

36 Resultados 36

37 Gracias!! Preguntas y/o sugerencias? VAMOS ARGENTINA!!!! 37