Alfredo Hidalgo Limbrick. Inteligencia de Redes de Datos

Transcripción

1 Alfredo Hidalgo Limbrick Inteligencia de Redes de Datos

2 Web Crawlers Google, Internet Archive, Mercator Funcionamiento de Mercator Problemas conocidos Estadísticas e Imágenes

3 Son programas que inspeccionan las páginas del Web de forma metódica y automatizada. Consiste en crear una copia de todas las páginas web visitadas para su procesado posterior por un motor de búsqueda que indexa las páginas proporcionando un sistema de búsquedas rápido.

4 Crear el índice de una máquina de búsqueda. Analizar los enlaces de un sitio para buscar links rotos. Recolectar información de un cierto tipo, como precios de productos para recopilar un catálogo.

5 1. URL Server Process: lee las URL y las sigue por múltiples procesos de crawler. 2. El crawler usa E/S asincrónico para buscar datos en hasta 300 servidores web paralelamente. 3. Los crawlers transmiten las paginas descargadas a un StoreServer Process el cual comprime las paginas para colocarlas dentro del disco. 4. Las paginas son leídas desde el disco por un proceso de índices (indexer process) el cual extrae los links HTML y los guarda en un archivo de disco diferente. 5. Un proceso de resolución de URL lee el archivo del link, desrelativiza lo que contiene la URL y guarda la misma en el sistema de archivo que es leído por el servidor de URL. 6. Todo esto puede lograrse entre 4 y 11 ordenadores.

6 1. Cada proceso de rastreo (crawler process) esta asignado hasta un tope de 64 sitios para realizar rastreo y ningún sitio esta asignado a mas de un crawler. 2. Cada hilo normal del proceso de rastreo lee una lista de las semillas de las URLs para asignarles los sitios de discos en cada sitio de colas. 3. Luego utiliza E/S asincrónico para buscar las paginas desde las colas en paralelo. 4. Una pagina a la vez es descargada y el proceso de rastreo extrae los links que esta contiene. 5. Si un link hace referencia a lo que se esta buscando, este link se añade a la cola apropiada, de lo contrario se registra en el disco.

7 Características Escrito en Java en su totalidad Escalable: obtiene hasta 10 millones de documentos Usa una cantidad limitada de memoria a pesar del tamaño del web crawler. Mayor parte de su estructura se encuentra almacenada en disco, y una pequeña parte en memoria.

8 Características Extensible: diseñado de una manera modular, el cual puede ser intervenido por terceros para agregar funciones. Diseñado para crear fotografías de paginas web y recolectar estadísticas de las mismas. Puede ser usado como Random Walk (Camino Aleatorio) sin modificar el tradicional crawling.

9 Se toma una lista de semillas URL como input y se ejecutan lo siguiente: Remueve la URL desde la lista de URLs Determina la IP del Host. Descarga el documento correspondiente. Extrae cualquier link asegurándose de que la URL es absoluta.

10 Para lo anterior el algoritmo requiere: Frontera URL (URL Frontier): para almacenar la lista de URL a descargar A Domain Name Server (DNS) Componentes para descargar los documentos usando el protocolo http Un componente para extraer links desde documentos HTML Un componente que determine si la URL ya fue encontrada anteriormente.

11 Contiene todas las URL que aun no se han descargado. Muchos rastreadores funcionan haciendo un primer recorrido en anchura por la web, esto son fácilmente implementados utilizando una cola FIFO ya que los elementos se quitan de esta cola en el mismo orden en que fueron ingresados en esta misma cola.

12 1. Se tiene una subcola de FIFO por cada subgrupo de trabajo. Por lo tanto cada subgrupo de trabajo remueve URLs exactamente desde una subcola FIFO. 2. Luego cuando una URL es añadida, la subcola FIFO en la que se encuentre estará determinada por el anfitrión de la URL.

13 El propósito de un módulo de protocolo HTTP es buscar el documento correspondiente a una URL dada utilizando el protocolo de red adecuando Mercator soporta HTTP, FTP y Gopher

14 Es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.

15 Un RIS es un inputstream (flujo de entrada) con un método abierto que lee y captura todo el contenido de un flujo de entrada dado. Un RIS captura documentos pequeños (64KB o menos) enteramente en memoria, mientras que documentos más largos son temporalmente escritos a un archivo de respaldo. El constructor RIS le permite a un cliente especificar un límite máximo para el archivo de respaldo.

16 Para evitar el procesamiento de un documento de más de una vez, un rastreador web puede realizar un content-seen test para decidir si el documento ya ha sido procesado. El uso de un content-seen test permite suprimir la extracción de enlace de las páginas espejo, que puede resultar en una reducción significativa en el número de páginas que deben ser descargados.

17 El mecanismo de filtrado de URL proporciona una manera personalizable para controlar el conjunto de direcciones URL que se descargan. Antes de añadir una URL al Frontier URL, el subproceso de trabajo consulta el filtro URL proporcionado por el usuario.

18 Resolución multi-hilo propia DNS reenvía las peticiones a un servidor de nombres local, lo que hace el trabajo de contacto con el servidor autorizado para cada consulta La resolución personalizada de Mercator reduce el tiempo transcurrido de búsquedas DNS hasta el 25%

19 Para evitar la descarga y el procesamiento de un documento varias veces, una URL-seen test debe realizarse en cada enlace extraído antes de añadirlo a la frontera URL. Se almacenan todas las direcciones URL en una tabla grande llamada el conjunto de direcciones URL. URL más populares se mantienen en memoria

20 Google y The Internet Archive utilizan procesos de hilos simple y E/S asincrónico. Mercator usa un proceso multi-hilo en el que cada hilo realiza E/ S sincrónico.

21 Un rastreo de toda la red tarda semanas en completarse. Para protegerse contra los fallos, Mercator escribe instantáneas periódicas de su estado en el disco.

22 1. Host name Aliases 2. Omitted port numbers 3. Alternative paths on the same host 4. Replication across different hosts.

23 Los identificadores de sesión crea un conjunto potencialmente infinito de direcciones URL que hacen referencia al mismo documento. Con el advenimiento de las cookies, el uso de los identificadores de sesión integrado ha disminuido, pero aún son utilizados, en parte porque la mayoría de los navegadores tienen una facilidad para deshabilitar las cookies.

24 Una trampa de cadenas es un URL o un conjunto de direcciones URL que hacen que un web crawler empiece a rastrear de forma indefinida. Estas trampas en muchas ocasiones no son intencionales.

25

26

27

28