Estructura de Google

Transcripción

1 Recuperación de Información en Internet: Estructura de Google Martín Llamas Nistal Nuevos Servicios Telemáticos Curso

2 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 2

3 Qué es un motor de búsqueda? Motor de Búsqueda: Un sistema de almacenamiento de datos (base de datos) diseñada para indexar direcciones web (url, ftp, etc.). Ejemplos: Google, Altavista, Excite, etc. Servicio de Directorio: igual que el motor de búsqueda, pero la indexación se hace de forma manual. Ejemplo: Yahoo NST - RRI: Anatomía de Google 3

4 Evolución histórica* (I) Tamaño de los Motores de Búsqueda Web (en millones de páginas indexadas) * Fuente: searchenginewatch.com (Dic 2001) NST - RRI: Anatomía de Google 4

5 Evolución histórica* (II) Tamaño de los Motores de Búsqueda Web (en millones de páginas indexadas) * Fuente: searchenginewatch.com (Dic 2001) NST - RRI: Anatomía de Google 5

6 Tamaño de los buscadores Web * Fuente: searchenginewatch.com (Dic 2001) NST - RRI: Anatomía de Google 6

7 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 7

8 Características de Google Utiliza la información hipertextual de los documentos Web para calcular la relevancia de cada página, utilizando lo que se denomina PageRank Utiliza los enlaces (links) y el texto de los mismos para mejorar los resultados de la búsqueda NST - RRI: Anatomía de Google 8

9 PageRank. Cálculo r( i) = d r( j) / N ( j) + (1 d ) / m j B( i) r(i) es el PageRank de la página i N(i) es el número de enlaces (salientes) de la página i B(i) es el número de páginas que apuntan a la página i m es el número total de nodos en el grafo d es el factor de decaimiento (entre 0 y 1) NST - RRI: Anatomía de Google 9

10 PageRank Recordamos que: Fácilmente calculable con algoritmos iterativos Características del navegante aleatorio: El PageRank es la probabilidad de que este navegante acabe en una determinada página web partiendo de una de entrada El factor d se puede ver como la probabilidad de que el navegante se aburra El PR para una página será alto: Si existen muchas páginas apuntándola O aunque la apunten pocas páginas, éstas tienen PR alto. NST - RRI: Anatomía de Google 10

11 Texto de los enlaces La mayoría de los buscadores asocian el texto de un enlace (anchor text) con la página en la que aparece Google asocia el texto del enlace con la página a la que apunta Ventajas/inconvenientes: El texto de los enlaces, con frecuencia, proporciona descripciones sobre el contenido de las páginas Pueden existir enlaces a documentos (imágenes, programas, direcciones de , etc.) que no pueden ser indexados por motores de búsqueda textuales Permite devolver documentos en las búsquedas que no han sido rastreados Pueden devolver páginas inexistentes NST - RRI: Anatomía de Google 11

12 Características adicionales Mantiene información de la posición de los términos que aparecen dentro de los documentos indexados, lo que permite búsquedas por proximidad Mantiene información de la apariencia visual de los documentos (p.e: a las palabras marcadas en negrita o con un tamaño de letra mayor se les concede mayor peso al calcular la relevancia) El código HTML plano de los documentos está disponible en los almacenes de Google NST - RRI: Anatomía de Google 12

13 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 13

14 Arquitectura URL Server Crawler Store Server URL Resolver Anchors Indexer Repository Links Barrels Lexicon Doc. Index Sorter PageRank Searcher NST - RRI: Anatomía de Google 14

15 Arquitectura: Crawlers distribuidos URL Server Crawler Store Server Crawlers distribuidos Anchors URL Resolver Indexer Repository Links PageRank Doc. Index Barrels Sorter Lexicon Searcher Permiten realizar el crawling o rastreo de los servidores web, con el fin de indexar la información que contienen NST - RRI: Anatomía de Google 15

16 Arquitectura: Servidor de URLs URL Server Crawler Store Server Anchors Servidor de URLs URL Resolver Indexer Repository Links Doc. Index Barrels Sorter Lexicon Envía a los crawlers una lista con los URLs que deben ser rastreados PageRank Searcher NST - RRI: Anatomía de Google 16

17 Arquitectura: Servidor de Almacenamiento URL Server URL Resolver Anchors Crawler Indexer Store Server Repository Servidor de almacenamiento Links PageRank Doc. Index Barrels Sorter Lexicon Searcher Comprime y almacena las páginas descargadas por los crawlers NST - RRI: Anatomía de Google 17

18 Arquitectura: Almacén URL Server Anchors Crawler Store Server Almacén URL Resolver Indexer Repository Links PageRank Doc. Index Barrels Sorter Lexicon Searcher Lugar físico en el que se almacenan los documentos comprimidos por el servidor de almacenamiento A cada página web se le asigna un número denominado docid NST - RRI: Anatomía de Google 18

19 Arquitectura: Indexador URL Server Crawler Store Server Indexador Anchors URL Resolver Indexer Repository Lee y descomprime los documentos existentes en el almacén: Links Barrels Lexicon 1. Realiza el parsing. Cada documento se convierte en un conjunto de hits (palabra, posición, tamaño de fuente, capitalización) PageRank Doc. Index Sorter Searcher 2. Extrae información importante de los links de cada documento. Esta información se almacena en un fichero de anclas NST - RRI: Anatomía de Google 19

20 Arquitectura: Indice de documentos URL Server Crawler Store Server Índice de documentos URL Resolver Links Anchors Indexer Barrels Repository Lexicon Base de datos de almacenamiento de los docids Doc. Index Sorter PageRank Searcher NST - RRI: Anatomía de Google 20

21 Arquitectura: Barrels URL Server Crawler Store Server Barrels Anchors URL Resolver Links Doc. Index Indexer Barrels Sorter Repository Lexicon Conjunto de mini-almacenes en los que se guardan los hits generados por el indexador PageRank Searcher NST - RRI: Anatomía de Google 21

22 Arquitectura: Diccionario URL Server Crawler Store Server Diccionario Anchors URL Resolver Links Doc. Index Indexer Barrels Sorter Repository Lexicon Almacena términos junto con sus identificadores. Es utilizado por el indexador para construir los hits PageRank Searcher NST - RRI: Anatomía de Google 22

23 Arquitectura: Anclas URL Server Crawler Store Server Anclas Anchors URL Resolver Links Doc. Index Indexer Barrels Sorter Repository Lexicon Almacena la información generada por el indexador: Desde y a donde apuntan los enlaces, y su texto. PageRank Searcher NST - RRI: Anatomía de Google 23

24 Arquitectura: Resolvedor de URLs URL Server Crawler Store Server Resolvedor de URLs Anchors URL Resolver Links Doc. Index Indexer Barrels Sorter Repository Lexicon Lee los ficheros de enlaces y convierte los URLs relativos en absolutos. Además les asigna un docid y lo almacena PageRank Searcher NST - RRI: Anatomía de Google 24

25 Arquitectura: Enlaces URL Server Crawler Store Server Enlaces Anchors URL Resolver Links Doc. Index Indexer Barrels Sorter Repository Lexicon Base de datos en los que se almacenan pares (enlace, docid) Esta información será utilizada para calcular el PageRank de cada documento en las búsquedas PageRank Searcher NST - RRI: Anatomía de Google 25

26 Arquitectura: Clasificador URL Server Crawler Store Server Clasificador Anchors URL Resolver Links PageRank Doc. Index Indexer Barrels Sorter Repository Lexicon Searcher Genera un índice invertido de los hits existentes en los barrels. 1. Asigna a cada término existente un identificador wordid. 2. Convierte el índice de docids en uno de wordids NST - RRI: Anatomía de Google 26

27 Arquitectura: PageRank URL Server Crawler Store Server PageRank Anchors URL Resolver Links Doc. Index Indexer Barrels Sorter Repository Lexicon Encargado de calcular el PageRank de cada documento que cumple las restricciones impuestas en una búsqueda. Este cálculo se realiza basándose en la información almacenada en la base de datos de Enlaces PageRank Searcher NST - RRI: Anatomía de Google 27

28 Arquitectura: Buscador URL Server Crawler Store Server Buscador Anchors URL Resolver Links PageRank Doc. Index Indexer Barrels Sorter Repository Lexicon Searcher Se ejecuta en un servidor Web y es el encargado de realizar las búsquedas para responder a las peticiones de los clientes Utiliza el léxico generado por el indexador, el índice invertido generado por el clasificador y la información sobre el PageRank para calcular la relevancia de cada documento NST - RRI: Anatomía de Google 28

29 BigFiles Paquete software para gestión de ficheros. Ficheros virtuales que abarcan varios tipos de sistemas de ficheros. Direccionables por enteros de 64 bits. Gestiona de forma automática la asignación en múltiples sistemas de ficheros. Gestiona también la asignación y desasignación de los descriptores de los ficheros. (SO no lo hace de manera adecuada) Proporciona opciones básicas de compresión. NST - RRI: Anatomía de Google 29

30 Almacén Contiene el código HTML de cada página descargada Se almacena la información comprimida con formato zlib (RFC 1950) Estructura de datos simple: ayuda a consistencia de datos y facilita el desarrollo. Repository Bit sincronismo tamaño fichero fichero comprimido Para cada fichero entradas docid código longitud URL tamaño página url página web NST - RRI: Anatomía de Google 30

31 Índice de documentos Almacena información sobre cada documento Índice ISAM (Index Sequential Access Mode) ordenado por el docid entradas status pointer checksum statistics additional pointer estado del puntero al documento almacén docinfo file (1) URL título Doc. Index checksum (errores) Documento descargado conversion file URL docid varios estadísticos Documento no descargado puntero adicional (2) Lista de URLs (en el Servidor de URLs) NST - RRI: Anatomía de Google 31

32 Diccionario Base de datos de los términos existentes en los documentos Actualmente (1998) contiene 14 millones de entradas Lista de términos Lexicon Tabla hash de punteros Generados por el programa DumpLexicon NST - RRI: Anatomía de Google 32

33 Hits Cada hit 2 bytes 2 tipos: Fancy hits (URLs, texto enlaces, etiquetas meta, título) Plain hits (resto) Plain hits Fancy hits bit mayúsculas bit mayúsculas tamaño fuente Anchor hits Posición del término en el documento 111 tipo posición Hashcode del docid en el que aparece el enlace Posición dentro del texto del enlace NST - RRI: Anatomía de Google 33

34 Índice directo Índice ordenado almacenado en los barrels (actualmente 64) Cada barrel un rango de wordids (identificadores numéricos) Barrels docid del documento Separador de entradas entradas Lista de wordids correspondientes a los términos de los hits de cada entrada Longitud total de la lista de hits almacenados a continuación Lista de hits correspondientes a los wordids indicados NST - RRI: Anatomía de Google 34

35 Índice invertido Índice directo procesador por el clasificador Se crea un doclist de docids que representa las ocurrencias de un término en todos los documentos en los que aparece Se crean los punteros entre las entradas del diccionario y las entradas correspondientes en el doclist diccionario índice invertido wordid del término Número de documentos en los que aparece Punteros a las entradas correspondientes a dichos documentos en el doclist docid del documento longitud de la lista de hits que se almacenan a continuación lista de hits del documento NST - RRI: Anatomía de Google 35

36 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 36

37 Conceptos Crawling: Rastrear servidores Web con el fin de indexar la información que almacenan Tarea complicada. Motivos: Es necesario tener en cuenta cuestiones de rendimiento y fiabilidad Supone interactuar con miles de servidores Web y servidores de nombres que están fuera del control del sistema NST - RRI: Anatomía de Google 37

38 Crawling en Google (i) Sistema de crawlers distribuidos El servidor de URLs proporciona una lista de URLs a cada uno de los crawlers Cada crawler mantiene abiertas 300 conexiones al mismo tiempo Hasta 100 pags. Web/seg. Utilizando 4 crawlers Tasa de datos alrededor de 600k/seg NST - RRI: Anatomía de Google 38

39 Crawling en Google (ii) Cada crawler mantiene una caché DNS propia. Mejora de rendimiento ya que se reduce considerablemente el número de veces que el crawler tiene que acceder a un servidor de nombres (DNS) externo NST - RRI: Anatomía de Google 39

40 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 40

41 Proceso 1 Análisis sintáctico de la consulta 2 Convertir términos en wordids 3 Buscar los doclists en los barrels correspondientes 4 Examinar cada doclist hasta encontrar un documento que cumpla los requisitos de la búsqueda 5 Calcular el ranking del documento 6 Asegurar que se hace el paso 4 en todos los barrels, hasta el final de la búsqueda. 7 Ordenar los documentos por ranking y devolverlos al usuario NST - RRI: Anatomía de Google 41

42 Prestaciones Ranking ordenado y ponderado de acuerdo al PageRank de cada página Prioridad de la calidad de las búsquedas sobre la eficiencia (en tiempo) de las mismas Límite del tiempo de respuesta: una vez que se ha encontrado un número determinado de documentos (40.000, actualmente) se devuelven resultados parciales NST - RRI: Anatomía de Google 42

43 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 43

44 Datos estadísticos en 1998 (i) Índice invertido (total) Diccionario Datos de enlaces (anchors) temporal Índice de documentos Base de datos de enlaces Estadísticas de almacenamiento Tamaño total de páginas descargadas Almacén de páginas comprimidas Índice invertido (pequeño) Tamaño total sin el Almacén Tamaño total con el Almacén 147,8 GB 53,5 GB 4,1 GB 37,2 GB 293 MB 6,6 GB 9,7 GB 3,9 GB 55,2 GB 108,7 GB NST - RRI: Anatomía de Google 44

45 Datos estadísticos en 1998 (ii) Estadísticos de páginas Web Número de páginas descargadas Número de URLs visitados Número de direcciones de Número de páginas con error 404 (404: Page not found on this server) 24 millones 76,5 millones 1,7 millones 1,6 millones NST - RRI: Anatomía de Google 45

46 Lenguajes de programación La amplia mayoría de los módulos que componen la arquitectura están implementados en C y C++ Ejecución sobre Solaris y Linux Los Crawlers y el Servidor de URLs están implementados en Perl NST - RRI: Anatomía de Google 46

47 Contenidos Introducción Características de Google Arquitectura de Google Exploración de la web: Crawling Búsquedas Datos estadísticos y de implementación Conclusiones NST - RRI: Anatomía de Google 47

48 Conclusiones Google proporciona una arquitectura modular para un motor de búsqueda El énfasis del diseño se ha puesto más en mejorar la calidad de los resultados de las búsquedas que en lograr un elevado rendimiento temporal (aunque el tiempo de devolución de resultados está limitado) Para mejorar los resultados devueltos se aprovechan datos como el texto de los enlaces, el tamaño la fuente, etc. NST - RRI: Anatomía de Google 48

49 Referencia S. Brin y L. Page. The anatomy of a large-scale hypertextual Web search engine. 7th International World Wide Web Conference, Brisbane, Australia, April NST - RRI: Anatomía de Google 49