1. Crawler. 1.1 Qué es un Crawler. 1.2 Cómo trabaja

Transcripción

1 1. Crawler 1.1 Qué es un Crawler Se denomina crawler (del inglés, oruga) al programa informático que recorre la web en busca de información para indexamiento. Este programa es un elemento que siempre está presente en sistemas de búsqueda web. Su objetivo principal es almacenar las páginas que recorre, para luego ser usadas en la generación de índices. Para recorrer la web, el crawler recibe como entradas direcciones URL semillas, obtenidas a partir de información previa o por expertos. A partir de las semillas el crawler inicia su búsqueda viajando a través de las referencia que existan en estas páginas iniciales. La figura 1.1 muestra el proceso general de un sistema de búsqueda Figura 1.1: Esquema general del proceso principal de un sistema de búsqueda. 1.2 Cómo trabaja Típicamente, una página web contiene referencia a otras páginas, las que, en general, apuntan al mismo sitio, es decir que una página contiene referencias a subpáginas del mismo sitio. Sin embargo, cuando una referencia direcciona a otro sitio, entonces es posible saltar a este nuevo sitio, de tal manera que se puede ir navegando dentro de la web. El crawler explota esta característica para recorrer la web. En primer lugar obtiene referencias de las semillas iniciales, para luego ir saltando a nuevos sitios. En la mayoría de los casos, estos sitios tendrá referencias hacia otros que no hayan sido visitados previamente, por lo que el crawler continuará saltando a nuevos sitios. Así, sucesivamente, un crawler puede recorrer gran parte de la web, utilizando las referencias en los documentos web como puente para saltar de página en página. En la aplicación desarrollada, el crawler funciona de manera similar a lo explicado anteriormente, sin embargo, como salida genera un archivo XML, el cual contiene información relevante para posterior uso. Esta información extraída se define en un archivo de entrada al crawler, como una serie de reglas para determinar qué información se agrega al archivo XML de salida.

2 1.2.1 Cómo funciona el archivo de reglas. El crawler obtiene información específica de cada página, que luego es almacenada en un archivo de salida XML. La extracción de esta información se basa en un archivo de reglas dado en la entrada del crawler. Una regla se compone de cuatro partes: Categoría, etiqueta HTML, propiedades de etiqueta y opciones. La primera, corresponde a la categoría de la etiqueta en cuestión (para ver más detalle del esquema XML, vaya a las sección 1.3.1), le sigue la etiqueta HTML, la cual únicamente define el nombre del tag que se desea analizar. En tercer lugar, se puede definir propiedades de la etiqueta, por ejemplo, etiquetas a, que tenga declarado la propiedad href. Finalmente, se puede añadir opciones, las que permiten, por ejemplo, agregar el texto plano contenido dentro de la etiqueta. El programa es capaz de reconocer las reglas e interpretarlas al momento de analizar el documento de web, de esta forma, es posible extraer información particular de un documento, como puede ser, los títulos, los metadatos, entre otros Transformación a XML El crawler desarrollado, genera como salida, un archivo XML con la información extraída del documento web, siguiendo las reglas definidas en el archivo de entrada. Esta característica es particular de esta aplicación. El proceso de transformación del documento web a XML se basa en dos procesos fundamentales, primero, identificar una etiqueta que cumpla con alguna de las reglas definida en el archivo de entrada, y segundo, obtener la información solicitada y almacenarla. Luego, toda la información recopilada, es guardada en el archivo XML para posterior uso en el indexamiento, de esta manera se reduce el tamaña de un documento web, y además se estructura la información evitando ambigüedades, que típicamente existen en los documentos web. 1.3 Esquema Como se menciona en la sección 1.2, el crawler desarrollado presenta un archivo de entrada de reglas y un archivo de salida XML por cada página que visite. Se presenta a continuación la estructura para ambos archivos Archivo de salida XML Este archivo contiene el resultado de la aplicación de las reglas en el documento web. El archivo cuenta con cinco campos fijos, que son: url, titles, metadata, links y plain_text. Estos campos siempre están presente en todos los archivos XML que genera la aplicación. No obstante, los contenidos de los campos titles, metadata y links son variables. La variabilidad de estos campos es debido a la necesidad de obtener información diferente dependiendo de cada caso. Por ejemplo, si se define reglas para obtener información referente a los títulos del documento web, se deben definir reglas para cada etiqueta HTML de títulos, por ejemplo title, h1, h2. Esto brinda ventaja a la hora de obtener la información del documento web ya que el usuario define la información que requiere usar y así se disminuye el tamaño del documento web. Los tres campos variable componen una categoría. Estas categorías están dadas para presentar de manera ordenada las etiquetas HTML en el documento XML de salida. El nombre de las categorías es el mismo que el de los campos.

3 Al definir una regla, siempre debe existir un categoría y una etiqueta HTML. Por tanto, el programa asocia la etiqueta a la categoría, luego, cuando el programa encuentra ocurrencias de la etiqueta, agregará la información a dicha categoría. La figura 1.2 muestra una sintaxis básica del archivo XML para las categorías variables. <metadata> <etiqueta_html> *** información *** </etiqueta_html> <etiqueta_html> *** información *** </etiqueta_html> <etiqueta2_html> *** información *** </etiqueta2_html> </metadata> Figura 1.2: Sintaxis para categorías variables. Por cada etiqueta definida para la categoría, el sistema rescatará la información solicitada. En caso que el archivo de reglas indique extracción de información para la etiqueta, el programa agregará a cada instancia la información respectiva, de igual forma si la regla indica discriminación (Para más detalles vea en la sección 1.3.2). La Figura 1.3 indica el detalle del archivo XML cuando existe información. <metadata> <etiqueta_html> <info_1> *** valor *** </info_1> <info_2> *** valor *** </info_2> </etiqueta_html> <etiqueta_html> <info_1> *** valor *** </info_1> <info_2> *** valor *** </info_2> </etiqueta_html> <etiqueta2_html> <info_1> *** valor *** </info_1> </etiqueta2_html> </metadata> Figura 1.3: Sintaxis para categorías variables con información detallada. Por cada instancia de la etiqueta HTML el sistema extrae la información definida en las reglas de entrada. Finalmente, para determinar cómo será la estructura de un archivo XML a priori, se debe analizar el archivo de entrada con la reglas Archivo de entrada El archivo de entrada proporciona al programa la información básica para su funcionamiento. En

4 este archivo se define las reglas, las semillas, la verbosidad, entre otros Semillas La semillas son las páginas de inicio para el crawler. A partir de estas, se navegará por la web. Para definir una semilla, se debe indicar la palabra clave seed. Luego seguido de un espacio, la dirección URL de la semilla. La dirección URL debe anteponer el puerto de navegación y debe ser absoluta. La figura 1.4 muestra un ejemplo de semillas seed seed Figura 1.4: Ejemplo de definición de semillas Profundidad Como navegar por la web puede significar un proceso largo, se define la característica de profundidad de un documento. Es decir que tan lejos está de la semilla inicial. En términos matemáticos, es la cantidad de saltos que realiza el crawler hasta alcanzarlo. El crawler utiliza la profundidad para establecer un límite en los documentos que buscará, es decir, si la profundidad del documento sobrepasa el valor utilizado por el crawler, entonces lo desechará. Para definir la profundidad, se debe agregar la palabra clave deep. Luego. seguido de un espacio en blanco, un entero no negativo. La figura 1.5 muestra un ejemplo de profundidad. deep 10 Figura 1.5: Definición de profundidad. Indica al sistema que solo buscará documentos cuya profundidad sea a lo más de Verbosidad La vebosidad, corresponde a qué tanto texto arrojará el programa. Esto útil al momento de realizar trazas o para archivos de log. Para definir la verbosidad, se debe anteponer la palabra clave verbose. Luego, seguido de un espacio en blanco, un entero entre 0 y 4. La figura 1.6 muestra un ejemplo de verbosidad. verbose 2 Figura 1.6: Definición de verbosidad. Indica al sistema que tanto texto arrojará por pantalla. Mientras más grande es el número más verboso es el programa.

5 Reglas En esta sección del archivo de entrada se definen las reglas que serán utilizadas para la extracción y generación de información en el archivo de salida XML. La definición de cada regla está basada en el esquema mostrado en la figura 1.7: [categordía] [etiqueta] [propiedades] [opciones] Figura 1.7: Esquema para la definición de reglas El campo categoría define la categoría a la que pertenece la etiqueta. Existen tres categorías: titles, metadata y links. A continuación se indica el nombre de la etiqueta HTML. Luego se define alguna propiedad de la etiqueta. Las propiedades de las etiquetas pueden ser para agregar información al archivo de salida (Extracción), o para que la propiedad cumpla con un valor específico, y de esta manera discriminar entre etiquetas del mismo nombre (Discriminación). Finalmente las opciones que se desea de la etiqueta. Para que una definición de la etiqueta sea válida, se requiere únicamente una categoría y un nombre de etiqueta Propiedades Las propiedades de la etiqueta dan la facilidad para extraer alguna propiedad en particular. Por ejemplo se define la etiqueta meta, luego se espera extraer la propiedad content. Para realizar esta operación la definición debe según lo indica la figura 1.8: Metadata meta content Figura 1.8: Propiedades para extracción de información. Suponga que además se requiere que la etiqueta cumpla con que la propiedad name tenga el valor keywords, en este caso, se debe explicitar que la propiedad cumple con este valor, para aquello se usa el signo igual y luego el valor esperado (vea efigura 1.9). Metadata meta name=keywords content Figura 1.9: Propiedades para la discriminación de etiqueta Bajo la definición mostrada en la figura 1.9, el programa buscará todas las etiquetas de nombre meta que tenga definido la propiedad content y que la propiedad name tenga como valor keywords. El resultado en el archivo XML se muestra en la figura 1.10

6 <meta> <content>portal de la Universidad de Santiago de Chile, carreras, ingeniería, economía, humanidades, ciencias, tecnología, diseño, postgrados, diplomados, magister, doctorados, investigación, usach, universidad de Santiago, universidades, chile, Santiago, educación, estudiantes, facultades, EAO. UTE </content> <name>keywords</name> </meta> <meta> <content>carrers, University of Santiago, university, economy, humanities, science, tecnologia, education, courses, graduates, undergraduated studies, postgraduated studies, scientific research, chile, students, culture, faculty, EAO, UTE</content> <name>keywords</name> </meta> Figura 1.10: Resultado en archivo de salida, según la regla mostrada en la figura 1.9 Como se muestra en el ejemplo anterior, el nombre de la etiqueta es meta, luego se extrae las propiedades definidas Opciones Además de la extracción con definición de propiedades, un usuario puede agregar opciones que son generales para todos las etiquetas HTML sin importar la categoría. Existen, por el momento, dos opciones generales y una específica para los links. Las generales corresponde a plaintext y nwords. Plaintext indica al programa que agregue todo el texto plano que contenga la etiqueta. Esta opción es útil para extraer texto de las etiquetas, por ejemplo, de los títulos. Por otra parte, nwords define que de la etiqueta mencionada, se extraiga las 2*n palabras cercanas, tanto superiores como inferiores. Para ello la opción debe ser acompañada por un entero, por ejemplo, nwords 3. Finalmente, la última opción solo es válida en los links. Esta corresponde a abosolute que define que las URL contenidas las etiquetas, sean mapeadas de manera absoluta. De no estar presente esta opción, las direcciones se escriben tal cual como se leen desde el documento web (vea figura 1.11). Links a href nwords 3 absolute plaintext Figura 1.11: Definición de regla con opción. link indica que pertenece a la categoría link, a es el nombre de la etiqueta HTML, href indica que la etiqueta debe contar con la propiedad href definida, nwords 3 señala que se debe agregar las 2*n palabras cercanas superiores e inferiores, absolute indica que las direcciones URL debe ser convertidas en absolutas y plaintext señala que se debe almacenar el texto plano contenido en la etiqueta.

7 La figura 1.12 muestra un ejemplo de resultado de la definición contenida en el archivo de salida mostrado en la figura 1.11 <a> <href> <plain>rectoría</plain> <nwords> Rectoría Historia Introducción Gobierno Central Decanos</nwords> </a> Figura 1.12: Ejemplo de resultado de la regla definida en la figura Código Fuente La aplicación desarrollada se divide tres grupos de clases importantes: las clases trabajadoras, las clases de colas y las clases de utilidades. Cada una de ellas reporta funciones específicas que permiten el funcionamiento del crawler. Las clases trabajadores son dos: El procesador y el descargador. El procesador el objeto encargado de analizar el documento web para la extracción de información, mientras que el descargador tiene como objetivo descargar páginas. Ambos objetos leen los datos que utilizan de las colas, que son de carácter compartido. Las clases de colas son, de igual manera, dos. Existe una cola del procesador y una cola del descargador. Se realizó de esta forma, con la idea que tanto los procesadores y los descargadores sean varios. La cola del procesador almacena todos los documentos web que deben ser analizados por él. Dichos documentos son puestos por el descargador. Por su parte, la cola del descargador almacena todos los documentos que requieren descarga. Estos documentos son puestos por el procesador. Como se puede entender, existe un referencia circular entre las colas y los trabajadores. Las clases de utilidades son clases anexas que ayudan a coordinar el trabajo, y para realizar funciones tales como leer archivos, guardar archivos, entre otros Dibujos de caso A continuación se mostrará ejemplos de uso de la aplicación desarrollada. Considere el siguiente archivo de entrada (figura 1.13).

8 Figura 1.13: Archivo de entrada de ejemplo. Se muestra a continuación explícitamente como las reglas del archivo de entrada afectan la salida de la aplicación. La figura 1.14 muestra un ejemplo.

9 Figura 1.14: La figura muestra el archivo de entrada y el de salida. El color rojo denota la declaración de una regla para títulos. Se puede apreciar que la etitueta title de HTML es agregada a la categoría titles (elipse roja). De esta etiqueta solo se extrae el texto plano contenido en ella. El archivo de salida (cuadrado rojo) muestra el resultado. Por otra parte el colo azul señala la declaración de una regla para referencias. Se considera la etiqueta HTML a, que es agregada a la categoría links (elipse azul). Se solicita que la etiqueta tenga declarado la propiedad href. Además se extrae las 6 palabras más cercanas, las direcciones van en mapeo absoluto y guarda el texto plano contenido en la etiqueta. El resultado se ve en el archivo de salida (cuadro azul) Flujo del proceso de Crawler El sistema desarrollado funciona a través de un ciclo principal inicializado por las semillas declaradas en el archivo de entrada. Estas semillas son puestas en la cola del descargador, luego el descargador toma el siguiente documento y los descarga. El texto descargado se guarda en la misma estructura y el documento es puesto en la cola del procesador. El procesador toma el documento y lo analiza generado el archivo XML. Al encontrar referencias, crea nuevos documentos a partir de estas y las pone en la cola del descargador. Luego el proceso continúa hasta que se agoten los documentos o se alcance la profundidad máxima.

10 Se agregan semillas iniciales Cola Descargador Las referencias encontradas son puestos en la cola del descargador Procesador (Analiza las páginas en busca de referencias) El descargador extrae el siguiente documento a descargar El procesador extrae el siguiente documento a analizar Descargador (Descarga el siguiente documento de la web) El documento descargado es puesto en la cola del procesador Cola Procesador Figura 1.16: Diagrama de flujo de la aplicación. Como fase inicial se obtiene las semillas iniciales del archivo de entrada, las que son agregadas a la cola del descargador. El descargador toma el siguiente documento a descargar y lo baja de la web. El documento luego es enviado a la cola del procesador. El procesador toma el documento y analiza su contenido. Al encontrar referencias o links, crea nuevos documentos los que son puestos en la cola del descargador a la espera que este inicie la descarga. El proceso termina, cuando ya no quedan documentos por descargar o se ha alcanzado la máxima profundidad.