Framework de evaluación de crawling focalizado distribuido

Transcripción

1 1 Framework de evaluación de crawling focalizado distribuido Oscar Rojas 1, Marcelo Mendoza 2, Mauricio Marín 1, Mario Inostroza-Ponta 1 1 Departamento de Ingeniería Informática, Universidad de Santiago, Santiago, Chile. 2 Departamento de Computación, Universidad de Valparaíso, Valparaíso, Chile. oscar.rojas.d@usach.cl, marcelo.mendoza@uv.cl, mauricio.marin@usach.cl, mario.inostroza@usach.cl Resumen: En este trabajo se presenta el diseño y la implementación de un framework que permite evaluar distintas estrategias de crawling focalizado distribuido. Los procesos de crawling son dirigidos por tesauros temáticos, los cuales permiten describir temas de interés. Cada Crawler se encarga de recolectar páginas / sitios relacionados con un tema de interés en particular siguiendo estrategias de recorrido best first. El framework permite evaluar distintas medidas de relevancia entre páginas / sitios candidatas a ser recolectadas y los temas de interés. El tiempo utilizado en los procesos de recolección depende del ancho de banda de la red y la velocidad de subida de los servidores que alojan las páginas web. En el caso de las medidas de relevancia, la carga de cómputo se asocia principalmente al procesamiento del texto. El framework presentado considera una implementación de una arquitectura distribuida sobre RMI. Palabras clave:crawling distribuido, focalización, RMI. I. INTRODUCCIÓN Los Crawler son programas que inspeccionan páginas / sitios de la Web de forma automatizada. Uno de los usos más frecuentes que se les da consiste en crear una copia de todas las páginas visitadas para su posterior procesado léxico sintáctico. Las colecciones de páginas disponibles son usadas posteriormente por un motor de búsqueda que las indexa facilitando su recuperación. El estado del arte muestra que entre los principales desafíos en crawling destacan: 1) Determinar tempranamente la calidad de la información recolectada, descartando aquella que pudiera ser marginalmente relevante para los usuarios, 2) Recolectar páginas / sitios con falencias en el uso adecuado de patrones de diseño, y 3) Detectar la existencia de información falsa o poco confiable. Los Crawler focalizados permiten identificar conjuntos de páginas / sitios relevantes a temas específicos. De esta manera, en la etapa de recolección de páginas es posible identificar cuáles de estas contienen información de interés, descartando tempranamente aquellas que pudieran ser marginalmente relevantes para los usuarios. Frecuentemente cada tema es denotado en una ontología, la cual formaliza un dominio de discurso. Cada tema a su vez puede ser descrito con la ayuda de tesauros temáticos. Luego, cada tema de la ontología puede ser descrito por medio de un listado de términos relevantes. Para determinar durante el proceso de crawling si las páginas son relevantes a un tema específico, se usan medidas de relevancia entre el texto de la página y el listado de términos descriptivos de cada tema. Para evitar que este cómputo sea excesivo, se utilizan versiones resumidas del texto de las páginas, como snippets, anchor text o surrounding text. El recorrido del Crawler focalizado seguirá la estructura de hiperenlaces de las páginas recolectadas, siendo frecuente adoptar una estrategia best first, esto es, recolectar en primer lugar aquellas páginas que son más promisorias en cuanto a su contenido. El estado del arte muestra diversas alternativas para evaluar la relevancia de páginas / sitios a temas específicos (Chakrabarti, B. Dom, Rajagopalan, Gibson, & Kleinberg, 1998)(IBM Almaden Research Center, 1999) (Amento, Terveen, & Hill, 2000). Variarán dependiendo del texto descriptivo considerado y el tipo de medida utilizada. En este trabajo se propone un framework que facilita la evaluación de distintas medidas de relevancia en crawling focalizado. Dentro de sus atributos más destacables, el framework propuesto facilita la definición de listados de términos descriptivos para temas de interés, el monitoreo de varios procesos de crawling focalizado, la coordinación de estos procesos y la especificación de estrategias de recorrido. El resto del trabajo está organizado de la siguiente forma: en la Sección II describe el ámbito de este artículo y presenta trabajo relacionado, la Sección III presenta el diseño del framework y se discuten sobre aspectos de la implementación y para finalizar en la Sección IV con conclusiones y trabajo futuro. II. CRAWLING Un Crawler es un programa que permite recolectar páginas / sitios de la Web. Para ello, generalmente se usa un listado de páginas / sitios desde los cuales el proceso de recolección (crawling) comienza. Estas páginas se conocen como las semillas del proceso. Luego, siguiendo los hiperenlaces de salida de estas páginas, nuevas páginas / sitios son visitadas.

2 2 Este proceso se repite permitiendo recorrer la Web a través de su estructura de hiperenlaces. Bajo este punto de vista, la Web es considerada como un grafo dirigido, donde la colección de vértices corresponde a páginas / sitios y el conjunto de arcos corresponde a los hiperenlaces entre ellas. El recorrido del grafo de la Web puede realizarse en profundidad (depth-first) o en amplitud (breadth-first). El orden en el cual se visitan las páginas / sitios es relevante. Se entiende que el recorrido en profundidad permitirá obtener mayor información local con respecto a un sitio en particular, sin embargo, el uso de muchos requests en breves intervalos de tiempo al mismo sitio podría producir que el Crawler fuera bloqueado por políticas de uso del sitio Web. En este sentido, el recorrido breadth-first distribuye de mejor forma la carga solicitada a cada servidor o host de las páginas / sitios que se recolectan. Un Crawler focalizado busca de forma selectiva las páginas que son relevantes para un conjunto predefinido de temas. Esto supone un ahorro significativo en recursos de hardware mejorando además la relevancia de los documentos indexados (IBM Almaden Research Center, 1999). En un Crawler focalizado se debe usar un representación construida en tiempo de recolección que permita evaluar cuan relevante es el recurso al tema en particular. Esto implica el cálculo sobre diversos agregados de textos, destacando entre los más frecuentemente usados snippets, anchor text y surrounding text. Un Crawler focalizado provee varias ventajas frente a un Crawler estándar, destacando entre ellas: 1) Disponer de una evaluación temprana de recursos, debido a que se recolectan las páginas de acuerdo a la calidad de sus contenidos, 2) Disponer de versiones segmentadas de la Web, debido a que de acuerdo a la ontología usada, se dispondrán de segmentos de la Web que favorecerán su posterior análisis, por ejemplo en cuanto a su estructura de enlaces, permitiendo determinar su grado de cohesión, y 3) Mejorar en definitiva la precisión de las recomendaciones realizadas por los motores de búsqueda dado que estos pueden procesar sus consultas sobre colecciones focalizadas. En relación a las medidas de evaluación para crawling, estas se pueden categorizar en dos tipos: basadas en criterios léxicos y basada en criterios de enlaces. Estas medidas por lo general tienen objetivos específicos. Las medidas léxicas son utilizadas como evaluador de una página candidata a ser descargada durante el proceso de crawling. Otras medidas léxicas tienen más relación con la evaluación del tema de una página en base a criterios como: a) Popularidad del tema: número de páginas relacionados con un tema ya indexado. b) Cohesión: grado de cohesión entre páginas categorizadas en la misma colección, en función de una medida de agregación. c) Similitud con semillas objetivo: similitud promedio entre las páginas semilla y las páginas recolectadas. Frecuentemente las medidas anteriores son usadas en evaluación posterior al crawling, debido a que se calculan usando agregación sobre la colección descargada. El estado del arte también muestra el uso de medidas basadas en hiperenlaces para evaluar páginas candidatas a ser descargadas durante el proceso de crawling. Este es el caso de PageRank (Brin & Page, 1998), el cual indica una medida de relevancia de una página / sitio en cuanto a su conectividad en el grafo formado por los enlaces de la Web, indicando también cuán importante es para el recorrido del grafo. Visitar páginas / sitios con alto valor de PageRank ha mostrado ser eficaz en este sentido. Estas medidas son revisadas en detalle en el artículo de Srinivasan y Menczer (Srinivasan & Menczer, 2004). Las medidas léxicas se basan principalmente en la evaluación de similitud del texto seleccionado y un listado de términos específicos. Se pueden revisar medidas léxicas basadas en anchor text (Cho, Garcia-Molina, & L., 1998), en surrounding text (Chakrabarti, B. Dom, Rajagopalan, Gibson, & Kleinberg, 1998) o en base al texto completo del documento (Amento, Terveen, & Hill, 2000). Dentro del conjunto de Crawler conocidos destacan los que utilizan métricas basadas en modelos de espacio vectorial (MEV) como lo es Best First y sus variantes basadas en aprendizaje, como por ejemplo el método N-Best First que realiza un Crawler que combina la información del URL y el contexto de la página (Sotiris, Euripides, & Evangelos, 2009) o los que utilizan aprendizaje evolutivo con redes neuronales (InfoSpiders) (Menczer & Belew, 2000). En cuanto a Crawler focalizado basado en aprendizaje incremental destaca (ISurfer) (Ye, Ma, Yiming, & Chiu, 2004). III. DISEÑO E IMPLEMENTACIÓN DEL FRAMEWORK DE EVALUACIÓN DE CRAWLING FOCALIZADO DISTRIBUIDO A. Requerimientos generales Los requerimientos más importantes del framework propuesto consisten en: 1) No saturar el ancho de banda de los servidores que contienen las páginas que serán recolectadas para evitar el cierre de conexiones, 2) Hacer uso eficiente de los recursos de almacenamiento ya sea en memoria como en disco y 3) Considerar políticas de planificación de tareas asociadas al Crawler. Además de estos requerimientos se ha considerado importante que la ejecución de las tareas del framework sea independiente del sistema operativo, tipo de conexión y que sea imprescindible permitir que el Crawler diseñado sea escalable y heterogéneo en su funcionamiento. Por estas razones, el software se desarrolló bajo el paradigma de programación orientada a objetos programado en lenguaje Java utilizando RMI. Además, el uso de RMI permite que objetos residentes en la máquina virtual de un equipo llamen a métodos de objetos residentes en la máquina virtual de otro equipo, lo cual es útil para la gestión y sincronización de tareas colectivas en procesos distribuidos. Se utilizarán algoritmos de Crawler basados en recorridos en amplitud, así como Best-First, algoritmo base de la mayoría de los Crawler focalizados existentes, donde para el uso de las medidas de relevancia de páginas descargables exista una interfaz amigable que favorezca incorporar las distintas estrategias de evaluación.

3 3 B. Diseño arquitectónico Se propone un diseño arquitectónico basado en el modelo Maestro-Esclavo, donde el maestro sea el encargado de recopilar información, ordenarla y gestionar el trabajo de terminales remotas que se encargan de realizar cada proceso de crawling. Estas terminales remotas (esclavos) pueden estar conectadas a la central a través de una red LAN o WAN y tienen como función recolectar las páginas Web a partir de una semilla de origen bajo los criterios de selección definidos por el operador del servidor maestro. Cabe destacar que el modelo propuesto permite el funcionamiento de varios servidores maestros con sus respectivas terminales esclavas. En la figura 1 se muestra un esquema general del sistema. Las terminales ejecutan un proceso de crawling con requerimientos especificados en el servidor central, los cuales son: realizar Crawler a partir de una semilla de origen, evaluar una página en base a una métrica específica definida por el operador del sistema, almacenar la información recolectada y transferir al servidor la información de recolección. Además, se incorpora un sistema de monitoreo de estados por parte de las terminales hacia el servidor, con un costo mínimo de comunicación, el cual tiene como objetivo verificar la existencia de tareas en cola en el servidor. Esto último implica que el servidor no asume una carga de control sobre cada thread, ya que para cualquier información sobre procesos, es el servidor el que publica en un espacio de memoria compartida y son las terminales remotas las encargadas de verificar si existen tareas pendientes consultando en este buffer público. Para tal efecto en los esclavos existe un thread de control, el cual se encarga de consultar al buffer de datos del servidor maestro, el cual retorna verdadero en caso de existir tareas en la cola de procesos. Si el retorno es verdadero, el esclavo almacena toda la información de la tarea que debe realizar (crawler focalizado) y comienza su trabajo. Este tiempo de consulta es configurado por el servidor central y el acceso a dicha variable es asíncrono, pero la asignación de las tareas de la cola y escritura de datos es síncrona. La arquitectura general de la propuesta se muestra en la figura 2. Se puede observar la sección de buffer de datos, donde el maestro escribe información sobre nuevos procesos en cola y sus características, activa una bandera en caso de haber tareas en cola y reserva un espacio de escritura compartida accesible desde las terminales donde se almacenan los resultados obtenidos por el Crawler. Figura 1. Esquema maestro / esclavo del framework. La arquitectura distribuida permite definir una capa de software que gestione y ejecute remotamente los procesos de Crawler focalizado. Esta capa de software permite un uso transparente de los recursos, lo cual acompañado con la programación orientada a objetos, facilita la incorporación de nuevas funcionalidades al sistema. Una funcionalidad relevante es la realización de un trabajo colaborativo con terminales conectadas a través de internet con el servidor maestro, lo cual implica además de un reparto de recursos y tareas, la no saturación del ancho de banda de las redes locales en cada proceso de Crawler. El servidor maestro en específico se encarga de recibir las indicaciones del operador del sistema, cargar la información de semillas y temas sobre los cuales se define una cola de tareas que deben ejecutar las terminales. Debe ordenar la información recolectada por las terminales remotas, indicar eventos a las terminales y monitoreo general del sistema. Figura 2. Arquitectura del modelo distribuido.

4 4 B. Modelo Orientación a objetos El modelo orientado a objetos propuesto fue diseñado a partir del mapa conceptual del proceso de Crawler. Dicho mapa conceptual se puede observar en la figura 3. Como se puede observar en la figura 4.b no se realiza la herencia de archivo a página, como se podría entender del mapa conceptual. Esto se debe a que las páginas fueron tratadas como buffer de tipo string y no como archivos, ya que de esta manera no se utilizan recursos de forma innecesaria y solo se mantiene temporalmente en el buffer de comunicación la descarga de las páginas que se deben procesar. El diseño estructural de la distribución de librerías es muy similar al mapa conceptual y se puede observar en las figuras 5, 6 y 7, que corresponden a la estructura de las clases del servidor maestro y las terminales esclavas respectivamente. a) Interfaz de clases remotas b)implementación de clases c) Main y conectividad. d)implementación de clases Figura 3.- Mapa conceptual de los procesos involucrados en cada Crawler focalizado. Del mapa conceptual de la figura 3, se extrajeron las relaciones de dependencia y herencia necesarias para el diseño del modelo orientado a objetos. En la figura 4 se pueden observar las herencias del modelo asociadas por su derivación, donde de un crawler genérico, caracterizado principalmente por su recorrido y forma de almacenar la información son heredadas por la clase Crawler Focalizado. En el caso de una URL, que es una secuencia de caracteres que permite ubicar un recurso en la Web, que en específico para el Crawler son solo páginas Web, se realiza este tipo de herencia principalmente para que el Crawler pueda acceder al código HTML de una página a través de su URL y utilizar los protocolos de comunicación necesarios para la descarga de páginas y extracción de datos relevantes para el Crawler focalizado. En el caso de la clase sitio, simplemente es una herencia que agrupa al conjunto de páginas que componen a un sitio Web. e) Memoria y almacenamiento Figura 5.- Librerías de clases en servidor maestro. a) Main y conectividad. b) Proceso, configuración y Thread de control c) Crawler y metodos. d) Interfaz de clases remotas e)implementación de clases a) b) Figura 6.- Librerías de clases en terminales esclavas. Figura 4.- Herencias del modelo. a) Herencia del crawler, b) herencia de página.

5 5 a) Analisis léxico, sintáctico y semántico. b) Libreria Web c) Información, patrones y datos Figura 7.- Librerías que tienen ambos sistemas. C. Estructuras de datos Para el procesamiento de texto se utilizó un buffer de tipo String el cual es parseado con la clase Pattern y Matcher, donde la primera se encarga de cargar las expresiones regulares y la segunda de realizar el parseo según la expresión regular definida en Pattern. Los textos extraídos, como por ejemplo del AnchorText, se almacenan en una estructura de tipo HashMap<String, String> donde el primer campo corresponde al URL y el segundo al texto. En una etapa posterior se extraen los StopWords. En caso de repetir un URL en la misma página se deja el que contiene un mayor puntaje de similitud con el tema buscado, pero paralelamente se almacena toda la información que se puede obtener de las páginas, ya sea a nivel de interconexión, descendencias y repeticiones de las semillas. Esta misma estructura de datos tipo HashMap, se utiliza en el Buffer de datos orientado a objetos, donde se definió una clase llamada Bufferque está contenida en el paquete Memoria (ver figura 8), el cual contiene información de la cola de procesos, secciones donde se almacenan los datos recolectados y un HashMap<Int,Proceso> llamado proceso que contiene la configuración de los procesos, el cual almacena objetos de tipo Proceso y tiene asociada una configuración específica a través de la clase Configuracion definida por el operador del sistema y que pertenecen a un paquete llamado Proceso (ver figura 8). Toda la información requerida por las terminales esclavas es a través de retornos de objetos. a) b) Figura 8.- Diagramas de clases: a) Clase Memoria y dependencia de la Clase Almacenamiento, b) Clase Proceso y dependencia de la clase Configuración. D. Interfaces A continuación se muestran algunas interfaces del framework. La figura 9 muestra la sección del programa donde se carga la lista de semillas, se define el tipo de parada del crawler, cual tipo de acoplamiento se desea utilizar y otras opciones relacionadas con la activación de terminales remotas e información que se visualiza en la consola del Framework. Figura 9.- GUI Framework opciones generales: opciones de carga de semillas, tipo de parada y distribución. En la figura 10 se muestran, el ingreso de tema, representado a través de una consulta textual, la elección de un método y opciones de focalización.

6 6 servidor que sea enlace entre ellos o bien diseñar un módulo de comunicación entre servidores maestros. Como trabajo futuro de corto plazo se contempla la realización de un análisis de los resultados entregados por el framework para su posterior validación. V. REFERENCIAS Figura 10.- GUI Framework opciones crawler focalizado:traza, métodos de clasificación y opciones de focalización. IV. CONCLUSIONES La variedad de modelos de análisis de texto para su clasificación, ya sea en métodos de extracción de información como de análisis de patrones en general tiene una variedad de métodos y procedimientos que hace imposible un análisis y comparación de todos los existentes. Este Framework está diseñado para la incorporación de distintos métodos y de esta manera realizar evaluaciones y obtener resultados tangibles sobre los distintos métodos. El sistema distribuido propuesto pretende ser la base de un sistema de Crawler semántico focalizado, en el cual se incorporen otros tipos de métricas y el uso de ontologías, ya que por ahora solo se han realizado pruebas a nivel de listados de términos descriptivos extraídos desde tesauros temáticos. El framework está diseñado para que se incorporen otras funcionalidades, ya sea para el análisis de nuevos métodos o integración de otros tipos de sistemas, como lo pueden ser sistemas estrictamente paralelos, necesarios para indexación de los datos extraídos por el crawler o bien para los procesos de consultas del motor de búsqueda, los cuales deben resolver muchas peticiones por intervalo de tiempo y además se requiere de un cómputo de alto rendimiento, una comunicación colectiva de alta concurrencia, procesos en que la computación paralela resulta ser más eficiente. El framework diseñado no tiene como requerimiento la utilización de un clúster de computadoras que comparten una misma red, si no que se puede implementar sobre distintos nodos con acceso a la red. En otras palabras se pueden ejecutar las terminales remotas en una red WAN y no exclusivamente una LAN con acceso a internet. El framework además dentro de sus características estructurales, contempla el uso de múltiples nodos maestros con sus respectivos esclavos, pero se debe diseñar otro Amento, B., Terveen, L., & Hill, W. (2000). Mean Quality? Predicting Expert Quality Ratings of Web Documents. Research and Development in Information Retrieval, (pp ). Brin, S., & Page, L. (1998). The Anatomy of a Large-Scale Hypertextual Web Search Engine. Computer Networks, 30(1-7), Chakrabarti, S., B. Dom, P. R., Rajagopalan, S., Gibson, D., & Kleinberg, J. (1998). Automatic resource compilation by analyzing hyperlink structure and associated text. Computer Networks, 30(1-7), Cho, J., Garcia-Molina, H., & L., P. (1998).Efficient Crawling Through URL Ordering. Computer networks, 30(1-7), IBM Almaden Research Center. (1999). Focused Crawling: A New Approach to Topic-Specific Resource Discovery. Eighth World Wide Web Conference. Toronto, Canada. Menczer, F., & Belew, R. (2000). Adaptive Retrieval Agents: Internalizing Local Context and Scaling up to the Web. Computer Networks, 39(2-3), Najork, M., & Wiener, J. L. (2001). Breadth-first search crawling yields high-quality pages. 10th International World Wide Web Conference. Sotiris, B., Euripides, P., & Evangelos, M. (2009). Improving the Performace of Focused Web Crawlers. Data & Knowledge Engineering, 68(10), págs Srinivasan, P., & Menczer, F. y. (2004).A General Evaluation Framework for Topical Crawlers. Partially supported by National Science Foundation CAREER. Ye, Y., Ma, F., Yiming, L., & Chiu, M. a. (2004). isurfer: A Focused Web Crawler Based on Incremental Learning from Positive Samples. In S.-V. B (Ed.), APWeb 2004, (pp ).