DENODO ARACNE 4.0 GUÍA DEL ADMINISTRADOR

Transcripción

1 DENODO ARACNE 4.0 GUÍA DEL ADMINISTRADOR

2 NOTA Este documento es confidencial y propiedad de denodo technologies (en adelante denodo). Ninguna de las partes del documento puede ser copiada, fotografiada, fotocopiada, transmitida electrónicamente, almacenada en un sistema de gestión documental o reproducida mediante cualquier otro mecanismo sin la autorización previa o por escrito de denodo. copyright 2007 Queda prohibida la reproducción total o parcial de este documento sin la autorización por escrito de Denodo Technologies

3 ÍNDICE PREFACIO...I ALCANCE...I QUIÉN DEBERÍA USAR ESTE MANUAL...I RESUMEN DE CONTENIDOS...I 1 INTRODUCCIÓN ARQUITECTURA MÓDULOS DE CRAWLING WEB Y DE SISTEMAS DE FICHEROS WebBot IECrawler MÓDULO DE CRAWLING DE BASES DE DATOS: JDBCCRAWLER MÓDULO DE CRAWLING DE ITPILOT: ITPILOTCRAWLER MÓDULO DE CRAWLING CUSTOM: CUSTOMCRAWLER MÓDULO DE CRAWLING DE SERVIDORES DE CORREO ELECTRÓNICO POP3/IMAP MÓDULO DE CRAWLING DE SERVIDORES MS EXCHANGE MÓDULO DE CRAWLING DE ENTIDADES EN CUENTAS SALESFORCE.COM INDEXACIÓN / BÚSQUEDA MÓDULO DE MANTENIMIENTO Acciones de mantenimiento PLANIFICACIÓN Tareas Filtros Manejadores de resultados INSTALACIÓN Y CONFIGURACIÓN INSTALACIÓN Requisitos Hardware Requisitos Software Utilización de la herramienta de instalación Instalación de la Licencia CONFIGURACIÓN Configuración de Microsoft Internet Explorer Configuración para el Exchang Crawler Configuración de logs EJECUCIÓN DEL SERVIDOR ADMINISTRACIÓN DE DENODO ARACNE INTRODUCCIÓN AUTENTICACIÓN CONFIGURACIÓN GENERAL Configuración de Proxy AÑADIR UNA NUEVA TAREA CONFIGURACIÓN DE UNA TAREA DE TIPO WEBBOT Descripción de la Tarea Planificación Temporal de la Tarea Estándar de Exclusión de Robots... 24

4 4.5.4 Repositorio Local Añadir un Sitio Web Configurando las acciones de post-procesado de los documentos descargados EJECUCIÓN DE TAREAS BÚSQUEDA SOBRE UN ÍNDICE UTILIZANDO IECRAWLER UTILIZANDO FILTROS Y REESCRITURAS DE URL Filtros de URL Reescrituras de URL UTILIZANDO JDBCCRAWLER UTILIZANDO ITPILOTCRAWLER UTILIZANDO CUSTOMCRAWLER MailCrawler ExchangeCrawler SalesforceCrawler Esquemas de los Índices utilizados por los Crawlers Custom UTILIZANDO MAINTENANCE UTILIZANDO CADENAS DE FILTROS Ejemplo Filtros de Unicidad y de Normalización de URLs Filtro de Extracción de Contenido (HTML PDF Word Excel PowerPoint, XML, EML, Texto) Filtro de Extracción de Contenido Útil Filtro Booleano de Contenido Filtro de Generación de Resumen Filtro de Agregación de Campo USO DE MANEJADORES Manejadores de Índices Manejadores de Correo Electrónico Manejadores de Repositorio API DENODO-ARACNE CREACIÓN DE UN BUSCADOR Términos más relevantes de un documento ADMINISTRACIÓN DE TAREAS, SECUENCIAS DE FILTROS Y MANEJADORES CREACIÓN DE CRAWLERS CUSTOM CREACIÓN DE NUEVAS FUNCIONES PARA EXPRESIONES REGULARES CREACIÓN DE NUEVOS FILTROS CREACIÓN DE EXTENSIONES DEL ESQUEMA DE ÍNDICES REGISTRO DE EXTENSIONES EN EL SISTEMA APÉNDICES SINTAXIS DE BÚSQUEDA DE APACHE LUCENE Términos Campos Modificadores de términos Operadores Booleanos Agrupaciones Agrupamiento por campo Escapar caracteres especiales SINTAXIS DE LA FUNCIÓN DATEFORMAT EXPRESIONES REGULARES PARA FILTROS DRIVERS JDBC... 71

5 6.5 SINTAXIS DE ALMACENAMIENTO EN XML BIBLIOGRAFÍA... 73

6 ÍNDICE DE FIGURAS Figura 1 Arquitectura de Denodo Aracne... 3 Figura 2 Herramienta de instalación: pantalla inicial Figura 3 Componentes de Denodo Aracne Figura 4 Configuración del Servidor Aracne Figura 5 Pantalla de autenticación Figura 6 Pantalla de configuración general Figura 7 Configuración de proxy Figura 8 Tareas planificadas en el servidor Figura 9 Pantalla de edición de tareas Figura 10 Pantalla de edición de la planificación Figura 11 Pantalla de edición de un sitio en Webbot Figura 12 Pantalla de visualización de informes de la tarea Acme Figura 13 Pantalla de visualización de eventos de la tarea Acme Figura 14 Pantalla del motor de búsqueda Figura 15 Resultados de búsqueda para la consulta: iphone...32 Figura 16 Pantalla de edición del sitio de IECrawler Figura 17 Filtros y reescritura de URLs en Webbot Figura 18 Filtros y reescritura de URLs en IECrawler Figura 19 Configuración de una tarea JDBCCrawler Figura 20 Configuración de una tarea ITPilotCrawler Figura 21 Configuración de una tarea CustomCrawler (MailCrawler) Figura 22 Configuración de una tarea Maintenance Figura 23 Administración de secuencias de filtros... 48

7 ÍNDICE DE TABLAS Tabla 1 Estados de una Tarea Tabla 2 Metacaracteres Tabla 3 Drivers JDBC Tabla 4 Drivers IBM, Microsoft y Sybase... 72

8 PREFACIO ALCANCE Este documento presenta el sistema de crawling, indexación y búsqueda Denodo Aracne. QUIÉN DEBERÍA USAR ESTE MANUAL Este documento está dirigido a administradores que pretendan instalar, configurar y/o utilizar Denodo Aracne en aplicaciones de crawling, indexación y búsqueda de información procedente de la Web, Bases de datos, sistemas de ficheros, servidores de correo electrónico, etc. RESUMEN DE CONTENIDOS Más concretamente, en este documento se describen: Los procedimientos de instalación del Software Denodo Aracne. Configuración del sistema para su posterior utilización. Operación del sistema utilizando su herramienta de administración Web. Construcción de buscadores sobre la información recolectada y extensión de las funcionalidades del sistema utilizando la API Denodo Aracne. Prefacio i

9 1 INTRODUCCIÓN La suite de productos de Denodo Technologies proporciona funcionalidades avanzadas para la integración de información procedente de fuentes dispersas, heterogéneas y que, posiblemente, presentan un bajo nivel de estructuración. Denodo Aracne permite el crawling, indexación y consulta de información no estructurada en una amplia variedad de formatos. Entre las principales características de Denodo Aracne se encuentran: Crawling Web avanzado capaz de tratar páginas Web de cualquier nivel de complejidad que incluyan características como JavaScript, HTML dinámico, autenticación, redirecciones complejas, menús emergentes, etc. Posibilidad de indexar contenidos de bases de datos relacionales. Posibilidad de indexar contenidos obtenidos a través de wrappers de Denodo ITPilot previamente creados para realizar consultas que devuelven información estructurada extraída de fuentes Web. Crawling de servidores FTP y de sistemas de ficheros. Posibilidad de indexar el contenido de mensajes de correo electrónico accesibles vía POP3 o IMAP. Crawling de cuentas de correo de Microsoft Exchange Server, Rápida indexación: una media de 200MB/hora. Pequeño tamaño de índices: aproximadamente el 30% del tamaño del texto indexado. Soporte para los formatos más populares: HTML, texto, XML, MS Word, RSS (versiones 0.91, 0.92, 1.0 y 2.0), PDF, MS Excel, MS PowerPoint, EML, etc. Búsquedas complejas: soporte para operadores AND, OR, NOT, +, -, uso de paréntesis, uso de comodines, búsquedas por frase exacta, búsquedas multicampo (título, URL, etc.). Mantenimiento, manual y automático, de índices mediante la eliminación de documentos antiguos, obsoletos, no accesibles, etc. Generación de resúmenes de documentos. Introducción 1

10 2 ARQUITECTURA Denodo Aracne es una herramienta de recuperación automática, filtrado, indexación y búsqueda de información contenida en repositorios tales como la Web, sistemas de ficheros, bases de datos relacionales, servidores de correo electrónico, etc. (ver Figura 1). Mediante aplicaciones que rastrean o exploran las fuentes de datos deseadas, Aracne obtiene copias de los documentos localizados que cumplan una serie de condiciones especificadas, los almacena en un repositorio e indexa la información relevante. Posteriormente, los usuarios pueden consultar la información mediante interfaces de búsqueda, que permiten el uso de operadores Booleanos para facilitar la tarea. Aracne proporciona, también, soporte para el mantenimiento, manual y automático, de los índices creados mediante la eliminación de documentos antiguos, obsoletos, no accesibles, etc. El núcleo del sistema lo constituyen los robots de crawling: WebBot e IECrawler atraviesan la estructura de hipertexto de la Web, partiendo de un conjunto de URLs iniciales y recuperan, de forma recursiva, todas las páginas accesibles desde el conjunto de URLs de partida. Permiten además conectarse a un servidor FTP y obtener la información contenida en todos los ficheros y subdirectorios de un directorio especificado como URL inicial. WebBot es capaz, además, de explorar un sistema de ficheros considerando como URL inicial un directorio y extrayendo la información contenida en todos sus ficheros y subdirectorios. JDBCCrawler explora las tablas especificadas en una base de datos local y recupera la información contenida en las mismas. ITPilotCrawler ejecuta consultas sobre wrappers de Denodo ITPilot [ITP] para obtener información estructurada procedente de fuentes web. CustomCrawler permite extraer la información de una fuente de datos, a través de una implementación Java proporcionada por el administrador de Denodo Aracne. Este tipo de robot permite la construcción ad-hoc de un crawler para una fuente específica. Crawler POP3/IMAP. Permite recuperar información de correos electrónicos contenidos en servidores accesibles a través de los protocolos POP3 o IMAP. Incluye soporte para ficheros adjuntos. Crawler MS Exchange. Permite recuperar información de correos electrónicos contenidos en servidores MS Exchange [MSEX]. Incluye soporte para ficheros adjuntos. Crawler Salesforce.com. Permite recuperar información contenida en entidades de datos accesibles a través de una cuenta en el servicio on-line Salesforce.com [SLF]. El administrador de Aracne puede configurar tareas de crawling y mantenimiento haciendo uso del servidor de administración. Para cada tarea es posible configurar aspectos tales como su planificación temporal (cuándo y con qué periodicidad debe ejecutarse) o diversos tipos de filtros para indicar qué información debe ser recuperada por el sistema. Arquitectura 2

11 Los procesos de crawling y mantenimiento se comunican con el servidor de indexación, cuya misión consiste en construir un repositorio que almacena copias de la información obtenida por los crawlers y en crear y mantener un índice que permita la consulta eficiente de la misma. Por último, el servidor de búsqueda se encarga de ejecutar y responder las búsquedas realizadas por los usuarios sobre la información almacenada en el repositorio. Si bien el servidor de indexación también puede actuar como servidor de búsqueda, el uso de un servidor separado permite independizar el acceso de las aplicaciones que realizan búsquedas con respecto a las necesidades de administración. Figura 1 Arquitectura de Denodo Aracne A continuación se describen en detalle los componentes de Denodo Aracne y su funcionalidad. 2.1 MÓDULOS DE CRAWLING WEB Y DE SISTEMAS DE FICHEROS El sistema de robots formado por WebBot e IECrawler (ver Figura 1) localiza los documentos Web y obtiene una copia que almacena localmente en el repositorio. Arquitectura 3

12 2.1.1 WebBot WebBot es un módulo de crawling capaz de obtener información de sitios web, servidores FTP y de sistemas de ficheros. Visita los URLs que se le proporcionan como punto de partida, (en el caso de sistemas de ficheros, estos URLs utilizarán el protocolo file), almacena los documentos recuperados y extrae los enlaces (ficheros o subdirectorios, en el caso de servidores FTP y de sistemas de ficheros) que estos contienen para añadirlos a la lista de enlaces a los que continuar accediendo para seguir la exploración. WebBot permite definir filtros de expresiones regulares que hacen que el sistema procese sólo aquellos enlaces que verifiquen alguno de los filtros, descartando todos los demás. WebBot también permite definir filtros de reescritura de enlaces (ver sección 4.9). Estos filtros, que serán descritos detalladamente en secciones posteriores, se utilizan para generar URLs a recorrer por WebBot partiendo de un URL que cumpla una determinada expresión regular. Los enlaces resultantes se introducen en la lista de URLs que quedan por explorar. Este proceso se repite hasta que se agotan los URLs a los que acceder o hasta que se ha alcanzado el nivel de profundidad definido para detener el proceso de crawling IECrawler IECrawler es un módulo de crawling que utiliza como robots un conjunto de browsers de Internet similares a los utilizados en la navegación de la Web por humanos, pero modificados y extendidos para permitir la ejecución de procesos de crawling automáticos. El valor añadido fundamental de este enfoque es que es capaz de atravesar enlaces y descargar documentos de cualquier tipo de sitio Web, aunque incluya JavaScript, redirecciones complejas, identificadores de sesión, HTML dinámico, etc. Esto se debe a su módulo de navegación automática, que emula automáticamente los eventos de navegación que produciría un usuario humano al explorar un sitio Web. La implementación actual de IECrawler está basada en la tecnología de Microsoft Internet Explorer [MSIE] MÓDULO DE CRAWLING DE BASES DE DATOS: JDBCCRAWLER JDBCCrawler permite recuperar información contenida en una base de datos relacional e indexarla en el repositorio de Denodo Aracne, permitiendo de esta forma realizar búsquedas sobre la misma de forma eficiente. El acceso a las bases de datos que contienen la información deseada se realizará utilizando la norma JDBC (Java Database Connectivity) [JDBC]. En el apéndice 6.4 se muestran los drivers JDBC incluidos y/o utilizados habitualmente con Denodo Aracne. Es posible también incorporar fácilmente otros drivers JDBC al sistema. MÓDULO DE CRAWLING DE ITPILOT: ITPILOTCRAWLER ITPilotCrawler permite conectarse a un servidor de ejecución de Denodo ITPilot [ITP], obtener una referencia a un wrapper instalado en dicho servidor y realizar la ejecución de consultas sobre él, indexando los resultados de dichas consultas en el repositorio de Denodo Aracne, permitiendo de esta forma realizar búsquedas por palabra clave de forma eficiente. MÓDULO DE CRAWLING CUSTOM: CUSTOMCRAWLER CustomCrawler proporciona la posibilidad de extraer la información de una fuente de datos, a través de una implementación Java proporcionada por el administrador de Denodo Aracne. Este tipo de robot permite la construcción ad-hoc de un crawler para una fuente de información específica. Arquitectura 4

13 MÓDULO DE CRAWLING DE SERVIDORES DE CORREO ELECTRÓNICO POP3/IMAP Este crawler permite recuperar el contenido de los mensajes (incluyendo los ficheros adjuntos) de una o varias cuentas de correo electrónico de un servidor accesible mediante los protocolos POP3 o IMAP. MÓDULO DE CRAWLING DE SERVIDORES MS EXCHANGE Este crawler permite recuperar el contenido de los mensajes (incluyendo los ficheros adjuntos) contenidos en una, varias o todas las cuentas de un servidor MS Exchange 2003 o 2007 [MSEX] (en este caso, con la opción de compatibilidad activada). MÓDULO DE CRAWLING DE ENTIDADES EN CUENTAS SALESFORCE.COM Este crawler permite acceder a datos del CRM online Salesforce.com [SLF], a través de su servicio Web. 2.8 INDEXACIÓN / BÚSQUEDA El servidor de indexación (ver Figura 1) se encarga de extraer la información presente en los documentos recuperados por el módulo de robots y construir un índice basado en Apache Lucene [LUCE]. El motor de consulta (ver Figura 1) recibe consultas de los usuarios a través de la interfaz Web o de la API Aracne de búsqueda, recupera los resultados relevantes a esa consulta, utilizando la información contenida en el índice y muestra la respuesta obtenida al usuario en forma de listado de documentos. El módulo de indexación y búsqueda permite: Indexar documentos en diversos formatos: HTML, PDF, Ms. Word, Excel, PowerPoint, RSS (versiones 0.91, 0.92, 1.0 y 2.0), EML, etc. Realizar indexaciones y búsquedas de documentos con mayor fiabilidad, al no limitarse a búsquedas de palabras exactas, sino que las asociaciones pueden ser realizadas en base al lema/raíz de las mismas. Representar y realizar consultas sobre las diversas partes de un documento: título, resumen, cuerpo, etc. Tener varios índices, lo que posibilita la creación de distintos buscadores temáticos. Ordenación de resultados por relevancia basada en el algoritmo TFIDF. Búsquedas avanzadas con operadores +, -, *, AND, OR, búsqueda por similitud de palabras (fuzzy), búsquedas por proximidad configurable de los términos, etc. Calcular automáticamente resúmenes de los documentos. 2.9 MÓDULO DE MANTENIMIENTO El módulo de mantenimiento permite eliminar entradas antiguas u obsoletas del índice tanto de manera manual como automática. Para el mantenimiento manual se proporciona la posibilidad al usuario de eliminar documentos a través de la interfaz mediante consultas al índice. Arquitectura 5

14 Para el mantenimiento automático existe la posibilidad de configurar diversos tipos de acciones de mantenimiento que realizarán sus operaciones sobre los índices de Aracne Acciones de mantenimiento Control de errores de URIs Esta acción comprueba si los documentos obtenidos al realizar una consulta sobre uno o varios índices de Aracne siguen siendo accesibles y no devuelven ningún tipo de error al acceder a su URL de origen. Los documentos que devuelvan error durante las ejecuciones consecutivas de la tarea de mantenimiento un número de veces superior al umbral configurado por el usuario serán eliminados del índice Eliminación de documentos Esta acción elimina los documentos obtenidos al realizar una consulta sobre uno o varios índices de Aracne Notificación via correo electrónico Esta acción envía por correo electrónico el informe de resultados de ejecución de la tarea de mantenimiento. Muestra información sobre la fecha de ejecución, el número total de documentos eliminados del índice, el número de documentos que devolvieron errores al acceder a su URL de origen, etc PLANIFICACIÓN Denodo Aracne, a través de su servidor de administración, permite planificar temporalmente la ejecución de procesos de crawling utilizando cualquiera de los tipos de crawler disponibles Tareas Se define una tarea como una acción de crawling/indexación que desea ser ejecutada en un intervalo de tiempo determinado. Cada tarea define una información de planificación temporal que especifica cuándo se ejecuta. A cada tarea se le pueden asignar: un nombre, una hora de inicio de ejecución, una hora de finalización y un intervalo que determina el tiempo entre el comienzo de una ejecución y el de la siguiente, dentro de los límites inferior y superior antes establecidos. El planificador ejecuta por primera vez una tarea a su hora de inicio. Las siguientes ejecuciones estarán separadas entre sí por el intervalo de espera especificado, siempre que el día actual sea uno de los días de la semana para los que se ha planificado la tarea. Una vez sobrepasada la hora de fin de la tarea, no se realizarán nuevas ejecuciones de la misma. Por otra parte, cada tipo de tarea tendrá información específica: Tarea WebBot El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de sitios Web, servidores FTP o sistemas de ficheros, utilizando el módulo de crawling de WebBot. A cada tarea WebBot se le indican los URLs iniciales, los filtros de enlace y reescritura que se deben aplicar, el nivel de exploración de cada sitio Web, servidor FTP o directorio de un sistema de ficheros y si debe respetar el Estándar de Exclusión de Robots. (véase sección 4.5) Tarea IECrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de sitios Web o servidores FTP, utilizando el módulo IECrawler. A cada tarea IECrawler se le indican los URLs Arquitectura 6

15 iniciales, los filtros de enlace y reescritura que se deben aplicar, el nivel de exploración del sitio Web o servidor FTP y si debe respetar el Estándar de Exclusión de Robots. (véase sección 4.8) Tarea JDBCCrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de información procedente de una base de datos. A cada tarea JDBCCrawler se le indica la información de acceso a una base de datos determinada y la tabla o consulta SQL que debe utilizar para recuperar la información deseada (véase sección 4.8) Tarea ITPilotCrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de información estructurada procedente de una fuente Web para la que se ha construido un wrapper mediante Denodo ITPilot [ITP]. A cada tarea ITPilotCrawler se le indica la información de conexión a un servidor de ejecución de Denodo ITPilot, el nombre del wrapper y el mapa de pares campo/valor que representa la consulta a ejecutar sobre el wrapper para recuperar la información deseada (véase sección 4.11) Tarea CustomCrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de información procedente de una fuente de datos específica. A cada tarea CustomCrawler se le indica la implementación Java del crawler concreto que se desea ejecutar y los parámetros que este necesite para recuperar la información deseada (véase sección 4.12). Tarea MailCrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de mensajes de correo electrónico (incluyendo adjuntos) procedente de servidores accesibles a través de los protocolos POP3 y/o IMAP. Es necesario especificar el servidor de correo al que conectarse y las cuentas de correo que se desea indexar. Las tareas de este tipo se implementan mediante un crawler de tipo Custom. Véanse las secciones 4.12 y para más información. Tarea ExchangeCrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de mensajes de correo electrónico (incluyendo adjuntos) procedente de servidores MS Exchange 2003 o 2007 (con modo de compatibilidad activado). El acceso se realiza utilizando la API nativa de Exchange. Es necesario especificar el servidor de correo al que conectarse y las cuentas de correo que se desea indexar. Las tareas de este tipo se implementan mediante un crawler de tipo Custom. Véanse las secciones 4.12 y para más información. Tarea SalesforceCrawler El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de crawling de datos contenidos en entidades del servicio CRM online Salesforce [SLF]. El acceso se realiza utilizando la API Web Service de dicho servicio. Las tareas de este tipo se implementan mediante un crawler de tipo Custom. Véanse las secciones 4.12 y para más información. Tarea Maintenance El objetivo de este tipo de tareas es planificar temporalmente la ejecución de operaciones de mantenimiento sobre uno o varios índices de Aracne. Cada tarea de crawling define, además, sus propios procesos de exportación de resultados. Estos se ejecutan una vez finalizado el proceso de crawling y se encargan de filtrar y post-procesar los documentos obtenidos mediante el uso de cadenas de filtros. Arquitectura 7

16 Posteriormente, se ejecutan él o los manejadores que se hayan definido para la tarea. El comportamiento varía según el tipo de manejador. El manejador más común es el manejador de índices, que permite construir un índice sobre la información descargada, de forma que es posible realizar consultas sobre la misma Filtros Los filtros de Denodo Aracne permiten realizar tareas de post-procesado sobre los documentos obtenidos por los procesos de crawling. Estas tareas pueden implicar el filtrado de los mismos (e.g. para quedarse sólo con los documentos que satisfagan unas condiciones determinadas) o su modificación (e.g. extraer el texto útil de una página HTML descartando imágenes, menús de navegación, ). Los filtros se agrupan en cadenas de filtros. Una cadena de filtros está compuesta por filtros ordenados de forma que la salida de uno constituye la entrada para el siguiente. Las cadenas de filtros se crean de forma interactiva por el administrador, seleccionando entre los filtros disponibles en la plataforma y configurándolos con sus parámetros necesarios. Los filtros son independientes entre sí. Por lo tanto, es posible realizar diversas combinaciones de filtros para procesar los documentos obtenidos en el crawling y seleccionar sólo la información de interés para el usuario. Cada filtro de la cadena recibe como entrada la representación interna de un documento con una serie de campos fijos y puede modificarla añadiendo nuevos campos o modificando los existentes. Una vez que los filtros se han ejecutado, lo hacen los manejadores (ver sección ). El manejador de índices, por ejemplo, crea uno o varios índices con la información resultante. Los filtros disponibles en Denodo Aracne son: filtro de unicidad de URLs, filtro de normalización de URLs, filtro de extracción de contenido (disponible para los formatos HTML, PDF, Word, Excel, PowerPoint, XML, Texto, EML), filtro de extracción de contenido útil, filtro Booleano de contenido, filtro de generación de resúmenes y filtro de agregación de campo (ver detalles en el apartado 4.14). Además, el sistema permite la posibilidad de crear nuevos filtros (ver apartado 5.5) Manejadores de resultados Manejador de índice Los documentos descargados por los procesos de crawling son almacenados en índices multicampo utilizando el servidor de indexación. El índice que se crea por defecto consta, entre otros, de los siguientes campos (ver sección para más detalle): Título del documento Texto del enlace que condujo al documento Resumen del contenido URL Ruta de datos al documento en el repositorio Contenido Tipo MIME del contenido: text/html, application/pdf, etc. Denodo Aracne permite, además, definir nuevos esquemas de índice y extensiones de estos, lo que permite crear índices personalizados (ver apartado 5.6). Estos índices pueden contener los campos del esquema por defecto y/o nuevos campos. Estos últimos serán generados por nuevos filtros de la cadena de procesamiento que será necesario añadir al sistema (ver apartado 5.5). Arquitectura 8

17 Manejador de correo electrónico Este manejador permite enviar por correo electrónico el informe de resultados de ejecución de la tarea. Muestra información sobre la fecha de ejecución, el número total de documentos descargados, indicando si ha habido errores HTTP, FTP o de E/S durante el proceso, y qué URLs han sido rechazados por el Protocolo de Exclusión de Robots y/o por los filtros de URL definidos por el usuario (ver apartado 4.9.1) o qué campos han sido renombrados al ser añadidos al índice. En el informe se indica, además, el número total de documentos exportados por cada acción de post-procesado definida para la tarea Manejador de repositorio Este manejador mueve el repositorio de documentos descargados a un directorio, indicado como parámetro, al finalizar la exportación de una tarea. NOTA IMPORTANTE: Este manejador sólo puede ser utilizado si el servidor Aracne y el módulo de indexación/búsqueda se encuentran instalados en la misma ruta. Arquitectura 9

18 3 INSTALACIÓN Y CONFIGURACIÓN 3.1 INSTALACIÓN Este apartado se centra en la instalación y configuración de los diferentes componentes de Denodo Aracne Requisitos Hardware El sistema ha sido probado satisfactoriamente sobre un PC Pentium IV 2.4 GHz 1 GB RAM, con acceso a Internet. La instalación inicial requiere aproximadamente unos 60 MB de espacio en disco Requisitos Software Para utilizar Denodo Aracne con IECrawler o Exchang Crawler, se necesita una máquina con operativo Windows instalado (NT Server, NT Workstation, 2000 Professional, 2000 Server, 2000 Advanced Server, 2003, XP) [WIND]. Además, para utilizar IECrawler es necesario disponer de Microsoft Internet Explorer 6.0 o superior [MSIE]. Para utilizar Exchang Crawler si Microsoft Exchange Server y el servidor de Exchang Crawler de Denodo Aracne se instalan en máquinas diferentes es necesario instalar Microsoft ExchangeServer MAPI Client and Collaboration Data Objects [MAPI] en la máquina en la que se va a instalar el servidor de Exchang Crawler de Denodo Aracne. Si no se precisa utilizar IECrawler o Exchang Crawler, puede utilizarse cualquier sistema operativo con soporte para JAVA, como la distribución Linux Fedora Core 3 [LINUX]. Es necesario también disponer de Java 2 Runtime Emvironment Standard Edition (J2SE) 1.4 o superior [J2SE]. Para poder extraer el contenido de los documentos (o archivos adjuntos en un mensaje de correo electrónico.eml) de tipo Word, Excel y PowerPoint mediante los Filtros de Extracción de Contenido y Contenido Útil (ver apartado 4.14), es necesario disponer de Microsoft Office [MSOFF] instalado en la misma máquina que el servidor Aracne. La consola de administración ha sido probada exitosamente con Apache Tomcat (versiones 5.0.x y 5.5.x) [TOM] y con BEA Weblogic Application Server 9.0 [BEA]. También puede utilizarse cualquier servidor de aplicaciones compatible con las especificaciones Servlets 2.3 y JSP Utilización de la herramienta de instalación Los módulos que forman parte de la Plataforma Denodo se instalan a través de una herramienta gráfica. En el CD de instalación de la Plataforma Denodo podrá encontrar el archivo install.bat (este ejecutable requiere de la correcta instalación de la máquina virtual de Java). Al ejecutarlo, el wizard de instalación le guiará por cada uno de los pasos de configuración necesarios. En este apartado se describirán las principales acciones a realizar para instalar cada uno de los componentes de Denodo Aracne. Tras la pantalla de presentación (ver Figura 2), el proceso de instalación le mostrará las condiciones de la licencia del producto, que debe leer cuidadosamente. Instalación y Configuración 10

19 Figura 2 Herramienta de instalación: pantalla inicial Si acepta las condiciones, la siguiente pantalla le permitirá escoger la configuración de internacionalización a utilizar. Posteriormente, el instalador presentará los diferentes componentes que puede instalar para cada módulo de la Plataforma Denodo. En el caso de Aracne, estos componentes son (ver Figura 3): - Servidor Aracne. Incluye los módulos de crawling (excepto IECrawler y Exchang Crawler) y el módulo de planificación y configuración de tareas. - Módulo de indexación/búsqueda. Incluye los servidores de indexación y búsqueda de información.si se desea, estos servidores pueden ser instalados en una máquina distinta que la del servidor Aracne. - Exchang Crawler. Crawler de cuentas de correo electrónico de Microsoft Exchange Server. Debe ser instalado en máquinas Windows que pertenezcan al mismo dominio que la máquina en la que se ejecuta Microsoft Exchange Server, siendo válido y más eficiente la instalación en la misma máquina que ejecuta el servidor de correo Exchange. - IECrawler. Crawler web avanzado basado en Microsoft Internet Explorer. Sólo puede ser instalado en máquinas Windows. - Consola de administración. Cliente de administración web que permite configurar, planificar y ejecutar tareas de crawling e indexación de datos. También permite realizar consultas sobre la información recolectada tras la ejecución de las tareas de crawling/indexación. Ver la sección 4 para información sobre su uso. La consola se distribuye como una aplicación web en formatos.war y.ear que puede ser instalada en un servidor de aplicaciones J2EE. Por defecto todos los componentes se encuentran seleccionados para su instalación. Los componentes Servidor de Denodo Aracne e IECrawler deben ser instalados en la misma máquina, mientras que el resto de componentes pueden ser instalados en otra máquina diferente. Instalación y Configuración 11

20 Figura 3 Componentes de Denodo Aracne Una vez seleccionados los componentes, el sistema le pedirá la ruta en la que desea instalar el software (esta ruta es conocida como DENODO_HOME). Para terminar el proceso de instalación, es necesario realizar la configuración inicial de los componentes que lo requieren. En el caso de Denodo Aracne, se le solicitará: Para el servidor de administración (ver Figura 4): o Número de puerto en el que se lanzará el servidor de administración. o Número de puerto para detener el servidor de administración. o Número para el Auxiliar Port del servidor de administración Las comunicaciones entre los clientes y el servidor de administración de Denodo Aracne utilizan un número de puerto adicional llamado auxiliar que puede especificarse en este momento. o En sistemas operativos Windows, es posible especificar que el servidor de administración sea instalado como servicio. Instalación y Configuración 12

21 Para el módulo de indexación/búsqueda: o Números de puerto en los que se lanzarán, respectivamente, el servidor de indexación y el servidor de búsqueda. o Números de puerto que se utilizarán para detener, respectivamente, el servidor de indexación y el servidor de búsqueda o Número para el Auxiliar Port de, respectivamente, el servidor de indexación y el de búsqueda. Las comunicaciones entre los clientes y los servidores de indexación y consulta de Denodo Aracne utilizan un número de puerto adicional llamado auxiliar que puede especificarse en este momento. o En sistemas operativos Windows, es posible especificar que los servidores de indexación y consulta de Aracne sean instalados como servicio. Para el módulo de Exchang Crawler: o Número de puerto en el que se lanzará el servidor de Exchang Crawler. o En sistemas operativos Windows, es posible especificar que el servidor de Exchang Crawler de Aracne sea instalado como servicio. En el caso de que se esté realizando la instalación en la misma ruta en la que ya está instalado un servidor Aracne, el proceso de instalación conservará las definiciones ya existentes de tareas, filtros y manejadores. Si no se desea conservar estas definiciones, debe seleccionarse la opción Overwrite metadata. NOTA: Si las comunicaciones entre los clientes y los servidores deben atravesar un software de cortafuegos, éste debe configurarse para permitir el acceso a los puertos de ejecución y a los puertos auxiliares. Los números de puerto seleccionados pueden cambiarse posteriormente haciendo uso de las opciones de la consola de administración (véase sección 4). Instalación y Configuración 13

22 Figura 4 Configuración del Servidor Aracne Por último, los ficheros.war y.ear de la consola de administración se copiarán en la ruta $DENODO_HOME/webapps/aracne Instalación de la Licencia Para que el software funcione correctamente, el fichero de licencia denodo.lic o aracne.lic debe encontrarse en la ruta DENODO_HOME/conf. Si no dispone de un fichero de licencia válido póngase en contacto con Denodo o con su distribuidor. 3.2 CONFIGURACIÓN Una vez se ha instalado la aplicación y antes de proceder a su ejecución, es necesario realizar determinadas tareas de configuración Configuración de Microsoft Internet Explorer Un aspecto a tener en cuenta al usar IECrawler es que sus browsers utilizarán la configuración establecida para Microsoft Internet Explorer (MSIE): Se recomienda establecer como página de inicio de MSIE una página en blanco ( about:blank ) para evitar que cada nuevo browser lanzado por IECrawler se conecte a la página inicial antes de ejecutar una tarea. Para que el crawling de sitios HTTPS se complete satisfactoriamente será necesario establecer las preferencias de MSIE para que evite las ventanas emergentes advirtiendo a los usuarios sobre el cambio a Instalación y Configuración 14

23 modo seguro/inseguro y para que acepte certificados digitales (sino los browsers podrían bloquearse). Estas preferencias se encuentran en MSIE en la opción Opciones de Internet en el menú Herramientas, seleccionando la pestaña Opciones Avanzadas y desplazándose al grupo de opciones de Seguridad. Para poder conectarse a un servidor FTP utilizando IECrawler será necesario configurar el modo de conexión, Activo o Pasivo, del cliente FTP del MSIE. Este dependerá de la configuración del software de cortafuegos tanto en el cliente como en el servidor FTP. Las preferencias para poder establecer el modo de conexión del cliente FTP del MSIE se encuentran en la opción Opciones de Internet en el menú Herramientas, seleccionando la pestaña Opciones Avanzadas y desplazándose al grupo de opciones de Examinar. El MSIE se conecta en modo Activo si se selecciona la opción Habilitar la lista de carpetas para los sitios FTP, incluso si la opción Usar FTP pasivo está seleccionada. Si no se selecciona la opción Habilitar la lista de carpetas para los sitios FTP y se selecciona la opción Usar FTP pasivo el MSIE se conecta en modo Pasivo. Debido a que los browsers se comportarán de acuerdo a la configuración indicada en MSIE será conveniente tener presente las demás opciones de seguridad y las cookies de MSIE. En caso de que Aracne se ejecute como un servicio de Windows, para que IECrawler funcione correctamente, es necesario que la configuración anterior se lleve a cabo en el MSIE del sistema local, que es la cuenta que utiliza por defecto en el servicio de Denodo Aracne: Para establecer como página de inicio de MSIE una página en blanco ( about:blank ) se debe modificar la clave del registro de Windows [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Internet Explorer\Main] "Start Page"="about:blank". En cuanto a la configuración de seguridad de MSIE es necesario modificar la clave [HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Internet Settings\Zones\3] 1601 = 0, indicando así que la propiedad de seguridad Enviar formularios de datos no cifrados tiene como valor Activar. Para poder establecer el modo de conexión del cliente FTP del MSIE es necesario crear la clave [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\FTP] con dos valores alfanuméricos de nombre Use Web Based FTP y Use PASV. El MSIE se conecta en modo Activo si Use Web Based FTP tiene como valor no, incluso si Use PASV tiene como valor yes. Si Use Web Based FTP y Use PASV tienen como valor yes el MSIE se conecta en modo Pasivo. La configuración anterior ha sido probada con éxito en máquinas con sistema operativo Windows XP. Si no se desea modificar la configuración de MSIE del sistema local accediendo a las claves del registro de Windows, existe la posibilidad de iniciar el servicio de Denodo Aracne en la cuenta de un usuario cuyo MSIE haya sido configurado manualmente Configuración para el Exchang Crawler Para que el crawling de cuentas de correo electrónico de Microsoft Exchange Server se complete satisfactoriamente será necesario establecer Microsoft Outlook como cliente de correo predeterminado en la máquina en la que se ha instalado el servidor de Exchang Crawler. Si desea establecerlo a través del registro de Windows debe modificar la clave [HKEY_LOCAL_MACHINE\SOFTWARE\Clients\Mail] para que su valor por defecto sea Microsoft Outlook" Configuración de logs Denodo Aracne posee en la ruta DENODO_HOME/conf/aracne los ficheros de configuración de logs. Estos ficheros están basados en Log4j [LOG4J]. Entre otras posibilidades, estos ficheros permiten modificar la ruta concreta para los ficheros de log que registran los distintos eventos que se produzcan durante la ejecución de Denodo Aracne. También puede modificarse el nivel de log de las categorías definidas en la aplicación. Para más información, refiérase a las instrucciones de Log4j. Instalación y Configuración 15

24 La herramienta de administración también posee un fichero de configuración log4j.xml para establecer el nivel de registro de los eventos generados por esta aplicación. La configuración de log de los procesos de crawling realizados con IECrawler se encuentra en DENODO_HOME/conf/aracne/iecrawler. Se crean los siguientes ficheros de log en la ruta DENODO_HOME/logs/aracne/iecrawler (cada tipo de log almacena hasta 10 ficheros de respaldo como máximo, con un tamaño de 10MB cada uno): nombre_tarea.log: Fichero que contiene el flujo de eventos del crawling. Es posible especificar un nombre de fichero, en lugar de un directorio, para el elemento ROLLINGFILE filedefault en el fichero de configuración de logs log.xml. En este caso un único fichero de log contendría el flujo de eventos de todas las tareas IECrawler que se ejecuten en el sistema, en lugar de un fichero por tarea (configuración por defecto). access_url.log: Contiene el listado de URLs a los que ha accedido el crawler. accept_url.log: Contiene el listado de URLs que el crawler ha aceptado para procesar. reject_url.log: Contiene el listado de URLs que han sido descartados por el crawler, indicando el motivo. error_url.log: Contiene el listado de URLs que han producido un error al acceder a ellos (por ejemplo errores HTTP 404 que no estén capturados por el servidor). La configuración de log de los procesos de crawling realizados con Exchang Crawler se encuentra en DENODO_HOME/conf/aracne/exchang crawler. El crawlin genera un fichero de log en la ruta DENODO_HOME/logs/aracne/exchang crawler (almacena hasta 10 ficheros de respaldo como máximo, con un tamaño de 10MB cada uno): exchang crawler.log: Fichero que contiene el flujo de eventos del crawling. 3.3 EJECUCIÓN DEL SERVIDOR El servidor de Denodo Aracne consta de tres procesos servidores: Administración (Aracne Server). Este servidor se encarga de las labores de planificación y ejecución de las tareas de crawling e indexación. Si no está lanzado, dichas tareas no se ejecutarán. Indexación (Aracne Indexer). Este servidor se encarga de las labores de indexación de información en el repositorio. También es capaz de ejecutar consultas de la misma forma que el servidor de búsqueda. Ejecución de consultas (Aracne Search Engine). Si bien el servidor de indexación de Aracne puede actuar también como servidor de búsqueda, es posible utilizar un servidor de búsqueda adicional que residirá siempre en la misma máquina que el servidor de indexación. Este servidor se encarga de responder las consultas realizadas por las aplicaciones buscadoras sobre la información descargada e indexada (ver sección 5.1). La principal ventaja de utilizar un servidor de búsqueda separado del de indexación reside en independizar a las aplicaciones de búsqueda de los posibles cortes de servicio en el servidor de indexación debido a necesidades de administración. Los servidores pueden arrancarse y detenerse utilizando los accesos directos creados durante el proceso de instalación. Instalación y Configuración 16

25 Como alternativa se proporcionan scripts en la ruta $DENODO_HOME/bin. Para cada servidor existe un script servername_startup.sh (servername_startup.bat y servername_startup.exe en Windows) para arrancarlo y un script servername_shutdown.sh (servername_shutdown.bat y servername_shutdown.exe en Windows) para detenerlo. Por ejemplo, para el servidor de administración (Aracne Server) los scripts reciben el nombre aracneserver_startup.sh y aracneserver_shutdown.sh. En el caso de máquinas Windows, se incluyen scripts para instalar los servidores como servicio. Los scripts reciben el nombre servernameservice.bat (e.g. aracneservice.bat). Instalación y Configuración 17

26 4 ADMINISTRACIÓN DE DENODO ARACNE 4.1 INTRODUCCIÓN En esta sección se ilustra, mediante ejemplos, el uso de la herramienta de administración Web de Denodo Aracne. A lo largo de la sección se utilizará el ejemplo que se describe a continuación. Ejemplo: Se pretende obtener información sobre informática y telecomunicaciones de un boletín on-line de noticias identificado por el dominio imaginario Para restringir el crawling sólo a aquellas páginas que correspondan a noticias, se aprovechará que los URLs de las noticias de news.acme.com siguen un formato determinado, diferente del utilizado en otros enlaces del sitio Web. Por tanto, se utilizarán los filtros de enlaces de modo que se seleccionen para su crawling sólo aquellos URLs que sigan dicho formato. Para obtener sólo las noticias sobre Internet y telecomunicaciones se aplicará un filtro Booleano de contenido que especifique una serie de palabras clave relevantes sobre dichos temas. Además, interesa eliminar los menús de navegación de las páginas de noticias para obtener sólo su contenido útil (el cuerpo de las noticias), por lo que se utilizará también un filtro de extracción de contenido útil. 4.2 AUTENTICACIÓN Al acceder a la herramienta de administración de Denodo Aracne se muestra una pantalla inicial de autenticación (ver Figura 5), en la que el usuario deberá introducir la contraseña de administración. Se proporciona la posibilidad de recordar la contraseña para futuras autenticaciones. En la misma pantalla se permite la opción de modificar el servidor Denodo Aracne (nombre del servidor y puerto del proceso de administración) contra el que se conectará la herramienta. Administración de Denodo Aracne 18

27 Figura 5 Pantalla de autenticación 4.3 CONFIGURACIÓN GENERAL Una vez autenticado, el usuario puede acceder a la pestaña de edición de configuración, dónde se le presentan las siguientes posibilidades (ver Figura 6): Modificar la contraseña de administración. Cambiar la configuración de acceso a través de Proxy del crawler Webbot y del servidor Aracne (ver sección ). Configurar el servidor SMTP, la dirección de correo electrónico del emisor y el asunto utilizados por el manejador de correo electrónico. Indicar otro servidor de administración Aracne al que conectarse. Para ello debe utilizarse la opción Change Current Admin Server e indicar el nombre de máquina y el puerto de ejecución del servidor que se desea pasar a administrar. Configurar diversos parámetros del servidor de administración Aracne al que se está conectado actualmente. Para ello debe pulsarse la opción Configure Current Admin Server. En esta pantalla es posible: o Cambiar los puertos utilizados por el servidor (opción Change Current Admin Server Ports ). La modificación tendrá validez la próxima vez que se arranque el servidor (ver sección 3.3). o Cambiar el servidor de indexación utilizado por el servidor de administración para indexar la información extraída (opción Change Index Server ). Debe indicarse el nombre de la máquina y el puerto de ejecución del servidor deseado. o Cambiar los puertos utilizados por el servidor de indexación especificado (opción Configure Index Server ). La modificación tendrá validez la próxima vez que se arranque dicho servidor (ver sección 3.3). Configurar los puertos utilizados por el servidor de búsqueda. Si bien el servidor de indexación de Aracne puede actuar también como servidor de búsqueda, es posible utilizar un servidor de búsqueda adicional que residirá siempre en la misma máquina que el servidor de indexación. Para cambiar los números de puerto utilizados por este servidor debe pulsarse la opción Configure Search Engine Server. La modificación tendrá validez la próxima vez que se arranque el servidor de búsqueda (ver sección 3.3). Administración de Denodo Aracne 19

28 Desde esta pantalla también se proporciona acceso al resto de pestañas de la aplicación: Administración de tareas Administración de las secuencias de filtros Administración de los manejadores. Motor de búsqueda. Figura 6 Pantalla de configuración general Configuración de Proxy Cuando los crawlers web deban acceder a la información a través de un Proxy, será necesario configurar la información del mismo. Las siguientes subsecciones se ocupan, respectivamente, de la configuración para WebBot/servidor Aracne e IECrawler Configuración de Proxy en WebBot y en el servidor Aracne Desde la pestaña de edición de configuración de la herramienta de administración es posible configurar un Proxy para el crawler WebBot y el servidor Aracne. Para ello debe pulsarse la opción Change Proxy Configuration y especificar los siguientes parámetros (ver Figura 7): Host. Nombre o dirección IP de la máquina que actúa como Proxy. Port. Número de puerto en el que está lanzado el servicio de Proxy. Login. Identificador de usuario en el Proxy. Password. Contraseña del usuario en el Proxy. Administración de Denodo Aracne 20

29 Realm/NTLM Domain. Dominio de seguridad del Proxy. Normalmente puede verse el valor esperado en el cuadro de diálogo de autenticación mostrado por el proxy. Figura 7 Configuración de proxy Configuración de Proxy en IECrawler Para un acceso vía Proxy es necesario configurar los browsers de IECrawler para que utilicen Proxy (la configuración se realiza de la misma forma que en Microsoft Internet Explorer). 4.4 AÑADIR UNA NUEVA TAREA El usuario, una vez autenticado, podrá acceder a la administración de tareas a través del enlace Tasks Admin. En esta página (Figura 8) se muestra la lista de las tareas que están planificadas actualmente en el servidor. Administración de Denodo Aracne 21