DENODO ITPILOT 4.0 MANUAL DE USUARIO

Transcripción

1 DENODO ITPILOT 4.0 MANUAL DE USUARIO

2 NOTA Este documento es confidencial y propiedad de denodo technologies (en adelante denodo). Ninguna de las partes del documento puede ser copiada, fotografiada, fotocopiada, transmitida electrónicamente, almacenada en un sistema de gestión documental o reproducida mediante cualquier otro mecanismo sin la autorización previa o por escrito de denodo. copyright 2007 Queda prohibida la reproducción total o parcial de este documento sin la autorización por escrito de denodo technologies

3 ÍNDICE PREFACIO I ALCANCE...I QUIÉN DEBERÍA USAR ESTE MANUAL...I RESUMEN DE CONTENIDOS...I 1 INTRODUCCIÓN ENTORNOS DE DENODO ITPILOT Herramienta de Administración Entorno de Generación Entorno de Ejecución Entorno de Mantenimiento DISTRIBUCIÓN DE LOS ENTORNOS DISTRIBUCIÓN DEL ENTORNO DE GENERACIÓN DISTRIBUCIÓN DEL ENTORNO DE EJECUCIÓN DISTRIBUCIÓN DEL ENTORNO DE MANTENIMIENTO INSTALACIÓN PREINSTALACIÓN DE LOS COMPONENTES DE ITPILOT Preinstalación del Servidor de Administración Requisitos Hardware Requisitos Software PreInstalación del Pool de Browsers Requisitos Hardware Requisitos Software PreInstalación del Servidor de Wrappers Requisitos Hardware Requisitos Software PreInstalación del Servidor de Mantenimiento Requisitos Hardware Requisitos Software UTILIZACIÓN DE LA HERRAMIENTA DE INSTALACIÓN Configuración de las Herramientas de Generación en Fase de Instalación Configuración de Pool de Browsers en Fase de Instalación Configuración del Servidor de Wrappers en Fase de Instalación Configuración del Servidor de Mantenimiento en Fase de Instalación Configuración del Servidor de Administración en Fase de Instalación ESTRUCTURA DE DIRECTORIOS DE LA DISTRIBUCIÓN ARRANQUE DE LOS COMPONENTES Instalación de la Licencia de Utilización de Denodo ITPilot Arranque del Servidor de Administración Arranque del Pool de Browsers Arranque del Servidor de Wrappers Arranque del Servidor de Mantenimiento HERRAMIENTA WEB DE ADMINISTRACIÓN ADMINISTRACIÓN DE LOS ENTORNOS DE EJECUCIÓN Y MANTENIMIENTO... 17

4 5.1 INTRODUCCIÓN ARRANQUE DE LOS SERVIDORES CONFIGURACIÓN DEL POOL DE BROWSERS Identificación del pool y asignación de puertos Comportamiento de los Browsers del Pool Proxy con Autenticación Configuración de la conversión HTML Firefox Web Browser Configuration Tamaño del Pool y Política de Reutilización de Browsers Políticas de Reutilización de Browsers Inicialización del Pool Ejecución y parada del Pool de Browsers CONFIGURACIÓN DEL SERVIDOR DE WRAPPERS Acceso al Servidor de Wrappers Lista de Wrappers Ejecución de Wrappers Exportación de los resultados a ficheros con formato CSV Selección de Localización del Pool de Browsers Asociado Asignación de Puertos Carga de nuevos wrappers desde ficheros VQL Creación de un Web Service CONFIGURACIÓN DEL SERVIDOR DE MANTENIMIENTO Acceso al Servidor de Mantenimiento Datos de Configuración del Servidor Parámetros de la Base de Datos Parámetros para Notificación de Correo Electrónico Parámetros para Asignación de Puertos Edición de Reglas de Verificación Selección de Localización del Pool de Browsers Asociado Selección de Localización del Servidor de Wrappers CONTROL ACTIVEX PARA EJECUCIÓN AUTOMÁTICA DE SECUENCIAS DE NAVEGACIÓN EN NAVEGADORES CLIENTE BIBLIOGRAFÍA... 37

5 ÍNDICE DE FIGURAS Figura 1 Formulario de Tienda de Libros... 2 Figura 2 Entornos y Componentes de ITPilot... 3 Figura 3 Distribución del Entorno de Generación... 5 Figura 4 Distribución del Entorno de Ejecución... 6 Figura 5 Relación entre Entornos de Ejecución y Mantenimiento... 6 Figura 6 Página de Entrada a la Herramienta de Administración Figura 7 Pestaña de "Browser Pool" Figura 8 Página de Adición de Servidor Figura 9 Identificación y asignación Figura 10 Comportamiento de los browsers Figura 11 Proxy con autenticación Figura 12 Tamaño y Política de Reutilización Figura 13 Iniciación del pool Figura 14 Ventana de Configuración del Servidor de Wrappers Figura 15 Conexión a un Wrapper Figura 16 Página de Ejecución de Wrappers Figura 17 Localización del Pool de Browsers Figura 18 Carga de Wrappers mediante Ficheros VQL Figura 19 Lista de Wrappers con webmail cargado Figura 20 Página de Exportación de Web Services Figura 21 Página principal de Administración de Mantenimiento Figura 22 Parámetros de BBDD de Mantenimiento Figura 23 Parámetros de Notificación de Cambio de Wrapper Figura 24 Parámetros de Asignación de Puertos Figura 25 Edición de Reglas de Verificación Figura 26 Localización de Pool de Browsers Figura 27 Localización de Servidor de Wrappers... 35

6 PREFACIO ALCANCE Este documento sirve de introducción y guía de administración y utilización de Denodo ITPilot. QUIÉN DEBERÍA USAR ESTE MANUAL Este documento está dirigido a administradores que pretendan instalar el software, así como utilizar la herramienta de administración de Denodo ITPilot. RESUMEN DE CONTENIDOS Más concretamente, en este documento se describe: Introducción a ITPilot Los diferentes entornos de funcionamiento de Denodo ITPilot Configuración de cada uno de los componentes de Denodo ITPilot en los entornos de ejecución y mantenimiento. Prefacio i

7 1 INTRODUCCIÓN La mayor parte de la información que se encuentra disponible en la Worldwide Web (web en adelante) sólo puede ser obtenida por medios que son amigables para los usuarios de la red, pero que no son útiles si se desea un procesamiento automático y mecánico por parte de aplicaciones software. Un caso muy frecuente en nuestros días puede encontrarse en una gran cantidad de sitios web que ofrecen interfaces de consulta ad-hoc a través de formularios, y que devuelven la información requerida por medio de listados compuestos por respuestas semiestructuradas codificadas en documentos HTML. A esta parte de la web aquella accesible a través de diferentes tipos de formularios y/o interfaces, y que devuelven datos obtenidos automáticamente de bases de datos internas- se la denomina habitualmente web oculta (o, en inglés, hidden web ). Esta web oculta no es en absoluto una pequeña parte del total de la WWW, y contiene muchísima información que, en muchos casos, es de mayor calidad e interés para los usuarios. Sitios web como tiendas de comercio electrónico (que ofrecen sus catálogos de esta manera), buscadores de información científica y de salud, de patentes, o de información financiera son buenos ejemplos de esta situación. Además, a menudo estos sitios web son de acceso privado (es decir, es necesario un acceso mediante usuario/contraseña), presentan una interfaz de consulta avanzada (permitiendo búsquedas de información a partir de diferentes conceptos) y/o sus resultados se devuelven en forma de listas de ítems codificadas en HTML, enlazándose además con páginas relacionadas que contienen más datos sobre cada ítem (p.e. normalmente las tiendas de comercio electrónico devuelven una lista de resultados, pero con la posibilidad de que el usuario pueda pinchar sobre el título para acceder a otra página con comentarios sobre el producto, fotos, productos relacionados, etc.). Otras complicaciones habituales vienen derivadas del uso de técnicas como Javascript, HTML dinámico o sistemas de mantenimiento de sesión, que complican todavía más el acceso automatizado a la información contenida en estos sitios web. Además de la problemática de acceso a estas fuentes con información oculta, las aplicaciones que desean hacer uso de estos datos se encuentran con la dificultad de que los resultados se devuelven generalmente en HTML, que es un lenguaje de etiquetas definido para la visualización por parte de usuarios, y que no publica ningún tipo de metainformación sobre la estructura y/o la semántica de los resultados generados, además de no diferenciar estructuralmente entre elementos de navegación (menús), paneles gráficos e información útil para el usuario. Surge por tanto también el problema de la extracción de los datos relevantes contenidos en las páginas HTML. Ejemplo: Consideremos el ejemplo de una tienda de libros en Internet cuyo formulario de búsqueda se muestra en la Figura 1. El formulario obliga al usuario a especificar un valor para el atributo TITULO y opcionalmente le permite fijar un valor para el atributo AUTOR y para el atributo FORMATO (restringido a un conjunto de valores). La tienda de libros devuelve una lista de resultados con información sobre TITULO, AUTOR, FORMATO, EDITORIAL y PRECIO. Introducción 1

8 Figura 1 Formulario de Tienda de Libros Este caso resume las dificultades con las que se encuentra una aplicación que desee extraer información estructurada de los entornos web: acceso a fuentes web, navegación a través de entornos transaccionales, selección de opciones y, por último, extracción de datos a partir de información semiestructurada. Denodo ITPilot es la solución de Denodo Technologies que permite acceder y estructurar de manera sencilla el conjunto de datos que existe en la web; este proceso se realiza mediante la construcción de una abstracción de la fuente web concreta, denominada wrapper o envoltorio que aísla a las aplicaciones cliente de las características intrínsecas de ese sitio (protocolo de acceso, estructura nativa de la información, etc.). ITPilot proporciona un entorno distribuido y escalable de generación, ejecución y mantenimiento de wrappers. Este manual presenta Denodo ITPilot y ofrece instrucciones que permiten su correcta instalación, recomendaciones sobre los diferentes tipos de arquitectura que soporta, así como una guía del entorno de ejecución y mantenimiento. En este mismo apartado, se introducirán los componentes de ITPilot; en el siguiente apartado se proporcionará una una visión general de las arquitecturas recomendadas. En el capítulo 3 se detallará el proceso de instalación de cada uno de los componentes,. Por último, los capítulos 4 y 5 explican cómo configurar y administrar los Entornos de Ejecución y Mantenimiento de ITPilot y cómo exportar un wrapper como WebService. 1.1 ENTORNOS DE DENODO ITPILOT Denodo ITPilot permite la generación, ejecución y mantenimiento de wrappers sobre fuentes web de una manera sencilla y dinámica. Para ello, existen tres Entornos, cada uno de los cuáles permite una de las acciones comentadas y cuya gestión se realiza a través de la Herramienta de Administración. Cada entorno contiene una serie de Componentes, que se describen a continuación. La Figura 2 muestra gráficamente la relación entre los Entornos y sus Componentes. Introducción 2

9 Figura 2 Entornos y Componentes de ITPilot Herramienta de Administración Es el centro de gestión del entorno de ejecución, desde donde se configuran los diferentes servidores que lo conforman. Es una herramienta web que se comunica con un servidor de administración (desplegable en contenedores web que cumplan las especificaciones de servlets y JSPs) Entorno de Generación Este entorno engloba el conjunto de componentes necesarios para la creación de wrappers a partir de la generación de especificaciones DEXTL de extracción de datos (ver [DEXTL], [GENER]) y secuencias de navegación NSEQL (ver [NSEQL], [GENER]). Los componentes de los que hace uso son los siguientes: - Herramientas de Generación: las herramientas de generación de especificaciones de extracción de datos y de generación de secuencias de navegación son aplicaciones gráficas que permiten a un usuario no técnico la creación de wrappers web. Para más información, se recomienda la lectura del Manual del Entorno de Generación de Denodo ITPilot [GENER]. Introducción 3

10 - Pool de Browsers de Generación: este entorno utiliza internamente un Pool de Browsers para probar las secuencias de navegación y la especificación final. Además, y aunque no pertenece propiamente a este entorno, las herramientas de generación pueden necesitar almacenar el wrapper creado. Para ello, harán uso del Servidor de Wrappers del Entorno de ejecución (ver siguiente sección, 1.1.3) Entorno de Ejecución Este es el entorno de operación continuada, donde el usuario podrá hacer uso de los wrappers previamente creados para realizar consultas sobre las fuentes. Este uso podrá ser directo (a través de un API nativo o publicando el wrapper como un WebService) o a través de otros productos tales como Denodo Virtual DataPort, con quien ITPilot se encuentra totalmente integrada. Los componentes de los que consta este entorno son los siguientes: - Servidor de Wrappers: este es el componente encargado de almacenar los wrappers sobre los cuáles se desean realizar accesos. Incluye una interfaz remota que permite ejecutar sentencias sobre ella. - Pool de Browsers: cuando se ejecuta un wrapper, se puede seleccionar IEBrowser (módulo de navegación automática basado en Microsoft Internet Explorer [IE]), Firefox [FRFOX] o un cliente HTTP como método de acceso. En este caso, el servidor de wrappers utiliza el pool de browsers para minimizar los tiempos de creación de instancias del navegador. Este pool es configurable desde la herramienta de administración Entorno de Mantenimiento El entorno más complejo es el de Ejecución y Mantenimiento. Debido a que las fuentes web son autónomas e independientes de los wrappers, pueden sufrir modificaciones y cambios que invaliden el modo de acceso actual, por lo que estos wrappers dejan de extraer adecuadamente sus datos. Denodo ITPilot ofrece una herramienta de mantenimiento automático que permite reparar automáticamente los wrappers a partir de la detección automática de los cambios comentados anteriormente. Aunque se tratará con mayor profundidad en el apartado 5, su funcionamiento básico es el siguiente: - El servidor de wrappers almacena todos los envoltorios de cada una de las fuentes web; este almacenamiento se realiza en XML, por lo que no es necesaria ninguna base de datos. - A partir de la configuración de la frecuencia de comprobación de cambios, el sistema verifica para cada wrapper si ha habido cambios. - Cuando se detecte que una fuente cambia se pueden configurar las acciones a realizar. - Una posible acción es el envío de un correo informando del cambio. - La otra posibilidad es la regeneración automática del wrapper. Los componentes de los que consta este entorno, aparte de los ya mencionados en el entorno de ejecución, son los siguientes: - Servidor de Mantenimiento: componente encargado de detectar automáticamente los cambios producidos en las fuentes y de realizar la regeneración de los wrappers. Se comunica con el servidor de wrappers para pedirle todos los wrappers a mantener, y para obtener los resultados de la ejecución de consultas sobre los mismos (estos resultados serán utilizados para la comprobación de cambios y durante el proceso de regeneración). - Pool de Browsers del Servidor de Mantenimiento: pool de browsers utilizado en la fase de regeneración. Como se ha comentado anteriormente, una explicación detallada de este entorno se realizará en el apartado 2.3 de este mismo manual. El siguiente apartado recomienda diferentes arquitecturas de distribución de estos componentes. El capítulo 3 detalla los procesos de instalación y configuración de cada uno de los entornos de ITPilot. Introducción 4

11 2 DISTRIBUCIÓN DE LOS ENTORNOS 2.1 DISTRIBUCIÓN DEL ENTORNO DE GENERACIÓN Como se ha comentado en el apartado anterior, el Entorno de Generación permite crear wrappers de una manera visual y sencilla. Este entorno requiere la instalación de dos componentes: la herramienta de generación de especificaciones y la herramienta de generación de secuencias de navegación. También podrá tener accesible el servidor de wrappers del entorno de ejecución. La Figura 3 muestra la relación entre cada uno de los elementos. Figura 3 Distribución del Entorno de Generación El servidor de wrappers pertenece al entorno de ejecución por lo que normalmente se instalará en una máquina independiente en el entorno de producción. No es objetivo de este manual el explicar la instalación, operación y manejo de las herramientas de este entorno. Para más información, se puede consultar [GENER] para instrucciones sobre instalación y operación, y [DEXTL] y [NSEQL] para información detallada sobre los lenguajes de definición de especificaciones y secuencias. 2.2 DISTRIBUCIÓN DEL ENTORNO DE EJECUCIÓN La operación de Denodo ITPilot se realiza en el entorno de ejecución, donde se realizan las acciones sobre los wrappers que encapsulan las fuentes web cuyos datos se quieren extraer. Se requieren tres componentes en este caso: la herramienta web de administración (independiente del entorno, pero utilizada aquí), el servidor de wrappers y el pool de browsers. La Figura 4 describe la relación entre estos elementos. Distribución de los Entornos 5

12 Figura 4 Distribución del Entorno de Ejecución Debido a que el servidor de wrappers puede ser utilizado en diferentes entornos, y a su posible carga, se recomienda su instalación en una máquina independiente al resto del sistema. El pool de browsers puede encontrarse o en la misma máquina que el servidor de wrappers, o en una máquina independiente; en general, dependerá del número máximo de navegadores que puedan llegar a estar abiertos en la ejecución del sistema. 2.3 DISTRIBUCIÓN DEL ENTORNO DE MANTENIMIENTO Este entorno debe ejecutarse junto con el de ejecución, y permite que ITPilot pueda monitorizar cambios en las fuentes de las cuáles se están extrayendo datos, y regenere automáticamente aquellos wrappers que lo requieran (ver apartado 1.1.4). El servidor de mantenimiento, que hace uso de un pool de browsers, puede ejecutarse en la misma máquina que el servidor de wrappers, aunque es un componente distribuido del que se recomienda su instalación en otra máquina. La Figura 5 muestra la relación entre este entorno y el de ejecución. Figura 5 Relación entre Entornos de Ejecución y Mantenimiento El proceso básico del servidor de mantenimiento es el siguiente: al ejecutar una consulta sobre un wrapper, esta consulta se envia junto con los resultados que ha producido al modulo de mantenimiento. Cuando el modulo de mantenimiento recibe la consulta y sus resultados asociados, ésta se almacena en una base de datos relacional y al Distribución de los Entornos 6

13 mismo tiempo se obtienen los tests necesarios para determinar si ese wrapper ha cambiado. Cada test (configurable por el usuario, ver apartado 5.5), se ejecuta pasándole como parametro esa consulta + resultados. Cada test produce un resultado entre 0 y 100 (donde 0 significa que la condición no se cumple en absoluto, y 100 que se cumple absolutamente) que es almacenado dentro de un gestor de resultados. A continuación, se lanza un proceso evaluador que determina en función de los resultados de los tests si el wrapper ha cambiado. Este evaluador necesita tanto los resultados de los últimos tests como las reglas de evaluación. Si el wrapper cambia, el sistema de mantenimiento selecciona el subconjunto de todas las consultas almacenadas que serán utilizadas para regenerar el wrapper. A partir de estos ejemplos y de la estructura creada durante la fase de generación de especificaciones, el sistema intenta regenerar automáticamente el nuevo wrapper. Cuando los resultados de una consulta son grabados en la base de datos, se les asigna una fecha de expiración. Los resultados caducados se borran de forma periódica. En la siguiente sección se detallan los pasos de instalación de cada uno de los componentes. Distribución de los Entornos 7

14 3 INSTALACIÓN Este apartado se centra en la instalación y configuración de los diferentes componentes de Denodo ITPilot. 3.1 PREINSTALACIÓN DE LOS COMPONENTES DE ITPILOT Preinstalación del Servidor de Administración El núcleo de gestión de Denodo ITPilot es la herramienta web de administración. La instalación de su servidor es el primer paso a partir del cuál se podrá configurar el resto del sistema Requisitos Hardware El sistema ha sido probado satisfactoriamente sobre un PC Pentium IV 2.4 GHz 1 GB, con acceso a Internet. La instalación inicial requiere aproximadamente unos 5 MB de espacio en disco Requisitos Software - Este componente se ejecuta en cualquier entorno que admita Máquina Virtual de Java [J2SE]. - Ha sido probado satisfactoriamente sobre la distribución Linux Fedora Core 3 [LIN] y en Windows [WIND] instalado (2000 Server, 2000 Advanced Server, 2003, XP, Vista). - Es necesario también disponer de Java 2 SDK Standard Edition (J2SE) 1.4.2_09 o superior (probado exitosamente también con J2SE 1.5.0_05 y J2SE 1.6.0) [J2SE]. - Servidor de Aplicaciones: en la actualidad, Denodo ITPilot se encuentra probado en Jakarta Tomcat , y [TOM], y BEA WebLogic Server 9.0 [BEA], aunque debido a que el servidor de Administración cumple las especificaciones 2.3 de Servlets y 1.2 de JSP, es desplegable en cualquier contenedor de servlets que cumpla con estas especificaciones. Además, el servidor es instalable en cualquier servidor de aplicaciones J2EE utilizando el fichero.ear disponible en la distribución PreInstalación del Pool de Browsers Tanto el entorno de generación como los servidores de wrappers y mantenimiento en los entornos de ejecución y mantenimiento requieren acceso a navegadores que accedan a las fuentes web de manera automática. Este acceso no se realiza directamente, sino a través de pools de browsers, servidores que se encargan de optimizar el acceso a los navegadores, mejorando sus tiempos de respuesta Requisitos Hardware El sistema ha sido probado satisfactoriamente sobre un PC Pentium IV 2.4 GHz 1 GB, con acceso a Internet. La instalación inicial requiere aproximadamente unos 15 MB de espacio en disco Requisitos Software El pool de browsers requiere la preinstalación del siguiente Software (el resto se incluye con la distribución): - Los browsers del pool pueden construirse utilizando Microsoft Internet Explorer 6.x, 7.x [IE] o Mozilla Firefox 1.5.x, 2.0.x [FRFOX]. Existe una tercera alternativa consistente en la utilización de un cliente http incluido con ITPilot que no requiere de ningún navegador preinstalado, si bien esta opción puede no ser adecuada si las fuentes web a tratar incluyen Javascript u otras complejidades de Instalación 8

15 navegación. - En caso de utilizar Microsoft Internet Explorer para los browsers del pool, este componente ha de ser instalado en el operativo Windows [WIND] (2000 Server, 2000 Advanced Server, 2003, XP, Vista). - En caso de utilizar Mozilla Firefox para los browsers del pool, el sistema ha sido probado satisfactoriamente sobre la distribución Linux Fedora Core 3 [LIN] y en Windows [WIND] instalado (2000 Server, 2000 Advanced Server, 2003, XP, Vista). - Es necesario también disponer de Java 2 SDK Standard Edition (J2SE) 1.4.2_09 o superior (probado exitosamente también con J2SE 1.5.0_05 y J2SE 1.6.0) [J2SE] PreInstalación del Servidor de Wrappers Requisitos Hardware El sistema ha sido probado satisfactoriamente sobre un PC Pentium IV 2.4 GHz 1 GB, con acceso a Internet. La instalación inicial requiere aproximadamente unos 15 MB de espacio en disco Requisitos Software El servidor de wrappers requiere la preinstalación del siguiente software (el resto se incluye con la distribución): - Este componente se ejecuta en cualquier entorno que admita Máquina Virtual de Java [J2SE]. - Ha sido probado satisfactoriamente sobre la distribución Linux Fedora Core 3 [LIN] y en Windows [WIND] instalado (2000 Server, 2000 Advanced Server, 2003, XP, Vista). - Es necesario también disponer de Java 2 SDK Standard Edition (J2SE) 1.4.2_09 o superior (probado exitosamente también con J2SE 1.5.0_05 y J2SE 1.6.0) [J2SE]. - Si se desea hacer uso de la funcionalidad de extracción de información de recursos Adobe PDF, se requiere que el sistema se ejecute en una máquina Microsoft Windows, y la instalación previa de Adobe Acrobat Professional 7. - Si se desea hacer uso de la funcionalidad de extracción de información de recursos Microsoft Word, se requiere la instalación previa de OpenOffice 2.0.x PreInstalación del Servidor de Mantenimiento Requisitos Hardware El sistema ha sido probado satisfactoriamente sobre un PC Pentium IV 2.4 GHz 1 GB, con acceso a Internet. La instalación inicial requiere aproximadamente unos 25 MB de espacio en disco Requisitos Software El servidor de mantenimiento requiere la preinstalación del siguiente software (el resto se incluye con la distribución): - Este componente se ejecuta en cualquier entorno que admita Máquina Virtual de Java [J2SE]. - Ha sido probado satisfactoriamente sobre la distribución Linux Fedora Core 3 [LIN] y en Windows [WIND] instalado (2000 Server, 2000 Advanced Server, 2003, XP, Vista). - Es necesario también disponer de Java 2 SDK Standard Edition (J2SE) 1.4.2_09 o superior Instalación 9

16 (probado exitosamente también con J2SE 1.5.0_05 y J2SE 1.6.0) [J2SE]. - Base de Datos Relacional. El servidor de mantenimiento utiliza una base de datos relacional con información sobre los wrappers para poder regenerarlos posteriormente si fuera necesario. El sistema ha sido probado con MySQL 5.0 [MYSQL], Oracle 9 [ORA] y Postgres 7.4 [POST]. Denodo ITPilot provee un script de creación de tablas para estos Sistemas Gestores de BBDD. 3.2 UTILIZACIÓN DE LA HERRAMIENTA DE INSTALACIÓN Los distintos módulos de la Plataforma Denodo se instalan a través de una herramienta gráfica El wizard de instalación le irá guiando por cada uno de los pasos de configuración necesarios. En este apartado se describirán los pasos a realizar para instalar cada uno de los componentes del módulo Denodo ITPilot. Tras la pantalla de presentación, el proceso de instalación le mostrará las condiciones de la licencia del producto, que debe leer cuidadosamente. Si acepta las condiciones, la siguiente pantalla le permitirá configurar la versión de localización por defecto de la plataforma. Esta opción permite configurar la información de localización de los programas envoltorio. Permite la integración de información de diferentes países o áreas geográficas, expresando los datos de salida en los formatos esperados por el país en cuestión. Para cada uno de los paises/localizaciones de los que pueden proceder los datos, existe una configuración de internacionalización. Algunos ejemplos de parámetros son: moneda, símbolos utilizados como separadores decimales y de miles para la moneda, formato de fecha, etc. ITPilot incluye configuraciones de internacionalización para las zonas más comunes. Los nombres de zonas se corresponden con los códigos definidos por la norma ISO-639 [ISO639]. Ejemplos: ES (España), ES_EURO (España con moneda EURO), GB (Inglaterra), Usted siempre podrá modificar esa configuración posteriormente; para más información consulte [GENER]. La siguiente pantalla le presentará los diferentes componentes que puede instalar: - Generador de Secuencias ( Navigation Sequence Generator ). Ver sección Control ActiveX de Ejecución de Secuencias ( Sequence Executor ActiveX Control ). Ver sección 6. - Generador de Especificaciones ( Wrapper Specification Generator ). Ver sección Pool de browsers ( Browser Pool ). Ver secciones y Servidor de ejecución ( Wrapper Server ). Ver sección Servidor de mantenimiento ( Maintenance Server ). Ver sección Herramienta de administración web ( Administration Console ). Ver sección para más información. - Entorno cliente de desarrollo ( Wrapper Client Environment ). Ver [DESAR]. Una vez seleccionados los componentes y la ruta de instalación del software (en adelante DENODO_HOME), el sistema comenzará el proceso de copia de archivos en ese directorio. Para terminar el proceso de instalación, es necesaria la configuración de cada uno de los componentes. Posteriormente siempre es posible volver a configurar estos componentes desde la herramienta web de administración de ITPilot. Para que el proceso de configuración sea exitoso es necesario definir la siguiente variable de entorno: JAVA_HOME - Directorio de instalación de la máquina virtual de Java. Esta variable debe definirse obligatoriamente. Los siguientes apartados detallan esta fase para cada componente Configuración de las Herramientas de Generación en Fase de Instalación No se precisa configuración adicional para este entorno durante el proceso de instalación. Instalación 10

17 La configuración de las herramientas de generación no forma parte de este documento, y se insta al lector a acudir al Manual del Entorno de Generación [GENER] para información sobre este proceso Configuración de Pool de Browsers en Fase de Instalación La información de configuración necesaria en esta fase de instalación para cada pool de browsers (o Browser Pool ) es la siguiente: - Puerto de escucha del pool. - Puerto de parada del pool. - Puerto auxiliar: puerto auxiliar que utiliza el pool para sus comunicaciones con sus clientes. - Puerto inicial de lanzamiento de browsers NOTA: Si las comunicaciones entre los clientes y el servidor deben atravesar un software de cortafuegos, éste debe configurarse para permitir el acceso a los puertos de escucha, parada y auxiliar. En sistemas operativos Windows, es posible especificar que el pool de browsers sea instalado como servicio. También es necesario indicar al sistema la ruta donde están instaladas las aplicaciones externas necesarias para ciertos componentes: - Ruta donde se encuentra instalado Mozilla Firefox. Firefox es necesario si se desea que el pool de browsers utilice este tipo de navegadores. - Ruta donde se encuentra instalado Acrobat Professional. Necesario si se desea utilizar sus conversores para documentos PDF. - Ruta donde se encuentra instalado OpenOffice. Necesario para tratar documentos MS Word. El resto de información de configuración podrá actualizarse desde la herramienta de administración de ITPilot (ver apartado 5.3) Configuración del Servidor de Wrappers en Fase de Instalación La información de configuración necesaria en esta fase de instalación para un servidor de wrappers (o Wrapper Server ) es la siguiente: - Puerto de escucha del servidor. - Puerto de parada del servidor. - Puerto auxiliar: puerto auxiliar que utiliza el pool para sus comunicaciones con sus clientes. En sistemas operativos Windows, es posible especificar que el servidor de wrappers sea instalado como servicio. NOTA: Si las comunicaciones entre los clientes y el servidor deben atravesar un software de cortafuegos, éste debe configurarse para permitir el acceso a los puertos de escucha, parada y auxiliar. En caso de estar instalando ITPilot en la misma ruta en la que se instaló previamente Denodo Virtual DataPort los valores configurados para estos puertos en el servidor de ejecución de Virtual DataPort serán sobrescritos por estos valores. Además, si en la misma instalación no se está instalando un pool de browsers, entonces hay que configurar los datos de acceso al pool que utilizará el servidor de wrappers: - Dirección IP del pool de browsers. - Puerto de escucha del pool de browsers. Instalación 11

18 En caso de estar instalando también un pool de browsers, cogerá como valores para estos parámetros los indicados para el pool durante la instalación. Más adelante esos valores pueden ser modificados a través de la herramienta de administración Configuración del Servidor de Mantenimiento en Fase de Instalación El servidor de mantenimiento también utiliza un pool de browsers, por lo que además de configurar su dominio y puerto de escucha, habrá de saber acerca de sus datos de acceso. - Puerto de escucha del servidor. - Puerto de parada del servidor. - Puerto auxiliar: puerto auxiliar que utiliza el pool para sus comunicaciones con sus clientes. - Dirección IP del pool. - Puerto de escucha del pool. NOTA: Si las comunicaciones entre los clientes y el servidor deben atravesar un software de cortafuegos, éste debe configurarse para permitir el acceso a los puertos de escucha del servidor, parada y auxiliar. En sistemas operativos Windows, es posible especificar que el servidor de wrappers sea instalado como servicio. Además, si en la misma instalación no se está instalando un servidor de wrappers, entonces hay que configurar los datos de acceso al servidor de wrappers con el que se comunica: - Dirección IP del servidor de wrappers. - Puerto de escucha del servidor de wrappers. En caso de estar instalando también un servidor de wrappers, cogerá como valores para estos parámetros los indicados para ese servidor durante la instalación. Más adelante esos valores pueden ser modificados a través de la herramienta de administración Configuración del Servidor de Administración en Fase de Instalación De este servidor no se requiere ningún tipo de información de configuración. El servidor de administración se provee tanto como un fichero.war (Web Archive), para su uso en contenedores web, como un fichero.ear (Enterprise Archive) para su uso en servidores de aplicaciones.. Un WAR es una especificación desarrollada por Sun Microsystems [SUN] que permite agrupar un conjunto de clases y documentos que conforman una aplicación Web en Java. Estos WARS por lo general son utilizados por los diversos Servlet Engines (contenedores web) del mercado. El servidor de administración de Denodo ITPilot ha sido probado en Jakarta Tomcat y y [TOM] (ver sección 3). El instalador almacena los ficheros.war y.ear en el directorio webapps/itpilot de la ruta de instalación. Si se trata de Tomcat, lo normal es que el usuario copie el fichero.war en el directorio %TOMCAT_HOME%/webapps (otros modos de instalación son posibles en Tomcat y en otros contenedores web). Existen otras opciones de instalación de Tomcat, por lo que se recomienda la lectura de su documentación. En el caso del.ear, el procedimiento usual es copiar el fichero en el servidor de aplicaciones J2EE deseado (ha sido probado satisfactoriamente en BEA WebLogic Server 9.0 [BEA]) y desplegar la aplicación (el proceso concreto depende del servidor de aplicaciones utilizado). 3.3 ESTRUCTURA DE DIRECTORIOS DE LA DISTRIBUCIÓN La estructura de directorios de la distribución del servidor se especifica a continuación: Instalación 12

19 A partir del directorio raíz seleccionado anteriormente en el proceso de instalación (DENODO_HOME), se crea la estructura de directorios que se describe enseguida. activex/itpilot. Este directorio almacena el ActiveX de ejecución automática de secuencias de navegación, que se explica en detalle en el apartado 6. bin. Directorio que incluye los scripts de ejecución del sistema para el bash (sistema linux unix) y sus equivalentes archivos de procesamiento por lotes para Windows. Los primeros tienen extensión.sh y los otros.bat : Servidor de Wrappers: o o Servidor de Mantenimiento: o vqlserver.sh/.bat. 1. vqlserver startup: lanza el servidor de wrappers. 2. vqlserver shutdown: para el servidor de wrappers. vdpservice.bat: en sistemas Windows, lanza el servidor de wrappers como servicio. startverificationengine.sh/.bat. Lanza el servidor de mantenimiento. o shutdownverificationengine.sh/.bat. Para el servidor de mantenimiento. o Pool de Browsers: o o o Entorno de generación: o o VerificationService.bat: en sistemas Windows, lanza el servidor de mantenimiento como servicio. start_pool.bat: lanza el pool de browsers. stop_pool.bat: para el pool de browsers. PoolService.bat: en sistemas Windows, lanza el pool como servicio. start_genitp.bat: lanza la herramienta de generación.de especificaciones. gen_scanner.bat/sh: permite generar y compiler escaners. conf. En este directorio se encuentran todos los ficheros de configuración del sistema: iebrowser: directorio de configuración del pool de browsers. log4j.xml. Fichero de configuración Log4J [LOG4J]. itpilot-client: directorio de configuración del cliente ITPilot. log4j.xml. Fichero de configuración Log4J [LOG4J]. maintenance: directorio de configuración del servidor de mantenimiento log4j.xml. Fichero de configuración Log4J [LOG4J]. specgenerator: directorio de configuración del generador de especificaciones. log4j.xml. Fichero de configuración Log4J [LOG4J]. vdp: directorio de configuración del servidor de wrappers: log4j.xml. Fichero de configuración Log4J [LOG4J]. docs. Directorio en el que se encuentra la documentación y javadoc de la aplicación, además de un fichero de texto, README_ITPilotClient, con información acerca de cómo crear aplicaciones cliente. Instalación 13

20 lib. Directorio en el que se almacenan las diferentes librerías utilizadas por el sistema. logs: Directorio donde se almacenan diveros ficheros de log de la aplicación. /itpilot. Directorio en el que se almacenan diversos ficheros de log de los servidores de wrappers y mantenimiento: maintenance.log: fichero de traza del servidor de mantenimiento iebrowser.log: fichero de traza del pool de browsers. itpilotadmintool.log: fichero de traza de la herramienta de administración de ITPilot. seqgenerator.log: fichero de traza de la herramienta de generación de secuencias. specgenerator.log: fichero de traza de la herramienta de generación de especificaciones. /vdp. Directorio en el que se almacena el fichero de traza del Servidor de wrappers. metadata: Directorio de metadatos. /parser: Juegos de marcas y escaners. /db: Metadatos del servidor de wrappers. /seqgenerator: Dominios de la herramienta de generación de secuencias. patches/itpilot: inicialmente vacío, es la ruta de almacenamiento de los parches de la versión actual de ITPilot. scripts/itpilot/sql: Scripts de creación de tablas de la Base de Datos de mantenimiento. webapps/itpilot. Contiene todos los elementos necesarios para la distribución de la herramienta de administración: clases Java, librerías, páginas JSP, HTML, ficheros de configuración, etc. empaquetados en un fichero.war directamente instalable sobre un servidor de páginas HTML y JSPs. 3.4 ARRANQUE DE LOS COMPONENTES Una vez el proceso de instalación ha terminado, los servidores están listos para ser arrancados. Todo servidor que se encuentre en la misma máquina que el servidor de administración, podrá ser arrancado directamente desde la propia herramienta web, caso que se comentará en el apartado 5.2. Si no es el caso, habrán de ser arrancados en cada una de las máquinas donde residan Instalación de la Licencia de Utilización de Denodo ITPilot Coloque el fichero de licencia de la Plataforma Denodo que le habrá sido entregado (denodo.lic) en el directorio conf de la distribución de la herramienta. Sin ese fichero, los diferentes componentes de ITPilot no arrancarán Arranque del Servidor de Administración Este arranque es dependiente del contenedor web o servidor de aplicaciones seleccionado. En principio, una vez la aplicación ha sido desplegada adecuadamente, el servidor de administración se encontrará disponible en Arranque del Pool de Browsers Están disponibles los siguientes scripts en la ruta DENODO_HOME/bin: Instalación 14

21 start_pool: Arranca el pool de browsers. stop_pool. Finaliza el pool remoto y todos los browsers contenidos en él Arranque del Servidor de Wrappers El script vqlserver con las opciones startup y shutdown del directorio DENODO_HOME/bin, o los scripts vqlserver_startup y vqlserver_shutdown respectivamente, permiten arrancar y parar el servidor Arranque del Servidor de Mantenimiento Los scripts StartVerificationEngine y ShutdownVerificationEngine del directorio DENODO_HOME/bin permiten arrancar y parar el servidor. Instalación 15

22 4 HERRAMIENTA WEB DE ADMINISTRACIÓN La herramienta de administración de ITPilot permite gestionar los entornos de ejecución y mantenimiento de una manera sencilla y uniforme. Se trata de una aplicación web que controla tanto el servidor de wrappers como el pool de browsers y el servidor de mantenimiento por supuesto, si éste último es necesario-. La Figura 6 muestra el aspecto de la herramienta tras su arranque y previo al acceso autenticado (a través de la URL dominio:puerto/itpilotdenodo-admin-1.3.5, y con el usuario admin y contraseña vacía como acceso inicial). La herramienta se compone visualmente de los siguientes elementos: Área de Selección de Servidores: aquí es donde el usuario puede elegir qué servidor desea configurar: servidor de wrappers, pool de browsers o servidor de mantenimiento, en caso de que se utilice como administración del entorno de ejecución. Área de Trabajo: esta área mostrará la información de configuración relevante para cada servidor. El siguiente apartado detalla el conjunto de pasos necesario para configurar y administrar los entornos de ejecución y mantenimiento. Figura 6 Página de Entrada a la Herramienta de Administración Herramienta Web de Administración 16

23 5 ADMINISTRACIÓN DE LOS ENTORNOS DE EJECUCIÓN Y MANTENIMIENTO 5.1 INTRODUCCIÓN A través de la herramienta web de administración, se pueden configurar y, en casos concretos, arrancar y parar los diferentes servidores que componen los entornos de ejecución y mantenimiento. 5.2 ARRANQUE DE LOS SERVIDORES Desde la herramienta de administración puede gestionarse la configuración de cada uno de los servidores. Para ello, obviamente, los servidores han de estar arrancados. Si están en la misma máquina que la herramienta de administración, podrán arrancarse desde ella directamente, utilizando el botón Start/Stop. Si los servidores se encuentran distribuidos en máquinas diferentes a donde reside la herramienta de administración, éstos habrán de haber sido arrancados previamente. 5.3 CONFIGURACIÓN DEL POOL DE BROWSERS Los wrappers que implementan sus secuencias de navegación a través de programas NSEQL precisan que el entorno de ejecución de ITPilot tenga accesible un pool de browsers. En la sección se describió el proceso de instalación de este componente. En esta sección se describen las opciones de configuración disponibles para el mismo. Un primer aspecto a tener en cuenta es que los browsers del pool utilizarán la configuración establecida para los navegadores Microsoft Interne t Explorer y/o Firefox en el sistema dónde se ejecute el pool. Es recomendable que el home sea una página en blanco ( about:blank ) para evitar que cada nuevo browser arrancado por el pool se conecte a la página home antes de ejecutar una petición de la aplicación, lo cuál causaría un retardo innecesario. También es preciso tener en cuenta las opciones de seguridad y cookies ya que los browsers del pool se comportarán de acuerdo a dicha configuración. La configuración del pool de browsers se realiza en el panel Browser Pool de la herramienta de administración del entorno de ejecución de ITPilot. La Figura 7 ofrece una imagen de esta ventana. Administración de los Entornos de Ejecución y Mantenimiento 17

24 Figura 7 Pestaña de "Browser Pool" En primer lugar es necesario indicar los datos de acceso de cada pool de browsers que se vaya a utilizar. Para ello se hace uso del botón Add Server la Figura 8. Los campos a rellenar son los siguientes:, que muestra una ventana como la que aparece en - Name: nombre identificativo del servidor. - Host: dirección donde se encuentra. - Port: puerto de escucha del servidor. - Local path: opcional, permite indicar que el servidor es local al servidor de administración; añadiendo el path local donde está la aplicación, el usuario será capaz de arrancar y parar el servidor de mantenimiento desde la herramienta gráfica de administración. Figura 8 Página de Adición de Servidor Los datos del pool añadido pueden modificarse pulsando el botón Edit, que lleva a la misma ventana de configuración comentada anteriormente. El botón Start/Stop será visible si y sólo si se ha cubierto adecuadamente el campo Local Path en la configuración del pool. Administración de los Entornos de Ejecución y Mantenimiento 18

25 Por supuesto, pueden añadirse tantos pools como sean necesarios, aunque se recomienda tener en cuenta las consideraciones de arquitectura del apartado 2 de este mismo documento. Una vez configurado el pool se procede a la conexión mediante la pulsación del botón Connect. Si la conexión es exitosa, aparecerá en la ventana el conjunto de parámetros configurables por el usuario. Los parámetros de configuración existentes pueden dividirse en varios grupos, accesible cada uno de ellos en el panel de la herramienta de administración: identificación del pool y de la asignación de puertos del sistema, comportamiento de los browsers del pool, configuración de conversores HTML, configuración de navegadores, soporte para proxies con autenticación, tamaño del pool y políticas de asignación de browsers y, finalmente, parámetros de inicialización. Los siguientes subapartados se ocupan, respectivamente, de cada uno de estos grupos de parámetros Identificación del pool y asignación de puertos Los parámetros de este grupo son: TYPE OF BROWSER. Tipo de navegador a utilizar en el pool : o o o IEBrowser: navegador de Internet Explorer. Firefox: navegador de Firefox. HttpClient: navegador http con capacidades de mantenimiento de sesión. PORT. Puerto en el que el pool de browsers escuchará peticiones. INITIAL_PORT. Cada browser del pool escuchará peticiones en un puerto. El valor de este parámetro determina el número de puerto que se utilizará como inicial para la asignación de números de puerto a los browsers. A partir de este número, se utilizarán números de puerto consecutivos en orden ascendente. SHUTDOWN_PORT: Puerto en el que el servidor queda en escucha de la señal de Shutdown, para finalizar su ejecución en caso de recibirla. AUXILIARY_PORT: Puerto auxiliar que utiliza el pool para sus comunicaciones con sus clientes. En la Figura 9 se muestra la página de la herramienta de administración donde configurar todos estos parámetros. Figura 9 Identificación y asignación Comportamiento de los Browsers del Pool Los parámetros de este grupo son: Administración de los Entornos de Ejecución y Mantenimiento 19

26 MAX_DOWNLOAD_TIME. Indica el tiempo máximo que un browser esperará para descargar una página (en milisegundos). OBJECT_TIMEOUT: Tiempo máximo (en milisegundos) que un browser puede estar en uso fuera del pool para atender una petición de un wrapper. Transcurrido ese tiempo, el browser es destruido. Si el valor de este parámetro es menor que 0 se permite que el browser permanezca fuera del pool indefinidamente. DOWNLOAD_CONTROLS. Este conjunto de parámetros permite especificar qué tipos de contenidos deben ser descargados por los browsers del pool. Los tipos de contenido cuya descarga o no puede ser configurada son: imágenes, videos, sonidos de fondo, programas de script, applets Java, y componentes activex. Si se utiliza Firefox como navegador, sólo pueden ser configurados los parámetros relacionados con imágenes, javascript, java, cache y proxy. CACHE_CONTROLS. Este conjunto de parámetros permite especificar si los browsers del pool deben utilizar o no la cache local y/o la cache del proxy. GRAPHICAL_INTERFACE. Indica si los browsers del pool mostrarán interfaz gráfica o no. Para optimizar la eficiencia del sistema, las aplicaciones en producción normalmente no mostrarán las interfaces gráficas de los browsers. Sin embargo puede ser útil cambiar el valor de esta opción para propósitos de depuración. Este parámetro sólo es configurable cuando el wrapper se ejecuta con Internet Explorer. En la Figura 10 se muestra la página de la herramienta de administración donde configurar todos estos parámetros. Figura 10 Comportamiento de los browsers Proxy con Autenticación Si el acceso a Internet se realiza a través de un proxy con autenticación es necesario proporcionar valor para los siguientes parámetros: PROXY_LOGIN: login de usuario en el proxy. Administración de los Entornos de Ejecución y Mantenimiento 20

27 PROXY_PASSWORD: contraseña del usuario en el proxy. PROXY_DOMAIN: (Windows 2000): dominio Windows. En la Figura 11 se muestra la página de la herramienta de administración donde configurar todos estos parámetros. Figura 11 Proxy con autenticación Configuración de la conversión HTML En este apartado se configura la conversión de Microsoft Word y PDF a HTML para que el contenido de estos recursos pueda ser extraído por ITPilot: PDF To HTML converter: tipo de conversor utilizado para transformar el recurso PDF en HTML o Acrobat HTML: utiliza el conversor a HTML del software Adobe Acrobat Professional (es necesario que este producto se encuentre instalado). o Acrobat Text: utiliza el conversor a texto plano del software Adobe Acrobat Professional, a partir del cuál ITPilot genera un fichero HTML (es necesario que este producto se encuentre instalado). o PDF Box: utiliza la librería PDFBox [PDFBOX] para generar el HTML. Conversion Server port: puerto del servidor de conversión Open Office Lib Directory: directorio donde se encuentra la biblioteca de clases de Open Office. Acrobat Prof. Plugins Directory: directorio donde se encuentran los plug-ins de Acrobat Professional. o En este caso, además de actualizar el directorio, deberá copiarse el plugin DDEPdfToHtml.api residente en el directorio <DENODO_HOME>/dll/itpilot al directorio Acrobat/plug_ins donde Adobe Acrobat se encuentre instalado Firefox Web Browser Configuration En este apartado se configura Firefox para su utilización en el entorno de ejecución. Firefox Home directory: directorio base de la instalación de Firefox a utilizar. Administración de los Entornos de Ejecución y Mantenimiento 21