VIRTUAL DATAPORT 4.0 GUÍA DEL ADMINISTRADOR

Transcripción

1 VIRTUAL DATAPORT 4.0 GUÍA DEL ADMINISTRADOR

2 NOTA Este documento es confidencial y propiedad de denodo technologies (en adelante denodo). Ninguna de las partes del documento puede ser copiada, fotografiada, fotocopiada, transmitida electrónicamente, almacenada en un sistema de gestión documental o reproducida mediante cualquier otro mecanismo sin la autorización previa o por escrito de denodo. copyright 2007 Queda prohibida la reproducción total o parcial de este documento sin la autorización por escrito de denodo technologies

3 ÍNDICE PREFACIO...I ALCANCE...I QUIÉN DEBERÍA USAR ESTE DOCUMENTO...I RESUMEN DE CONTENIDOS...I 1 INTRODUCCIÓN ARQUITECTURA GENERAL NIVEL FÍSICO NIVEL LÓGICO Módulo de Datos: Caché NIVEL DE USUARIO INSTALACIÓN INSTALACIÓN Requisitos Hardware Requisitos Software Utilización de la herramienta de instalación Instalación de la Licencia ESTRUCTURA DE LA DISTRIBUCIÓN Distribución Cliente Distribución Completa Tareas de Post-Instalación EJECUCIÓN EJECUCIÓN DE LA HERRAMIENTA DE ADMINISTRACIÓN GRÁFICA DE VIRTUAL DATAPORT 14 5 ADMINISTRACIÓN DEL SERVIDOR CONFIGURACIÓN DEL SERVIDOR Puerto Pool de Threads Configuración de la Caché Configuración de los parámetros de swapping a disco Configuración de Parámetros de Ejecución de Procedimientos Almacenados Configuración de Internacionalización por defecto CONFIGURACIÓN DE LOGS EXPORTACIÓN DE METADATOS DEL SERVIDOR CREACIÓN VISUAL DE VISTAS ACCESO A LA HERRAMIENTA GRÁFICA DE ADMINISTRACIÓN CREACIÓN Y MANEJO DE PROYECTOS Cambiar elementos a otros proyectos IMPORTACIÓN DE DATASOURCES Y CREACIÓN DE RELACIONES BASE Importación de Fuentes de tipo JDBC Importación de Fuentes de Tipo Web Service Eliminación de una fuente de datos... 28

4 6.3.4 Creación de Relaciones Base partiendo de una Base de Datos Viendo el esquema de una relación base Creación de Relaciones Base partiendo de un Web Service CREACIÓN VISUAL DE VISTAS Creación de Vistas de Tipo Unión Viendo el Esquema de una vista Creación de Vistas de tipo Join Creación de Vistas de tipo Selección Creación de vistas de tipo Agregación Creación de Vistas de tipo Proyección Aplanamiento de campos de tipo array de registros Modo de visualización en forma de árbol Ejecución de vistas y uso de VQL Shell Traza de Ejecución de una Sentencia Sustitución de la Definición de Una Vista OTROS TIPOS DE FUENTES Tipos de rutas en Virtual DataPort Fuentes ODBC Fuentes XML Fuentes Web Fuentes de ficheros delimitados Fuentes Google Mini Fuentes Aracne Fuentes LDAP Fuentes CUSTOM Fuentes JDBC/ODBC a través de SQL Query Propiedades de Configuración de Fuentes de Datos CONFIGURACIÓN AVANZADA DE VISTAS Configuración de Internacionalización Configuración de la cache de una vista Configuración de swapping Edición del Plan de Ejecución Capacidades de consulta Propiedades de Configuración de Vistas Propiedades de Configuración para tipos específicos de Vistas PROCEDIMIENTOS ALMACENADOS Importación de Procedimientos Almacenados Ejecución de Procedimientos Almacenados Uso de Procedimientos Almacenados en la Creación de Vistas PUBLICACIÓN DE SERVICIOS WEB BASES DE DATOS, USUARIOS Y PERMISOS EN VIRTUAL DATAPORT BASES DE DATOS EN VIRTUAL DATAPORT ESTRUCTURA DE USUARIOS Y PERMISOS EN VIRTUAL DATAPORT Tipos de usuarios Tipos de permisos ADMINISTRACIÓN GRÁFICA DE BASES DE DATOS, USUARIOS Y PERMISOS Creación de Bases de Datos Configuración y Borrado de Bases de Datos Creación de usuarios Modificación y Borrado de usuarios MONITORIZACIÓN DEL SERVIDOR DATAPORT

5 9.1 UTILIZANDO JCONSOLE INFORMACIÓN GENERAL SOBRE EL SERVIDOR INFORMACIÓN GENERAL SOBRE DATASOURCES INFORMACIÓN SOBRE LA CACHE INFORMACIÓN Y EVENTOS SOBRE EL ACCESO AL CATÁLOGO (SENTENCIAS DDL) INFORMACIÓN Y EVENTOS SOBRE LA EJECUCIÓN DE SENTENCIAS DML INFORMACIÓN Y EVENTOS SOBRE TRANSACCIONES ARQUITECTURAS EN CLUSTER / BACKUP DE SERVIDORES INSTALACIÓN DE LAS UTILIDADES USO DEL SCRIPT PING USO DE LOS SCRIPTS IMPORT / EXPORT PARA BACKUP Y/O REPLICACIÓN APÉNDICES CLIENTE DE LÍNEA DE COMANDOS DRIVERS JDBC BIBLIOGRAFÍA

6 ÍNDICE DE FIGURAS Figura 1 Arquitectura de Virtual DataPort... 4 Figura 2 Pantalla inicial de instalación de la Plataforma Denodo... 9 Figura 3 Autenticación en la herramienta de administración Figura 4 Configuración de puertos Figura 5 Configuración de cache Figura 6 Configuración de Swapping Figura 7 Configuración de Ejecución de Sentencias dentro de Procedimientos Almacenados Figura 8 Creación de un Nuevo proyecto Figura 9 Importación de una Fuente de Datos JDBC Figura 10 Configuración del Pool de conexiones JDBC Figura 11 Importación de una fuente de datos de tipo Web Service Figura 12 Esquemas y tablas de una fuente JDBC Figura 13 Aceptación del esquema de una relación base Figura 14 Esquema de la vista base phone_inc Figura 15 Esquema de la vista base internet_inc Figura 16 Operaciones y parámetros de un Web Service...33 Figura 17 Esquema de la vista base average_monthly_sales Figura 18 Construcción de la vista unión de phone_inc e internet_inc Figura 19 Esquema de la vista unificada de incidencias: incidences Figura 20 Construcción de Vista join de incidences y average_monthly_sales Figura 21 Esquema de la vista join incidences_sales Figura 22 Construcción de la vista selección pref_clients_inc_sales Figura 23 Editor de condiciones de selección Figura 24 Creación de una constante Figura 25 Creación de una condición simple Figura 26 Esquema de RevenueSum Figura 27 Editor de valores de tipos compuestos Figura 28 Creando un valor de tipo getsumrevenuebytaxids_in Figura 29 Condición con valores de tipos compuestos Figura 30 Resultado de ejecutar la vista RevenueSum_Selection Figura 31 Creación de la vista de agregación inc_group_by_pref_clients Figura 32 Creación de vista agregación inc_group_by_pref_clients (2) Figura 33 Editor de expresiones de agregación Figura 34 Creación de una expresión de agregación Figura 35 Editor de expresiones de atributo derivado Figura 36 La operación getaveragemonthlyrevenue del Web Service sales Figura 37 Vista base creada por defecto para getaveragemonthlyrevenue Figura 38 Aplanando el array devuelto por average_revenue_array Figura 39 Esquema de salida de average_revenue_array aplanada Figura 40 Esquema de la vista aplanada Figura 41 Vista en árbol de incidences_sales Figura 42 Ejecutando la vista incidences_sales Figura 43 Resultado compuesto por una única tupla con un campo de tipo array de registros Figura 44 Viendo el contenido de un campo de tipo array de registros Figura 45 Traza de ejecución de la vista incidences Figura 46 Traza de ejecución con errores de una vista join Figura 47 Confirmación de la sustitución de una vista Figura 48 Proporcionando valores para las variables de interpolación Figura 49 Importación de una fuente de datos ODBC Figura 50 Importación de una fuente de datos XML Figura 51 Descripción de una fuente XML Figura 52 Importación de un wrapper HTML creado con ITPilot Figura 53 Importación de una nueva fuente de ficheros delimitados... 75

7 Figura 54 Descripción de una fuente de tipo ficheros delimitados Figura 55 Importación de una nueva fuente de tipo Google Mini Figura 56 Descripción de la fuente Google Mini Figura 57 Pantalla de creación de vista base en fuentes Google Mini Figura 58 Pantalla de creación de una fuente de datos Aracne Figura 59 Descripción de la fuente Aracne Figura 60 Pantalla de creación de vistas base en fuentes Aracne Figura 61 Añadiendo un atributo con los términos más relevantes del campo SEARCHABLECONTENT Figura 62 Creación de un datasource LDAP Figura 63 Propiedades del datasource LDAP Figura 64 Importación de un wrapper CUSTOM Figura 65 Nueva fuente de datos CUSTOM Figura 66 Creación de una vista base en un Datasource CUSTOM Figura 67 Nueva vista base sobre un datasource CUSTOM Figura 68 Creación de una vista base utilizando una query SQL Figura 69 Editando el valor de las variables de interpolación Figura 70 Pantalla de configuración avanzada de la vista average_monthly_sales Figura 71 Editando el Plan de Ejecución de una vista Figura 72 Formulario de búsqueda para una tienda de libros...99 Figura 73 Método de búsqueda para una tienda de libros Figura 74 Importación de un Procedimiento Almacenado Figura 75 Propiedades de un procedimiento almacenado Figura 76 Ejecución del procedimiento almacenado CalculateAvgRevenue Figura 77 Resultado de la ejecución del procedimiento almacenado CalculateAvgRevenue Figura 78 Publicación de un Web Service Figura 79 Operaciones generadas para inc_grouped_by_pref_clients Figura 80 Creación de una base de datos Figura 81 Descripción de una base de datos Figura 82 Asignar privilegios sobre una base de datos Figura 83 Creación de un usuario de tipo normal Figura 84 Creación de un usuario de tipo LDAP Figura 85 Descripción de un usuario Figura 86 Asignación de privilegios a un usuario a nivel de base de datos Figura 87 Asignación de privilegios a un usuario a nivel de vista y/o procedimiento almacenado Figura 88 Conexión a DataPort desde jconsole Figura 89 MBeans de Virtual DataPort Figura 90 Pestaña Attributes del Mbean RequestsManagementInfo Figura 91 Detalle de una consulta en jconsole Figura 92 Detalle de una notificación en jconsole Figura 93 Sintaxis de la sentencia LSET

8 ÍNDICE DE TABLAS Tabla 1 Conversiones entre tipos de dato DataPort y tipos de parámetros de servicios web Tabla 2 Drivers JDBC Tabla 3 Drivers MySQL, IBM, Microsoft y Sybase

9 PREFACIO ALCANCE Denodo Virtual Data Port permite que las aplicaciones de negocio puedan acceder fácilmente a vistas integradas de distintas fuentes de información heterogéneas y distribuidas, estructuradas y no estructuradas. Este documento introduce al lector mediante ejemplos a la instalación, configuración y administración de Denodo Virtual DataPort, incluyendo la creación de vistas unificadas sobre fuentes de datos heterogéneas y distribuidas. QUIÉN DEBERÍA USAR ESTE DOCUMENTO Este documento está dirigido a desarrolladores y administradores que quieran conocer con detalle cómo instalar, configurar y administrar Virtual DataPort, incluyendo la creación de vistas unificadas de datos sobre fuentes de información heterogéneas y distribuidas, estructuradas y no estructuradas. La información detallada precisa para desarrollar aplicaciones que utilicen Virtual Data Port se proporciona en la Guía del Desarrollador. RESUMEN DE CONTENIDOS Más concretamente, en este documento: Se presentan los conceptos fundamentales de las soluciones de integración de información basadas en Virtual DataPort. Se describen los procesos necesarios para instalar y configurar Virtual Data Port. Se describe detalladamente mediante ejemplos cómo utilizar las herramientas de administración visual de Virtual Data Port para construir vistas unificadas sobre información de fuentes distribuidas y heterogéneas. Prefacio i

10 1 INTRODUCCIÓN Hoy en día, y para soportar sus propios procesos de negocio, toda organización de cierta entidad dispone de multitud de sistemas de información desarrollados a lo largo del tiempo y que hacen uso de distintas fuentes de datos. Habitualmente, dichas fuentes están desarrolladas sobre tecnologías diferentes (bases de datos relacionales, servicios web, documentos XML, hojas de cálculo, ficheros planos...), de acuerdo a modelos de datos muy heterogéneos, e incluyen tanto información estructurada como no estructurada. El desarrollo de nuevos servicios para los clientes o la optimización de los procesos de negocio de la empresa exigen construir nuevos sistemas que necesitarán datos almacenados en esos repositorios de información heredados. Otra importante tendencia a considerar es la expansión de Internet, ejemplo paradigmático de dispersión de información y heterogeneidad de formatos. Sus contenidos son en muchas ocasiones un complemento fundamental para los sistemas corporativos. Especialmente si consideramos que, además, clientes, proveedores y competencia acostumbran ya a ofrecer interfaz web para dar acceso a información de mucho interés. Virtual DataPort es una solución global para la integración en tiempo real de fuentes de información heterogéneas y dispersas, estructuradas y no estructuradas. Para ello combina varias funcionalidades que gozan de importantes sinergias: Virtual DataPort integra aquella información que es relevante para la empresa, sin importar su procedencia y formato, incorpora esa información en su sistema de información, en tiempo real o con precargas configurables, y facilita la construcción de servicios telemáticos de alto valor estratégico y funcional, tanto corporativos como de negocio, imposibles de concebir sin su aplicación. Este documento pretende servir como guía técnica al software Virtual DataPort. Pretende ilustrar su capacidad de desarrollar soluciones que integren fuentes de información dispersas, y heterogéneas, con una estructura débil (fuentes estructuradas, semiestructuradas y no estructuradas), autónomas y sin un control centralizado. Introducción 2

11 2 ARQUITECTURA GENERAL A grandes rasgos, Virtual DataPort permite que las aplicaciones de negocio puedan tratar una serie de fuentes de información distribuidas y heterogéneas, incluyendo fuentes externas como si su información estuviese contenida en una gran Base de Datos Virtual que permite construir fácilmente vistas que combinen e integren dicha información. Virtual Data Port actúa como un mediador que proporciona una visión estructurada y unificada de los datos contenidos en todas las fuentes de información incluidas en el sistema. El sistema puede tratar fácilmente un amplio abanico de fuentes de información estructuradas, semi-estructuradas y no estructuradas, tales como: Bases de Datos, sitios web, documentos XML, Servicios Web, ficheros de texto plano, hojas de cálculo, índices sobre información no estructurada, etc. El sistema considera cada fuente de datos como una relación dentro de VirtualDataPort y permite utilizar un lenguaje (compatible en gran medida con SQL) llamado Denodo VQL (Virtual Query Language), para crear vistas que combinen arbitrariamente la información de dichas relaciones. En este proceso, Virtual DataPort es capaz de tratar con fuentes cuyas capacidades de consulta son limitadas (por ejemplo, en la mayor parte de fuentes web, sólo son permitidas las consultas que pueden realizarse a través de algún tipo de formulario HTML). Además, el motor de consulta de Virtual DataPort es capaz de consultar información no estructurada y combinarla de la forma deseada con información estructurada y semi-estructurada. Cuando el sistema recibe una consulta VQL sobre una vista unificada definida previamente, genera un plan de ejecución que consistirá en una lista de subconsultas que serán enviadas en tiempo real a las diversas fuentes involucradas, y una serie de operaciones de combinación de los datos obtenidos de cada fuente. Además, Virtual DataPort incluye un sistema (llamado módulo de cache) que permite al administrador decidir el mecanismo de actualización de los datos de las fuentes: El sistema podrá acceder a los datos de las fuentes en tiempo real proporcionando así información totalmente actualizada. Pueden crearse y configurarse caches para las fuentes o vistas que se desee. Virtual DataPort también permite la actualización de las fuentes de datos, siempre que éstas sean capaces de soportar transacciones. El sistema de integración de información proporcionado por Virtual DataPort se modela en 3 niveles independientes: la capa de usuario, la capa lógica y la capa física (wrappers). En la Figura 1 se muestra una visión general de la arquitectura del sistema. A continuación se describirán cada uno de estos niveles. Arquitectura General 3

12 Figura 1 Arquitectura de Virtual DataPort 2.1 NIVEL FÍSICO El nivel físico tiene como misión conseguir que las fuentes de datos se comporten de cara a los niveles superiores de la arquitectura como relaciones con una estructura definida de acuerdo al modelo común de datos utilizado por DataPort. Estas labores son realizadas a través de los llamados wrappers. Un wrapper extrae información de una fuente, interpreta los resultados obtenidos, y los devuelve al sistema en el formato esperado por DataPort. También, en los casos en los que la fuente lo permite, un wrapper inserta, actualiza y/o borra información en una fuente. Los wrappers hacen posible que Virtual DataPort pueda tratar de manera consistente todas las fuentes externas, sin preocuparse de sus particularidades específicas. Para ello, proporciona la implementación de diferentes tipos de wrappers uno por cada tipo de fuente externa-. Virtual DataPort soporta directamente los siguientes tipos de wrappers: Bases de datos: Extraen datos desde una Base de Datos Remota vía JDBC u ODBC. También insertan, actualizan y/o borran datos en los casos en los que las fuentes lo permitan. Servicios Web: Extraen datos realizando invocaciones a operaciones definidas por servicios web. XML: Son aquellos que permiten extraer datos encapsulados en ficheros XML, siguiendo una cierta DTD o esquema, o sin esquema ni DTD asociado. Los documentos XML pueden ser accedidos en el disco local o a través de protocolos como http y FTP. Otra utilidad de este tipo de wrapper es la importación de servicios web de tipo REST. Ficheros planos: Extraen datos de ficheros planos en formato CSV (Comma Separated Values) o similar. Los documentos CSV pueden ser accedidos en el disco local o a través de protocolos como http y FTP. Arquitectura General 4

13 ITPilot: Permiten acceder a información contenida en fuentes Web semi-estructuradas, permitiendo tratarlas de forma muy similar a como si fuesen bases de datos estructuradas. Los wrappers de este tipo son generados utilizando Denodo ITPilot [ITPILOT]. Aracne: Denodo Aracne [ARCN] permite el crawling, filtrado, indexación y búsqueda de información no estructurada contenida en repositorios tales como la web, bases de datos relacionales, sistemas de ficheros locales o servidores de correo electrónico. Los índices creados con Denodo Aracne pueden ser importados directamente en DataPort para su consulta y combinación conjunta con información estructurada y semi-estructurada. Google Mini: Google Mini [GMINI] es la solución corporativa de Google para el crawling, indexación y búsqueda de información contenida en la web. Los índices creados con Google Mini pueden ser importados directamente en Denodo DataPort para su consulta y combinación conjunta con información estructurada y semi-estructurada. CUSTOM (también denominados wrappers de tipo MY): Extraen la información de una fuente, a través de una implementación Java proporcionada por el administrador de Virtual DataPort. Este tipo de wrapper permite la construcción ad-hoc de un programa envoltorio para una fuente específica. Los wrappers CUSTOM también pueden permitir la inserción, actualización y/o borrado de datos. Los wrappers para bases de datos, servicios web, ficheros planos, XML, Aracne y Google Mini son creados automáticamente por Virtual DataPort al importar las fuentes de información correspondientes (véase sección 6.2). Los wrappers para fuentes web semi-estructuradas pueden ser creados con Denodo ITPilot [ITPILOT]. 2.2 NIVEL LÓGICO El nivel lógico, tiene como responsabilidad integrar y combinar las relaciones exportadas por los diferentes wrappers para componer el esquema global del sistema. Esta combinación se realiza mediante la definición de vistas, expresadas en el lenguaje Denodo VQL [VQL], sobre las relaciones exportadas por los wrappers del nivel físico. Estas relaciones, que representan a las fuentes del sistema, se denominan relaciones base (o, también vistas base). Una vez creadas las relaciones base representando las fuentes del sistema, el administrador puede crear vistas que las combinen entre sí como se desee, creando de esta manera las vistas del esquema global (o también vistas derivadas). Es importante resaltar que este proceso puede realizarse de manera recursiva en varios pasos: una vista derivada puede ser utilizada como base para la creación de nuevas vistas, permitiendo así combinaciones de complejidad arbitraria. Una vez creadas las vistas del esquema global combinando la información de las fuentes, el nivel lógico es capaz de responder consultas expresadas en VQL tanto sobre las vistas derivadas como sobre las relaciones base. El lenguaje de consultas VQL se basa en SQL, incorporando diversas extensiones para manejar información heterogénea y distribuida. Por ejemplo, VQL incluye diversas construcciones que facilitan la consulta de información no estructurada y su combinación con información estructurada. Cuando el sistema recibe una consulta, comprueba si es resoluble en función de las capacidades de consulta de las fuentes, elabora los posibles planes de ejecución, selecciona el más óptimo, y ejecuta la consulta devolviendo a la capa superior los resultados obtenidos. La capa lógica de Virtual DataPort también permite la actualización de las fuentes de datos mediante operaciones INSERT/UPDATE/DELETE, siempre que éstas sean capaces de soportar transacciones. En la capa lógica se pueden diferenciar los siguientes módulos: Arquitectura General 5

14 Generador de Planes de Consulta: En primer lugar, el generador de planes decide si la consulta recibida puede o no ser contestada, de acuerdo a las capacidades de consulta soportadas por las fuentes. En caso afirmativo debe generar los posibles planes de ejecución para la consulta. Optimizador: Tiene como misión seleccionar el plan de ejecución óptimo de entre todos los posibles (obtenidos por el Generador de Planes de Consulta). Para ello tendrá en cuenta tanto la materialización de cada uno de los planes activados, como su complejidad. También se consideran las capacidades de consulta ofrecidas por las fuentes, de manera que se puedan delegar a las mismas las operaciones que puedan realizar localmente, obteniéndose así una ejecución más eficiente y un menor trasiego de datos a través de la red. Otros aspectos tenidos en cuenta son las estrategias de ejecución más óptimas para las operaciones de join. Motor de Ejecución de Consultas: Una vez seleccionado el plan óptimo, el motor de ejecución se encarga de ponerlo en práctica, ejecutando las sub-consultas precisas sobre las fuentes e integrando los resultados obtenidos para generar la respuesta global. A su vez, el motor de ejecución tiene en cuenta qué información de las fuentes está ya precargada en el módulo de caché, de manera que se evitan accesos innecesarios a las fuentes de datos, logrando así una mayor eficiencia Módulo de Datos: Caché Tal y como ya se ha comentado, Virtual DataPort dispone de un sistema (llamado módulo cache) para almacenar copias locales de los datos de las fuentes que se desee. Esta caché (también llamada warehouse) puede almacenarse en una Base de Datos Relacional accesible vía JDBC, Las Bases de datos soportadas actualmente para este propósito son PostgreSQL [POSQL], My SQL [MYSQL] y Oracle [ORCL]. Véase el Apéndice: Drivers JDBC para consultar los formatos adecuados para los drivers JDBC incluidos /o utilizados habitualmente con la caché de DataPort. El sistema generará y mantendrá automáticamente una tabla en la Base de Datos caché por cada relación base o vista para la que la cache haya sido configurada. A medida que se vayan realizando consultas, las tablas se irán rellenando con las tuplas obtenidas de las fuentes hasta el momento. Además, cada vista mantendrá una descripción de las tuplas actualmente contenidas en la caché, de forma que el gestor pueda saber qué consultas sobre la relación son resolubles con datos disponibles localmente. Cada vista en la caché tendrá asociado un tiempo de expiración, de manera que las tuplas caducadas no serán consideradas en las consultas y serán borradas periódicamente de forma automática. Este mecanismo permite además realizar precargas periódicas de datos de manera muy sencilla, simplemente escribiendo una consulta describiendo los datos a precargar y planificando temporalmente la repetición de dicha consulta con el intervalo temporal deseado. La caché también puede inhabilitarse para una consulta concreta o para las relaciones o fuentes que se desee, de manera que siempre es posible acceder a la información de las fuentes en tiempo real. 2.3 NIVEL DE USUARIO El nivel del usuario, se ocupa de implementar la interfaz entre el usuario y el gestor Virtual DataPort. Es, por lo tanto, responsabilidad suya proporcionar los medios para que un usuario pueda establecer una sesión con el gestor, enviarle consultas y obtener los resultados correspondientes de las mismas. El nivel del usuario recibe la consulta emitida por el usuario en el lenguaje de consultas externo VQL y la traduce a álgebra relacional antes de entregársela al nivel lógico. Arquitectura General 6

15 Cuando el nivel lógico devuelve una respuesta para la consulta efectuada, es también responsabilidad de este nivel proporcionársela al usuario a través de las interfaces de conexión definidas a tal efecto (ver Guía del Desarrollador [DEV] de Virtual DataPort). Denodo Virtual DataPort puede ser accedido vía JDBC, ODBC, a través del uso de Servicios Web (ver sección 7) y a través de la API nativa (DataPort API). Arquitectura General 7

16 3 INSTALACIÓN 3.1 INSTALACIÓN Este apartado se centra en la instalación y configuración de los diferentes componentes de Denodo Virtual DataPort Requisitos Hardware El sistema ha sido probado satisfactoriamente sobre un PC Pentium IV 2,4 GHz 1 Gb RAM con acceso a Internet. La instalación inicial requiere aproximadamente unos 50MB de espacio en disco Requisitos Software Virtual DataPort requiere la preinstalación del siguiente software (el resto se incluye con la distribución): Un sistema operativo con soporte para Java. Ejemplo: Linux Fedora Core 5 [FED] o un sistema operativo Windows [WIND] (2000 Professional, 2000 Server, 2000 Advanced Server, 2003, XP) o superior. Java 2 Runtime Environment Standard Edition (J2SE 1.4, J2SE 1.5 ó J2SE 1.6). La máquina virtual Java utilizada para la ejecución del sistema. Si se va a utilizar el sistema cache, un Gestor de Base de Datos JDBC para dar soporte al sistema caché. En la versión actual de DataPort pueden actúar como cache los gestores Oracle [ORCL], PostgreSQL [POSQL] y MySQL [MYSQL] Utilización de la herramienta de instalación Los módulos que forman parte de la Plataforma Denodo se instalan a través de una herramienta gráfica. El asistente de instalación le irá guiando por cada uno de los pasos de configuración necesarios. En este apartado se describirán los pasos a realizar para instalar cada uno de los componentes de Denodo Virtual DataPort. Tras la pantalla de presentación (ver Figura 2), el proceso de instalación le mostrará las condiciones de la licencia del producto, que debe leer cuidadosamente. Si acepta las condiciones, el sistema solicitará la configuración de internacionalización que se desea para el producto y, a continuación, la ruta en la que desea instalar el software (en adelante DENODO_HOME). La herramienta copiará los ficheros necesarios en dicho directorio. Instalación 8

17 Figura 2 Pantalla inicial de instalación de la Plataforma Denodo La siguiente pantalla le presentará los diferentes módulos que puede instalar, así como los componentes contenidos en cada módulo. En lo que se refiere a Virtual DataPort, hay dos posibles componentes a instalar: - Sólo la distribución cliente de Virtual DataPort. Instala la herramienta de administración y creación visual de vistas de Virtual DataPort (ver sección 4.1), el intérprete de línea de comandos de VQL (ver Apéndices: Cliente de Línea de Comando) y las clases necesarias para desarrollar aplicaciones que ejecuten consultas sobre Virtual DataPort (ver Guía del Desarrollador de Virtual DataPort [DEV]). - Virtual DataPort completo (cliente y servidor). Esta será la opción escogida por defecto. Una vez seleccionados los componentes, el sistema comenzará el proceso de copia de archivos. En el caso de DataPort es posible especificar los siguientes parámetros: - Número de puerto en el que se lanzará el servidor DataPort. - Número de puerto utilizado para detener el servidor DataPort. - Número para el Auxiliary Port. Las comunicaciones entre los clientes y el servidor DataPort utilizan un número de puerto adicional llamado auxiliar que puede especificarse en este momento. - En sistemas operativos Windows, es posible especificar que el servidor DataPort sea instalado como servicio. NOTA IMPORTANTE: En el caso de que se esté realizando la instalación en la misma ruta en la que ya está instalado un servidor DataPort, el proceso de instalación sobreescribirá las definiciones ya existentes de vistas, fuentes, usuarios o cualquier otro elemento del catálogo. Si se desea conservar estas definiciones, es necesario realizar antes de la instalación una copia de seguridad de los metadatos (ver sección 5.3).Tras la instalación, los Instalación 9

18 metadatos pueden,volver a cargarse en el servidor.. NOTA: Si las comunicaciones entre los clientes y el servidor deben atravesar un software de cortafuegos, éste debe configurarse para permitir el acceso al puerto de ejecución y al puerto auxiliar. Los números de puerto escogidos pueden cambiarse posteriormente haciendo uso de las opciones de la herramienta de administración (véase sección 5.1). NOTA: En el caso de instalar simultáneamente DataPort junto con ITPilot y/o Aracne, será posible especificar diversos parámetros de configuración para ellos. Véase la documentación de ITPilot [ITPILOT] y Aracne [ARCN] para más información. Por defecto, al instalar el servidor, se crea automáticamente un usuario admin (con contraseña inicial admin) que permite acceder al servidor, y la base de datos admin. El proceso de instalación permite también crear accesos directos en el escritorio para lanzar y detener las diversas herramientas que componen Virtual DataPort Instalación de la Licencia Para que el software funcione correctamente, el fichero de licencia denodo.lic o vdp.lic debe encontrarse en la ruta DENODO_HOME/conf. Si no dispone de un fichero de licencia válido póngase en contacto con Denodo o con su distribuidor. 3.2 ESTRUCTURA DE LA DISTRIBUCIÓN Una vez realizado el desempaquetado, la estructura de directorios que se obtiene para cada una de las distribuciones (cliente y/o servidor) es descrita en las siguientes subsecciones Distribución Cliente Los principales directorios de la distribución cliente se indican a continuación conf/vdp-admin. En este directorio se encuentran los ficheros de configuración de la herramienta de administración de Virtual DataPort. log4j.xml. Fichero de configuración Log4J[LOG4J] del nivel de log en el cliente. Por defecto, la ruta al fichero de log es. $DENODO_HOME/logs/vdp-admin. bin. Directorio que incluye los scripts de ejecución del cliente para la shell bash (sistema Linux Unix), y sus equivalentes archivos de procesamiento por lotes para Windows. Los primeros tienen extensión.sh y los segundos.bat : vqls.sh. Script de ejecución de la aplicación del cliente VQL en modo intérprete de comandos. vdp-admin.sh. Script que arranca la herramienta de administración de Virtual DataPort. Todos los ficheros citados con anterioridad son scripts para la shell bash (intérprete de comandos Linux Unix). Por cada uno de ellos, existe un archivo de extensión.bat equivalente para Windows. Instalación 10

19 lib. Directorio en el que se almacenan las diferentes librerías utilizadas por el sistema. En contrib se encuentran las librerías requeridas por la aplicación, cada una en un directorio propio en el que se indica, además del paquete de software, su número de versión. docs/vdp. Directorio en el que se encuentra la documentación de la aplicación, incluyendo la documentación javadoc. logs/vdp-admin. Directorio en el que se almacenan los ficheros de log de la herramienta de administración de Virtual DataPort Distribución Completa Los principales directorios de la distribución completa (servidor y cliente) se especifican a continuación: conf/vdp y conf/vdp-admin. En estos directorios se encuentran los ficheros de configuración de, respectivamente, el servidor VDP y la herramienta de administración: log4j.xml. Archivo de configuración para registro de eventos (log) del sistema. bin. Directorio que incluye los scripts de ejecución del sistema para la shell bash (sistema linux unix) o sus equivalentes archivos de procesamiento por lotes para Windows. Los primeros tienen extensión.sh y los segundos.bat : vqlserver.sh. Recibe los parámetros startup (arranca el servidor) o shutdown (detiene el servidor). En el caso de Windows, además de vqlserver.bat (con uso equivalente a vqlserver.sh) existen también los scripts vqlserver_startup.bat y vqlserver_shutdown.bat) para el mismo propósito. vqls.sh. Script de ejecución de la aplicación del cliente en modo intérprete de comandos. vdpadmin.sh. Script que arranca la herramienta de administración de Virtual DataPort. Todos los ficheros.sh citados con anterioridad son scripts para la shell bash (intérprete de comandos Linux Unix). Por cada uno de ellos, existe un archivo de extensión.bat equivalente en sistemas MS Windows. vdpservice.bat. Lanzar VQLserver como un servicio de Windows. Admite los parámetros: install (instala el servidor como servicio Windows), start (arranca el servidor), stop (detiene el servidor), remove (desinstala el servidor como servicio Windows). metadata. Directorio que incluye la estructura de metadatos utilizada por el sistema samples/vdp. Directorio en el que se encuentran diferentes ejemplos para Virtual DataPort. extensions. Se ubican en este directorio las aplicaciones y librerías que no forman parte del núcleo de Virtual DataPort, y que pueden ser consideradas como extensiones. En Instalación 11

20 extensions/dev/target/classes pueden incluirse clases adicionales que se desea que estén en el classpath del servidor DataPort (por ejemplo, implementaciones de wrappers de tipo CUSTOM. Véase sección Figura 62). lib. Directorio en el que se almacenan las diferentes librerías utilizadas por el sistema. En contrib se encuentran las librerías requeridas por la aplicación, cada una en un directorio propio en el que se indica, además del paquete de software, su número de versión. docs/vdp. Directorio en el que se encuentra la documentación de la aplicación, incluyendo la documentación javadoc. logs/vdp y logs/vdp-admin. Directorio en el que se almacenan los ficheros de log de, respectivamente, el servidor VDP y la herramienta de administración gráfica.. tools. Contiene las utilidades para arquitecturas en cluster y copias de respaldo (ver sección 10). work. Directorio de trabajo para archivos temporales. webapps. Contiene los ficheros.wsdl y.war que permiten acceder a DataPort a través de una interfaz Web Service genérica (ver la Guía del Desarrollador de Virtual DataPort [DEV] para más detalle) Tareas de Post-Instalación Una vez instalado el sistema es necesario en caso de que ésta vaya a utilizarse, instalar la base de datos que actuará como cache. Si se van a utilizar wrappers de tipo MY u otras librerías no incluidas en la distribución inicial del sistema, también puede ser conveniente establecer un CLASSPATH externo mediante el uso de la variable de entorno DENODO_EXTERNAL_CLASSPATH Creación de la BD del Sistema Caché En el caso de utilizar una configuración de Virtual DataPort con sistema caché, es necesario también instalar el Gestor de Base de Datos que va a ser utilizado para tal fin. En la versión actual de DataPort pueden actúar como cache los gestores Oracle[ORCL], PostgreSQL[POSQL] y MySQL[MYSQL]. Véase el Apéndice: Drivers JDBC para consultar los formatos adecuados para los drivers JDBC incluidos /o utilizados habitualmente con DataPort. La configuración del sistema cache puede realizarse con la herramienta de administración de Virtual DataPort (ver sección 5.1.3) Classpath externo Existen dos formas de añadir nuevas clases o librerías al classpath de ejecución de Denodo VirtualDataPort: Colocar las nuevas clases a partir de la ruta DENODO_HOME/extensions/dev/target/classes donde DENODO_HOME es la ruta base de la instalación. Las nuevas librerías se pueden cargar en cualquier directorio que cuelgue de DENODO_HOME/extensions. Haciendo que la variable de entorno DENODO_EXTERNAL_CLASSPATH apunte a las rutas a partir de las que se encuentran las clases externas o a las rutas completas a ficheros.jar. Instalación 12

21 Esto es necesario para crear nuevos wrappers de tipo CUSTOM y de procedimientos almacenados (ver Guía Avanzada de VQL [VQL]). Instalación 13

22 4 EJECUCIÓN Para arrancar el servidor de Virtual DataPort, basta utilizar los accesos directos creados durante la instalación de la aplicación ( Start Virtual DataPort Server ) o ejecutar el script: $DENODO_HOME/bin/vqlserver.sh startup (vqlserver.bat startup en Windows). Para detener el servidor deben utilizarse los accesos directos correspondientes o bien ejecutar $DENODO_HOME/bin/vqlserver.sh shutdown (vqlserver.bat shutdown en Windows) Si se desea utilizar el sistema caché, debe haberse configurado correctamente en la herramienta de administración de Virtual DataPort (ver sección 5.1.3) y debe haberse arrancado previamente la base de datos JDBC que actuará como tal. La primera vez que se ejecuta Virtual DataPort utilizando caché, se generan de forma automática las estructuras necesarias para su funcionamiento. Para ejecutar los clientes básicos de la Base de Datos Virtual se dispone de los siguientes scripts (durante la instalación de la aplicación es posible también generar accesos directos para ellos): Herramienta de administración gráfica de Virtual Data Port: $DENODO_HOME/bin/vdpadmin.sh (vdpadmin.bat o vdpadmin.exe en Windows). Se utilizará para la mayoría de procesos de administración. El nombre del acceso directo correspondiente es Start Virtual DataPort Administration Tool. Cliente de línea de comandos: $DENODO_HOME/bin/vqls.sh (vqls.bat en Windows). El nombre del acceso directo correspondiente es Start Virtual DataPort CommandLine Shell. 4.1 EJECUCIÓN DE LA HERRAMIENTA DE ADMINISTRACIÓN GRÁFICA DE VIRTUAL DATAPORT Una vez se ha ejecutado la herramienta de administración gráfica de Virtual DataPort el primer paso es autenticarse contra un servidor DataPort sobre el que se desean realizar las labores de administración (ver Figura 3). Para ello es necesario introducir la uri del servidor, un login de usuario y una contraseña. El formato de la uri del servidor es el siguiente: //nombre_maquina:puerto/base_de_datos (e.g. //localhost:9999/admin) donde: nombre_maquina es el nombre de la máquina dónde reside el servidor. puerto es el número del puerto de ejecución del servidor base_de_datos (opcional) es la base de datos de Virtual DataPort a la que se desea conectar. Al instalar un servidor Virtual DataPort se crea una base de datos por defecto llamada admin. Ejecución 14

23 Figura 3 Autenticación en la herramienta de administración Para más detalles sobre los conceptos de base de datos y usuario en Virtual DataPort, véase la sección 7. Si es la primera vez que accede al servidor, puede utilizar el usuario de tipo administrador creado por defecto (login de usuario admin con clave de acceso admin ). Es recomendable cambiar la contraseña de este usuario la primera vez que se conecte a un servidor. Para ello, debe utilizarse la opción Change password del menú File de la aplicación. Es posible conectarse al servidor en dos modos: modo de administración de una base de datos y modo de administración del servidor. Al modo de administración de una base de datos se accede cuándo la uri del servidor especifica una base de datos y además el usuario utilizado no es de tipo administrador. Este modo permite gestionar las fuentes, relaciones base y vistas unificadas que forman parte de una base de datos determinada del servidor DataPort. El modo de administración del servidor está reservado a los usuarios de tipo administrador y, en este caso, no es imprescindible que la uri suministrada especifique una base de datos. Este modo permite realizar tareas tales como: Crear, modificar o borrar bases de datos (ver sección 7). Crear, modificar o borrar usuarios, así como gestionar sus priviliegios de acceso a bases de datos y vistas (ver sección 7). Configurar el sistema cache (ver sección 5.1.3). Configurar la política de swapping del servidor (ver sección 6.6.3). Configurar el pool de threads del servidor (ver sección 5.1.2). Configurar los puertos de ejecución y parada del servidor (ver sección 5.1.1). Configuración de opciones de internacionalización (ver sección 5.1.5). Si la URI especificada incluye una base de datos y el usuario es administrador será posible realizar tanto las tareas de gestión del servidor como las de la base de datos indicada. Ejecución 15

24 5 ADMINISTRACIÓN DEL SERVIDOR En esta sección se describen las principales opciones de administración del servidor disponibles en Denodo Virtual DataPort. En primer lugar se detalla cómo utilizar la herramienta de administración y creación visual de vistas para configurar diversos aspectos del servidor de Virtual DataPort. Posteriormente se describe cómo configurar los logs de la aplicación. Finalmente, se describe cómo exportar los metadatos del servidor para propósitos de respaldo ( backup ) y/o migración a otras instalaciones de Virtual DataPort. 5.1 CONFIGURACIÓN DEL SERVIDOR Para gestionar las bases de datos, usuarios y permisos de un servidor Virtual DataPort es necesario acceder a la herramienta de administración en modo de administración de servidor, lo que implica hacerlo con un usuario de tipo administrador. Si es la primera vez que accede al servidor, puede utilizar el usuario de tipo administrador creado por defecto (login de usuario admin con clave de acceso admin ). Los parámetros de configuración del servidor pueden agruparse como se indica en los siguientes apartados: puerto, sistema de multithreading, cache, parámetros de swapping a disco, parámetros de ejecución de procedimientos almacenados y configuración de internacionalización Puerto El servidor DataPort utiliza tres números de puerto para sus comunicaciones con los clientes: el puerto de ejecución del servidor, el puerto de parada del servidor y un puerto auxiliar. Estos puertos pueden configurarse seleccionando la opción Server Configuration Server Port (ver Figura 4). NOTA: En el caso de que la conexión entre los clientes y el servidor DataPort deba atravesar un cortafuegos, será necesario configurar el software del cortafuegos para permitir el acceso al puerto de ejecución y al puerto auxiliar. Administración del Servidor 16

25 Figura 4 Configuración de puertos Los cambios de puerto tendrán efecto la siguiente vez que se relance el servidor de Virtual Data Port Pool de Threads Tal y cómo ya se ha comentado, el motor de ejecución de consultas de Virtual DataPort opera de forma concurrente sobre las fuentes de información. La implementación de la concurrencia se lleva a cabo mediante un subsistema de multithreading, que puede configurarse a través de la herramienta de administración de Virtual Data Port. Para configurar el subsistema de multithreading de un servidor Virtual DataPort es necesario acceder a Server Configuration - Threads Pool. Los parámetros configurables son los siguientes: Max Threads: Número máximo de threads manejados en un determinado instante de tiempo por el Pool (por defecto 300)). Expiration Time: Tiempo máximo que un thread no utilizado permanece en el Pool (por defecto, milisegundos)). Sleep Time: Indica cada cuanto tiempo se chequean los threads no utilizados en el Pool, para eliminar los que superen expirationtime (por defecto, milisegundos). Timeout: Tiempo máximo permitido por el Pool para la ejecución de uno de sus threads (por defecto, milisegundos). Checkout Time: Tiempo máximo que se espera por un thread libre. Si se supera este tiempo se produce una excepción (por defecto, miliseguntos). Administración del Servidor 17

26 Los cambios de configuración tendrán efecto de forma inmediata Configuración de la Caché Tal y como ya se ha comentado, Virtual DataPort dispone de un sistema (llamado módulo cache) para almacenar copias locales de los datos de las fuentes que se desee en una base de datos JDBC. Para configurar un servidor para utilizar cache es necesario acceder a la pestaña Server Configuration, escoger la opción Cache (ver Figura 5) y marcar la opción Cache status on. Adicionalmente, es necesario especificar los datos para crear un DataSource JDBC (ver sección 6.3.1) para la cache. Esto involucra especificar: Gestor de base de datos JDBC que se utilizará como cache (en la versión actual se soportan los gestores Oracle, PostgreSQL y MySQL). URI a la base de datos utilizada como cache. Login y contraseña del usuario utilizado para acceder a la Base de datos de cache. Si se marca la opción Test Connection (recomendado), el sistema se conectará a la fuente para obtener su fabricante y número de versión. Esta información podrá ser utilizada para optimizar el acceso a la fuente en función de sus características específicas. Si no se marca esta opción, se utilizará una configuración genérica. También es posible acceder a la opción Pool Configuration para configurar los parámetros del pool de conexiones sobre la cache (ver sección 6.3.1). Figura 5 Configuración de cache Es posible también consultar y/o configurar los siguientes parámetros del funcionamiento de la cache: Administración del Servidor 18

27 Maintainer Period: Especifica (en segundos) el período de ejecución de la tarea de mantenimiento de la cache. La tarea de mantenimiento es la encargada de realizar el borrado de entradas caducadas en la caché. Si el valor proporcionado es 0 o negativo, la tarea de mantenimiento no se ejecutará nunca. Time To Live: Especifica (en segundos) el tiempo de expiración por defecto de las entradas de la cache. Una vez que la cache ha sido activada y configurada ya es posible configurar vistas del sistema para que la utilicen (ver sección 6.6.2). Por otra parte, si se desea inhabilitar la cache, basta seleccionar la opción Cache off en el panel Cache de la pestaña Server Configuration. Los cambios de configuración tendrán efecto de forma inmediata excepto cuando se cambie el gestor de caché, que exige reinicio del servidor. Es posible especificar una configuración de cache específica para cada Base de Datos del servidor DataPort (ver sección 8.3.2) Configuración de los parámetros de swapping a disco Para evitar desbordamientos de memoria, Virtual DataPort puede hacer swapping a disco de los resultados intermedios generados durante el proceso de ejecución de una vista o consulta. Para configurar los parámetros de swapping de un servidor es necesario acceder a la pestaña Server Configuration y escoger la opción Swapping (ver Figura 6). Para habilitar o deshabilitar el swapping a nivel global deben utilizarse, respectivamente, las opciones Swapping status on (opción por defecto) o Swapping status off. Administración del Servidor 19

28 Figura 6 Configuración de Swapping Es posible también consultar y/o configurar los siguientes parámetros del funcionamiento del swapping : Tamaño máximo de cada resultado intermedio (megabytes). Durante la ejecución de una vista o consulta, DataPort realizará swapping a disco cuando algún resultado intermedio producido durante la ejecución supere el tamaño máximo especificado en este parámetro. Como norma general, se recomienda que el valor especificado no sea mayor que la tercera parte de la memoria disponible para la máquina virtual JAVA en la que se ejecuta el servidor DataPort. Tamaño máximo de los bloques escritos a disco (kbytes). Si DataPort realiza swapping de un resultado intermedio, realizará la escritura en disco utilizando bloques de, como máximo, el tamaño especificado. La configuración general de swapping puede también ser específica para cada Base de Datos del servidor DataPort (ver sección 8.3.2). Si el swapping está activado a nivel global, es posible activarlo y configurarlo para una vista (véase sección 6.6.3). También es posible configurarlo dinámicamente para una consulta determinada utilizando la cláusula CONTEXT de VQL (ver la Guía Avanzada de VQL [VQL]). Los cambios de configuración tendrán efecto de forma inmediata Configuración de Parámetros de Ejecución de Procedimientos Almacenados DataPort permite escribir procedimientos almacenados utilizando el lenguaje JAVA (ver sección 6.7 y Guía Avanzada de VQL [VQL]). Los procedimientos almacenados pueden ejecutar sentencias en el servidor DataPort. La ejecución de dichas sentencias hace uso de diveros parámetros de configuración. Administración del Servidor 20