EXPERIENCIAS EN LA INTEGRACIÓN DE SISTEMAS DE GESTIÓN DE PROYECTOS A NIVEL DE DATOS CON POSTGRESQL

Transcripción

1 EXPERIENCIAS EN LA INTEGRACIÓN DE SISTEMAS DE GESTIÓN DE PROYECTOS A NIVEL DE DATOS CON POSTGRESQL Dianela Borrego León 1¹*, Miroslaba Lazara Aldana Cuza 2², Pedro Yobanis Piñero Pérez 3³, Jose Alejandro Lugo García 4 4, Felix Noel AbelardoSantana 5 5 ¹Laboratorio de investigaciones de gestión de proyectos, Universidad de las Ciencias Informáticas, Carretera a San Antonio de los Baños km ² Laboratorio de investigaciones de gestión de proyectos, Universidad de las Ciencias Informáticas, Carretera a San Antonio de los Baños km ³ Laboratorio de investigaciones de gestión de proyectos, Universidad de las Ciencias Informáticas, Carretera a San Antonio de los Baños km 4 Laboratorio de investigaciones de gestión de proyectos, Universidad de las Ciencias Informáticas, Carretera a San Antonio de los Baños km 5 Laboratorio de investigaciones de gestión de proyectos, Universidad de las Ciencias Informáticas, Carretera a San Antonio de los Baños km *dborrego@uci.cu RESUMEN El desarrollo actual de los sistemas informáticos exige una mayor agilidad, seguridad y personalización de los productos, de forma tal que facilite satisfacer las versátiles necesidades del negocio y del mercado. Durante el desarrollo de un software es de vital importancia garantizar productividad, esto es posible haciendo uso de estrategias de trabajo encaminadas a la reutilización e integración de componentes previamente implementados, evitando así la duplicación de esfuerzos.

2 Entre las variantes utilizadas para la disminución de tiempo y esfuerzo se encuentra la integración de soluciones de apoyo, cuyo fin no es el desarrollo de una aplicación, sino la puesta en relación y funcionamiento de un conjunto heterogéneo de componentes para conseguir una solución global. Los sistemas de gestión de proyectos precisan del intercambio de información con diversos sistemas que existan en una organización, para alcanzar mayor efectividad en la toma de decisiones en tiempo real. En el presente trabajo se expone una propuesta de integración del sistema de gestión de proyectos GESPRO con otros sistemas. Palabras Claves: GESPRO, integración, réplica de datos ABSTRACT The current development of computer systems requires greater agility, security and customization of products, so as to facilitate the versatile needs of the business and the market. During software development is of vital importance to ensure productivity, this is possible using strategies aimed to reuse work and integration of components previously implemented, thus avoiding duplication of efforts. Among the variants used for the reduction of time and effort is integrating support solutions, whose purpose is the development of an application, but the linking and operation of a heterogeneous set of components to achieve a global solution. The project management system requires the exchange of information with various systems that exist in an organization to achieve greater effectiveness in decision-making in real time. In the present work describes a proposal for integrating the project management system with other systems GESPRO. Keywords: data replication, GESPRO, integration. INTRODUCCIÓN Con el crecimiento actual y versatilidad de las necesidades de negocio, la industria de software debe orientar sus soluciones y la prestación de servicios hacia el intercambio de información con otros sistemas, haciendo uso de estrategias que garanticen mayor competitividad en el mercado. En la actualidad existe una tendencia a la creación de alianzas para el desarrollo de sistemas, compartiendo mercados, personalizando productos, aumentando la usabilidad y sostenibilidad de dichos sistemas. En este sentido las soluciones informáticas deben brindar una fácil adaptación a diferentes entornos. La búsqueda de soluciones a la medida constituye un reto para el desarrollo de software.

3 La integración de los sistemas de las organizaciones se hace cada vez de mayor interés y con el objetivo de alcanzar determinados niveles de interoperabilidad, dicha integración debe implicar y coordinar elementos de un determinado ámbito o dominio, entre los que se encuentran procedimientos, datos, infraestructuras y aplicaciones.[1] Hoy día existen sistemas que a pesar de tener ciertas funcionalidades implementadas, aún se consideran insuficientes para lograr una integración con sistemas externos a ellos. Convirtiéndose dicha situación en una problemática actual. Esta realidad no es ajena al sistema de gestión de proyectos GESPRO, sistema para la gestión integrada de proyectos.[1] GESRPO como sistema que unifica la información de las áreas de procesos de la gestión de proyectos dentro de una organización, requiere de la información primaria que gestionen sistemas[1] externos a él, brindando información relevante que puede usarse para la gestión de sus principales áreas. MATERIALES Y MÉTODOS Existen varios enfoques para la integración de sistemas informáticos de una organización, como la integración a nivel de ficheros, punto a punto, a nivel de base de datos, entre otros. La integración a nivel de base de datos es recomendable en escenarios comunes entre sistemas de una misma organización o que han sido desarrolladas por el mismo equipo de proyecto, donde existe la comunicación, nivel de acceso y seguridad suficientes para permitir el acceso a las bases de datos.[1] Partiendo de la idea de que al resultado de la interacción colaborativa entre personas, tecnologías y procedimientos orientados a solucionar problemas empresariales, se le denomina Sistema de Información Gerencial y de la necesidad de las empresas de llevar con mayor facilidad el monitoreo y control de las organizaciones asociadas a ellas, se realiza el desarrollo del módulo Gerencial en GESPRO. Generando el desarrollo y posterior integración con el módulo Transaccional, encargado de recolectar, almacenar, modificar y recuperar toda la información generada por las transacciones producidas en una organización. Dicha integración posibilita la replicación de la información del Transaccional en el Gerencial facilitando así el seguimiento de las empresas a sus organizaciones, la misma se realiza a nivel de base de datos. Por otra parte, se integran los datos de las instancias de GESPRO en la Universidad de las Ciencias Informáticas (UCI) con el almacén de datos Proyectos terminados, en el cual se recogen los datos más significativos de los proyectos que se han concluido al pasar del tiempo. Réplica de datos

4 Según [2] la replicación de datos consiste en el transporte de datos entre dos o más servidores, permitiendo que ciertos datos de la base de datos estén almacenados en más de un sitio y así aumentar la disponibilidad de los datos y mejorar el rendimiento de las consultas globales. Es decir, la réplica de datos se entiende como la duplicación del esquema de una tabla y sus datos desde una fuente origen a una de destino, de forma que los datos sean iguales en ambas localizaciones. La replicación permite un mejor rendimiento de las aplicaciones de manera que puedan operar sobre copias locales, garantiza la disponibilidad y el acceso a los datos, así como proveer copias de seguridad. Reduce el impacto producido por las caídas y el tráfico de la red y balancea la carga en los servidores centralizados. Su desventaja principal es que cuando se pone al día un cierto objeto copiado, deben ponerse al día todas las réplicas de ese objeto. Dando cumplimiento a las necesidades de replicación, para la integración entre los sistemas anteriormente analizados, de forma más eficiente, sencilla y eficaz, se hace uso de: Entorno de ejecución maestro-esclavo: Conocido también como de solo lectura. El maestro puede recibir consultas de lectura/escritura, mientras que los esclavos aceptan únicamente de lectura, por tanto, si desea realizar algún cambio en la base de datos este debe hacerse en el maestro. La replicación es realizada en un solo sentido[2]. En el caso presentado, los datos de los proyectos, indicadores y tareas, son monitoreados y controlados en el módulo Gerencial (maestro), realizando en su base de datos todos los cambios que implica copiar esta información del módulo Transaccional(esclavo); de igual forma ocurre entre la base de datos de Proyectos terminados (maestro) y el módulo Transaccional (esclavo). Modelo de replicación asincrónica: Captura los cambios locales almacenándolos en una cola y a intervalos regulares y replica estos datos en los servidores remotos. Es más óptima para ambientes distribuidos donde los nodos estén a larga distancia unos de otros, mejorando el rendimiento de la aplicación y reduciendo el tráfico en la red [2, 3]. Las funciones utilizadas en el proceso de integración son ejecutadas en un periodo de tiempo determinado y no de forma instantánea. Técnica Descarga y Recarga: consiste en hacer una salva de los datos, copiar la misma para un dispositivo de almacenamiento para luego distribuirla por los demás servidores. Esta técnica presenta el inconveniente de que en la mayoría de las ocasiones se consultan datos que tienen semanas de estar desactualizados, además de que el proceso se realiza de forma manual[2, 3]. Realizándose el proceso de

5 integración por medio de la extracción directa de la información de la base de datos origen, cargándose y transformándose según los requerimientos de integración en las base de datos destino. Funciones ETL haciendo uso de la extensión de postgres DBLink, tomando los datos necesarios de la base de datos externas e insertándolos en sus correspondientes ubicaciones en la base de datos de GESPRO. ETL [4] son las siglas en inglés de Extraer, Transformar y Cargar (Extract, Transform and Load). Se entiende por extracción de datos cuando desde una base de datos se puede acceder a otra Base de Datos origen y extraer información, la transformación de los datos implica limpieza, filtrado, validación y aplicación de reglas del negocio, mientras que la carga involucra el proceso a través del cual se cargan estos datos en el almacén de datos o la Base de datos destino. Términos como migración, gestión, limpieza, sincronización y consolidación de datos, se encuentran estrechamente relacionados y son gestionados por procesos ETL. El empleo de estos procesos tiene como principales objetivos la migración y transformación de datos de sistemas fuentes para alimentar a un sistema destino, almacén de datos y formular mercados de datos. DBLink [5] permite ejecutar una consulta en una base de datos remota, la cual soporta conexiones a otras base de datos de PostgreSQL sin tener una sesión abierta en la misma. Dicha función devuelve las filas producidas por la consulta ejecutada. Se puede utilizar con cualquier consulta, por esta razón se declara dentro de una función ETL retornándose sus valores en un record, debiendo especificarse la cantidad de columnas esperadas. DBLink obtiene todo el resultado de la consulta a distancia antes de devolver en el sistema local. A continuación se presentan ejemplos de la puesta en práctica de las funciones ETL en los casos de integración con GESPRO. Estas funciones son utilizadas con el fin de extraer información de la base de datos origen, personalizar la misma teniendo en cuenta la estructura de la base de datos destino, para su posterior inserción. Integración de GESPRO con Proyectos terminados CREATE OR REPLACE FUNCTION _gespro_etl_resources(pdbname text, pport integer, phost text, puser text, ppassword text) RETURNS void AS $BODY$ DECLARE rec record; next_id integer; --Función encargada de:

6 --> Extraer toda la información referente a los recursos existentes en una BD origen especificada por parámetro. --> Transformar la información extraída de manera que se ajuste al esquema del DWH destino. --> Insertar la información en la tabla correspondiente del DWH destino. BEGIN next_id:=(select COALESCE(MAX(resources_id),0) FROM resources); FOR rec IN SELECT * FROM dblink('dbname=' pdbname ' ' 'port=' pport ' ' 'host=' phost ' ' 'user=' puser ' ' 'password=' ppassword, 'SELECT resources.id, resources."name", code, existence, available, provider, um, pu, "limit", rate, status, resource_categories.name as category, created_on, updated_on, "type", area, resource_locations.name as resource_location, workstations FROM resources LEFT JOIN resource_categories ON(resources.resource_category_id = resource_categories.id) LEFT JOIN resource_locations ON(resources.resource_location_id = resource_locations.id)') AS r( id integer, "name" character varying(255), code character varying(50), existence integer, available integer, provider character varying(255), um character varying(50), pu double precision, "limit" integer, rate double precision, status character varying(50), category character varying(50), created_on date, updated_on date, "type" character varying(50), area double precision, resource_location character varying(255), workstations integer) LOOP next_id:=(next_id + 1); INSERT INTO resources(resources_id, id, "name", code, existence, available, provider, um, pu, "limit", rate, status, category, created_on, updated_on, "type", area, resource_location, workstations, dbname, dbhost) VALUES(next_id, rec.id, rec."name", rec.code, rec.existence, rec.available, rec.provider, rec.um, rec.pu, rec."limit", rec.rate, rec.status, rec.category, rec.created_on, rec.updated_on, rec."type", rec.area, rec.resource_location, rec.workstations, pdbname, phost); END LOOP; END;

7 Integración de GESPRO Gerencial con GESPRO Transaccional CREATE OR REPLACE FUNCTION _gerencial_etl_import_gespro_indicators(pdbname text, pport integer, phost text, puser text, ppassword text) RETURNS void AS $BODY$ DECLARE rec_ind_proy record; rec_ind_cent record; center_code integer; new_project_code integer; --Función encargada de: --> Extraer toda la información referente a los indicadores del proyecto existentes en una BD origen especificada por parámetro. --> Transformar la información extraída de manera que se ajuste al esquema del DWH destino. --> Insertar la información en la tabla correspondiente del DWH destino. BEGIN center_code := (SELECT * FROM dblink('dbname=' pdbname ' ' 'port=' pport ' ' 'host=' phost ' ' 'user=' puser ' ' 'password=' ppassword, 'SELECT organizations.code from organizations WHERE organizations.id = 1') AS gpcode( center_code_id integer)); -- Importar los indicadores último corte nivel Proyecto de los centros hacia el GESPRO Gerencial FOR rec_ind_proy IN SELECT * FROM dblink('dbname=' pdbname ' ' 'port=' pport ' ' 'host=' phost ' ' 'user=' puser ' ' 'password=' ppassword, 'SELECT gespro_indicator_values.value as indicator_value, gespro_indicator_values.explanation, gespro_indicator_values.created_on, gespro_indicator_values.entity_id, gespro_indicator_values.gespro_indicator_id FROM gespro_indicators inner join gespro_indicator_values on(gespro_indicators.id = gespro_indicator_values.gespro_indicator_id) WHERE gespro_indicator_values.created_on = (SELECT max(gespro_indicator_values.created_on) FROM gespro_indicator_values) and gespro_indicators.gespro_indicator_level_id = 1 and gespro_indicators.active = true and gespro_indicators.system_active = true order by gespro_indicator_values.gespro_indicator_id') AS gppindicators( indicator_value double precision, explanation character varying(255), created_on timestamp without time zone, entity_id integer, -- id proyecto del centro origen gespro_indicator_id integer) LOOP --Si el proyecto del centro que está leyéndose está importado en la base de datos --del GESPRO Gerencial y está activo, transformar id del proyecto del centro origen --para código que se le asignó en el destino cuando se importó y registrar... new_project_code := (SELECT data_source_projects.project_id FROM public.data_source_projects WHERE EXISTS(SELECT projects.id FROM public.projects WHERE projects.id = data_source_projects.project_id AND public.projects.status = 1) AND data_source_projects.project_id_source = rec_ind_proy.entity_id AND data_source_projects.data_source_id = center_code); IF new_project_code IS NOT NULL THEN -- INSERTAR INFORMACION EN TABLA RESUMEN DE INDICADORES -- (Se valida para que no existan registros duplicados --- es decir, no se repita un registro con el mismo -- created_on, new_project_code y gespro_indicator_id) INSERT INTO

8 gespro_indicator_values(id,value,explanation,created_ on,updated_on,entity_id,gespro_indicator_id) SELECT nextval('gespro_indicator_values_id_seq'), rec_ind_proy.indicator_value, rec_ind_proy.explanation, rec_ind_proy.created_on, CURRENT_TIMESTAMP, new_project_code, rec_ind_proy.gespro_indicator_id WHERE 1 NOT IN (SELECT 1 from gespro_indicator_values WHERE gespro_indicator_values.created_on = rec_ind_proy.created_on AND gespro_indicator_values.entity_id = new_project_code AND gespro_indicator_values.gespro_indicator_id = rec_ind_proy.gespro_indicator_id); END IF; END LOOP; -- Importar los indicadores último corte nivel Centro de los centros hacia el GESPRO Gerencial FOR rec_ind_cent IN SELECT * FROM dblink('dbname=' pdbname ' ' 'port=' pport ' ' 'host=' phost ' ' 'user=' puser ' ' 'password=' ppassword, 'SELECT gespro_indicator_values.value as indicator_value, gespro_indicator_values.explanation, gespro_indicator_values.created_on, gespro_indicator_values.entity_id, gespro_indicator_values.gespro_indicator_id FROM gespro_indicators inner join gespro_indicator_values on(gespro_indicators.id = gespro_indicator_values.gespro_indicator_id) WHERE gespro_indicator_values.created_on = (SELECT max(gespro_indicator_values.created_on) FROM gespro_indicator_values) and gespro_indicators.gespro_indicator_level_id = 2 and gespro_indicators.active = true and gespro_indicators.system_active = true order by gespro_indicator_values.gespro_indicator_id') AS gpcindicators( indicator_value double precision, explanation character varying(255), created_on timestamp without time zone, entity_id integer, -- id centro del centro origen gespro_indicator_id integer) LOOP -- INSERTAR INFORMACION EN TABLA RESUMEN DE INDICADORES -- (Se valida para que no existan registros duplicados --- es decir, no se repita un registro con el mismo -- created_on,entity_id y gespro_indicator_id) INSERT INTO gespro_indicator_values(id,value,explanation,created_ on,updated_on,entity_id,gespro_indicator_id) SELECT nextval('gespro_indicator_values_id_seq'), rec_ind_cent.indicator_value, rec_ind_cent.explanation, rec_ind_cent.created_on, CURRENT_TIMESTAMP, rec_ind_cent.entity_id, rec_ind_cent.gespro_indicator_id WHERE 1 NOT IN (SELECT 1 from gespro_indicator_values WHERE gespro_indicator_values.created_on = rec_ind_cent.created_on AND gespro_indicator_values.entity_id = rec_ind_cent.entity_id AND gespro_indicator_values.gespro_indicator_id = rec_ind_cent.gespro_indicator_id); END LOOP; END;

9 DISCUSIÓN Y ANÁLISIS DE RESULTADOS La integración de los sistemas anteriormente expuestos propicia: Monitoreo y control, de cada proyecto desarrollado en la UCI, por parte de la Dirección Integrada de Proyectos utilizando GESPRO. La utilización de la información referente a los proyectos que han concluido al pasar el tiempo en la UCI. Sirve de guía y experiencia para posteriores integraciones. CONCLUSIONES Es factible realizar la integración entre los casos expuestos a nivel de base de datos, debido a que fueron desarrollados por una misma organización, no afectando la confidencialidad y seguridad durante el intercambio de información. Teniendo en cuenta el medio de integración presentado, se hace uso del entorno de replicación maestroesclavo, debido al sentido en el cual fluye la información, aplicando el modelo de replicación asincrónica y la técnica de Descarga y Recarga. Para las funciones desarrolladas a nivel de base de datos se emplean las ETL y la extensión de postgres DBLink. BIBLIOGRAFÍA 1. Castell, G.J., Modelo para el desarrollo de un ecosistema de software orientado a soluciones para la gestión de proyectos. 2012: La Habana. p Aldana, C.M.L., Análisis y Diseño de la versión 2.0 del módulo Réplica de la Plataforma Educativa Zera. 2012: La Habana. p Masó, F.R., Propuesta de una solución de replicación para el gestor de bases de datos PostgreSql en la Oficina Nacional de Recursos Minerales. 2010: La Habana. p ETL-Tools.Info ; Available from: 5. Group, T.P.G.D. Página Oficial de PostgreSQL ; Available from: