Metodología y Framework para el Desarrollo de Aplicaciones Científicas con Computación de Alto Rendimiento a través de Servicios Web

Transcripción

1 Metodología y Framework para el Desarrollo de Aplicaciones Científicas con Computación de Alto Rendimiento a través de Servicios Web J.Corral-García, D.Cortés-Polo, C.Gómez-Martín, J.L.González-Sánchez CénitS (Centro Extremeño de investigación, Innovación Tecnológica y Supercomputación) Fundación COMPUTAEX 6th Euro American Conference on Telematics and Information Systems, EATIS VALENCIA

2 Índice I 1 Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

3 1 Motivaciones y objetivos Trabajos relacionados Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

4 Motivaciones y objetivos Trabajos relacionados Retos IS y HPC Reto de I.S.: Desarrollar sistemas cada vez más complejos, en menor tiempo y con requisitos mínimos de calidad. Una tendencia: Reutilizar y construir sistemas mediante la composición de componentes ya desarrollados y probados. Reto de Computación de Altas Prestaciones: creación de software de alto rendimiento con alta escalabilidad y seguridad.

5 Motivaciones y objetivos Trabajos relacionados Requisitos no funcionales Complicaciones al tener en cuenta requisitos no funcionales de Calidad de Servicio: Balance de carga... Uso eficiente de recursos. Tolerancia a fallos. etc.. El código requerido para cumplirlos acaba mezclándose con el código funcional.

6 Motivaciones y objetivos Trabajos relacionados Código enmarañado y disperso Los mecanismos tradicionales de control de ejecución paralela no proporcionan una separación de intereses (concerns) sencilla. Código enmarañado: un mismo módulo implementa múltiples comportamientos o aspectos del sistema de forma simultánea. Código disperso: existen líneas de código distribuidas por toda o gran parte de la aplicación para definir la lógica de cierta propiedad o comportamiento del sistema. Dificultades de mantenimiento y desarrollo.

7 Motivaciones y objetivos Trabajos relacionados Programación Basada en Componentes Cada vez se aproxima más a la computación paralela de alto rendimiento. OMG CCM, DCOM o Sun/Interprise Java Beans, presentan deficiencias debido a la falta de abstracción necesaria y a un pobre rendimiento. Dificultades en los mecanismos de encapsulación en componentes de aplicaciones científicas ya existentes.

8 Motivaciones y objetivos Trabajos relacionados Programación Orientada a Aspectos En POA los intereses transversales son modularizados como aspectos que no se descomponen en unidades funcionales. Eficiencia, menor tiempo y menor esfuerzo. Patentes mejoras en búsquedas, análisis de rendimiento, trazas de ejecución. Mejoras en el tiempo paralelo final ayudando a compaginar adecuadamente comunicaciones y capacidad de cómputo.

9 Motivaciones y objetivos Trabajos relacionados Definición de una metodología para la construcción de aplicaciones paralelas para computadoras de alto rendimiento a partir de componentes funcionales y sus dedependencias a través de un servicio web. Propuesta de herramientas que provean de mecanismos concretos para modelar y componer un repositorio de componentes y dependencias, facilitando además la búsqueda de los elementos a reutilizar.

10 Motivaciones y objetivos Trabajos relacionados Definir y desarrollar una nueva Metodología para el desarrollo integral de software de altas prestaciones, para su ejecución en HPC. Principios del DSBC y DSOA. Definición de nuevos pasos y etapas en el desarrollo de algoritmos paralelizados orientados a supercomputación. Promoviendo la reutilización de componentes ya desarrollados. Centrando esfuerzos en la definición de dependencias entre componentes.

11 Motivaciones y objetivos Trabajos relacionados Mejorar la producción de software de calidad reduciendo tiempo, esfuerzo y costes de desarrollo. Los componentes estarían suficientemente probados y tendrían asegurada su fiabilidad.

12 Motivaciones y objetivos Trabajos relacionados Catalogación de componentes funcionales independientes para facilitar su futura reutilización. Catalogación de componentes dependencias entre ellos: que permitan establecer Aspectos a añadir a componentes funcionales (determinando sincronización o coordinación). Añadiendo alguna modificación. las

13 Motivaciones y objetivos Trabajos relacionados Trabajos relacionados Ausencia de aproximaciones que definan metodologías concretas para el desarrollo de software HPC. Frameworks POA y PBC orientados a supercomputación, pero centros en diseño e implementación. Ninguno se basa en la reutilización de componentes desde las primeras fases del desarrollo. Los paradigmas modernos de la IS raramente son aplicados a la computación de alto rendimiento. La aplicación de técnicas orientadas a aspectos al modelado de componentes sí ha sido explorada en diversos trabajos.

14 1 de componentes y dependencias Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

15 de componentes y dependencias Metodología para la construcción de aplicaciones paralelas para computadores de alto rendimiento a partir de Componentes funcionales. Definición de dependencias existentes entre ellos.

16 de componentes y dependencias Framework que, mediante esta metodología, permita Proveer de mecanismos concretos para modelar y componer componentes y dependencias. Facilitar el desarrollo de aplicaciones científicas de alto rendimiento. Creación, catalogación, validación y reutilización de cada aplicación y sus componentes.

17 de componentes y dependencias Permitir y facilitar la traza de los requisitos del sistema. Identificar todos los componentes software que permiten el desarrollo de cada requisito durante el ciclo de vida. Controlar cambios en los requisitos sin que afecte colateralmente a otros componentes del desarrollo. Validación del comportamiento del sistema en sus distintas fases. Gestión adecuada cuando las dependencias cambien, se amplie el sistema, se añadan nuevas dependencias, se modifiquen o sustituyan componentes funcionales existentes.

18 de componentes y dependencias Facilitar el desarrollo de sistemas siguiendo la metodología propuesta. Uso de funciones y herramientas que permitan Definir los requisitos del sistema. Identificar y reutilizar los componentes. Definir nuevos componentes a incorporar al sistema. Facilitar mecanismos de traza y validación mediante simulación del comportamiento. Servir de banco de pruebas de la metodología propuesta.

19 1 Desarrollo software basado en Componentes Programación Orientada a Aspectos Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

20 Desarrollo software basado en Componentes Programación Orientada a Aspectos Ingeniería de requisitos Grado en que un software cumple los objetivos para los que está destinado > Principal medida del éxito de un sistema. Ing. de Requisitos es el proceso de descubrir dichos objetivos, mediante la identificaión de las partes interesadas en el proyecto, sus necesidades y su documentación. La definición de requisitos tiene un gran impacto en la calidad final del producto software, constituyendo la base para la construcción del sistema.

21 Desarrollo software basado en Componentes Programación Orientada a Aspectos Requisito Condición o capacidad necesaria del usuario para resolver un problema o mejorar un objetivo. Condición o capacidad que debe ser conseguida o poseída por el sistema o componente del mismo. Representación documentada de una condición o capacidad.

22 Desarrollo software basado en Componentes Programación Orientada a Aspectos Procesos de la IR Elicitación (captura, descubrimiento y adquisición) de requisitos. Análisis y especificación de requisitos. Validación de requisitos. Gestión de requisitos software.

23 Desarrollo software basado en Componentes Programación Orientada a Aspectos DSBC Enfoque de desarrollo basado en la reutilización. Reutilizar NO significa usarlo más de una vez. Implica la capacidad de ser utilizado en contextos distintos a aquellos para los que fue diseñado inicialmente. Componente es un unidad de composición de aplicaciones que posee un conjunto de interfaces y requisitos, que ha de poder ser desarrollado, adquirido e incorporado al sistema de forma independiente en tiempo y espacio.

24 Desarrollo software basado en Componentes Programación Orientada a Aspectos DSBC La reutilización permite: Reducir costes. Disminuir tiempos de desarrollo. Facilitar la adaptación a las nuevas tecnologías. La reutilización presenta riesgos y retos: Falta de información para poder realizar búsquedas eficientes y de calidad que facilite la selección y evaluación de componentes.

25 Desarrollo software basado en Componentes Programación Orientada a Aspectos POO versus POA POO es una de las técnicas de modularización más potentes. Sin embargo, existen intereses (concerns) que no consiguen modularizarse de forma efectiva. Cuando una clase necesita una funcionalidad y no la tiene, en POO es posible definirla en otra clase. En POA no se quiere utilizar funcionalidades definidas en otras clases, sino aplicar ciertos aspectos a a ciertas clases, de forma que la clase original tenga la nueva funcionalidad que se le ha definido. Con este pequeño cambio se proporciona mayor flexibilidad y reutilización al código.

26 Desarrollo software basado en Componentes Programación Orientada a Aspectos POA Un concern es todo aquello que sea importante para alguno de los interesados (stakeholders), ya sea un usuario final, el promotor de un proyecto, incluso un desarrollador o cualquier interés que afecte a más de una clase. Tiranía de la descomposición dominante: las técnicas tradicionales proveen la posibilidad de descomponer el problema de acuerdo a una única dimensión, permitiendo una modularización efectiva de los intereses de dicha dimensión a costa de sacrificar una buena modularización en las demás dimensiones. Consecuencia: los intereses de las dimensiones no dominantes adquieren una naturaleza transversal (intereses transversales). Problemas: acoplamiento, dificultad de mantenimiento, menor claridad del código, etc..

27 Desarrollo software basado en Componentes Programación Orientada a Aspectos POA La POA permite encapsular los conceptos que componen una aplicación en entidades bien definidas, eliminando las dependencias entre cada uno de los módulos. Ventajas: se razona mejor sobre los conceptos, se elimina la dispersión del código y las implementaciones resultan más comprensibles, adaptables y reusables.

28 1 Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

29 La metodología determina las actividades a realizar en cada fase del desarrollo: Elección de mecanismos de recogida y especificación de los requisitos. Funcionalidad y dependencias a partir de los mismos. Selección de componentes funcionales y dependencias que pueden ser reutilizados. Identificación y determinación de la especificación y desarrollo de nuevos componentes y dependencias que se incorporarán al repositorio una vez finalizado el proyecto. Descripción en cada fase de los objetivos, elementos de configuración del sistema e información necesaria. Determinación de los flujos de información entre fases. Definición de los mecanismos de validación para cada fase. Identificación de técnicas y herramientas necesarias para realizar cada una de las actividades especificadas.

30 La metodología debe definir la información del repositorio necesaria para cada componente funcional y cada dependencia. Identificar elementos de configuración afectados cuando se modifique algún requisito del sistema. Se definirán procesos que permitan un seguimiento de la evolución de los elementos de configuración de software a partir de sus relaciones y de la línea de base de los requisitos de la que formen parte.

31 Búsqueda y reutilización de componentes: tarea complicada. Gran colección de componentes y poca documentación acerca de la forma en que pueden y deben utilizarse. Para facilitar esta labor, la metodología contempla el uso de diversas técnicas: Caracterización de alto nivel de sus capacidades (en lugar de tener en cuenta nombres, especificaciones formales, comentarios...) Utilización en la recuperación del contexto en el cual el componente es reutilizado (para orientar la formulación de la consulta). Gestión de funciones automáticas de configuración y validación de componentes.

32 Nuestro sistema pretende integrar componentes procedentes de diferentes modelos y dominios. Cada tipo de aspecto tendrá una serie de propiedades cuyos valores serán especificados y limitados, describiendo información detallada. Se almacena información de alto nivel que pueda ser utilizada por usuarios finales en las aplicaciones. Se usará la información no solo para conocer los aspectos que requiere y provee cada componente, sino también para obtener reglas que validen la configuración de los mismos.

33 Repositorio En el repositorio serán definidos Componentes Aspectos Detalles sore aspectos suministrados y recibidos Propiedades de detalle con valores Restricciones

34 1 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

35 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza Framework para facilitar el desarrollo de sistemas en computadores de alto rendimiento. Con funciones que permitan: Obtener e introducir componentes y dependencias en el repositorio, junto con su información asociada, para cada fase. Definir y especificar los requisitos. Identificar componentes funcionales y dependencias. Componer el sistema a partir de componentes y dependencias. Generar los elementos de configuración y actualizarlos. Realizar la traza de los requisitos del sistema y gestionar la configuración del proyecto. Generar documentación, diagramas y especificaciones asociadas a cada una de las fases de la metodología. Validar las especificaciones del sistema mediante simulación del comportamiento. Generar el sistema ejecutable.

36 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza La programación paralela será desarrollada a través de la librería MPI de paso de mensajes, utilizando para ello el Supercomputador LUSITANIA. Los mecanismos de traza serán facilitados mediante herramientas para la validación mediante simulación de comportamiento. Parámetros funcionales de cada componente y las dependecias entre ellos > mediante ficheros basados en XML.

37 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza Repositorios Generados a partir de la información definida en la metodología, estructurada según las fases del desarrollo, con la información de cada componente. Elementos de configuración implicados. Representación de las relaciones entre los distintos elementos y las líneas de base de cada uno de los requisitos iniciales del sistema.

38 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza Desarrollo Definición y especificación de requisitos del sistema. Identificación y selección de componentes y dependencias. Definición de nuevos componentes y dependencias. Generación de la estructura arquitectónica del sistema. Generación de la especificación detallada de los nuevos componentes y dependencias. Generación de código ejecutable.

39 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza Validación y simulación Validación de las especificaciones iniciales y del diseño arquitectónico con respecto a los requisitios del sistema. Plugins para trabajar con entornos de simulación. Uso de herramientas de validación según las fases concretas del desarrollo. Mecanismos de visualización de los resultados. Mecanismos de comparación con los resultados esperados.

40 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de compo Herramienta de validación y simulación del comportamiento Herramienta de traza Traza Definición de los mecanismos y procesos para realizar la traza y seguimiento de los requisitos. Realización de la traza para el seguimiento de los elementos de configuración del sistema. Acceso y actualización de elementos de configuración del proyecto. Generación de informes y avisos a los desarrolladores involucarados al producirse cambios en los requisitos.

41 1 Motivaciones y objetivos Trabajos relacionados 2 de componentes y dependencias 3 Desarrollo software basado en Componentes Programación Orientada a Aspectos 4 5 Repositorios del proyecto y de componentes y dependencias Herramienta para el desarrollo basada en la composición de componentes y dependencias Herramienta de validación y simulación del comportamiento Herramienta de traza 6

42 Gran parte de las aplicaciones científicas y matemáticas necesitan alta capacidad de cómputo. En muchas implementaciones de algoritmos paralelizados acaban apareciendo dificultades de desarrollo y mantenimiento. Necesidad de entornos de programación que permitan el desarrollo de código de forma eficiente.

43 Enfoque orientado a aspectos y componentes, para el desarrollo de apliaciones paralelas complejas con computación de alto rendimiento, a partir de componentes funcionales ya existentes y de la definición de nuevos componentes y dependencias.

44 Metodología basada en la reutilización de componentes desde las primeras fases del desarrollo. Desarrollo de sistemas software con mayor confianza en su funcionalida y reduciendo tiempo, esfuerzo y coste en desarrollo y mantenimiento. Orientada a computación de altas prestaciones.

45 conclusiones Framework para el desarrollo de sistemas software siguiendo la metodología. Creación, catalogación y reutilización de componentes funcionales independientes y de dependencia entre ellos. Mecanismos de traza y herramientas de validación de los sistemas.

46 conclusiones