Aplicaciones científicas de la computación paralela

Transcripción

1 Aplicaciones científicas de la computación paralela Departamento de Informática y Sistemas Grupo de Computación Científica y Programación Paralela investigacion Programación Paralela y Computación de Altas Prestaciones Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 1 / 30

2 Temas a tratar 1 Computación científica y aplicaciones 2 Aplicaciones en el grupo CCPP 3 Análisis de sedimentos Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 2 / 30

3 Computación científica y aplicaciones Temas a tratar 1 Computación científica y aplicaciones 2 Aplicaciones en el grupo CCPP 3 Análisis de sedimentos Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 3 / 30

4 Computación científica y aplicaciones Computación Científica Integración de modelos con técnicas computacionales para solución de problemas complejos, con grandes volúmenes de datos (big data) y/o necesidades de computación (High Performance Computing) Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 4 / 30

5 Computación científica y aplicaciones Aplicaciones Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 5 / 30

6 Computación científica y aplicaciones... y también Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 6 / 30

7 Computación científica y aplicaciones Evolución de aplicaciones en TOP500 Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 7 / 30

8 Computación científica y aplicaciones Tipos de problemas De gran desafío Alto coste computacional θ (a n ) problemas NP, optimización combinatoria... De gran dimensión Coste moderado θ ( n 3), θ ( n 4)... pero gran dimensión, por ejemplo n = (8 Teras) De tiempo real Coste bajo pero necesidad de respuesta inmediata juegos, control, atención médica... Clima Bio Diseño Simul Juego Imagen recetas G. Desafío X X X G. Dimensión X X X X X Tiempo Real X X X X X X Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 8 / 30

9 Computación científica y aplicaciones Alto coste computacional θ (a n ) Clima Bio Diseño Simul Juego Imagen recetas G. Desafío X X X G. Dimensión X X X X X Tiempo Real X X X X X X Problemas NP, optimización combinatoria: Planificación, Logística, Asignación de recursos, Estudio de eficiencia de organizaciones Biología, Medicina: Búsquedas en DNA, Diseño de fármacos Diseño Cuando se trata de determinar componentes (ejemplos, filtros de señal, diseño de puentes con restricciones...) Recetas? si varios componentes e intentar combinarlos para satisfacer distintas restricciones y maximizando algunos aspectos Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 9 / 30 Problemas de Gran Desafío

10 Computación científica y aplicaciones Problemas de Gran Dimensión Coste moderado (θ (n p )) pero gran tamaño Clima Bio Diseño Simul Juego Imagen recetas G. Desafío X X X G. Dimensión X X X X X Tiempo Real X X X X X X En algunos casos los problemas de memoria son mayores que los de computación Clima: Simulaciones con mallado muy fino Tiempo cuadrático (superficie) o cúbico (espacio) que aumenta de orden con la evolución temporal Bioinformática: Problemas de búsqueda en cadenas, con bases de datos muy grandes Diseño y Simulación: Puede necesitarse mallado muy fino El coste aumenta por el número de simulaciones a realizar Imagen: Generación de imágenes para peĺıculas, muchas imágenes y gran precisión Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 10 / 30

11 Computación científica y aplicaciones Problemas de Tiempo Real Requieren respuesta en un plazo de tiempo corto Clima Bio Diseño Simul Juego Imagen recetas G. Desafío X X X G. Dimensión X X X X X Tiempo Real X X X X X X Clima: Si la predicción es para el día siguiente Medicina: Asistencia inmediata Simulación: Si se realiza para controlar un sistema, expansión de un incendio... Juego e Imagen: Generación de 24 imágenes por segundo Recetas: Si se proporcionan los requerimientos o datos personales en el mismo momento Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 11 / 30

12 Computación científica y aplicaciones Librerías Pero seguramente habrá disponible para el problema con el que estamos trabajando librerías paralelas optimizadas: Álgebra lineal densa: BLAS, LAPACK, MAGMA, PLASMA, ScaLAPACK, CUBLAS, CULA, ATLAS, GotoBLAS, MKL. Álgebra lineal dispersa: ARPACK, SPARSE, SPARSE-BLAS, ITPACK, SVDPACK, SuperLU, Trilinos, PETSc. Optimización: HeO, ParadisEO, MALLBA, GitHub. Transformada de Fourier: FFTPACK, P3DFFT, FFTW. Científicas: MOOSE, COOLFluid, OpenFVM, PyClaw, PetIGA, ROMS... Información de librerías en Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 12 / 30

13 Computación científica y aplicaciones Librerías - Ventajas Facilitan el desarrollo de software El software obtenido es portable y su eficiencia se basa en la implementación eficiente de las rutinas básicas. Multiplicación de matices en sistema con 12 núcleos, tiempo en segundos núcleos: BLAS BLAS BLAS de 0.25 Gflops, con uso de librería 20 Gflops, con paralelismo impĺıcito a 100 Gflops Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 13 / 30

14 Aplicaciones en el grupo CCPP Temas a tratar 1 Computación científica y aplicaciones 2 Aplicaciones en el grupo CCPP 3 Análisis de sedimentos Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 14 / 30

15 Aplicaciones en el grupo CCPP Miembro del grupo CCPP Grupo de Computación Científica y Programación Paralela ( investigacion) Javier Cuenca (DITEC), investigador principal. Optimización de rutinas de álgebra lineal y aplicaciones en medicina. José Matías Cutillas (asesor de computación). Optimización de rutinas metaheurísticas y aplicaciones. Luis Pedro García (UPCT). Optimización de rutinas de álgebra lineal y sistemas paralelos. Domingo Giménez (DIS). Rutinas de álgebra lineal y metaheurísticas y aplicaciones. Jose Juan López Espín (UMH, modelos econométricos y aplicaciones en medicina) Colaboraciones y estudiantes: Gregorio Bernabé (DITEC, tratamiento de imágenes médicas) Murilo do Carmo Boratto (UNAB, aplicaciones en sistemas multicore+multigpu) Jesús Cámara (Tesis, optimización de rutinas de álgebra lineal en sistemas híbridos) José Carlos Cano (TFM, optimización de algoritmos paralelos para análisis cinemático de sistemas multicuerpo basado en ecuaciones de grupo) Francisco José Herrera (TFG, optimización de rutinas de álgebra lineal en multinúcleo+multigpu) Baldomero Imbernón (Tesis, UCAM, paralelismo en problemas de docking) Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 15 / 30

16 Aplicaciones en el grupo CCPP z x y Un ejemplo - Tesis de Murilo Modelos Paralelos para la Resolución de Problemas de Ingeniería Agrícola, tesis de Murilo do Carmo Boratto, en la UPV Tres problemas en la zona del Rio São Francisco, en Brasil Representación del relieve Interpolación de variables meteorológicas Modelos Mínimos cuadrados Representación matricial Ecuaciones diferenciales Métodos Modelado de corrientes de ríos Algoritmos matriciales Computación eficiente en sistemas heterogéneos multicore+multigpu Técnicas de autooptimización de software Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 16 / 30

17 Aplicaciones en el grupo CCPP Un ejemplo - Análisis envolvente de datos (DEA), UMH Análisis de eficiencia de varias unidades de decisión (DMU) Cada unidad k varias entradas x y salidas y Problema de optimización para cada unidad Disponibles métodos exactos, tipo Branch and Bound, y librerías (CPLEX) alto coste de ejecución necesidad de paralelismo y métodos aproximados (metaheurísticas) y operaciones matriciales en la evaluación de las restricciones y cálculo del fitness Posibilidad de métodos híbridos: exactos con metaheurísticas Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 17 / 30

18 Aplicaciones en el grupo CCPP Un ejemplo - DEA - Problema de Programación Lineal max β k 1 m m i=1 s.t. t ik x ik β k + 1 s s r=1 y rk = 1 (c.1) β k x ik + n j=1 α jkx ij + t ik = 0 i (c.2) β k y rk + n j=1 α jky rj t + rk = 0 r (c.3) m i=1 ν ikx ij + s r=1 µ rky rj + d jk = 0 j (c.4) ν ik 1 i (c.5) µ rk 1 r (c.6) d jk Mb jk j (c.7) α jk M(1 b jk ) j (c.8) b jk = 0, 1 j (c.9) β k 0 (c.10) 0 i (c.11) t ik t + rk t + rk 0 r (c.12) d jk 0 j (c.13) α jk 0 j (c.14) Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 18 / 30

19 Aplicaciones en el grupo CCPP Un ejemplo - Metaheurísticas parametrizadas (Tesis José Matías) El Esquema Inicializar(S,ParamIni) mientras (no CondicionDeFin(S,ParamFin)) SS = Seleccionar(S,ParamSel) SS1 = Combinar(SS,ParamCom) SS2 = Mejorar(SS1,ParamMej) S = Incluir(SS2,ParamInc) Descripción Fácil selección de diferentes metaheurísticas o combinaciones cambiando los parámetros ParamX. Adaptación sencilla de metaheurísticas a problemas específicos. Mismo esquema aplicable a hiperheurísticas. Se puede... Paralelizar el esquema introduciendo parámetros de paralelismo para: Fijar el número de hilos de ejecución (HilosIni, HilosCom, HilosMej, HilosInc) para cada rutina en memoria compartida. Y el número de procesos total, el volumen de intercambio de información entre ellos y su frecuencia (p, NEMPar, NGMPar) en paso de mensajes. Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 19 / 30

20 Aplicaciones en el grupo CCPP Un ejemplo - Metaheurísticas parametrizadas (Tesis José Matías) El Esquema Inicializar(S,ParamIni) mientras (no CondicionDeFin(S,ParamFin)) SS = Seleccionar(S,ParamSel) SS1 = Combinar(SS,ParamCom) SS2 = Mejorar(SS1,ParamMej) S = Incluir(SS2,ParamInc) Descripción Fácil selección de diferentes metaheurísticas o combinaciones cambiando los parámetros ParamX. Adaptación sencilla de metaheurísticas a problemas específicos. Mismo esquema aplicable a hiperheurísticas. Se puede... Paralelizar el esquema introduciendo parámetros de paralelismo para: Fijar el número de hilos de ejecución (HilosIni, HilosCom, HilosMej, HilosInc) para cada rutina en memoria compartida. Y el número de procesos total, el volumen de intercambio de información entre ellos y su frecuencia (p, NEMPar, NGMPar) en paso de mensajes. Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 19 / 30

21 Aplicaciones en el grupo CCPP Aplicaciones Simulación climática Hidrodinámica Electromagnetismo Representación del terreno Tratamiento de señal acústica Tratamiento de imágenes docking de moléculas Econometría Análisis envolvente de datos Constantes cinéticas Consumo electricidad Análisis de sedimentos Numérico Optimización Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 20 / 30

22 Análisis de sedimentos Temas a tratar 1 Computación científica y aplicaciones 2 Aplicaciones en el grupo CCPP 3 Análisis de sedimentos Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 21 / 30

23 Análisis de sedimentos Problema de determinación de componentes Problema del Grupo de Poĺımeros del Departamento de Química-Física de la Universidad de Murcia. Análisis de sedimentación de una solución compuesta, a partir de planteamiento de José García de la Torre. Analysis of Sedimentation experiments, Determinar la concentración de cada componente en el compuesto. Cada componente dado por su masa, M k, y coeficiente de fricción, f k. Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 22 / 30

24 Análisis de sedimentos Experimento Se centrifuga el compuesto. Medidas en distintos instantes de tiempo, t j, 1 j n t, de una señal óptica en posiciones con distancias r i, 1 i n r. La señal es función de la posición y del tiempo: z(r, t). En instante inicial, con la solución en reposo, la señal tiene el mismo valor z 0 en todas las posiciones r, z(r, 0) = z 0. Solución con n k componentes, cuya contribución a la señal es z k, con 1 k n k. La señal z es aditiva en los componentes: z = n k k=1 z k. Cada z k es de la posición r y el tiempo t. Para cada componente tenemos el peso molecular, M k, y el coeficiente de fricción, f k y queremos obtener la concentración del componente en la solución, y k. Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 23 / 30

25 Análisis de sedimentos Determinación de la señal Se realizan varios experimentos, 1 l n exp que dependen de parámetros experimentales, e l, y entre los que está la velocidad de rotación, ω l. La señal de un experimento para una posición y un tiempo determinado es z exp,l (r i, t j ; e l ), o simplificando z exp,l (r i, t j ), y se obtiene de forma aditiva a partir de las señales de los componentes: n k z exp,l (r i, t j ; e l ) = z k (r i, t j ; M k, f k, y k ; e l ) k=1 y como la contribución a la señal de cada componente es lineal: n k z exp,l (r i, t j ; e l ) = (y k z k (r i, t j ; M k, f k ; e l )) k=1 Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 24 / 30

26 Análisis de sedimentos Simulación Se dispone de procedimientos teóricos con los que estimar los valores de señal para cada experimento, en cada momento de tiempo y en cada posición, z cal,l (r i, t j ; e l ). Obtener los valores de y k con los que la diferencia entre los z exp,l y z cal,l se minimicen. Problema de mínimos cuadrados: 2 (p) = 1 n exp 1 n r 1 n t n exp ( n r n t z exp,l (r i, t j ; e l ) l=1 i=1 j=1 n k k=1 y k z k,cal,l (r i, t j ; e l ) Sin conocer los z cal ni los z exp, podemos estudiar métodos de determinación de los y k suponiendo valores de z cal,l determinados y valores de y k, se generan con ellos los z exp,l que se obtendrían, se perturban, y se aplica el método de resolución del problema de mínimos cuadrados para determinar cuanto de lejos está la solución obtenida con la utilizada en la generación de los datos experimentales. Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 25 / 30 ) 2

27 Análisis de sedimentos Malla de valores Se considera una distribución uniforme de los parámetros peso molecular y coeficiente de fricción. Los M en rango [M min, M max ], y los de f en [f min, f max ]. Se discretizan con n M y n f valores: Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 26 / 30

28 Análisis de sedimentos Parámetros del problema Típicamente datos de entre 1 y 5 experimentos, alrededor de 200 posiciones y 200 instantes de tiempo. Número de ecuaciones entre y Si se toman 20 valores de peso molecular y otros 20 para el coeficiente de fricción, el número de incógnitas es 200. Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 27 / 30

29 Análisis de sedimentos Refinamiento de la malla Se puede resolver con esos valores y descartar combinaciones con aportaciones al compuesto muy bajas (valores de y k por debajo de un umbral) y resolver nuevos problemas definiendo mallas más finas en zonas del mallado donde la aportación sea mayor: Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 28 / 30

30 Análisis de sedimentos Aproximación metaheurística Se buscan valores de y k para el problema de mínimos cuadrados. Se generan individuos (valores de los y k con k i=1 y k = 1 la función de fitness es la diferencia entre los z exp y los z cal y se utilizan técnicas de combinación y mejora de elementos para ir mejorando el conjunto de individuos: Algoritmos Genéticos, Scatter Search, Ascensión de colinas, Colonia de hormigas... Implementación de metaheurísticas paralelas y/o utilización de librerías paralelas de optimización Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 29 / 30

31 Análisis de sedimentos Solución numérica Se forma la matriz A obtenida con la aplicación de la ecuación para los n = n exp n r n t experimentos, posiciones en la celda que rota e instantes de tiempo. El número de incógnitas es m = n M n f. Tenemos A R n m, y se plantea el problema a optimizar min y Ay b, con b es el vector de señales obtenidas experimentalmente. El problema tenemos la restricción de que 0 y k 1, k / 1 k n k, y n k k=1 y k = 1. Es un problema de mínimos cuadrados no negativos, o NNLS (Non-Negative Least Squares), con variables acotadas y con una restricción lineal. En Matlab está la rutina lsqlin. Realización de rutinas paralelas y/o búsqueda de librerías paralelas Aplicaciones científicas de la computación paralela Prog. Paralela y Computación de Altas Prestaciones 30 / 30