Sintonización Dinámica de Aplicaciones MPI

Transcripción

1 Sintonización Dinámica de Aplicaciones MPI Presentado por: Andrea Martínez Trujillo 13 de Julio 2010 Directores: Anna B. Morajko Joan Sorribes

2 Contenido Motivación Objetivo Proceso de sintonización dinámica Conclusiones Trabajo futuro

3

4 Contexto Campos Científicos Paralelas / Distribuidas Gran volumen de datos Sofisticados cálculos complejos

5 Desafío Eficiencia Aprovechar los recursos y altas capacidades computacionales Rendimiento Punto clave Requiere un alto grado de experiencia

6 Problema

7 Análisis Clásico Aplicación Comportamiento estático Herramientas MPICL PARAGRAPH PABLO VAMPIR Código fuente Aplicación Sintonización de rendimiento Usuario Ejecución Tiempo de ejecución Análisis de rendimiento Herramienta Monitorización Fichero de traza Visualización

8 Análisis Automático Aplicación Comportamiento estático Herramientas SCALASCA TAU PERISCOPE KAPPAPI Código fuente Aplicación Sintonización de rendimiento Usuario Ejecución Tiempo de ejecución Análisis de rendimiento Herramienta Monitorización Fichero de traza Visualización Sugerencias para el usuario

9 Análisis Dinámico Aplicación Comportamiento estático Herramientas PARADYN Código fuente Aplicación Sintonización de rendimiento Usuario Ejecución Tiempo de ejecución Herramienta Monitorización Fichero de traza Análisis de rendimiento Sugerencias para el usuario

10 Sintonización Dinámica Aplicación Comportamiento dinámico Herramientas AUTOPILOT ACTIVE HARMONY PERCO MATE MATE Código fuente Aplicación Memoria de la aplicación Sintonización de rendimiento Ejecución Usuario Tiempo de ejecución Tiempo de ejecución Monitorización Herramienta Análisis de rendimiento Sugerencias para el usuario

11 Sintonización dinámica Monitoring, Analysis and Tuning Enviroment Diseñada en la UAB, en el departamento de Arquitectura de Computadores y Sistemas Operativos. Basada en la técnica de instrumentación dinámica. Inicialmente estaba pensada para sintonizar aplicaciones PVM paralelas/distribuidas desarrolladas en C/C++ ejecutándose en plataformas UNIX. Actualmente ha sido desarrollada para sintonizar aplicaciones MPI.

12

13 Objetivo Sintonizar dinámicamente mediante MATE una aplicación MPI empleada en computación de altas prestaciones que siga un paradigma Master/Worker

14

15 Estudio MATE Modelo de rendimiento Aplicación a sintonizar: Xfire Diseño y desarrollo Lógica de análisis de rendimiento Experimentación Evaluar sobrecarga introducida por MATE Estudiar la mejora de rendimiento en la aplicación sintonizada

16 Estudio Estudio de MATE Acciones de sintonización Instrumentación

17 Estudio Modelo de rendimiento E. Cesar, A. Moreno, J. Sorribes, E. Luque, Modeling master/worker applications for automatic performance tuning. Parallel Comput. 32, 7, pp (2006). Estrategias Balanceo de la carga computacional Adaptar el número de workers

18 Estudio Balanceo de Carga Conjunto completo de tareas Dynamic Adjusting Factoring (DAF) El Master realiza una distribución parcial dividiendo el conjunto de tareas en diferentes porciones llamadas batch

19 Estudio Modelo de rendimiento Tareas Batch 1 Batch 2 Batch 3 Batch k Worker 0 Worker 1 Worker 2 x j 2µ + σ N µ + σ N 2 = x 0 µ µ = Worker N Tiempo de Cómputo

20 Estudio Adaptar número de Workers Índice Tt (( 1) α 1) n + λv + Tc = 2m o + n Rendimiento (tiempo de ejecución) Eficiencia (uso de los recursos) E ( x) = Tc xtt( x) Nº workers que maximiza el rendimiento Pi( x) = Tt( x) Ex ( )

21 Estudio Xfire Iteración i Aplicación paralela desarrollada en CAOS Meteorología Vegetación Topografía Sigue un paradigma Master/Worker Emplea la librería de paso de mensajes MPI Simula la propagación de la línea de fuego en incendios forestales Worker 0 Master Worker n Worker 1 Worker 2

22 Estudio MATE Modelo de rendimiento Aplicación a sintonizar: Xfire Diseño y desarrollo Lógica de análisis de rendimiento Experimentación Evaluar sobrecarga introducida por MATE Estudiar la mejora de rendimiento en la aplicación sintonizada

23 Diseño y desarrollo Fases de desarrollo I. Se ha implementado en el proceso Master de Xfire la lógica que hay que aplicar para realizar el balanceo de carga dinámico. II. Se ha diseñado y desarrollado el tunlet que constituye la lógica de análisis de rendimiento de MATE.

24 Diseño y desarrollo Tunlet Define e implementa una técnica particular de sintonización. Analizador Balanceo de la carga Tunlet Puntos de medida Funciones de rendimiento Puntos/Acciones de sintonización Adaptar Nº workers

25 Diseño y desarrollo Identificación de los procesos de la aplicación Para cada proceso: Distinta instrumentación. Distintos eventos capturados Xfire Master Workers

26 Diseño y desarrollo Identificación de información/variables/valores Qué sintonizamos? Nº Workers Factor de partición para el balanceo de carga Cuándo sintonizamos? Nº Workers Inicio de iteración. Factor de partición A lo largo de la iteración Qué valores necesitamos?

27 Diseño y desarrollo Identificación de información/variables/valores Adaptar Nº Workers Balanceo de Carga T t (( 1) α 1) n + λv + Tc = 2 m + + ; o n Datos de control x = µ + σ j N 2 Tiempo de cómputo de cada worker. Tiempo de cómputo total iteración. Nº de Workers Volumen total de comunicación

28 Diseño y desarrollo Identificación de eventos Eventos Analizador Inicio de Iteración Nuevo Batch Envío tareas Comienzo cómputo Fin Recepción Cómputo tareas Tiempo de cómputo de cada worker Nuevo Batch Fin de Iteración Master NW FACTOR Iteración k Evaluación modelo analítico Tiempo de cómputo total iteración. envío tareas Nº de Workers SINTONIZACIÓN SINTONIZACIÓN Volumen total de -Nº comunicación Workers -Factor de partición -Factor de partición recepción resultados FACTOR Worker i cómputo

29 Estudio MATE Modelo de rendimiento Aplicación a sintonizar: Xfire Diseño y desarrollo Lógica de análisis de rendimiento Experimentación Evaluar sobrecarga introducida por MATE Estudiar la mejora de rendimiento en la aplicación sintonizada

30 Experimentación Experimentación Plataforma de cómputo Clúster homogéneo (clúster D): 10 nodos 8 son de cómputo. Procesador: Intel Pentium 4, 3.0GHz Red 1Gbps. Experimentos Datos de entrada: línea de fuego puntos. Nº de workers: 2, 3, 4, 5, 6, 7.

31 Experimentación Estudio de la sobrecarga generada por MATE Escenario 1: Xfire Escenario 2: Xfire+MATE (sin sintonizar)

32 Experimentación Estudio de la sobrecarga generada por MATE 600 Sobrecarga proceso de análisis Tiempo ejecución (segundos) Xfire Xfire+MATE (sin sintonizar) Nº Workers

33 Estudio de la sobrecarga generada por MATE Tiempo de ejecución (segundos) Sobrecarga proceso de análisis Nº Workers Sobrecarga relativa (%) 16% 14% 12% 10% 8% 6% 4% 2% sobrecarga relativa sobrecarga absoluta Sobrecarga absoluta (segundos) 0% Nº Workers 0

34 Experimentación Estudio del rendimiento de Xfire con sintonización Escenario 1: Xfire Escenario 2: Xfire+MATE (sintonizando)

35 Experimentación Estudio del rendimiento de Xfire con sintonización Comparativa tiempos de ejecución ,6 545,14 Tiempo de ejecución Xfire original 500 Tiempo de ejecución de Xfire+MATE (sintonizando) Tiempo de ejecución (segundos) ,61 391,83 305,06 305,96 264,95 257,9 229,27 226,27 209,94 203, Nº Workers

36 Experimentación Estudio del rendimiento de Xfire con sintonización Estados de espera Preparación de datos

37 Experimentación Estudio del rendimiento de Xfire con sintonización Idea: acentuar el desbalanceo de Xfire Tratar algunos puntos de la línea de fuego como tareas más pesadas (necesitan más tiempo de cómputo). Estudio de la línea de fuego.

38 Experimentación Estudio del rendimiento de Xfire con sintonización

39 Experimentación Estudio del rendimiento de Xfire con sintonización % Comparativa tiempos de ejecución----ganancia Tiempo de ejecución (segundos) % 8.4% 10.09% Xfire+desbalanceo sintético Xfire+MATE(sintonizando)+desbalanceo sintético 10.57% 12.63% Nº Workers

40

41 Conclusiones Se ha adquirido el conocimiento necesario para trabajar con MATE, como entorno de sintonización de aplicaciones paralelas/distribuidas. Se ha adaptado la política de balanceo de carga de Xfire para ser aplicada a la lógica del modelo de rendimiento. Se han diseñado e implementado el tunlet que contiene la lógica de análisis del modelo de rendimiento estudiado.

42 Conclusiones Se han realizado pruebas experimentales: Sobrecarga de MATE es constante e independiente del nº de workers que participan en la ejecución de la aplicación. El tunlet implementado es eficaz ya que los resultados muestran una mejora en el rendimiento de Xfire cuando es ejecutada bajo MATE.

43

44 Trabajo Futuro A corto plazo Terminar la depuración de la técnica de sintonización para adaptar el número de workers y realizar la experimentación. Realizar Estudio y pruebas mejora de experimentales la escalabilidad en de entornos MATE: de cómputo Esquema de presenten comunicación mayor jerarquizado. número de nodos. Obtener Análisis conclusiones de rendimiento sobre distribuido. las características de escalabilidad de MATE. Aplicar la estrategia de sintonización desarrollada sobre otras aplicaciones A largo plazo

45 Andrea Martínez Trujillo

46 Estudiar la herramienta MATE Modificar la implementación de MATE para que sintonice aplicaciones MPI Estudio de MATE Localizar una aplicación paralela/distribuida que siga un paradigma Master/Worker Estudio del modelo de rendimiento Master/Worker Diseño y desarrollo del tunlet que contiene la lógica asociada al modelo de rendimiento usado Realizar experimentación Controlador de Aplicación Monitor Máquina 1 Carga DMLib Crea snippets Tarea 1 DMLib Instrumentación Via DynInst Tarea 2 DMLib Inserta/Elimina snippets AC Monitor añadir/eliminar eventos Analizador Máquina 2

47 Estudiar la herramienta MATE Modificar la implementación de MATE para que sintonice aplicaciones MPI Estudio de MATE Localizar una aplicación paralela/distribuida que siga un paradigma Master/Worker Estudio del modelo de rendimiento Master/Worker Diseño y desarrollo del tunlet que contiene la lógica asociada al modelo de rendimiento usado Realizar experimentación Controlador de Aplicación Monitor Sintonizador Tarea 1 Genera los snippets de sintonización Inserta los snippets de sintonización Máquina 1 Sintonización Via DynInst AC Sintonizador Aplica sintonización Tarea 2 Máquina 2 Analizador