Procesamiento Paralelo

Transcripción

1 Procesamiento Paralelo Modelado analítico de programas paralelos Javier Iparraguirre Universidad Tecnológica Nacional, Facultad Regional Bahía Blanca 11 de Abril 461, Bahía Blanca, Argentina 27 de marzo de 2016

2 Algunas preguntas Una vez que tenemos el programa paralelo Cómo sabemos que aceleramos la ejecución? Cómo sabemos que es la mejor solución? Hay una solución ideal? Podemos decir que usamos los recursos de la mejor manera posible?

3 Ocho procesadores

4 A partir del caso planteado En un algoritmo secuencial se puede evaluar a partir del tiempo de ejecución En un algoritmo paralelo el tiempo de ejecución depende del tamaño del problema, la cantidad de procesadores y las comunicaciones Las métricas son fundamentales a la hora de evaluar desempeño en máquinas paralelas Hoy vamos a ver las más usadas

5 Antes de ver métricas... Dado un algoritmo en particular Necesitamos dos implementaciones (una serie y una paralela) para definir métricas En la práctica no siempre contamos con las dos implementaciones En la literatura siempre se supone que tenemos las dos implementaciones para definir métricas

6 Tiempos Ts tiempo de ejecución de un programa en serie Tp tiempo de ejecución de un programa paralelo Ambos tiempos se miden desde que se lanza al programa hasta que finaliza Ts se considera como la mejor implementación serie conocida para el algoritmo a estudiar

7 Pérdidas totales (total overhead) To = p Tp Ts Esta métirca apunta a cuantificar los costos de las comunicaciones o sincronizaciones p es el numero de procesadores Idealmente To = 0

8 Speedup S = Ts/Tp Indica cuanto hemos aumentado el desempeño El valor de S va desde 1 hasta p Cuando decimos que se acelera una aplicación en 10x se refiere al speedup

9 Eficiencia E = S/p Es una medida de la fracción del tiempo en que los procesadores son usados efectivamente El valor de E va de 0 a 1 En términos prácticos, nos da una idea de la calidad del uso de la arquitectura que disponemos

10 Costo C = p Tp Refleja el tiempo que cada procesador usa para resolver el problema El costo óptimo es el que crece como el algoritmo serie más rápido conocido

11 Granularidad y desempeño Si agregamos procesadores, aumenta la probabilidad de tener pérdidas por comunicacinoes A mayor granularidad, más procesadores en juego Este es un factor a tener en cuenta en cualquier implementación No hay reglas exactas, en cada implementación particular hay que buscar un compromiso entre granularidad y desempeño

12 Ejemplo granularidad

13 Escalabilidad Supongamos que tenemos una implementación de detección de bordes de una imagen que funciona aceptablemente con 8 procesadores Funciona bien con 32? Funciona bien con 256? Funciona bien con 1024?

14 Escalabilidad Supongamos que tenemos una implementación de detección de bordes de una imagen que funciona aceptablemente con 8 procesadores Funciona bien con 32? Funciona bien con 256? Funciona bien con 1024? Este es el concepto de escalabilidad

15 Ejemplo escalabilidad (cantidad procesadores constante)

16 Ejemplo real de Speedup

17 Ejemplo real de Eficiencia

18 El la realidad... Es muy difícil poder mantener speedup lineal Es muy difícil poder mantener eficiencia cercana a 1 Siempre hay que encontrar un punto de compromiso

19 Isoeficiencia

20 Anális asintótico de algoritmos paralelos Consideremos el problema de ordenar una lista de n elementos El algoritmo serie más rápido conocido es de orden O (n log n) Miremos lo que indican las métricas para 4 implementaciones paralelas del algoritmo Cuál es el mejor? El más rápido?

21 Cuatro implementaciones paralelas del mismo problema

22 Observaciones A1 es el más rápido (fila Tp), pero demanda n * n procesadores (fila p) Si vemos la eficiencia, podemos decir que A2 y A4 son los mejores Si vemos el costo (fila p Tp) podemos decir que A2 y A4 son óptimos según el costo

23 Ley de Amdahl Da la idea del máximo a mejorar de un sistema si solo una porción del mismo es acelerado En procesamiento paralelo da la idea del máximo teórico de una implementación Dada una fracción mejorada (Fmej) a un speedup de la fracción (Fmej) SpeedupAML = Tmejoras/Tsinmejoras SpeedupAML = 1/((1 Fmej) + (Fmej/Smej))

24 Ejemplo Ley Amdahl

25 Resumiendo En algoritmos paralelos las métricas son importantes Hay varias métricas a tener en cuenta Dependiendo de cual sea la métrica elegida, se puede evaluar cuál es la mejor implementación

26 Muchas gracias! Preguntas?

27 Referencias A. Grama, G. Karypis, V. Kumar, A. Gupta. Introduction to Parallel Computing (2nd Edition). Addison Wesley, J. L. Hennessy, D. A. Patterson. Computer Architecture: A Quantitative Approach (4th Edition). Morgan Kaufmann, 2006.