Cómputo Paralelo en Redes Locales de Computadoras

Transcripción

1 Cómputo Paralelo en Redes Locales de Computadoras Departament d Informàtica Unitat d Arquitectura d Ordinadors i Sistemes Operatius Memoria presentada por Fernando G. Tinetti para optar al grado de Doctor por la Universitat Autonòma de Barcelona. Barcelona, 9 de Diciembre de 2003

2 Cómputo Paralelo en Redes Locales de Computadoras Memoria presentada por Fernando G. Tinetti para optar al grado de Doctor por la Universitat Autonòma de Barcelona. Este trabajo se ha realizado en el Departamento de Informática de la Universitat Autònoma de Barcelona bajo la dirección del Dr. Emilio Luque Fadón. El Director de la Tesis Emilio Luque Fadón Barcelona, 9 de Diciembre de 2003

3 Agradecimientos A mi director, Emilio Luque, por su soporte durante el tiempo de desarrollo de este trabajo. A los laboratorios involucrados y sus integrantes, a quienes de alguna manera u otra he afectado con este trabajo (en orden cronológico): Unidad de Arquitectura de Ordenadores y Sistemas Operativos, Facultad de Ciencias, Universidad Autónoma de Barcelona, Barcelona, España. Centro de Técnicas Analógico-Digitales, Facultad de Ingeniería, Universidad Nacional de La Plata, La Plata, Argentina. Laboratorio de Investigación y Desarrollo en Informática, Facultad de Informática, Universidad Nacional de La Plata, La Plata, Argentina. Laboratorio de Química Teórica, Facultad de Ciencias Exactas, Universidad Nacional de La Plata, La Plata, Argentina. A los profesores Alicia Jubert y Reinaldo Pis Diez, por su aporte desinteresado a este trabajo. A los profesores Antonio Quijano y Armando De Giusti, por sus múltiples aportes, en múltiples áreas de este trabajo.

4 Tabla de Contenido Capítulo 1: Introducción Aplicaciones y Arquitecturas Paralelas Costos de Cómputo Paralelo en las Redes Locales Instaladas Resumen de Objetivos y Aportes de la Tesis y Organización del Contenido...13 Capítulo 2: Multiplicación de Matrices Definición de la Multiplicación de Matrices Operaciones de Algebra Lineal BLAS: Basic Linear Algebra Subprograms y Rendimiento L3 BLAS y Multiplicación de Matrices La Multiplicación de Matrices como Benchmark Benchmark del Nivel 3 de BLAS Como Benchmark General Paralelización de la Multiplicación de Matrices Algoritmos Paralelos para Multiprocesadores Algoritmos Paralelos para Multicomputadoras Resumen del Capítulo...40 Capítulo 3: Clusters Heterogéneos Características de los Clusters Características de la Red de Interconexión de Procesadores Cluster Homogéneo como Máquina Paralela Cluster Heterogéneo como Máquina Paralela Cómputo Paralelo en Clusters Heterogéneos Multicomputadora Débilmente Acoplada Red Ethernet para Interconexión de Procesadores Bajo Rendimiento de la Red de Interconexión Heterogeneidad de procesamiento Principios de Paralelización de Aplicaciones en Clusters Multiplicación de Matrices en Paralelo Distribución de Datos Cómputo Cómputo Solapado con Comunicación...69

5 Tabla de Contenido Cómputo Paralelo en Redes Locales de Computadoras Reducción de Requerimientos de Memoria para Mensajes Características Generales Otras Formas de Distribuir Datos Resumen del Capítulo...76 Capítulo 4: Experimentación Características de las Redes Locales Utilizadas Red Local del CeTAD Red Local del LQT Red Local del LIDI Rendimiento Secuencial de las Computadoras Tamaños de Matrices Utilizados Red Local del CeTAD Red Local del LQT Red Local del LIDI Análisis de Rendimiento Paralelo de las Redes Locales Cálculo del Speedup Real Cálculo del Speedup Optimo Análisis de Rendimiento de los Algoritmos SeqMsg: Cómputo y Comunicaciones Secuenciales OverMsg: Cómputo y Comunicaciones Solapadas Redes Locales y Algoritmos Red Local del CeTAD Red Local del LQT Red Local del LIDI Rendimiento Real de las Redes Locales Utilizando PVM Red Local del CeTAD Red Local del LQT Red Local del LIDI Perfiles de Ejecución en las Redes Locales Utilizando PVM Red Local del CeTAD Red Local del LQT Red Local del LIDI Rendimiento Real de las Redes Locales Utilizando UDP Red Local del CeTAD Matrices de Elementos Matrices de Elementos Conclusiones Generales de la Experimentación en CeTAD ii

6 Cómputo Paralelo en Redes Locales de Computadoras Tabla de Contenido Red Local del LQT Red Local del LIDI Conclusiones-Resumen de la Experimentación Capítulo 5: Comparación con ScaLAPACK Características Generales de ScaLAPACK Paralelización de la Factorización LU Algoritmo Secuencial de Factorización LU por Bloques Algoritmo Paralelo de Factorización LU para Multicomputadoras Algoritmo Paralelo de Factorización LU para Clusters Experimentación Conjunto de Experimentos Resultados: ScaLAPACK-PVM Resultados: ScaLAPACK-MPICH ScaLAPACK-MPICH y Escalabilidad Resumen de la Comparación con ScaLAPACK Capítulo 6: Conclusiones y Trabajo Futuro Conclusiones Resumen de Aportes y Publicaciones Relacionadas con Esta Tesis Trabajo Futuro Bibliografía Apéndice A: Características de las Redes Locales A.1 Introducción: Características de Hardware y Software A.2 Redes Locales A.2.1 Red Local del CeTAD A.2.2 Red Local del LQT A.2.3 Red Local del LIDI A.3 Detalle de las Computadoras A.3.1 Computadoras de la Red Local del CeTAD A.3.2 Computadoras de la Red Local del LQT A.3.3 Computadoras de la Red Local del LIDI iii

7 Tabla de Contenido Cómputo Paralelo en Redes Locales de Computadoras Apéndice B: Rendimiento de Procesamiento Secuencial de las Computadoras B.1 Introducción B.2 Computadoras Utilizadas B.3 Descripción de los Experimentos B.3.1 Código sin Optimización B.3.2 Optimizaciones del Compilador B.3.3 Optimización del Código Fuente B.3.4 Tamaños de Matrices a Multiplicar B.4 Rendimiento de la Multiplicación de Matrices B.4.1 Rendimiento sin Optimización B.4.2 Rendimiento con Optimizaciones del Compilador B.4.3 Rendimiento con Optimización del Código Fuente B.4.4 Matrices Mayores en las Computadoras Con Mayor Capacidad de Cómputo B.5 Rendimiento en las Computadoras del LIDI B.6 Conclusiones Referencias Apéndice C: Comunicaciones en la Red Local del CeTAD C.1 Introducción C.2 Redes Ethernet C.3 Evaluación del Rendimiento C.4 Evaluación con el Método de ping-pong C.5 Distintas Formas de Transmisión de Mensajes con PVM C.5.1 Codificación de los Datos de un Mensaje en PVM C.5.2 Traducción Directa de Representación de Datos C.5.3 Ruteo de los Datos de un Mensaje en PVM C.6 Distintas Formas de Transmisión de Mensajes con MPI C.7 Experimentación Inicial con PVM C.7.1 Rendimiento con Ruteo entre pvmds y con Codificación C.7.2 Rendimiento con Ruteo entre pvmds y con Traducción de Representación C.7.3 Rendimiento con Ruteo entre Tareas de Usuario y con Codificación C.7.4 Rendimiento con Ruteo entre Tareas de Usuario y con Traducción de Representación C.7.5 Conclusiones de la experimentación con PVM iv

8 Cómputo Paralelo en Redes Locales de Computadoras Tabla de Contenido C.8 Experimentación con el Comando ping de Linux C.9 Conclusiones de la Experimentación de PVM y ping de Linux C.10 Broadcasts Basados en UDP C.10.1 Un Unico Receptor (Mensajes Punto a Punto) C.10.2 Mensajes Broadcasts C.11 Broadcasts en la Red Local del LQT C.12 Broadcasts en la Red Local del LIDI Referencias Indice Alfabético v