46 HP ProLiant SL165z G7 Compute node (node configuration)

Transcripción

1 Características Acceso Envío de trabajos Sistema de ficheros Compiladores Características: Hardware El sistema SVG instalado en el CESGA está formado por: 40 servidores blade: 36 DELL PE 1955 con doble procesador quad-core Intel Xeon 5310 a 1.6GHz con 4GB de memoria principal y un disco de 72GB SAS a 10,000rpm y 4 servidores blade DELL PE 1955 con doble procesador quad-core Intel Xeon 5355 a 2.66GHz con 8GB de memoria principal y dos discos de 72GB SAS a 10,000rpm. Todos estos nodos están interconectados mediante Gigabit Ethernet a un servidor de datos 2950 con 2 procesadores Xeon 5130 a 2GHz y 4GB de memoria e 1800GB de disco SCSI en configuración RAID 5 Actualización 2011 En Marzo 2011 se ha puesto en produccion la siguiente ampliacion del sistema: 46 HP ProLiant SL165z G7 Compute node (node configuration) Processor Memory Storage Networking 2 x AMD Opteron Processor GHz, 12MB Level 3 Cache, 80W, 12 cores per processor 32 GB (17 nodes) & 64 GB (27 nodes) 1 x 500GB 3G SATA 7.2K NHP 2 Embedded Dual Port Intel 1GbE NICs (4 total NICs) 4 HP DL 385 G7 - Visualization node (node configuration) Processor Memory Storage 2 x AMD Opteron Processor Model GHz, 12MB Level 3 Cache, 80W 64 GB PC3-1333R 1 x 2TB 3G SATA 7.2K NHP

2 46 HP ProLiant SL165z G7 Compute node (node configuration) Networking Vis. Card 2 Embedded Dual Port Intel 1GbE NICs (4 total NICs) ATI Firepro V7800 Total Processor Memory Storage Networking Performance Power consumption CPU hours Perf./KW 1,200 cores 2.2GHz 2,400 GB 31 TB NFS GbE & Dedicated MPI GbE 10,240 GFlops 21KW 10 Million hours 487GFlops/KW Acceso: Se accede al sistema a través de svgd.cesga.es siguiendo las instrucciones que se detallan a continuación: 1. Conectarse a svgd.cesga.es de la forma habitual 2. Lanzar una sesión interactiva: compute --arch amd 3. Cargar los modulos necesarios de compiladores, aplicaciones, etc. NOTAS: module av muestra los modulos disponibles module help <módulo> muestra una ayuda básica sobre como utilizar el módulo Envío de trabajos al sistema de colas: El envio de trabajos es similar al anterior svg. Trabajos secuenciales:

3 qsub -l arch=amd,num_proc=1,s_rt=10:00:00,s_vmem=2g,h_fsize=20g trabajo.sh Trabajos paralelos: qsub -l arch=amd,num_proc=1,s_rt=010:00:00,s_vmem=2g,h_fsize=20g -pe mpi 6 test.sh Debe tenerse en cuenta que los trabajos paralelos se ejecutan dentro de un único nodo y por tanto están restringidos a 24 slots mpi como máximo. Los limites son los siguientes (por trabajo): Maxima cantidad de memoria: 63GB Maximo numero de cores: 24 Maximo tamaño de scratch: 700GB Sistemas de ficheros: El sistema SFS esta accesible desde la actualizacion del SVG a traves del directorio /sfs/$home Para transferir datos entre Finis Terrae y SVG, el home del SVG esta accesible desde el Finis Terrae en el directorio $HOMESVG Compiladores y herramientas de desarrollo: Combinaciones de compiladores, librerías BLAS/LAPACK y MPI disponibles: Compiladores Open64. OPEN64 (RECOMENDADO) Compiladores de PGI. PGI Compiladores de intel. Intel Compiladores GNU. GNU OPEN64 (RECOMENDADO): Para utilizar los compiladores de Open64 debe cargarse el módulo correspondiente: module load open64: Carga los compiladores de Open64

4 Para compilar códigos, deberá utilizarse los siguientes comandos: opencc fichero.c (códigos en C) opencc fichero.c (códigos en C++) openf90 fichero.f90 (códigos en FORTRAN 90) openf95 fichero.f95 (códigos en FORTRAN 95) Algunas opciones de compilación importantes son: -O2 Nivel de optimización por defecto; equivalente a -O. Realiza un conjunto de optimizaciones globales. -O3 -O2 con algunas optimizaciones más agresivas; en particular, -O3 activa LNO. -Ofast -LNO -ipa -fb-create -fb-opt -apo -mso -march Se expande en -O3, -ipa, y algunas otras optimizaciones más agresivas. Habilita las optimizaciones en bucles anidados, incluyendo vectorización y generación de instrucciones prefetch. Realiza análisis y optimizaciones interprocedimentales. Optimiza a través de funciones y límites del fichero. Activa optimizaciones profile-guided (dirigidas por retroalimentación). Requiere compilaciones separadas. Habilita la paralelización automática de bucles. Realiza optimizaciones de escalabilidad en procesadores multicore. Genera instrucciones para un tipo de procesador específico. -mp Activa el soporte para OpenMP (versión 2.5) -HP Especifica el número de huge pages (2MB) usados por los segmentos bss, data, text and heap. Esta característica puede no estar disponible en todos los sistemas operativos. Información más detallada sobre la utilización de los compiladores de Open64 y la optimización de las aplicaciones se puede encontrar en: Fortran intrinsics: El soporte de los procedimientos intrinsecos en fortran se controla mediante la opción -intrinsic= Para incluir en la compilación todas las intrínsecas soportadas se debe usar -intrinsic=every

5 Adicionalmente es posible sólo incluir la función necesaria: -intrinsic=<función>. Por ej: - intrinsic=rand incluiría la extensión GNU rand ( Librerías matemáticas ACML (BLAS/LAPACK/FFT): ACML proporciona un conjunto de rutinas matemáticas optimizadas para aplicaciones de cálculo intensivo. Constan de los siguientes componentes principales: Una implementación completa de nivel 1, 2 y 3 de Basic Linear Algebra Subrutines (BLAS), con rutinas optimizadas para alto rendimiento en procesadores AMD Opteron. Un paquete completo de las rutinas de álgebra lineal (LAPACK). Además de tener las ventajas de disponer de BLAS optimizadas, un conjunto de rutinas LAPACK se han optimizado para conseguir un rendimiento considerablemente mayor que las implementaciones LAPACK estándar. Fast Fourier Transforms (FFTs) en tipos de datos single, double, single-complex and doublecomplex. Generadores de números aleatorios, tanto en simple como en doble precisión. Para utilizar estas librerías matemáticas es necesario cargar el módulo correspondiente: module load acml/4.4.0_open64 Para linkar un programa que necesite estas librerías es necesario seguir la siguiente fórmula general: openf90 test.f90 -o test -lacml Si se quiere utilizar la versión OpenMP de estas librerías debemos cargar el módulo: module load acml/4.4.0_open64_openmp y linkar siguiendo esta fórmula: openf90 -mp test.f -o test -lacml_mp NOTA: Soporte OpenMP sólo disponible para las rutina BLAS Compilación y ejecución con OpenMP Tanto el compilador de Fortran como de C soportan OpenMP. Para compilar un programa que necesite utilizar OpenMP se ha de utilizar la opción -openmp o -mp. Por ejemplo, para compilar el programa test.f con OpenMP utilizar el comando: openf90 -openmp programa.f -o programa, o bien, openf90 -mp programa.f -o programa

6 Por defecto, el número de hilos que se arrancan es igual al número de procesadores. Para controlar el número de hilos que se ejecutan, utilizar la variable OMP_NUM_THREADS=<número de hilos>. Por ejemplo, en la shell ksh o bash el siguiente comando limitará el número de hilos a 6: export OMP_NUM_THREADS=6 Si se ejecuta en batch, esa variable tendrá un valor igual al número de procesadores seleccionados en el qsub con la opción -l num_proc. Compilación y ejecución con MPICH2 Para utilizar MPICH2 debe cargarse el módulo correspondiente: module load mpich2 Al cargar este módulo se cargan automáticamente los compiladores Open64, que serán los que se utilizarán por defecto: mpicc, compila código MPI en C, utilizando el compilador de Open64 opencc mpicxx, compila código MPI en C++, utilizando el compilador de Open64 opencc mpif90, compila código MPI en Fortran 90, utilizando el compilador de Open64 openf90 Si se desea utilizar otros compiladores, es necesario cargar el módulo correspondiente al compilador: mpich2/1.3.2p1-gnu: Compiladores GNU gcc/g++/gfortran mpich2/1.3.2p1-pgi: Compiladores PGI pgcc/pgcc/pgf90 Para ejecutar la aplicación se pueden usar estos comandos indistintamente: mpirun mpiexec A estos comandos se le debe indicar el número de procesos a utilizar (opción -np) y el ejecutable con sus parámetros. El fichero de nodos es asignado por el sistema de colas y su ubicación es $TMPDIR/machines. Ejemplo: mpirun -np 4./mpi_program Librerías matemáticas paralelas ScaLAPACK: ScaLAPACK (Scalable LAPACK) es una librería que incluye un subconjunto de rutinas LAPACK rediseñado para computadores paralelos de memoria distribuida. Actualmente está escrito en

7 estilo Single-Program-Multiple-Data usando pasos de mensaje explícitos para la comunicación entre procesos. Se asume que las matrices se colocan siguiendo una descomposición cíclica de bloque de dos dimensiones. ScaLAPACK está diseñada para computación heterogénea y es portable a cualquier computador que soporte MPI. Para utilizar estas librerías matemáticas es necesario cargar el módulo correspondiente: module load scalapack Para linkar un programa que necesite estas librerías es necesario seguir la siguiente fórmula general: mpif90 example.f -o example -lscalapack -lblacsf77init_mpi-linux-0 - lblacs_mpi-linux-0 -lblacsf77init_mpi-linux-0 -lacml Se ejecuta igual que cualquier programa MPI: mpirun -f $TMPDIR/machines -np 4./example PGI Se recomienda la utilización de los compiladores de Open64, aunque también existe la posibilidad de utilizar los compiladores de PGI. Para utilizar los compiladores de PGI debe cargarse el módulo correspondiente: module load pgi: Carga todo el entorno de PGI Para compilar códigos, deberá utilizarse los siguientes comandos: pgcc fichero.c (códigos en C) pgcc fichero.c (códigos en C++) pgf77 fichero.f (códigos en FORTRAN 77) pgf90 fichero.f90 (códigos en FORTRAN 90) pgf95 fichero.f95 (códigos en FORTRAN 95) Algunas opciones de compilación importantes son: -O<level> -fast -Minline -Mvect=prefetch Especifica el nivel de optimización del código. <level> puede ser 0, 1, 2, 3 ó 4. -O2 es la opción que se toma por defecto. Incluye -O2, -Munroll y otras opciones más agresivas. Habilita inlining de funciones. Instruye para generar instrucciones prefetch cuando se encuentran bucles vectorizables

8 -Mipa=fast, inline -Mpfi Realiza análisis y optimizaciones interprocedimentales. También habilita inlining automático de procedimientos. Activa optimizaciones dirigidas por retroalimentación del perfil. -Mpfo -Munroll -mp -Mconcur Desenrolla bucles, ejecutando múltiples estancias del bucle en cada iteración. Activa el soporte para OpenMP El compilador utilizará múltiples procesadores para ejecutar los bucles que determina que son paralelizables. Información más detallada sobre la utilización de los compiladores de PGI y la optimización de las aplicaciones se puede encontrar en: Librerías matemáticas ACML (BLAS/LAPACK/FFT): Al cargar el módulo de PGI ya está disponible la librería ACML optimizada para este compilador. Para linkar un programa que necesite estas librerías es necesario seguir la siguiente fórmula general: pgf90 test.f -o test -lacml y si se quiere utilizar la versión OpenMP de estas librerías: pgf90 -mp test.f -o test -lacml_mp Compilación y ejecución con OpenMP Tanto el compilador de Fortran como de C soportan OpenMP. Para compilar un programa que necesite utilizar OpenMP se ha de utilizar la opción -openmp o -mp. Por ejemplo, para compilar el programa test.f con OpenMP utilizar el comando: pgf90 -openmp programa.f -o programa, o bien, pgf90 -mp programa.f -o programa Por defecto, el número de hilos que se arrancan es igual al número de procesadores. Para controlar el número de hilos que se ejecutan, utilizar la variable OMP_NUM_THREADS=<número de hilos>. Por ejemplo, en la shell ksh o bash el siguiente comando limitará el número de hilos a 6: export OMP_NUM_THREADS=6

9 Si se ejecuta en batch, esa variable tendrá un valor igual al número de procesadores seleccionados en el qsub con la opción -l num_proc. Compilación y ejecución con MPI de PGI NOTA: Temporalmente el uso de MPI incluido en la distribución de PGI está deshabilitado debido a la imposibilidad de integración en el sistema de colas. Alternativa: Usar mpich2 Los compildores de PGI incorporan soporte para MPI-1, pero no para MPI-2. Al cargar el módulo de PGI se carga automáticamente el soporte de MPI-1: mpicc, compila código MPI en C, utilizando el compilador de PGI pgcc mpicxx, compila código MPI en C++, utilizando el compilador de PGI pgcc mpif77, compila código MPI en Fortran 77, utilizando el compilador de PGI pgf77 mpif90, compila código MPI en Fortran 90, utilizando el compilador de PGI pgf90 Otra forma alternativa de compilar con MPI es utilizar los compiladores de PGI y añadir el flag - Mmpi. Ejemplo: pgcc test_mpi.c -Mmpi -o test_mpi es equivalente a mpicc test_mpi.c -o test_mpi Para ejecutar la aplicación hay que usar el comando mpirun. A este comando se le debe indicar el número de procesos a utilizar (-np), el fichero de nodos a utilizar (-machinefile) y el ejecutable con sus parámetros. El fichero de nodos es asignado por el sistema de colas y su ubicación es $TMPDIR/machines. Ejemplo: mpirun -machinefile $TMPDIR/machines -np 4./mpi_program Para el uso de MPI-2 es necesario usar mpich2 cargando el módulo correspondiente a los compiladores PGI: module load mpich2/1.3.2p1-pgi Al cargar este módulo se cargan automáticamente los compiladores PGI: mpicc, compila código MPI en C, utilizando el compilador PGI pgcc mpicxx, compila código MPI en C++, utilizando el compilador PGI pgcc mpif90, compila código MPI en Fortran 90, utilizando el compilador PGI pgf90 Para ejecutar la aplicación se pueden usar estos comandos indistintamente: mpirun mpiexec

10 A estos comandos se le debe indicar el número de procesos a utilizar (opción -np) y el ejecutable con sus parámetros. El fichero de nodos es asignado por el sistema de colas y su ubicación es $TMPDIR/machines. Ejemplo: mpirun -np 4./mpi_program Librerías matemáticas paralelas ScaLAPACK: NOTA: Debido a la imposibilidad de integración del MPI de PGI con el sistema de colas temporalmente se inhabilita el uso de scalapack con estos compiladores. Por favor si es necesario hacer una petición por correo electrónico a aplicaciones@cesga.es Los compildores de PGI también incorporan estas librerías matemáticas. La forma más sencilla de linkar un programa que necesite estas librerías es utilizar el flag - Mscalapack: pgf90 example.f -o example -Mmpi -Mscalapack, o bien, mpif90 example.f -o example -Mscalapack Ejecutar con: mpirun -machinefile $TMPDIR/machines -np 4./example Nota: No hay versión disponible de ScaLAPACK para los compiladores PGI y mpich2 Intel Uso habitual en el CESGA GNU Uso habitual en Scientific Linux 6 Referencias: