INFORME DE PASANTIA Clúster de Consolas de PlayStation 3

Transcripción

1 Universidad de Carabobo Facultad experimental de ciencia y tecnología Departamento de Computación INFORME DE PASANTIA Clúster de Consolas de PlayStation 3 Tutor Académico: Dr. Germán Larrazábal Tutor Empresarial: Dr. Germán Larrazábal Pasante: Juan Ernesto García Álvarez CI: Valencia, mayo de 2010

2 RESUMEN DE LAS ACTIVIDADES REALIZADAS OBJETIVO Armar un clúster de cuatro consolas de PlayStation 3 con un disponible ambiente de trabajo bajo código cell, usando para este fin el CELL SDK disponible de IBM, con un front-end (PC común) habilitado para control total del clúster y de cada nodo (o consola) en donde se pueda tener un simulador para que al momento de programar bajo código cell, nos pueda indicar si hay errores y cuales, con un ambiente grafico diseñado para dicho propósito Para realizar la configuración e instalación del clúster se tuvo que hacer lo siguiente: Etapa1.- Configuraciones básicas tanto al servidor como a cada nodo por igual Etapa2.- Configuración del servidor para control del clúster Etapa3.- Instalación de un entorno grafico en el servidor para programa bajo código cell Etapa4.- Pruebas del clúster haciendo Benchmarks Etapa5.- Compilación y ejecución de programas A continuación se explica que se hizo en cada etapa. ETAPA 1 Configuraciones básicas (Servidor y nodos por igual): En esta etapa se explican procedimiento que conforman la base para poder desarrollar dicho clúster esto se debe hacer y se hizo tanto en el servidor (front-end) como en cada uno de los nodos por igual Esta etapa se divide en ciertos puntos:.- Formateo e Instalación del Sistema Operativo.- Instalación de programas claves para el funcionamiento del clúster (mpi, ssh, nfs).- Configuración de cada máquina (nombres, permisos, etc.).- Instalación de librerías y ambiente de trabajo para código cell (CELL SDK) Formateo e Instalación del Sistema Operativo Ahora se explicaran los procedimientos realizados para la instalación del Sistema Operativo tanto en el servidor como en los nodos Servidor (Front-End):.- Descargar la imagen del CD de Fedora Core 9 disponible para arquitecturas x86.- Iniciar una instalación limpia de Fedora sin actualizaciones, en esta instalación se agregó al igual que los nodos un usuario llamado PlayStation y la clave tanto del root como del usuario es fedora Nodo (Consola PlayStation): esto se debe hacer y se hizo en cada nodo o consola Descargar la imagen ISO de Fedora Core 9 para PPC, y quemarla en un DVD. Para hacer la descarga de Fedora 9 se utilizó el siguiente enlace Descargar la imagen personalizada de arranque

3 Descomprimir el archivo. (Esta carpeta llamada "PS3" debe contener la subcarpeta "otheros" y el archivo TRANS.TBL). Colocar esta carpeta en cualquier unidad flash USB vacía Formateo de la consola Conectar un teclado USB Encender la consola Navegar a: "System Settings/Format Utility/Format HD/Custom/" Seleccionar "10gb for PS3" Instalación de Other OS Reiniciar el Sistema Insertar la unidad USB FLASH que tiene la imagen de arranque Navegar a "System Settings/Install Other OS"

4 Esto cargara automáticamente la imagen de arranque. En "/System Settings/Install other OS/Default Systems/" configurar como sistema predeterminado 'Other OS' o Reiniciar la consola Instalar Fedora 9: Se arranca automáticamente Linux. En el kboot del sistema, escribir: "linux64 xdriver texto" = fbdev, pulsar enter. (Lo que se está haciendo es establecer la imagen de instalación de 64 bits, en lugar del predeterminado de 32 bits.) ahora Instalar el sistema operativo con una memoria swap de 2GB, en este clúster a todos los nodos se les agrego un usuario llamado PlayStation y la clave tanto del root como del usuario es fedora Cuando Linux Fedora arranque, esperamos ver 8 pingüinos. Esto indica que el sistema operativo está utilizando todos los núcleos de su sistema. Ahora se puede acceder al sistema Fedora desde la consola PS3. Instalación de programas claves para el funcionamiento del clúster (mpi, ssh, nfs) Esta instalación es igual tanto para las consolas PS3 como para el computador (Front-End) Instalación de SSH: ssh se utiliza para las comunicaciones de red seguras en MPI. Se usó el instalador yum para instalar primero el componente del servidor ssh. Escribiendo "yum install openssh-server" Una vez instalado, se necesita comenzar este proceso de servidor (sshd). Para iniciar el servidor, escribir "start sshd yum"

5 Por último, se necesita instalar los componentes de cliente ssh escribiendo "yum install openssh-clients". Este proceso debería terminar sin preguntar, y ssh debe estar completamente instalado. Prueba de la conexión: SSH requiere una contraseña entre los nodos de forma predeterminada. Por lo tanto, cuando pida una contraseña de cada nodo indica una conexión correcta. Para probar la conexión se escribe "ssh root@ipaddr" (donde IPADDR = La dirección IP de ese nodo). Si aparece un mensaje para colocar la contraseña indica una conexión con éxito. MPI (Message Passing Interface) MPI ("Message Passing Interface", Interfaz de Paso de Mensajes) es un estándar que define la sintaxis y la semántica de las funciones contenidas en una biblioteca de paso de mensajes diseñada para ser usada en programas que exploten la existencia de múltiples procesadores. El paso de mensajes es una técnica empleada en programación concurrente para aportar sincronización entre procesos y permitir la exclusión mutua, de manera similar a como se hace con los semáforos, monitores, etc. Su principal característica es que no precisa de memoria compartida, por lo que es muy importante en la programación de sistemas distribuidos. Los elementos principales que intervienen en el paso de mensajes son el proceso que envía, el que recibe y el mensaje. Dependiendo de si el proceso que envía el mensaje espera a que el mensaje sea recibido, se puede hablar de paso de mensajes síncrono o asíncrono. En el paso de mensajes asíncrono, el proceso que envía, no espera a que el mensaje sea recibido, y continúa su ejecución, siendo posible que vuelva a generar un nuevo mensaje y a enviarlo antes de que se haya recibido el anterior. Por este motivo se suelen emplear buzones, en los que se almacenan los mensajes a espera de que un proceso los reciba. Generalmente empleando este sistema, el proceso que envía mensajes sólo se bloquea o para, cuando finaliza su ejecución, o si el buzón está lleno. En el paso de mensajes síncrono, el proceso que envía el mensaje espera a que un proceso lo reciba para continuar su ejecución. Por esto se suele llamar a esta técnica encuentro, o rendezvous. Dentro del paso de mensajes síncrono se engloba a la llamada a procedimiento remoto, muy popular en las arquitecturas cliente/servidor. La Interfaz de Paso de Mensajes (conocido ampliamente como MPI, siglas en inglés de Message Passing Interface) es un protocolo de comunicación entre computadoras. Es el estándar para la comunicación entre los nodos que ejecutan un programa en un sistema de memoria distribuida. Las implementaciones en MPI consisten en un conjunto de bibliotecas de rutinas que pueden ser utilizadas en programas escritos en los lenguajes de programación C, C++, Fortran y Ada. La ventaja de MPI sobre otras bibliotecas de paso de mensajes, es que los programas que utilizan la biblioteca son portables (dado que MPI ha sido implementado para casi toda arquitectura de memoria distribuida), y rápidos, (porque cada implementación de la biblioteca ha sido optimizada para el hardware en la cual se ejecuta).

6 Para instalar el openmpi escribir "yum install gcc openmpi openmpi-devel openmpilibs" NFS (Network File System) Es el sistema Unix / Linux estándar para el intercambio de archivos de red. MPI específicamente tiene que encontrar el programa que se ejecutan en el clúster en cada uno de los nodos del clúster. NFS proporciona una ubicación publicada para cada sistema. Para instalar NFS, escribir "yum install nfs-utils" Configuración de cada máquina (nombres, permisos, etc.) Los siguiente es colocarle un nombre a cada máquina, como el clúster se llama Rocinante, a cada nodo se lo coloco, Rocinante1, Rocinante2, Rocinante3, Rocinante4, y al servidor RocinanteServer En Fedora cambiar el nombre de una maquina se hace mediante el archivo /etc/sysconfig/network allí se busca la línea HOSTANME= y al lado se coloca el nombre de la maquina Configurar los nombres de las maquinas Como estamos usando Fedora el archivo encargado de reconocer los nombres que le ponemos a nuestras maquinas mediante los ips se encuentra en /etc/hosts, la manera de configurar este archivo es muy simple, solo al final hay que colocar el ip de la maquina seguido por el nombre de dicha máquina, en el caso del clúster que se armó se usaron los siguientes ips con los siguientes nombres: Rocinante Rocinante Rocinante Rocinante RocinanteServer Esto hay que hacerlo tanto en la maquina servidor como en cada uno de los nodos del clúster, en este caso para acceder a cada consola PlayStation y configurar los archivos se usó ssh desde la maquina servidor Configurar Permisos para NFS: esto se debe hacer solo en los nodos Para configurar el NFS, se crea un archivo llamado exports en la carpeta etc., este un simple archivo de texto en donde se colocan los ip de las maquinas antecedidos por la carpeta que se quiere que tengan acceso por medio de nfs a la maquina presente, ejemplo / Para la configuración del clúster este archivo quedo de la siguiente forma en cada nodo dándole acceso de lectura y escritura al servidor en la carpeta asignada: /home/playstation/documentos/cluster RosinanteServer(rw, nohide) Instalación de librerías y ambiente de trabajo para código cell (CELL SDK) En cada Nodo y en el Servidor se realizó lo siguiente: Descargar las siguientes imágenes de

7 .- CellSDK-Devel-Fedora_ iso.- CellSDK-Extra-Fedora_ iso Instalación de Paquetes necesarios usando yum.- yum install glibc-devel.ppc64 rsync sed tcl wget Instalación del instalador del SDK que se encuentra en CellSDK-Devel- Fedora_ iso.- rpm -ivh cell-install noarch.rpm Instalación del SDK usando el SDK script.- /opt/cell/cellsdk --iso /tmp/cellsdkiso install.- Leer y aceptar Licencias Prevenir actualización de paquetes que puedan poner inestable el sistema.- En /etc/yum.conf agregar exclude=blas blas-devel elfspe2 kernel lapack lapack-devel libspe2 libspe2-debuginfo libspe2-devel oprofile oprofile-devel ETAPA 2 Configuración del servidor para control del clúster Configuración de Open-MPI: Open-MPI se configura mediante un archivo /etc/openmpidefault-hostfile. Si este archivo no se encuentra escribir "touch /etc/openmpi-defaulthostfile" Es necesario editar este archivo añadiendo la dirección IP de cada nodo y el número de 'slots'. El número slots es el número de núcleos disponibles para procesar ejemplo slots=6. Para la configuración del clúster este archivo quedo de la siguiente manera. Rocinante1 slots=6 max_slots=8 Rocinante2 slots=6 max_slots=8 Rocinante3 slots=6 max_slots=8 Rocinante4 slots=6 max_slots=8 Para poder ejecutar un programa en un clúster en paralelo con mpi, es necesario que dicho programa se encuentre exactamente en el mismo lugar dentro de cada nodo y en el servidor. Para poder lograr que el usuario final, no tenga una tarea engorrosa, de cada ves que vaya a ejecutar un programa tener que manualmente instalar el programa en cada nodo, y sincronizar las carpetas, se creó un lugar específico para dicho propósito, /home/playstation/documentos/clúster En esta carpeta el usuario simplemente toma el programa y lo pega en cada uno de los nodos en la misma carpeta, para hacer esto de manera sencilla, se usa el programa nfs que se explicó anteriormente para pasar archivos en red, para automatizar el procesó se agregaron las siguientes líneas en el archivo /etc/fstab Rocinante1: /home/playstation/documentos/cluster /mnt/nodo01 nfs rsize=8192,wsize=8192,timeo=14,intr 0 0 Rocinante2: /home/playstation/documentos/cluster /mnt/nodo02 nfs rsize=8192,wsize=8192,timeo=14,intr 0 0

8 Rocinante3: /home/playstation/documentos/cluster /mnt/nodo03 nfs rsize=8192,wsize=8192,timeo=14,intr 0 0 Rocinante4: /home/playstation/documentos/cluster /mnt/nodo04 nfs rsize=8192,wsize=8192,timeo=14,intr 0 0 Se hizo un enlace simbólico de cada punto de montaje en el escritorio De manera que el usuario cuando entre escriba como root en la consola mount a y ya pueda tener acceso a dicha carpeta en cada nodo mediante el escritorio, y así copiar sus programas en cada nodo para poder ejecutarlos El último paso pero no el menos importante, es configurar el ssh para que funcione sin clave ya que así el openmpi podrá conectarse satisfactoriamente Para esto se siguió el siguiente procedimiento: Desde el servidor escribir en la consola ssh-keygen t dsa, y presionar enter en todas las preguntas sin escribir nada, de esta forma estamos creando la llave en la dirección por defecto y no le estamos creando una frase de seguridad Luego escribir en el servidor como usuario PlayStation: scp ~/.ssh/id_dsa.pub PlayStation@Rocinante1:.ssh/authorized_key scp ~/.ssh/id_dsa.pub PlayStation@Rocinante2:.ssh/authorized_key scp ~/.ssh/id_dsa.pub PlayStation@Rocinante3:.ssh/authorized_key scp ~/.ssh/id_dsa.pub PlayStation@Rocinante4:.ssh/authorized_key Colocar la contraseña del usuario cuando lo indique Luego de realizar las configuraciones se probó el clúster con el hola mpi, para asegurarse de que todo estaba funcionado bien

9 ETAPA 3 Instalación de un entorno grafico en el servidor para programa bajo código cell Instalación de la versión IBM de java usando yum yum install ibm-java2-i386-jre Configurar el ambiente para instalar la nueva versión de java agregar en HOME/.bash_profile lo siguiente PATH=$HOME/bin:/opt/java/jdk1.5.0_08/jre/bin: $PATH Instalación del Eclipse yum install cellide Instalación del simulador Descargar el simulador de antes de instalarlo, para evitar errores Instalar el sysroot_image Para información acerca de cómo correr el simulador y usar el eclipse, ibm nos da una guía completa en la siguiente página

10

11 ETAPA 4 Pruebas del clúster haciendo Benchmarks Para hacer pruebas formales del clúster se realizaron benchmark de mpi, midiendo la capacidad de comunicación entre procesos en el clúster El benchmark realizado fue skampi ( SKaMPI es un benchmark para implementación de mpi. Los benchmarks que incluye son los siguientes: point-to-point communication collective communications derived datatypes one-sided communication MPI IO Los benchmarks que se hicieron son los siguientes: # SKaMPI Version rev. 355 # Started at Wed Aug 18 16:12: # begin result "Pingpong_Send_Recv" count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= count= # end result "Pingpong_Send_Recv" # duration = 0.60 sec

12 # begin result "processor names measurement" #P[0] # rank #P[1] # rank #P[2] # rank #P[3] # rank #P[4] # rank #P[5] # rank #P[6] # rank #P[7] # rank #P[8] # rank #P[9] # rank #P[10] # rank #P[11] # rank 0: Rocinante2 1: Rocinante2 2: Rocinante2 3: Rocinante2 4: Rocinante2 5: Rocinante2 6: Rocinante4 7: Rocinante4 8: Rocinante4 9: Rocinante4 10: Rocinante4 11: Rocinante4 #P[12] # rank #P[13] # rank #P[14] # rank #P[15] # rank #P[16] # rank #P[17] # rank #P[18] # rank #P[19] # rank #P[20] # rank #P[21] # rank #P[22] # rank #P[23] # rank 12: Rocinante1 13: Rocinante1 14: Rocinante1 15: Rocinante1 16: Rocinante1 17: Rocinante1 18: Rocinante3 19: Rocinante3 20: Rocinante3 21: Rocinante3 22: Rocinante3 23: Rocinante3 # end result "processor names measurement" # duration = 0.02 sec # begin result "MPI_Bcast-procs-short" procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= # end result "MPI_Bcast-procs-short" # duration = sec # begin result "MPI_Bcast-procs-long" procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= procs= # end result "MPI_Bcast-procs-long" # duration = sec

13 ETAPA 5 Compilación y ejecución de programas Para poder correr un programa en el clúster se deben seguir los siguientes pasos: - Montar las Carpetas de los nodos en el servidor - Compilación del programa - Copiar el ejecutable del programa junto con sus librerías en cada nodo - Correr el programa - Montar las carpetas Para poder acceder a las carpetas en el escritorio satisfactoriamente es necesario como root correr en la consola "mount -a" - Compilación del programa: Para compilar el programa se debe tener en cuenta que la arquitectura en donde se va a ejecutar el programa es la arquitectura del PlayStation, por lo que esto nos lleva a compilar el programa en dicha arquitectura es decir es necesario copiar los archivos en cualquiera de los nodos del PlayStation, luego acceder a él, por medio de la consola con ssh, ejemplo ssh root@rocinante1, luego navegar a la carpeta en donde se copiaron los archivos a compilar en este caso si se copiaron en las carpetas que están en el escritorio, navegar: cd /home/playstation/documentos/cluster, luego allí meterse en la carpeta del programa y compilarlo usando mpicc, ejemplo mpicc NombredelEjecutable NombredelArchivo, al hacer esto se compilara el programa usando openmpi, para comunicación en paralelo - Copiar el ejecutable: Cada nodo debe tener el programa para poder ejecutarlo satisfactoriamente en el clúster, si se usaron las carpetas del escritorio, (que para eso se crearon) es muy sencillo, copiar el ejecutable en cada nodo dejando exactamente los mismos nombres de carpetas y archivos y en exactamente la misma ubicación, en las carpetas del escritorio hasta en el servidor - Correr el programa: Para correr el programa es necesario abrir la consola como root o el usuario configurado para dicho propósito ("PlayStation"), y navegar hasta la carpeta en donde se encuentra el ejecutable en el servidor, en este caso debería ser /home/playstation/documentos/cluster/ y allí correr el programa usando el siguiente comando, "mpirun NombredelEjecutable"

14 CONCLUSION La fase de ejecución del periodo de pasantías ha representado un complemento indispensable, debido a que ha permitido aumentar la experiencia laboral, conocer el contexto de una empresa y obtener una visión más amplia acerca de las actitudes que se debe tomar en una organización. Todas las actividades anteriormente expuestas se han cumplido satisfactoriamente, por ello se puede enfatizar que el proceso de pasantías ha sido provechoso al máximo, como por ejemplo la institución cuya visión se ha cumplido un vez más, el alumno que ahora pasa a ser mano de obra capacitada y de calidad, y la organización por haber obtenido los servicios y aportes del pasante.

15 BIBLIOGRAFIA Y REFERENCIA