Clusters de Alto Rendimiento Contenido: M. en A. Iliana Gómez Zúñiga iliana.gomez@redudg.udg.mx Expositor: L.S.I. Virgilio Cervantes Pérez virgilio@cencar.udg.mx Diseño: Lic. Genaro Ramirez genaro.ramirez@redudg.udg.mx
Porque Linux 1991 Nace Linux 1993 Samba 1993 Nace Tux 1997 Surgió el Proyecto KDE y el Proyecto Gnome Linux en otras plataformas como la Power PC de Macintosh, la Amiga, los IBM S/390, IBM RS-6000, los MIPS de Silicon Graphis, los Motorola 6800. Soportar cada vez más dispositivos, sobre todo aquellos que suele tener la PC hogareña, como tarjetas de sonido, tarjetas de captura de video, Se le agregaron capacidades para redes que le permitían ponerse a la par de routers, switches, y servicios que habitualmente se asociaban a máquinas Unix muy costosas. Embebido en un microprocesador, como el de un Palm Pilot. IBM ya lo puso en un reloj. 2001 Escritorios completamente viables.
Como han evolucionado las plataformas 2100 2100 2100 2100? 2100 2100 2100 2100 2100 R E N D I M I E N T O Clusters interplanetarios?? Desktop SuperCom -putadoras Cluster Local Cluster/Grid Cluster/Grid Globales
Los Cluster en computación son un colección de computadoras interconectadas de alguna manera, que trabajan en conjunto, distribuyéndose las tareas entre ellas, logrando que el usuario lo vea como una sola. Qué es un cluster?
Otras definiciones de cluster Un cluster consiste en un conjunto de máquinas y un servidor de cluster dedicado, para realizar los relativamente infrecuentes accesos a los recursos de otros procesos, se accede al servidor de cluster de cada grupo del libro Operating System Concepts de Silberschatz Galvin.
Cómo funciona un cluster?
Requerimientos Básicos Un cluster consta de por lo menos 2 o más nodos Los nodos de un cluster están conectados entre sí por al menos un canal de comunicación Los clusters necesitan software de control especializado
Homogeneidad de un cluster Homogéneos: formados por equipos de la misma arquitectura. Todos los nodos tienen una arquitectura y recursos similares, de manera que no existen muchas diferencias entre cada nodo. Heterogéneos: formados por nodos con distinciones que pueden estar en los siguientes puntos. Tiempos de acceso distintos Arquitectura distinta Sistema operativo distinto Rendimiento de los procesadores o recursos sobre una misma arquitectura distintos
Por qué construir un cluster? Cuando necesitamos que una aplicación o servicio disponga de : Alta Disponibilidad (High Availability ) Alta Confiabilidad (High Reliability ) Alto Rendimiento (High Performance)
Alta Disponibilidad (High Availability ) Sistemas de información redundante Sistemas tolerantes a fallos Balanceo de carga entre varios servidores Balanceo de conexiones entre varios servidores
Alta Confiabilidad (High Reliability ) Generalmente este tipo de clusters suele ser utilizado para entornos de tipo empresarial y esta funcionalidad solamente puede ser efectuada por hardware especializado.
Alto Rendimiento (High Performance) Cálculos matemáticos Renderizaciones de gráficos Compilación de programas Compresión de datos Descifrado de códigos
Con que construyo mi cluster? Opción I: son construidos en su totalidad usando hardware y software común y utilizando tecnología estándar como SCSI, tarjetas de red Ethernet etc.(más económicos). Opción II: construidos con hardware especial para lograr un mejor desempeño. (más caros).
Requiere Software como.. MPI PVM PBS
Top500 En la página de www.top500.org se publica dos veces por año la lista de las supercomputadoras más rápidas del mundo.
Top500 Rank 1 5 28 29 30 34 42 46 75 Site Country/Year DOE/NNSA/LLNL United States/2005 Barcelona Supercomputer Center Spain/2005 US Army Research Laboratory (ARL) United States/2004 Institute of Physical and Chemical Res. (RIKEN) Japan/2004 Pacific Northwest National Laboratory United States/2003 Lawrence Livermore National Laboratory United States/2002 Lawrence Livermore National Laboratory United States/2003 Grid Technology Research Center, AIST Japan/2004 DOE/Bettis Atomic Power Laboratory United States/2005 Computer / Processors Manufacturer BlueGene/L eserver Blue Gene Solution / 65536 IBM MareNostrum JS20 Cluster, PPC 970, 2.2 GHz, Myrinet / 4800 IBM John Von Neumann LNX Cluster, Xeon 3.4 GHz, Myrinet / 2048 Linux Networx RIKEN Super Combined Cluster / 2048 Fujitsu Mpp2 Cluster Platform 6000 rx2600 Itanium2 1.5 GHz, Quadrics / 1936 Hewlett-Packard MCR Linux Cluster Xeon 2.4 GHz - Quadrics / 2304 Linux Networx/Quadrics xseries Cluster Xeon 2.4 GHz - / 1920 IBM/Quadrics AIST Super Cluster P-32 AIST Super Cluster P-32, Opteron 2.0 GHz, Myrinet / 2200 IBM Atipa Cluster, Opteron, Myrinet / 1090 Atipa Technology R max R peak 136800 183500 27910 42144 8770 13926 8728 12534 8633 11616 7634 11060 6586 9216 6155 8800 4035 5232
Estadisticas del 2002 Un total de 55 clusters de PCs basados en Intel y ocho en AMD estaban presentes en el TOP500. El número de clusters en el TOP500 creció a un total de 93 sistemas. Catorce de estos clusters se etiquetan como 'Auto construidos' al haber sido diseñados y ensamblados por los propios usuarios finales.
Aplicaciones corriendo en clusters Simulaciones de biotecnología, Petroleras, Modelación de mercados financieros, Grandes cálculos matemáticos, Predicción del clima, Servidores de Internet.
Ejemplos Un negocio en Internet que recibe millones de peticiones por día, y tiene que asegurarse de que los servidores respondan rápidamente a las peticiones de los clientes (Rendimiento) Asegurarnos de que nuestros servidores estén disponibles todo el tiempo aun cuando exista algún problema en alguno de ellos. (Disponibilidad)
Porque cluster con linux? Costo beneficio Escalabilidad Estabilidad
Ejemplos de cluster con linux ** La película Titanic hizo todas sus animaciones y efectos especiales con cluster basados en Linux. ** El proyecto Genoma Humano fue realizado con cluster basados en Linux, y con software de código abierto. ** En Japón donde hay un gran interés por predecir las tormentas acaban de construir uno de los supercomputadores más grandes del mundo utilizando clusters de Linux para cálculo numérico.
Grid Vs. Cluster
Distribución de Software: OpenMosix Scyld Oscar Rocks Atipa N1
Instalación de la distribución Rocks: VENTAJAS DE ROCKS Facil de Instalar Facil para construir Facil de administrar Facil de usar
Características de ROCKS RedHat Linux Soporta las siguientes Procesadores: AMD Itanium
Requerimientos minimos de Hardware Nodo Maestro: Disk Capacity: 16 GB Memory Capacity: 512 MB Ethernet: 2 physical ports (e.g., "eth0" and "eth1") Nodo Esclavo: Disk Capacity: 16 GB Memory Capacity: 512 MB Ethernet: 1 physical port (e.g., "eth0")
Referencias http://www.straddle3.net/context/ 02/02112.es.html http://www.top500.org http://www.rockclusters.org http://www.linuxvirtualserver.org