Es un software del tipo MAP-REDUCE realizada usando la librería MPI para la

Transcripción

1 Es un software del tipo MAP-REDUCE realizada usando la librería MPI para la ejecución de programas secuenciales de forma paralela con el requisito de no modificar los programas secuenciales. La idea fundamental es distribuir la ejecución en varias ejecuciones parciales que se puedan realizar en paralelo. En forma resumida, se necesitan dos módulos externos que se encargan de preparar la distribución de carga y recolectar los resultados de ejecuciones parciales y un módulo central que realiza la planificación de tareas, controla los fallos, re-ejecuta, etc. Las pruebas de funcionamiento se han realizado sobre equipos multiprocesador y cluster de estaciones de trabajo y actualmente la estamos portando a entornos de computación en Cloud, con buenos resultados.

2 La motivación para realizar este estudio viene dado porque en diversas ramas de la ciencia que van desde la meteorología, física, biología- se manejan grandes cantidades de datos y todo hace prever que el ritmo de crecimiento de la producción de datos incluso seguirá incrementándose. Por ejemplo, la secuenciación de los primeros Genoma Humano (aproximadamente 3.2 GB) tardó entre 5 y 6, mientras que hoy en día la tecnología permite resolver este problema en 1 ó 2 meses. Por otra parte, buena parte del software encargado del procesamiento de estos datos se ha diseñado para manejar volúmenes de datos menores y no son capaces de seguir el ritmo de producción de datos Y sin embargo, los recursos computacionales en entornos multiprocesador parecen cada vez más asequibles, como puede ser la modalidad de arrendamiento en la Cloud. Y en este mismo razonamiento, podemos aprovechar la aparición de propuestas exitosas como la del paradigma MAP-REDUCE para realizar computación de alto rendimiento con una razonable facilidad de adaptación de los programas secuenciales y con un bajo coste de adaptación del software 2

3 Entre las soluciones previas que hemos revisado para el desarrollo de este trabajo cabe mencionar : El paradigma MAP-REDUCE fue implementado por Google en 2004 y su función básica es poder tratar grandes cantidades de datos optimizando el uso de recursos. Como característica principal de este paradigma son los significados de Map y Reduce. El primero consiste en generar pares clave valor de forma paralela el conjunto de datos propuesto, mientras que la función reduce genera la lista de valores en base al conjunto de claves valor anterior. Otra de las características más importantes es la planificación y la tolerancia a fallos. Esta implementación ha sido usada por Google en bastantes ámbitos como es la búsqueda en la web que todos conocemos. En las líneas de trabajo del grupo se contempla la paralelización de aplicaciones. Por lo tanto, importaremos de ellas muchas de las estrategias de distribución y balanceo de carga que hemos desarrollado; como la planificación guiada y el solapamiento de procesos. 3

4 En este punto presentamos una aplicación del tipo Map-Reduce para manejar el manejo en paralelo de tareas secuenciales Su nombre es Mr. Cirrus sale como denominación MAP-REDUCE: High level Clouds. Esta idea se compone de tres partes: Un mapeador, que se encarga de PREPARAR LA CARGA A RESOLVER, mediante el reparto de los datos entrantes y la generación de las líneas de invocación de los procesos que resolverán dicha carga que se almacenará en un fichero tipo script de ejecución Un recolector, o reductor, que recoge los resultados parciales obtenidos en el paso anterior y los combina para dar el resultado final. La complejidad de estos procesos está asociada a las relaciones entre datos y proceso, pero en general suele requerir un código bastante simple (por ejemplo, cortar una cadena de caracteres en trozos) EL núcleo es un PLANIFICADOR que distribuye y balancea la carga de trabajo entre los servidores (o workers) que están a cargo de realizan las diferentes tareas parciales. Tanto MAP como REDUCE, en este caso, resultan dos aplicaciones, sencillas en cierta medida, que no debe requerir conocimientos de programación paralela. Eso sí, deben estar relacionados entre sí para saber la forma tanto de troceo para luego poder combinar los resultados parciales. 4

5 Esta diapositiva presenta el pseudocódigo del planificador anteriormente nombrado. Este planificador se compone de un proceso maestro y de M trabajadores Básicamente, el proceso maestro se encarga de LANZAR las M instancias de Workers, y enviarles una o varias tareas iniciales a cada trabajador. Cuando este proceso maestro recibe una señal de que un trabajador ha terminado le reponer otra tarea. Así sucesivamente hasta agotar las tareas. A continuación, sincroniza la finalización de los procesos trabajadores. Por último ejecuta el programa Reduce para obtener el resultado final. En cuanto a los trabajadores, reciben las diferentes tareas, las ejecutan y envían la señal de finalización al maestro. 5

6 Como banco de pruebas se han elegido dos aplicaciones en el campo de la Bioinformática. Estas aplicaciones son posiblemente las dos de mayor uso en el área y son buenas representantes de un largo grupo de aplicaciones: las matrices de puntos y la búsqueda en base de datos. Para el primer caso de forma simplificada- se tienen dos secuencias de nucleótidos, donde una se coloca en vertical y la otra en horizontal. A continuación se comparan los caracteres y por cada coincidencia se coloca un punto, quedando así una matriz de puntos con las coincidencias. En el caso de que existan muchas coincidencias seguidas, en la visualización aparecerá como una línea continua. Para el segundo caso la idea es comparar una serie de secuencias problema (también llamado secuencias query) contra una base de datos para poder caracterizar dichas secuencias. Concretamente, el programa Blast ayuda a encontrar probables genes homólogos. 6

7 Conalgomásdedetalle: La comparación de la Bacteria Buchnera, con sus cepas APS y BPS. Como curiosidad, estabacteriafuela1ªensersecuenciadaenespaña.labuchneraviveenelpulgóndela naranja y su característica principal es que es un simbiótico que vive en el pulgón y AMBOS se benefician. A lo largo de su evolución, tanto la bacteria como el pulgón han perdido genes de los productos que su simbionte le proporciona. Esta aplicación, por ejemplo, permitiría identificar esa pérdida de genes en distintas CEPAS de la bacteria. Si la comparación del genoma de esta bacteria que no alcanza el MB es ya de por si interesante biológicamente, podemos hacernos una idea de los importante de la aplicación para casos como la comparación de por ejemplo el Genoma Humano u otros genomas de tamaño considerable. En la imagen mostrado se ve la comparación de la Buchnera y cómo son bastante parecidas, pero LO REALMENTE INTERSANTE es observar las diferencias entres las dos cepas producidas por la evolución y justificadas por la función de la bacteria en cada caso particular Por otro lado, se ha usado el programa Blast para la comparación masiva de secuencias en una base de datos para comprobar cuántas veces aparece. En biología este es uno de los programas más utilizados. El software ha sido implementado en C usando la librería MPI para la comunicación entre el maestro y trabajadores. 7

8 Para las pruebas se ha utilizado el multiprocesador PICASSO con 128 núcleos Itanium2 y 381 Gbytes de RAM con memoria compartida. Como inciso, para dotplot tenemos dos implementaciones una de ella muestra un mayor uso o tráfico de la E/S Se puede observar que los resultados son bastante buenos. Ambas aplicaciones escalan bastante bien. Se han realizado pruebas hasta con 64 procesadores. No obstante, también se han realizado pruebas con diferentes conjuntos de datos como es el caso de secuencias pequeñas, en las que se puede observar como la escalabilidad se ve afectada ya que los datos son demasiado pequeños. Todos sabemos que no es necesario tener más recursos para tan poca computación. 8

9 Después de estos primeros pasos aplicando esta filosofía, se extraen algunas conclusiones, como pueden ser: Bajo coste: crear las aplicaciones de troceo y combinación de resultados son relativamente fáciles e incluso en algún caso se podría hacer utilizando codificación de scripting. También tenemos la portabilidad. De hecho, estamos trabajando de forma paralela con Cloud computing y, obviando el hecho de que MPI no es portable para, digamos por ejemplo la Cloud Azure de MS, la idea sí se está llevando acabo y reutilizando los programas MAP y REDUCE creados anteriormente. Con respecto a la escalabilidad ya se ha mostrado anteriormente con los resultados Y muy importante es la reutilización de programas secuenciales antiguos donde por ejemplo no tengamos el código fuente para ser manipulados. Hay que decir que en bioinformática existen cientos de aplicaciones de este tipo. Debemos mencionar también algunos de los problemas. Por ejemplo, es el caso de varios procesos accediendo a las mismas fuentes de datos. La solución sobre la que estamos trabajando es la de des-sincronizar los accesos aplicando una distribución de carga que no sea de tamaño fijo como las del GSS (Guided Self Scheduling) o incluso lanzar más de un proceso en el mismo procesador para solapar la E/S. Esta solución se ha mostrado efectiva en nuestros trabajos previos 9

10 Estos son los primeros pasos aplicando esta filosofía. A continuación vamos a trabajar con aplicaciones irregulares como la filogenia y el alineamiento múltiple y comprobar su comportamiento. Se considera que puede ser un buen aporte a la bioinformática ya que existen datos y aplicaciones muy utilizados que pueden usar esta filosofía. De forma análoga, y como ya he comentado anteriormente, estamos portando esta idea a los entornos de alquiler de recursos, como son la MS-Windows Azure, la SmartCloud de IMBM y en la utilización de la EC2-hadoop-map-reduce; obteniendo también buenos resultados. 10