LA AGENCIA ESPACIAL EUROPEA: TRAZADO DEL MAPA DE LA GALAXIA CON EL SATÉLITE GAIA E INTERSYSTEMS CACHÉ Resumen La Agencia Espacial Europea (ESA) ha elegido InterSystems Caché como la tecnología de base de datos para la solución astrométrica AGIS que se empleará para analizar los datos astronómicos capturados por el satélite Gaia. La misión del satélite Gaia consiste en crear un mapa de fases preciso de unos mil millones de cuerpos celestes. Durante la misión, la solución AGIS ajustará varias veces la precisión de las observaciones espaciales del satélite Gaia, con lo que acabará logrando precisiones del orden de 20 microsegundos de arco. Con el fin de estar preparados para las grandes necesidades de datos para este proyecto, InterSystems ha participado recientemente en una prueba de concepto que ha requerido la inserción de 5.000 millones de objetos Java, de unos 600 bytes cada uno, en la base de datos de Caché dentro de un periodo de 24 horas. Ejecutándose en un procesador Intel de 64 bits y 8 núcleos con Red Hat Enterprise Linux 5.5, Caché ha procesado con éxito todos los datos en 12 horas y 18 minutos, a una velocidad de inserción media de 112.000 objetos/segundo. William O'Mullane, Sciencie Operations Development Manager, Agencia Espacial Europea Vik Nagjee, Product Manager, InterSystems Corporation
LA AGENCIA ESPACIAL EUROPEA: TRAZADO DEL MAPA DE LA GALAXIA CON EL SATÉLITE GAIA E INTERSYSTEMS CACHÉ Introducción Las misiones espaciales están pensadas a largo plazo. Dado que suelen durar de 15 a 20 años, requieren tecnologías sólidas y duraderas para el procesamiento, la manipulación y el almacenamiento de datos. Estas tecnologías también deben proporcionar información actualizada fundamental sobre el procesamiento de manera que, en caso necesario, sea posible aplicar ajustes a la aeronave con rapidez. La misión Gaia es considerada el mayor reto de procesamiento de datos hasta la fecha en astronomía. Tal y como se menciona en una nota de prensa de InterSystems de mayo de 2010, la Agencia Espacial Europea (ESA) ha elegido a InterSystems Caché para que dé soporte al procesamiento científico asociado a la misión Gaia. InterSystems y el Centro Europeo de Astronomía Espacial (ESAC) trabajan juntos desde 2008 para ver de qué manera puede InterSystems Caché ofrecer una ventaja para algunas o la totalidad de las necesidades de procesamiento de Gaia, así como para crear una arquitectura informática asequible que pueda dar soporte a las enormes necesidades de procesamiento del proyecto Gaia. La Misión Gaia Está previsto lanzar el satélite Gaia desde la Guayana Francesa a bordo de un Soyuz Fregat en 2012. Pasará un par de meses viajando por los 1,5 millones de km desde la Tierra hasta L2, y dedicará los 5 años siguientes a la exploración de todo el firmamento. Objetivo: crear un mapa espacial por fases de nuestra galaxia. Con dos campos de vista, un plano focal de gigapíxeles y un espectrómetro de velocidad radial, este satélite, de 2.000 kg, es un topógrafo integral. En su vida útil, Gaia observará 1.000 millones de fuentes unas 80 veces cada una. Además de la astrometría y la fotometría de cada fuente, Gaia medirá espectros de unos 150.000 millones de fuentes. Se espera que la precisión en el catálogo final sea del orden de 20 microsegundos de arco. Lograr esta precisión exige un procesamiento extremadamente complejo. Todo el software de procesamiento de datos de Gaia está escrito en Java, incluyendo la solución astrométrica principal conocida como Astrometric Global Iterative Solution (AGIS, Solución Iterativa Global Astrométrica), que ajusta iterativamente la precisión espacial de todas las mediciones del satélite Gaia. Dado que Gaia rotará de forma libre y realizará observaciones relacionadas sólo con otras observaciones efectuadas por Gaia, los datos recopilados deben reducirse con coherencia de manera que cada una de estas observaciones individuales de fuentes celestes, el modelo de la posición y el movimiento de cada fuente, así como la posición, la órbita y la velocidad de Gaia, estén en armonía. Más tarde, todo el sistema puede alinearse con el Sistema Internacional de Referencia Celeste (ICRS, del inglés "International Celestial Reference System"). Es precisamente para AGIS, 1
que supone aproximadamente del 10% al 50% de todo el procesamiento del proyecto Gaia, para lo que se ha elegido InterSystems Caché. Los objetivos científicos de Gaia son diversos, pero se puede considerar de forma global que todos ellos consisten en desentrañar la estructura y la historia de la formación de nuestra galaxia. Retos y requisitos técnicos Se espera que Gaia observe unos 109 (es decir, 1.000.000.000) cuerpos celestes que pasen por su plano focal; para cada cuerpo celeste, se espera que Gaia observe unas 100 veces cada cuerpo, lo cual suma un total de 1011 (es decir, 100.000.000.000) observaciones. De éstas, se espera que se empleen aproximadamente del 10% al 50% para construir un marco de referencia global con AGIS. Una vez se hayan calibrado y ajustado los datos del marco de referencia internacional en relación con la actitud, éstos se utilizarán para actualizar las posiciones y los movimientos del resto de fuentes del catálogo. La Figura 1 ilustra el flujo de trabajo de alto nivel del flujo de datos entre la base de datos principal y la base de datos de AGIS Caché. FIGURA 1: FLUJO DE TRABAJO DE ALTO NIVEL PARA EXTRACCIÓN Y PROCESAMIENTO DE DATOS DE AGIS Anteriormente se estimaba que la base de datos de AGIS Caché contendría los datos para unas 100.000.000 fuentes (con un total de 10.000.000.000 observaciones). Se calculaba que el tamaño de estos datos sería de unos 20 terabytes. Recientemente, sin embargo, se ha sugerido que la base de datos de AGIS podría contener hasta 500.000.000 fuentes (sumando 50.000.000.000 observaciones), dando lugar a una base de datos de 100 terabytes. Es necesario que estos datos se procesen (o se inserten) en la base de datos dentro de los 7 días siguientes de manera que dicho procesamiento pueda comenzar de inmediato. Una vez se hayan introducido los datos en AGIS, se espera que se necesiten unas 40 iteraciones para calibrar y ajustar los datos por completo, y que este proceso se realice en 120 días. Al finalizar el ajuste, los datos procedentes de AGIS se vuelven a introducir en la base de datos principal y se inicia el ciclo siguiente. Este procesamiento reiterativo continuará para toda la duración de la misión. Además, todo 2
el procesamiento de datos de Gaia es reiterativo: las posiciones mejoradas de AGIS permiten otros procesos, como la fotometría y la variabilidad para obtener mejores resultados. Éstos, a su vez, se utilizan para mejorar la siguiente solución AGIS. Procesamiento de datos en la base de datos de AGIS Caché El modelo de datos de AGIS comprende varios objetos y se define con interfaces Java. En especial, AGIS trata cada observación como un objeto AstroElementary discreto. Tal como ilustra la Figura 2, el objeto AstroElementary contiene diversas propiedades (en su mayor parte del tipo de datos largos IEEE) y ocupa unos 600 bytes en disco. class AstroElementary { long transittimes[]; long transittimeerrors[]; long HEALPIXID; long HTMID; double etaobs[]; double zetares; double[] sourceparam; double[] etares; double zeta; double zetaerror; float flux; float fluxerror; float bg; float bgerror; long id; long telescope; long ccdrow; short pixelcolumns[]; long dettime; long dettimeerror; int typeflag; long sourceid; } FIGURE 2: THE ASTROELEMENTARY DATA MODEL Además, la base de datos de AGIS contiene varios índices de apoyo que se generan durante la fase de procesamiento. Estos índices proporcionan ayuda con consultas durante el procesamiento de AGIS, así como funciones de elaboración de informes ad hoc. Utilizando InterSystems Caché, con su característica Caché extreme for Java, diversos programas de Java de AGIS procesarán los 100 terabytes de datos generados por Gaia como 50.000.000.000 objetos AstroElementary discretos. Este procesamiento de datos, junto con la generación de los índices de apoyo, debe completarse en 5 días, y así producir una velocidad sostenida de procesamiento de datos de unos 115.000 objetos AstroElementary por segundo. Prueba de concepto de procesamiento de datos Como prueba de concepto, InterSystems y ESAC, en colaboración con ingenieros de NetApp, han desarrollado un banco de pruebas para el procesamiento de 5.000 millones (5.000.000.000) de objetos AstroElementary, aproximadamente el 10% del volumen total de datos esperado en la base de datos de AGIS para el final de la misión. A escala, estos datos deberían procesarse en 12 horas. Sin embargo, dado que para esta prueba de concepto se está utilizando un hardware que no es para entornos de producción, ESAC determinó que el resultado de la prueba de concepto se declararía positivo si estos datos se procesaran en 24 horas. En la Tabla 1 se resumen las especificaciones del sistema de prueba proporcionado para este test: System Information / Details Server OS Memory File System Storage Network Connection between host and storage Caché Version One 8 core Intel based system Red Hat Enterprise Linux 5.5 (2.6.18 194.el5), 64 bit 32GB RAM 11GB allocated to Caché (global buffers) ext3 NetApp FAS3160 with 176 x 1 TB SATA disks @ 7200 RPM 10 GigE, single port, single channel, Jumbo Frames enabled iscsi over 10 GigE 2010.2, Field Test 6 (plus ad hoc updates) TABLA 1: RESUMEN DE LA ARQUITECTURA DEL SISTEMA DE PRUEBA 3
Usando la funcionalidad Caché extreme for Java, el agente de pruebas pudo procesar los 5.000.000.000 objetos AstroElementary discretos en 12 horas y 18 minutos, logrando una velocidad media sostenida de 112.000 objetos por segundo. Item Value Number of AstroElementary objects ingested 5,000,000,000 Total run time Target (allotted) run time Average ingestion rate 44,616 seconds (~12.5 hours) 86,400 seconds (24 hours) 112,000 objects/second TABLA 2: RESUMEN DE RESULTADOS DE LA PRUEBA DE CONCEPTO DE PROCESAMIENTO DE DATOS La prueba se consideró excepcionalmente satisfactoria, en especial porque las inserciones se completaron en casi la mitad de tiempo de las 24 horas asignadas, con una configuración de sistema básica. Es probable que las próximas pruebas de procesamiento de datos incluyan varios programas de procesamiento paralelos, con lo que se espera poder aumentar más la velocidad de procesamiento de datos y reducir el tiempo total necesario para el mismo. Conclusión En la prueba de concepto realizada por la Agencia Espacial Europea e InterSystems, se insertaron datos astrométricos de muestra en la base de datos de Inter Systems Caché a una velocidad media de 112.000 objetos por segundo. Toda la prueba se completó en 12 horas y 18 minutos, justo por encima de la mitad del tiempo asignado de 24 horas, empleando hardware de prueba básico. Como resultado, se demuestra que Caché sigue siendo la elección adecuada como tecnología de base de datos para las enormes exigencias de procesamiento de datos del satélite Gaia para cartografiar la galaxia. 4
Acerca de Caché InterSystems Caché es una base de datos de alto rendimiento que permite el acceso de objetos, SQL y multidimensional a los datos, sin mapeo. Es la base de aplicaciones de vanguardia en todo el mundo en los sectores sanitarios, financieros, las administraciones públicas, las telecomunicaciones, el comercio y otros mercados verticales. Acerca de Caché extreme for Java Caché extreme for Java es una nueva función de la base de datos InterSystems Caché que expone las características de empresa y de alto rendimiento de Caché a Java mediante la JNI (interfaz nativa de Java, del inglés "Java Native Interface"). Permite la comunicación "en proceso" entre Java y Caché, proporcionando así un almacenamiento y una recuperación de datos de una latencia extremadamente baja. Para obtener más información, visite InterSystems.com/java. Acerca de ESA La Agencia Espacial Europea (ESA) es la puerta de enlace de Europa con el espacio. Su misión consiste en dar forma al desarrollo de las capacidades espaciales de Europa y asegurar que la inversión en el sector espacial continúe generando ventajas para los ciudadanos europeos y el mundo. El trabajo de la ESA consiste en planificar el programa espacial europeo y llevarlo a cabo. Los programas de la ESA están diseñados para saber más sobre la Tierra, su entorno espacial inmediato, nuestro sistema solar y el universo, así como para desarrollar tecnologías y servicios basados en los satélites, y para promover las industrias europeas. La ESA también colabora estrechamente con organizaciones espaciales de fuera de Europa. La ESA tiene sedes en diversos países europeos, cada una de las cuales tiene responsabilidades distintas. El Centro Europeo de Astronomía Espacial (ESAC, del inglés "European Space Astronomy Centre") es el centro de la ESA dedicado a la ciencia espacial situado cerca de Madrid, en España. ESAC es la ubicación desde la que se llevan a cabo las operaciones científicas para los telescopios europeos, y donde todos los datos científicos que éstas generan se archivan y se ponen a disposición del mundo. Acerca de InterSystems InterSystems Corporation es un líder mundial en tecnología de software con sede central en Cambridge, Massachusetts, y oficinas en 23 países. InterSystems proporciona tecnología avanzada para aplicaciones de vanguardia. InterSystems Caché es una base de datos de objetos de alto rendimiento que hace las aplicaciones más rápidas y escalables. InterSystems Ensemble es una plataforma perfecta para la integración y el desarrollo de aplicaciones conectables. InterSystems HealthShare es una plataforma que permite la más rápida creación de una Historia Clínica Electrónica para el intercambio de información sanitaria regional o nacional. InterSystems DeepSee es un software que permite incluir conocimiento empresarial en tiempo real en las aplicaciones transaccionales. Para obtener más información, visite InterSystems.com. 5
InterSystems Corporation World Headquarters One Memorial Drive Cambridge, MA 02142 1356 Tel: +1.617.621.0600 Fax: +1.617.494.1631 InterSystems.com InterSystems Iberia S.L. Oficina en España Avda. de Europa, 12 Edif. Mónaco Parque Empresarial de la Moraleja (Madrid) Telf: +34 914.841.880 Fax: +34 916.626.084 InterSystems.es InterSystems Ensemble e InterSystems Caché son marcas comerciales de InterSystems Corporation. InterSystems DeepSee e InterSystems HealthShare son marcas comerciales de InterSystems Corporation. Otros nombres de producto son marcas comerciales de sus respectivos proveedores. Copyright 2011 InterSystems Corporation. Todos los derechos reservados D01 03/11