Cartografiando la Galaxia El procesado de datos de la misión Gaia Dr. Jordi Portell i de Mora Universitat de Barcelona (UB) Institut d Estudis Espacials de Catalunya (IEEC) Institut de Ciències del Cosmos (ICCUB) Jornadas SIG Girona, 27-Marzo-2014
La misión Gaia J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 2 de 40
Introducción n a Gaia Objetivos Satélite científico de la Agencia Espacial Europea Lanzado el 19 de Diciembre de 2013 Sucesor de Hipparcos Censo 3-D más completo y preciso de nuestra Galaxia >1000 millones de estrellas! (~1% de la Via Láctea) Posiciones, distancias (paralaje), velocidades, fotometría, espectroscopía... Operación autónoma: observará todo lo que pase por su campo de visión Astrometría Global desde el Espacio J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 3 de 40
Introducción n a Gaia Precisión Precisión nominal: 25μas 1/144.000.000 de grado ~11 años luz (105.000.000.000.000 km) A Plutón (5.3 horas luz): 700m A Próxima Centauri (4.2 años luz): 4800km Evolución de la precisión: Hiparco de Nicea (150 a.c.): 16 arcmin diámetro de la Luna Tycho Brahe (1600): 30 arcsec 50km sobre la Luna Hipparchos (1990): 1 mas hombre sobre la Luna Gaia (2015): 25 uas pelota de golf sobre la Luna J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 4 de 40
Introducción n a Gaia Catálogo J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 5 de 40
Introducción n a Gaia Catálogo J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 6 de 40
Funcionamiento e instrumentación J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 7 de 40
El satélite Órbita y ley de barrido 150x10 9 km ~1.5x10 9 km ~45º J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 8 de 40
El satélite Visto desde la Tierra... J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 9 de 40
El satélite El plano focal de Gaia: Gigapíxel! 106 CCDs, 938 million pixels, 22800 cm 2 104.26cm 42.35cm Blue Photometer CCDs Red Photometer CCDs Radial Velocity Spectrometer CCDs Sky Mapper CCDs Astrometric measurements (AF CCDs) Movimiento aparente de las imágenes Créditos: ditos: A. Short, O. Martínez J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 10 de 40
El satélite El plano focal de Gaia: Gigapíxel! Créditos: ESA, EADS/Astrium Astrium J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 11 de 40
El satélite Necesidades de procesado 106 CCDs, ~9 Megapíxeles cada uno, modo TDI ~220.000 valores de 16 bits leídos cada milisegundo Lectura completa del plano focal: 3.5 Gbps! Observaciones selectivas: ventanas alrededor de detecciones ~7Mbps para detectores + ~2Mbps en promedio (a bordo) Procesado de datos a bordo (PDHS) de alto rendimiento 7 VPUs concurrentes (PowerPC 600MHz) Condiciones muy variables: De ~50 a >10000 estrellas/s Compresión de datos Algoritmo a medida J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 12 de 40
El satélite Comunicaciones Cebreros (cerca de Madrid) New Norcia (Australia) Malargüe (Argentina) Descarga: ~7 Mbps, 8h/día 25GB diarios (comprimidos) ~100TB en total J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 13 de 40
El satélite Estructura instrumental Créditos: ESA, EADS/Astrium Astrium J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 14 de 40
Elementos del satélite Pruebas finales Créditos: ESA, EADS/Astrium Astrium J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 15 de 40
Los datos en bruto J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 16 de 40
Medidas realizadas Posiciones y brillos (10 medidas en cada observación) J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 17 de 40
Medidas realizadas Colores J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 18 de 40
Medidas realizadas Espectros y velocidades radiales J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 19 de 40
Procesado de datos en tierra J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 20 de 40
Procesado de datos en tierra Desafío o tecnológico y conceptual Debemos procesar unos 100TB de datos en bruto Con estrechas relaciones entre ellos: Imágenes medidas, catálogo, apuntado, calibraciones Usando algoritmos muy complejos Datos de entrada: ~1 billón (10 12 ) de imágenes No sólo es un problema de potencia de cálculo Espacio en disco, bases de datos extremadamente eficientes, sistemas de comunicación de alta capacidad y baja latencia Número de registros en BBDD (>1000 millones de entradas) Software rigurosamente controlado y de la más alta calidad Procesado de datos distribuido: DPAC J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 21 de 40
Procesado de datos en tierra Data Processing & Analysis Consortium 6 Centros de procesado de datos ESAC (Madrid), BD Principal BSC (Barcelona) CNES (Toulouse) ISDC (Geneva) IoA (Cambridge) OATo (Torino) ~450 especialistas Astrónomos, programadores, ingenieros, etc. J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 22 de 40
Procesado de datos en tierra Data Processing & Analysis Consortium Nueve Unidades de Coordinación (CUs): CU1: Arquitectura general CU2: Simulación de datos CU3: Núcleo de procesado CU4: Procesado de objetos CU5: Fotometría CU6: Espectroscopía CU7: Variabilidad CU8: Astrofísica CU9: Catálogo y explotación de datos J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 23 de 40
Procesado de datos en tierra DPAC desarrolla (y usa) código c libre /* * Copyright (C) Gaia Data Processing and Analysis Consortium * * This library is free software; you can redistribute it and/or modify it under * the terms of the GNU Lesser General Public License as published by the Free * Software Foundation; either version 2.1 of the License, or (at your option) * any later version. * * This library is distributed in the hope that it will be useful, but WITHOUT * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS * FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more * details. * * You should have received a copy of the GNU Lesser General Public License * along with this library; if not, write to the Free Software Foundation, Inc., * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA */ J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 24 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 Definición de las reglas generales para el desarrollo de software para Gaia/DPAC Lenguaje: Java Repositorio central de software: SubVersion Gestión de problemas y peticiones: Mantis BugTracker Estrategias de test (JUnit, Cobertura) Interfaces entre sistemas (modelo de datos) Interfaz entre centros: Aspera FDT (no libre) Formato de los datos (formato propio de ficheros: GBin) Motor de DB recomendado: Intersystems Caché (no libre) Librerías básicas de software: Apache, etc. Plantillas de documentación: LaTeX Utilidades, scripts Estrategia de procesado de datos: Trenes de datos J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 25 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 26 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 27 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 28 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 29 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de simulaciones: CU2 Generación de datos realistas Probar los sistemas antes del lanzamiento! Definición de modelos de Universo, de instrumento, etc. Gaia System Simulator (GASS): Versiones simplificadas del instrumento Generación de grandes volúmenes de datos Gaia Object Generator (GOG): Generación a distintos niveles de la cadena de procesado Gaia Instrument and Basic Image Simulator (GIBIS): Máximo realismo J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 30 de 40
Unidades de Coordinación n del Gaia DPAC Unidad de simulaciones: CU2 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 31 de 40
Unidades de Coordinación n del Gaia DPAC Procesado principal: CU3 Elemento clave en el procesado de datos de Gaia en tierra Obtención de los productos principales: Posiciones en la bóveda celeste Distancias (paralajes) Movimientos propios (en la bóveda, no radiales) ~50GB/dia (~500 millones de medidas), near-realtime Al término de los ~5 años de misión: 1.000.000.000.000 medidas de posiciones individuales 10.000.000.000 incógnitas Todas interconectadas determinación simultánea Solución global iterativa J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 32 de 40
Unidades de Coordinación n del Gaia DPAC Procesado principal: CU3 Créditos: B. Holl, L. Lindegren J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 33 de 40
Aplicación n a otros campos Conceptos Big Data en Gaia Adquisición de un montón de datos >1 billón (10 12 ) de imágenes y medidas Primer refinado básico (IDT) Parámetros de imagen, apuntado, identificación ~100.000 millones de registros Solución a partir del conjunto global (AGIS) ~1000 millones de registros Análisis e interpretación (CU7/8/9) Nuevas estrellas, asteroides, supernovas Diagramas astrofísicos Dinámica global de la Galaxia J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 34 de 40
En resumen Gaia: astrometría global de alta resolución Datos en gran volumen (~1PB) y número (~1 billón) Nuevas aproximaciones al problema Trenes de datos, compresión de datos, etc. Selección de tecnologías adecuadas Procurando usar software libre Desarrollo de software Licencia LGPL Rigurosos controles de calidad (>100 desarrolladores) Aplicación a otros campos Spin-off UB+UPC Publicación de datos y resultados Es investigación artículos, congresos, tesis Los datos serán públicamente disponibles (en su momento) J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 35 de 40
Revelando la historia dinámica y química de nuestra Galaxia http://gaia.ub.edu Gracias por su atención! n! Jordi Portell i de Mora jportell@am.ub.es