Cartografiando la Galaxia

Transcripción

1 Cartografiando la Galaxia El procesado de datos de la misión Gaia Dr. Jordi Portell i de Mora Universitat de Barcelona (UB) Institut d Estudis Espacials de Catalunya (IEEC) Institut de Ciències del Cosmos (ICCUB) Jornadas SIG Girona, 27-Marzo-2014

2 La misión Gaia J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 2 de 40

3 Introducción n a Gaia Objetivos Satélite científico de la Agencia Espacial Europea Lanzado el 19 de Diciembre de 2013 Sucesor de Hipparcos Censo 3-D más completo y preciso de nuestra Galaxia >1000 millones de estrellas! (~1% de la Via Láctea) Posiciones, distancias (paralaje), velocidades, fotometría, espectroscopía... Operación autónoma: observará todo lo que pase por su campo de visión Astrometría Global desde el Espacio J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 3 de 40

4 Introducción n a Gaia Precisión Precisión nominal: 25μas 1/ de grado ~11 años luz ( km) A Plutón (5.3 horas luz): 700m A Próxima Centauri (4.2 años luz): 4800km Evolución de la precisión: Hiparco de Nicea (150 a.c.): 16 arcmin diámetro de la Luna Tycho Brahe (1600): 30 arcsec 50km sobre la Luna Hipparchos (1990): 1 mas hombre sobre la Luna Gaia (2015): 25 uas pelota de golf sobre la Luna J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 4 de 40

5 Introducción n a Gaia Catálogo J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 5 de 40

6 Introducción n a Gaia Catálogo J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 6 de 40

7 Funcionamiento e instrumentación J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 7 de 40

8 El satélite Órbita y ley de barrido 150x10 9 km ~1.5x10 9 km ~45º J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 8 de 40

9 El satélite Visto desde la Tierra... J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar-14 9 de 40

10 El satélite El plano focal de Gaia: Gigapíxel! 106 CCDs, 938 million pixels, cm cm 42.35cm Blue Photometer CCDs Red Photometer CCDs Radial Velocity Spectrometer CCDs Sky Mapper CCDs Astrometric measurements (AF CCDs) Movimiento aparente de las imágenes Créditos: ditos: A. Short, O. Martínez J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

11 El satélite El plano focal de Gaia: Gigapíxel! Créditos: ESA, EADS/Astrium Astrium J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

12 El satélite Necesidades de procesado 106 CCDs, ~9 Megapíxeles cada uno, modo TDI ~ valores de 16 bits leídos cada milisegundo Lectura completa del plano focal: 3.5 Gbps! Observaciones selectivas: ventanas alrededor de detecciones ~7Mbps para detectores + ~2Mbps en promedio (a bordo) Procesado de datos a bordo (PDHS) de alto rendimiento 7 VPUs concurrentes (PowerPC 600MHz) Condiciones muy variables: De ~50 a >10000 estrellas/s Compresión de datos Algoritmo a medida J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

13 El satélite Comunicaciones Cebreros (cerca de Madrid) New Norcia (Australia) Malargüe (Argentina) Descarga: ~7 Mbps, 8h/día 25GB diarios (comprimidos) ~100TB en total J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

14 El satélite Estructura instrumental Créditos: ESA, EADS/Astrium Astrium J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

15 Elementos del satélite Pruebas finales Créditos: ESA, EADS/Astrium Astrium J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

16 Los datos en bruto J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

17 Medidas realizadas Posiciones y brillos (10 medidas en cada observación) J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

18 Medidas realizadas Colores J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

19 Medidas realizadas Espectros y velocidades radiales J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

20 Procesado de datos en tierra J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

21 Procesado de datos en tierra Desafío o tecnológico y conceptual Debemos procesar unos 100TB de datos en bruto Con estrechas relaciones entre ellos: Imágenes medidas, catálogo, apuntado, calibraciones Usando algoritmos muy complejos Datos de entrada: ~1 billón (10 12 ) de imágenes No sólo es un problema de potencia de cálculo Espacio en disco, bases de datos extremadamente eficientes, sistemas de comunicación de alta capacidad y baja latencia Número de registros en BBDD (>1000 millones de entradas) Software rigurosamente controlado y de la más alta calidad Procesado de datos distribuido: DPAC J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

22 Procesado de datos en tierra Data Processing & Analysis Consortium 6 Centros de procesado de datos ESAC (Madrid), BD Principal BSC (Barcelona) CNES (Toulouse) ISDC (Geneva) IoA (Cambridge) OATo (Torino) ~450 especialistas Astrónomos, programadores, ingenieros, etc. J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

23 Procesado de datos en tierra Data Processing & Analysis Consortium Nueve Unidades de Coordinación (CUs): CU1: Arquitectura general CU2: Simulación de datos CU3: Núcleo de procesado CU4: Procesado de objetos CU5: Fotometría CU6: Espectroscopía CU7: Variabilidad CU8: Astrofísica CU9: Catálogo y explotación de datos J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

24 Procesado de datos en tierra DPAC desarrolla (y usa) código c libre /* * Copyright (C) Gaia Data Processing and Analysis Consortium * * This library is free software; you can redistribute it and/or modify it under * the terms of the GNU Lesser General Public License as published by the Free * Software Foundation; either version 2.1 of the License, or (at your option) * any later version. * * This library is distributed in the hope that it will be useful, but WITHOUT * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS * FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more * details. * * You should have received a copy of the GNU Lesser General Public License * along with this library; if not, write to the Free Software Foundation, Inc., * 51 Franklin Street, Fifth Floor, Boston, MA USA */ J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

25 Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 Definición de las reglas generales para el desarrollo de software para Gaia/DPAC Lenguaje: Java Repositorio central de software: SubVersion Gestión de problemas y peticiones: Mantis BugTracker Estrategias de test (JUnit, Cobertura) Interfaces entre sistemas (modelo de datos) Interfaz entre centros: Aspera FDT (no libre) Formato de los datos (formato propio de ficheros: GBin) Motor de DB recomendado: Intersystems Caché (no libre) Librerías básicas de software: Apache, etc. Plantillas de documentación: LaTeX Utilidades, scripts Estrategia de procesado de datos: Trenes de datos J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

26 Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

27 Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

28 Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

29 Unidades de Coordinación n del Gaia DPAC Unidad de arquitectura general: CU1 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

30 Unidades de Coordinación n del Gaia DPAC Unidad de simulaciones: CU2 Generación de datos realistas Probar los sistemas antes del lanzamiento! Definición de modelos de Universo, de instrumento, etc. Gaia System Simulator (GASS): Versiones simplificadas del instrumento Generación de grandes volúmenes de datos Gaia Object Generator (GOG): Generación a distintos niveles de la cadena de procesado Gaia Instrument and Basic Image Simulator (GIBIS): Máximo realismo J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

31 Unidades de Coordinación n del Gaia DPAC Unidad de simulaciones: CU2 J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

32 Unidades de Coordinación n del Gaia DPAC Procesado principal: CU3 Elemento clave en el procesado de datos de Gaia en tierra Obtención de los productos principales: Posiciones en la bóveda celeste Distancias (paralajes) Movimientos propios (en la bóveda, no radiales) ~50GB/dia (~500 millones de medidas), near-realtime Al término de los ~5 años de misión: medidas de posiciones individuales incógnitas Todas interconectadas determinación simultánea Solución global iterativa J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

33 Unidades de Coordinación n del Gaia DPAC Procesado principal: CU3 Créditos: B. Holl, L. Lindegren J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

34 Aplicación n a otros campos Conceptos Big Data en Gaia Adquisición de un montón de datos >1 billón (10 12 ) de imágenes y medidas Primer refinado básico (IDT) Parámetros de imagen, apuntado, identificación ~ millones de registros Solución a partir del conjunto global (AGIS) ~1000 millones de registros Análisis e interpretación (CU7/8/9) Nuevas estrellas, asteroides, supernovas Diagramas astrofísicos Dinámica global de la Galaxia J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

35 En resumen Gaia: astrometría global de alta resolución Datos en gran volumen (~1PB) y número (~1 billón) Nuevas aproximaciones al problema Trenes de datos, compresión de datos, etc. Selección de tecnologías adecuadas Procurando usar software libre Desarrollo de software Licencia LGPL Rigurosos controles de calidad (>100 desarrolladores) Aplicación a otros campos Spin-off UB+UPC Publicación de datos y resultados Es investigación artículos, congresos, tesis Los datos serán públicamente disponibles (en su momento) J. Portell Gaia, cartografiando la Galaxia VIII SIG Libre Girona 27-Mar de 40

36 Revelando la historia dinámica y química de nuestra Galaxia Gracias por su atención! n! Jordi Portell i de Mora jportell@am.ub.es