Observatorios Virtuales

Transcripción

1 Observatorios Virtuales 1 Observatorios Virtuales 1. Introducción 2. Características de los VO 3. Alianza Internacional del Observatorio Virtual 5. Estado actual 2

2 1. Introducción Método tradicional de la Investigación Astronómica Grandes cambios en astronomía Métodos futuros de la Investigación Astronómica Nuevos requerimientos 3 1. Introducción Método tradicional de la investigación astronómica: Un solo astrónomo o un grupo pequeño de astrónomos llevan a cabo las labores de investigación Las investigaciones involucran observaciones y análisis de muestras pequeñas de objetos. Esta muestras deben estar cuidadosamente seleccionadas (a menudo con sesgos establecidos a priori ) Los estudios se llevan a cabo en una o unas pocas zonas del espectro electromagnético Inconveniente: Muchas cuestiones astrofísicas que requieren gran cantidad de datos para su resolución no pueden ser respondidas de esta forma 4

3 1. Introducción: Grandes cambios en astronomía: Telescopios: Grandes avances en su diseño y fabricación. (observatorios en el espacio, óptica activa y adaptiva) Grandes tamaños (D), Mejores resoluciones Nuevos rangos espectrales, etc. Detectores: Desarrollo de cámaras de gran tamaño que se corresponden con amplios FOV Construcción de detectores eficientes en otros rango espectrales Computadoras: Crecimiento exponencial de las capacidadses computacionales Mayor velocidad Procesamiento en paralelo Mayor capacidad de almacenamiento Comunicaciones: Expansión de internet Mayor cobertura Mayores velocidades 5 1. Introducción: Grandes cambios en astronomía: En líneas generales las consecuencias son: Gran aumento en la producción de datos Grandes facilidades de procesamiento 6

4 1. Introducción: Grandes cambios en astronomía: 1. Gran aumento en la producción de datos Observatorios en tierra y en el espacio Se colectan Gbytes/día (millones de objetos, cada uno con múltiples atributos) Se producen archivos de varios Tbytes (pronto del orden de varios Petabytes) en un variado rango de longitudes de onda Grandes surveys digitales: Estos se están convirtiéndose en la fuente principal de datos en Astronomía (> 100 TB), y creciendo rápidamente Bibliotecas digitales: ADS, astro-ph, NED, CDS, NSSDC 7 1. Introducción: Grandes cambios en astronomía: 1. Gran aumento en la producción de datos Inconvenientes La cantidad de datos se duplica cada año!! El crecimiento es tan rápido que la acumulación de datos excede la capacidad de las personas para analizarlos Ejemplos: HST: 5 Gbytes por día SDSS: 1000 DVDs 5 Tbytes Surveys futuros: Conjuntos de datos de órdenes de magnitud más grandes y más complejos (también más homogeneos) que en el pasado ( 10 Tbytes por día!!!) Comparaciones: Genoma Humano: < 1 GB, Biblioteca del Congreso de EE.UU.: ~ 20 TB 8

5 1. Introducción: Grandes cambios en astronomía: 2. Grandes facilidades de procesamiento Las computadoras ayudan en el almacenamiento de esa información Las computadoras tambien pueden ayudar a hacer un mejor uso de los datos: Posibilidad de manejarlos, a pesar de tratarse de muy grandes cantidades Examinarlos en una forma sistemática 1 Gbyte = 1024 Mbyte = 2 30 bytes 1 Tbyte = 1024 Gbyte = 2 40 bytes 1 Pbyte = 1024 Tbyte = 2 50 bytes 9 1. Introducción: Métodos futuros de la investigación astronómica Un grupo amplio de astrónomos se dedican a la realización de surveys (millones de objetos), a menudo en varias longitudes de onda y con observaciones en el dominio temporal Los surveys producen datos uniformes permitiendo mejores resultados en los estudios globales. Por ejemplo: Análisis estadístico de bases de datos Es posible descubrir patrones y comportamientos sistemáticos con poco o ningún sesgo. Confrontación de datos con simulaciones numéricas sofisticadas Mejor comprensión de sistemas astrofísicos complejos Esta metodología exige Nuevos Requerimientos 10

6 1. Introducción: Nuevos requerimientos Nuevas facilidades que permitan hacer más eficiente la adquisición, reducción y almacenamiento de datos Por ejemplo: Con una conexión ADSL de 20 Megas se tardarían mas de 18 días en bajar todos los datos del SDSS ( 1000 DVDs) Para descubrir nuevos fenómenos en estos conjuntos de datos se requerirá de: Acceso simultáneo a archivos en diferentes rangos espectrales Herramientas estadístico avanzadas de visualización y análisis Introducción: Nuevos requerimientos Se necesita una estructura que permita canalizar los requerimientos de los investigadores para poder trabajar con bases de datos extremadamente grandes. Esa estructura la proveen los Observatorios Virtuales Todos los datos y el conocimiento astronómico disponible para todos los astrónomos 12

7 Observatorios Virtuales 1. Introducción 2. Características de los VO 3. Alianza Internacional del Observatorio Virtual 5. Estado actual Características de los VO 2.1. Definición Un Observatorio Virtual es una colección de archivos de datos interactivos y de herramientas software que utilizan Internet para elaborar un ambiente de búsqueda científica en el que se puedan llevar a cabo diversos programas de investigación astronómica. Analogía: Un observatorio real es un conjunto de telescopios, cada uno con una colección única de instrumentos astronómicos Un observatorio virtual consiste en un conjunto de centros de datos, cada uno con una colección única de datos astronómicos, productos de software y capacidades de cálculo. 14

8 2. Características de un VO 2.2. Objetivos generales Un Observatorio Virtual pretende funcionar como: Parte esencial de las herramientas del astrónomo moderno Un catalizador para el acceso libre y mundial a archivos de datos astronómicos Un vehículo para la educación y difusión de la ciencia Un Observatorio Virtual NO es: Un sustituto para la construcción de nuevos telescopios e instrumentación Un repositorio centralizado de datos Una organización para el control de calidad de los datos Características de un VO 2.3. Propiedades generales 1. Conjunto de estándares internacionales De esta forma se posibilita el intercambio de datos de una forma uniforme 2. Capacidad de acceso A los diferentes conjuntos de datos de observatorios terrestres y espaciales A los catálogos de surveys realizados en varias longitudes de onda 3. Conjunto de herramientas modulares Para trabajar con datos distribuidos (p.e. hacer correlaciones y/o comparaciones entre diferentes fuentes de datos) Para lograr un ambiente sencillo para hacer públicos los datos astronómicos 4. Sistemas de extracción de la información 16

9 2. Características de un VO 2.3. Propiedades: Ejemplos Almacenamiento y transmisión de datos: Normalizar la forma en que los diferentes instrumentos publican sus datos Así solo se necesita un solo programa para acceder a ellos y no un programa diferente para cada instrumento Producción y análisis de los datos Homogeneizar las operaciones realizadas sobre los datos Así es posible comparar más facilmente resultados de diferentes fuentes. El registro de forma sistemática y estandarizada de las operaciones realizadas sobre los datos permite establecer la calidad de los mismos Características de un VO 2.3. Propiedades: Ejemplos Servicios de selección y cómputo La idea es minimizar el movimiento de la información, realizando los análisis con los ordenadores que poseen el acceso directo a los datos y bajar los resultados en lugar de bajar todo el volumen de datos y luego analizarlos. Para esto se debe disponer de programas que encuentren automáticamente relaciones entre conjuntos de datos diferentes ( Datamining ) Actualización permanentemente Este punto se refiere tanto a los datos como a los servicios proporcionados para trabajar con ellos, o incluso a los modelos teóricos para poder hacer comparaciones 18

10 2. Características de un VO Aplicaciones científicas: Ejemplos Obtención de la información de catálogos de gran escala en forma muy rápida Establecimiento de correlaciones estadísticas entre los datos Descubrimiento de nuevos patrones de datos y de nuevas variaciones temporales Comparación de los datos con simulaciones numéricas sofisticadas Características de un VO Los observatorios virtuales proporcionan nuevas oportunidades para el descubrimiento científico mediante la globalización de los datos y su análisis o más generalmente la información astronómica a nivel internacional 20

11 Observatorios Virtuales 1. Introducción 2. Características de los VO 3. Alianza Internacional del Observatorio Virtual 5. Estado actual Alianza Internacional del Observatorio Virtual (IVOA, International Virtual Observatory Alliance ): Existen diferentes proyectos de observatorios virtuales en el mundo: Argentina NOVA Europa: Astrophysical Virtual Observatory EE. UU.: National Virtual Observatory Reino Unido: AstroGrid Proyectos similares de otros países como China, Australia, Canada, Japón, India, Rusia y Corea 22

12 El IVOA asocia a todos los proyectos de VO con el fin de: poder coordinar sus esfuerzos normalizar los modelos de datos astrofísicos normalizar los protocolos de acceso (cómo conversan y se entienden las diferentes computadoras entre sí). 3. Alianza Internacional del Observatorio Virtual (IVOA, International Virtual Observatory Alliance ): Algunos ejemplos de modelos de datos por normalizar serían: Cómo se especifica y almacena el rango de frecuencias en el que opera el filtro del telescopio Cómo se proporcionan las coordenadas de un objeto celeste Cómo se proporciona la cantidad de luz que recibimos de un objeto. 23 Observatorios Virtuales 1. Introducción 2. Características de los VO 3. Alianza Internacional del Observatorio Virtual 5. Estado actual 24

13 4.1. Unificación de formatos: Formato FITS ( Flexible Image Transport System ): Este formato común que existe desde finales de los años 70s Es un formato exclusivo de la astrofísica Se encuentra lleno de modismos propios de cada instrumento: Puesto que los avances tecnológicos hicieron necesario añadir nuevas capacidades, muchas veces de forma independiente para instrumentos similares. Mientras el número de instrumentos y extensiones era manejable, la necesidad de que el formato de los archivos fuese realmente único era menor, ya que solo bastaba con el uso de las herramientas de manipulación de datos propias de cada instrumento. Estándars de un Observatorio Virtual: XML ( Extensible Markup Language ) SQL ( Structured Query Language ) Java ( Lenguaje de programación orientado a objetos ) Unificación de formatos: Formato XML: Características generales Es un estándar de comunicación ya utilizado a nivel de empresas y diseñando para describir datos (p.e.: una tabla) Este formato posee tags o marcas (similar al HTML) y permite especificar la función o el papel de cada uno de los datos Tiene la característica particular de ser relativamente facil de leer con un simple editor Ya existe multitud de herramientas que pueden manipular archivos XML (frente al formato FITS, que sólo puede ser manipulado por herramientas específicas) 26

14 4.1. Unificación de formatos: Formato XML: Características generales XML es muy flexible (p.e.: los tags no se hallan definidos) y una de las funciones de la IVOA es evitar inhomogeneidades que podrían surgir entre diferentes VOs. Por ejemplo: Unificar la forma de describir y comunicar datos astrofísicos Permitir la creación de programas que sirvan para múltiples instrumentos y rangos espectrales. Tablas de VO: VOTable Esta es la estandarización del XML para describir tablas astronómicas recomendada por el IVOA Unificación de formatos: Lenguaje SQL: Es un lenguaje diseñado para el acceso a bases de datos permitiendo especificar diversos tipos de operaciones. Astronomical Data Query Language : ADQL Esta es la estandarización del SQL para acceder a bases de datos astronómicas recomendada por el IVOA 28

15 4.1. Unificación de formatos: Lenguaje Java: Es un lenguaje de propósito general basado en clases y orientado a objetos y lo mas independiente posible de donde se ejecute Aplicaciones de VO Java es el lenguaje recomendado por el IVOA para realizar aplicaciones astronómicas que manejen datos de diferentes VO Análisis remoto: Ejemplo: Analizar todos los datos de un survey Solución tradicional: Bajar todos los datos Disponer de computadoras muy potentes para analizarlos en forma adecuada (mucho más potentes que PCs o workstations) Desventajas: No todo el mundo puede tener computadoras tan potentes Al trabajar con la base de datos fraccionada se pierden muchas posibilidades de encontrar relaciones entre los datos Solución con VO: Los datos viajan lo mínimo posible Se utilizan programas que permitan a los usuarios acceder a datos ya elaborados o realizar sus propias manipulaciones sobre los datos remotamente. Las manipulaciones quedan registradas de forma automática, de modo que quien utilice dichos datos sabrá qué es lo que se ha hecho exactamente con ellos. 30

16 4.2. Análisis remoto: "Red de computación": Esta consiste en permitir el acceso a los recursos de computación de la misma forma en que se accede a la red eléctrica (se está conectados a la red y se paga por su uso). Esto permite repartir las tareas de proceso, cuando sea necesario, a la red, y la propia tarea determinará el tipo de máquina o máquinas que necesite. De esa forma se pueden aprovechar recursos de super-computación disponibles en otro lugar sin tener que invertir en capacidad de cálculo adicional. Esto se complementa con la posibilidad de crear grandes sistemas de cómputo asociando muchos ordenadores pequeños, con lo que la capacidad de computación de "la red" se podría ampliar tanto como se quisiera Datamining ( Knowledge discovery in databases ): Con volúmenes de datos tan grandes, no sólo se vuelve difícil su tratamiento, sino también la extracción de resultados. El mejor detector de patrones es el cerebro humano... siempre que el conjunto de patrones por descubrir, o el ámbito en el que se busquen, sea reducido, porque si no llegan el cansancio y el aburrimiento, y se deja de ver coincidencias. Si se quiere buscar en grandes bases de datos se necesitan computadoras El datamining pretende encontrar conexiones entre diferentes variables, que muchas veces no son evidentes 32

17 4.3. Datamining: Definición Se denomina así al conjunto de técnicas automáticas o semiautomáticas que permiten la extracción de información escondida en grandes bases de datos. (Por ejemplo: reglas, regularidades, patrones, restricciones, etc.) Dicha información debe ser: No trivial Implícita Previamente desconocida Potencialmente util (puede depender de los intereses de la persona) Datamining: Procedimientos Son los métodos o técnicas que permiten hallar nuevos fenómenos y relaciones entre los datos. Se utilizan técnicas clásicas de inteligencia artificial como: redes neuronales análisis de probabilidad, basadas en el entrenamiento de un programa para reconocer los patrones que queremos encontrar y clasificarlos con una posibilidad de error que se desea minimizar. Algunas de esas técnicas permiten localizar objetos exóticos o inusuales que no se ajustan a ninguna clasificación particular, por lo que se espera que se puedan realizar nuevos descubrimientos aplicando esas técnicas a los datos ya existentes. 34

18 4.3. Datamining y VO El VO pretende utilizar los avances generales disponibles en Datamining, creando herramientas específicas de la astrofísica. 35 Observatorios Virtuales 1. Introducción 2. Características de los VO 3. Alianza Internacional del Observatorio Virtual 5. Estado actual 36

19 5. Estado actual 5.1. Introducción Los principales centros de datos astronómicos internacionales se esfuerzan por dar más visibilidad a sus bases de datos y desarrollan descripciones detalladas de sus contenidos Existen numerosas bases de datos interconectadas Se han desarrollado múltiples aplicaciones que permiten acceder y analizar datos y bibliografía Estado actual: 5.2. Herramientas de VO El IVOA y varios VO individuales ofrecen diversas herramientas (aplicaciones) para llevar a cabo diferentes tareas vinculadas con el análisis de datos astronómicos Ellas permiten realizar: Búsqueda, visualización y/o análisis de imágenes, espectros o catálogos Correlación cruzada de datos de diferentes catálogos Diferentes tipos de gráficos e histogramas Análisis estadísticos Ajustes de curvas Comparación de datos con modelos físicos 38

20 Observatorios Virtuales 1. Introducción 2. Características de los VO 3. Alianza Internacional del Observatorio Virtual 5. Estado actual 39 Astronomía Observacional: Facilidades Observacionales Facilidades Observacionales Facilidades en Argentina Casleo Gemini Observatorio de La Plata Observatorio de Córdoba Facilidades en el Exterior El Telescopio Espacial Hubble. Su base de datos Observatorios en el Sur (Las Campanas, CTIO, ESO, etc.) Observatorios en el Norte (Canarias, Hawai, etc.) 40