Aprendiendo a usar el Sloan Digital Sky Survey (SDSS) Tutorial de SQL: Buscando Información en el SkyServer. Néstor Espinoza (nsespino@uc.

Transcripción

1 Aprendiendo a usar el Sloan Digital Sky Survey (SDSS) Tutorial de SQL: Buscando Información en el SkyServer Néstor Espinoza (nsespino@uc.cl) 9 de julio de 2010

2 0.1. Sobre el Sloan Digital Sky Survey (SDSS) El Sloan Digital Sky Survey (SDSS) es un proyecto que nace el año 2000, el cual busca medir el corrimiento al rojo de objetos astronómicos (redshift) 1 a través de espectros e imágenes, el cual es realizado con un telescopio óptico de 2,5 metros de diámetro en el observatorio Apache Point en Nuevo México. El telescopio contiene una serie de cámaras CCD que toman imágenes en cinco filtros (llamados u,g,r,i y z respectivamente), las cuales han obtenido datos de más de 2 millones de objetos aproximadamente y espectros de mas de 800,000 galaxias y 100,000 quasares. Hasta ahora, el proyecto ha cubierto aproximadamente un cuarto del cielo en su exploración. Los datos del SLOAN son de libre acceso a través de su servidor web, el Skyserver 2. Tanto las imágenes como los espectros de los objetos estan disponibles para ser descargados, siempre y cuando su uso sea no comercial. El siguiente documento tiene como motivación los proyectos del SDSS publicados en su página web 3 los cuales han sido modificados para el habla hispana a través de la página web de Bling Bling Universe ( aunque el uso del mismo puede ser mucho más amplio. Nota: Éste es un tutorial paso a paso para aquellas personas que son nuevas al SQL. Si ya posees nociones sobre SQL y quieres una introducción mas profunda de como el SQL se aplica al SkyServer, ve el tutorial (en inglés) Using SQL with SkyServer 4. Otra manera para aprender SQL es modificar y enviar consultas (querys) que otra gente ya ha escrito. Para saltar directamente a modificar solicitudes escritas por científicos, ve las que estan escritas en el siguiente link 5. 1 El corrimiento al rojo se refiere a cuánto se están moviendo los objetos de nosotros, según nuestro sistema inercial en la Tierra. Ésto posee componentes dadas por el Efecto Doppler, como también correspondientes a la expansión del universo. Más información: help.asp 5 1

3 0.2. Introducción Al entrar al mundo de la astronomía muchas preguntas pueden ser respondidas si se tienen los datos correctos ó, por decirlo así, los que uno quiere obtener. La gran pregunta es, cómo obtener los datos correctos? O en otras palabras, cómo puedo obtener los datos que yo quiero obtener? El SDSS posee millones de datos sobre muchos objetos, pero necesitamos, de alguna manera, comunicarnos con el lugar en donde se encuentran esos datos para que nos entregue todos los que necesitamos. Por ejemplo, supongamos que observamos una región del cielo con algún catálogo. Si nos interesa el objeto que estamos observando, quizá nos gustaría saber mas de él, por lo que podríamos ir al SDSS y preguntarle Quiero saber la magnitud y tener el espectro del objeto que se encuentra en tal región del cielo y él debería devolvernos la magnitud y el espectro de el (los) objeto(s) que se encuentra(n) en esa región del cielo (en éste caso, tendríamos que entregarle las coordenadas en RA y DEC ). El lugar al que debemos pedirle los datos es llamada la Base de Datos. La base de datos del SDSS tiene una forma propia para organizar sus datos tal como nosotros tenemos nuestros cuadernos y libros ordenados para buscar información si es que la necesitamos. Si alguna vez queremos compartir material de estudio, por ejemplo, simplemente recomendamos el libro y la página del mismo. Ahora bien, puede que una persona que use mucho un computador no necesite libros y tenga toda la información guardada en un archivo de texto, como puede que otras personas deseen guardar toda su información en CDs, etc. Todas son distintas formas de organizar la información: El SDSS tiene una propia. Por ejemplo, y como mencionamos, en el caso en el que las personas deseen buscar información, tendremos distintas formas de hacerlo: Si tenemos libros y cuadernos miraremos sus tapas e índices para observar los tópicos tratados en ellos, si queremos buscar la información en un computador, la buscamos con el buscador integrado que tienen todos los sistemas operativos con palabras clave y si la información está guardada en CDs miraremos las carátulas de cada uno de ellos para saber donde se encuentra la información que buscamos. Para buscar en el SDSS (o como usaremos de ahora en adelante para consultarle a la base de datos del SDSS ) necesitamos un lenguaje que nos pueda comunicar con la base de datos, un lenguaje que ella entienda. Éste lenguaje es llamado el Structured Query Languaje (Lenguaje de Consulta 6 Estructurado) o mejor conocido como SQL. 6 Una consulta (o query, en inglés) es algo así como un formulario que debemos llenar para que se nos entregue la información que queremos. Cuando vamos a una biblioteca usualmente el mediador entre nosotros y el bibliotecario es un papelito en el que indicamos el nombre del autor, el nombre del libro y la edición que queremos del libro. Pues bien, el mediador entre nosotros y la base de datos son las consultas. 2

4 0.3. La estructura de una consulta Como las consultas que necesitamos hacerle a la base de datos son un poco complicadas (dado que necesitamos, muchas veces, dar parámetros numéricos como por ejemplo quiero solo los datos que sean mayores a tal número y a la vez menores a tal número ) el lenguaje tiene que ser lo mas simple y específico posible. Y así es. Al hacer una consulta a la base datos del SDSS a través del SQL, necesitamos darle la información correspondiente a tres preguntas: Que queremos obtener? La base de datos necesita saber lo que queremos obtener: Magnitudes?, RA?, DEC?, tipo del objeto?, redshift? De donde queremos sacar la información que queremos buscar? La base de datos del SDSS tiene organizada toda la información de un objeto, pero la tiene organizada en distintos archivos dentro de la base de datos. Por ejemplo, existe un archivo en donde solo se guarda la información correspondiente a los espectros de los objetos (como su redshift, por ejemplo), otro archivo donde solo se guarda información sobre la imágen del objeto (como sus magnitudes), etc. Debemos decirle a la base de datos de que archivos queremos obtener la información. Ésto es análogo al caso de las bibliotecas, en las cuales distintos sectores estan ordenados por distintos tópicos generales (por ejemplo, no podría encontrar un libro de electrónica fundamental en la sección Historia de Chile en una biblioteca). Que parámetros deben cumplirse? La base de datos del SDSS debe saber bajo que parámetros debe regirse, esto es, si estamos buscando dentro de una cierta región del cielo (por ejemplo, Quiero información de objetos que esten entre los 120 de RA y los 122 de RA ), si solo queremos que nos muestre galaxias dentro de esa región del cielo, magnitudes dentro de ciertos rangos, etc. Claramente, el SQL como lo dice su nombre es un lenguaje de consulta estructurado por lo que no podemos decirle de buenas a primeras, con nuestras palabras, lo que queremos. Necesitamos entender su lenguaje. 3

5 0.4. El lenguaje de las consultas Pues bien, ya tenemos la idea general de como se estructura una consulta, pero debemos entender cómo es el lenguaje para hacer las consultas. Las consultas son hechas en la dirección La idea es llenar el formulario que aparece allí con la información que queremos obtener del SDSS. El lenguaje es bastante simple pues sigue la misma estructura expuesta anteriormente, tal como se puede apreciar en la tabla siguiente, es como aprender a hablar en otro idioma : Pregunta en nuestro lenguaje Qué queremos obtener? De que archivos? Bajo que parámetros? Pregunta en el lenguaje SQL SELECT De éste modo, si llenamos el formulario siempre debería quedar estructurado de la siguiente manera: SELECT (Aquí ponemos lo que queremos obtener separado por comas) (Aquí ponemos los nombres de los archivos de donde queremos obtener la información, también separados por comas) (Aquí ingresamos los parámetros numéricos de búsqueda) 4

6 0.5. Buscando en la base de datos Para enviar consultas a la base de datos, primero debemos saber que archivos contiene la base de datos. En realidad, estos archivos son tablas de datos (algo así como la forma que tiene una tabla de datos de Excel, con columnas y filas) por lo que debemos saber exactamente lo que buscamos para poder encontrar la tabla correspondiente. En el Schema Browser 7 podemos buscar para encontrar en que tablas se encuentran ciertos datos que queremos. Por ejemplo, existe la tabla PhotoObj 8 la cual contiene datos sobre la imágen de distintos objetos, como su magnitud, su código de identificación 9, etc. Para buscar la tabla PhotoObj, hacemos clic en el signo + al lado de Views (menú de la izquierda) y busque en la lista la tabla. Luego hacemos clic en ella y apareceran todos los datos que contiene la tabla. Estos datos son los que debemos poner con comas bajo SELECT en la estructura mencionada en la sección anterior. Las tablas por su parte, se ponen bajo en la estructura mencionada. Supongamos que queremos que la base de datos nos entregue, de la tabla PhotoObj, el código de identificación del objeto (objid), la RA, la DEC y las magnitudes u,g,r,i y z de todos los objetos que esten entre las RA 156 y y los valores para DEC de 60 y Al escribir la consulta en el lenguaje SQL tendríamos que el código correspondiente es: SELECT objid,ra,dec,u,g,r,i,z PhotoObj ra BETWEEN 156 and AND dec BETWEEN 60 and 60.5 Obsérvese que bajo SELECT está todo lo que queremos obtener: El código de identificación del objeto (objid), la RA, la DEC y las magnitudes en u,g,r,i y z. Bajo está la tabla de donde queremos estos archivos y bajo se encuentran los parámetros numéricos. Obsérvese que la sintaxis de éste es muy simple si tenemos un poco de conocimiento en inglés (BETWEEN traducido al español es ENTRE): Cada vez que queramos definir un nuevo parámetro, debe ir separado de la palabra AND, si queremos que se cumplan ámbos parámetros, de la palabra OR si queremos que se cumpla uno ó el otro o de la palabra NOT para que NO se cumpla un parámetro. Ahora si escribimos este código en la página en donde se deben escribir las consultas 10 y luego hacemos click en Submit seremos enviados a una página en donde aparecen todos los datos pedidos tabulados. Obsérvese que bajo la columna RA y DEC efectivamente podemos comprobar que se cumple nuestra petición: Todas las RA y las DECs Todo objeto en el cielo para el SDSS tiene su código de identificación. Es como el número de identificación de cada persona, o el RUT, en Chile, pero ésto es para objetos astronómicos

7 están entre los parámetros numéricos dados bajo en el código. A continuación están tabulados datos que podrían ser útiles para crear solicitudes: Dato Tabla Descripción objid PhotoObj Nos entrega el código de identificación del objeto. RA PhotoObj Nos entrega la coordenada correspondiente a la Ascención Recta (RA). DEC PhotoObj Nos entrega la coordenada correspondiente a la Declinación (DEC). u PhotoObj Nos entrega la magnitud correspondiente al filtro u. g PhotoObj Nos entrega la magnitud correspondiente al filtro g. r PhotoObj Nos entrega la magnitud correspondiente al filtro r. i PhotoObj Nos entrega la magnitud correspondiente al filtro i. z PhotoObj Nos entrega la magnitud correspondiente al filtro z. type PhotoObj Nos entrega el tipo del objeto a través de un número basado en mediciones de la imágen. Los dos valores mas importantes son: 3 cuando el objeto es una galaxia y 6 cuando el objeto es una estrella. Los demas valores se pueden encontrar en la página de la tabla 11. bestobjid SpecObj Nos entrega el código de identificación del objeto (correspondiente al ObjId de la tabla PhotoObj). z SpecObj Nos entrega el valor del redshift del objeto. zerr SpecObj Nos entrega el error al obtener el redshift (así entonces el valor del redshift del objeto será z ± zerr). zconf SpecObj Confianza estadística del valor obtenido del redshift. specclass SpecObj Clasificación espectral del objeto (1 = estrella, 2 = galaxia, 3 = quasar, 4 = quasar de alto redshift, etc). Puedes encontrar mas información en la página de specclass 12. ObjType SpecObj Nos entrega el tipo del objeto a través de un número basado en mediciones del espectro. Los valores se pueden encontrar en la página de ObjType 13. Tabla 1: La tabla presenta en la primera columna el dato a buscar (el que va siempre bajo SELECT), en la siguiente columna la tabla en la que se encuentra ese dato (lo que va siempre bajo ) y en la tercera columna una descripción del dato. Para buscar mas datos y tablas, es posible buscarlas, como se mencionó anteriormente en el Schema Browser. 6

8 0.6. Usando múltiples tablas a la vez Ya estamos casi preparados para buscar información en el SDSS y responder miles de preguntas astronómicas. Solo nos queda generalizar lo aprendido para usar muchas tablas a la vez, pues, por ejemplo, cómo podríamos obtener el valor del redshift y su respectivo error de los objetos que encontramos antes en la región del cielo entre las RA 156 y y los valores para DEC de 60 y 60.5? Pues bien, aunque a primera vista sea algo complicado, el siguiente código lo hace: SELECT PhotoObj.objID,PhotoObj.ra,PhotoObj.dec,PhotoObj.u,PhotoObj.g,PhotoObj.r, PhotoObj.i,PhotoObj.z,SpecObj.z,SpecObj.zErr PhotoObj,SpecObj SpecObj.BestObjId = PhotoObj.ObjID AND PhotoObj.ra BETWEEN 156 and AND PhotoObj.dec BETWEEN 60 and 60.5 Observese que ahora cada dato debe ser puesto de la forma tabla.dato, de esta manera en el código escribimos SpecObj.z para referirnos al valor del redshift (z) que es sacado de la tabla SpecObj. Ésto es fácil, pero, por qué en el código sale SpecObj.BestObjId = PhotoObj.ObjID? Pues éste es un tema interno del SDSS: Ámbos datos, el BestObjId en la tabla SpecObj y ObjID en la tabla PhotoObj deben ser iguales para que sepamos de que hablamos del mismo objeto. Observemos que aquí ocupamos el símbolo =. Existen muchos otros operadores que pueden ser usados para representar igualdades y desigualdades, asi como también las operaciones suma (+), resta (-), multiplicación (*) y división (/) que nos pueden ser útiles para definir ciertos parámetros (una lista de parámetros matemáticos que se pueden usar se encuentran en la página Manual/sql/functions-math.html). En la siguiente tabla se enlistan los operadores condicionales que pueden ser usados al crear una solicitud: Operador Significado = Igual a > Mayor que < Menor que >= Mayor o igual que <= Menor o igual que <> No es igual a Por ejemplo, si quisieramos buscar solo las estrellas muy azules en los datos anteriores, que en astronomía se definen si el valor de u-g<0.5, tendríamos que escribir el siguiente código: 7

9 SELECT PhotoObj.objID,PhotoObj.ra,PhotoObj.dec,PhotoObj.u,PhotoObj.g,PhotoObj.r, PhotoObj.i,PhotoObj.z,SpecObj.z,SpecObj.zErr PhotoObj,SpecObj PhotoObj.u-PhotoObj.g < 0.5 AND PhotoObj.type = 6 AND SpecObj.BestObjId = PhotoObj.ObjID AND PhotoObj.ra BETWEEN 156 and AND PhotoObj.dec BETWEEN 60 and 60.5 Obsérvese que en el código expuesto pusimos PhotoObj.type = 6, por qué?, qué nos dicen los datos obtenidos al ejecutar dicha solicitud? 14 Si nos ponemos a analizar la cantidad de datos que obtuvimos al agregar a la solicitud SpecObj.BestObjId = PhotoObj.ObjID comparado con la cantidad de datos obtenida mas arriba (cuando buscamos solo las magnitudes de los objetos) la primera cantidad es muy baja, por qué? Si quitamos del código la parte SpecObj.BestObjId = PhotoObj.ObjID y solicitamos los datos a la base de datos, observamos que muchos códigos de identificación distintos parecen tener el mismo redshift y el mismo error en el redshift... qué sucede? Pues muchos de los datos cubiertos en el área dada simplemente no poseen espectros, por lo que su redshift no puede ser calculado y el valor de algun objeto que si lo tenga y este cerca es copiado 15. Como podemos observar, es una buena forma de ver que objetos poseen espectros. Ahora bien, de los objetos que poseen espectros, cómo podemos saber que objetos son? Pues simplemente agregando que nos entregue, además de los datos anteriores, el número del tipo del objeto: SELECT PhotoObj.objID,PhotoObj.ra,PhotoObj.dec,PhotoObj.u,PhotoObj.g,PhotoObj.r, PhotoObj.i,PhotoObj.z,SpecObj.z,SpecObj.zErr,PhotoObj.type PhotoObj,SpecObj SpecObj.BestObjId = PhotoObj.ObjID AND PhotoObj.ra BETWEEN 156 and AND PhotoObj.dec BETWEEN 60 and 60.5 Finalmente podemos concluir que tenemos espectros de 9 objetos: 6 de esos objetos son galaxias y 3 estrellas (azules). Puedes confirmar visualmente que estas 3 estrellas son realmente azules y que los 6 objetos son realmente galaxias? 16, 14 Al poner PhotoObj.type = 6 en el código nos aseguramos de que solo se nos mostrarán estrellas en los datos. Los resultados de la solicitud, por otro lado, nos indican que hay 3 estrellas azules en la región que poseen espectros. 15 Puedes observar el área en el cielo observada en la página poniendo en ra y en dec y luego haciendo click en Get Image. Tendrás una imágen de la región del cielo, y podrás ir haciendo click a los objetos. Puedes reconocer alguno de los que te entrega la base de datos? 16 Usa la Navigation Tool con las coordenadas de su RA y su DEC 8

10 Puedes encontrar mas estrellas azules en la región? Que deberías hacer para ello? Para hacerlo debes quitar la parte SpecObj.BestObjId = PhotoObj.ObjID del código que usaste para encontrar estrellas azules además de borrar, bajo SELECT, las magnitudes y los valores de los redshift, ya que no los necesitarás. Puedes confirmar visualmente si algunas son realmente azules? 9

11 0.7. A buscar se ha dicho! Ya posees todas las herramientas necesarias para comenzar tu búsqueda en el SDSS, ocúpalas! Si tienes cualquier duda, no dudes en enviar un al autor de éste documento: nsespino@uc.cl Además recuerda los siguientes útiles links del SDSS: Buscador en base a SQL: El Schema Browser : La Navigation Tool : 10