ÍNDICE 1 INTRODUCCIÓN DESARROLLO... 4

Transcripción

1 RADIO OBSERVATORIO DE JICAMARCA INSTITUTO GEOFÍSICO DEL PERÚ Herramientas para el procesamiento de datos GPS de la red LISN Juan Carlos Espinoza Guerra CIELO Proyecto LISN Marzo

2 RESUMEN Con el propósito de estudiar fenómenos ionosfericos, Low-Latitude Ionospheric Sensor Network (LISN) es una red de multi-instrumentos instalados en América del Sur como un observatorio distribuido. Todos los instrumentos (GPS, magnetómetros y ionosodas) envían datos a un servidor central donde son guardados y procesados para obtener resultados en tiempo casi-real. Los GPSs de la red LISN son de diferentes marcas y modelos, cada uno con su propio programa de adquisición que a su vez genera sus propios archivos binarios. Para leer estos archivos binarios se han desarrollado una serie de utilidades necesarias para el pre y post procesamiento de los datos. Todos los programas y scripts usados para este propósito se han desarrollado utilizando el lenguaje Python, y serán descritos en el presente trabajo. 2

3 ÍNDICE 1 INTRODUCCIÓN DESARROLLO Paquete gpsutils Módulos principales gpsprocess.py Rinex.py utility.py Otros módulos Otros archivos RESULTADOS CONCLUSIONES RECOMENDACIONES

4 HERRAMIENTAS PARA EL PROCESAMIENTO DE DATOS GPS DE LA RED LISN 1 INTRODUCCIÓN El desarrollo de estas herramientas surge como un complemento al desarrollo de la base de datos GPS realizado anteriormente, porque con este nuevo desarrollo se optimiza la generación de los archivos diarios que se publican en la página web (binarios, cintilaciones, posición, RINEX y TEC). Principalmente este trabajo consistió en la integración de todas las aplicaciones utilizadas por la base de datos (scripts en Python y programas en C y Fortran) en un sólo paquete para Python. 2 DESARROLLO Cuando se implementó la base de datos GPS de la red LISN se contaba con programas en lenguaje C para realizar las tareas de concatenación, decimado y conversión al formato RINEX de los archivos binarios Novatel (*.nvd) y LEICA (*.lb2), y también se tenía programas en Fortran para el cálculo de TEC. Por ello se desarrollaron scripts en Python que utilicen estos programas y finalmente generen los archivos diarios que son publicados en la base de datos. La descripción de cada uno de estos programas y scripts se encuentra en el reporte Base de datos GPS. SERVER Archivos de 15 minutos dailynvd.c & nvd2rinex2.c dailylb2.c & lb22rinex2.c BASE DE DATOS (Archivos diarios) Binarios (*.nvd, *.lb2, *.obs) Binarios (*.nvd, *.lb2) Posición (*pos.dat) Cintilaciones (*gps.dat) create_daily.py Posición (*.pos) Cintilaciones (*.scn) RINEX (*.yyd) daily_tec.py TEC (*.tec) gpselem.f tec_fromrt.f gpselaz.scpt concat.scpt PAGINA WEB (Graficos en real time) TEC (*.ps) concat_tec.f Figura 1 Programas y scripts utilizados por la base de datos GPS. Como se observa en la Figura 1, todo el procesamiento depende de varios programas (en diferentes lenguajes de programación) que complican el proceso de depuración y mantenimiento de los programas, por esta razón surge la idea de integrar 4

5 todos los programas involucrados con el procesamiento de datos GPS en un solo package y un solo lenguaje de programación: Python, de tal forma que nos facilite todas las tareas de procesamiento. SERVER Archivos de 15 minutos Binarios (*.nvd, *.lb2, *.obs) Posición (*pos.dat) Cintilaciones (*gps.dat) dailyfiles.py BASE DE DATOS (Archivos diarios) Binarios (*.nvd, *.lb2) Posición (*.pos) Cintilaciones (*.scn) RINEX (*.yyd) dailytec.py TEC (*.tec) gpsutils (Python Package) realtime_tec.py PAGINA WEB (Graficos en real time) TEC (*.png) Figura 2 Nuevos programas y scripts utilizados por la base de datos GPS. 2.1 Paquete gpsutils El paquete gpsutils contiene una serie de módulos que nos permiten realizar de manera práctica y eficaz el procesamiento de datos GPS, a continuación se describen sus principales características: Soporte para archivos binarios Novatel (*.nvd), tanto para los archivos de 15 minutos que llegan al servidor como para los archivos horarios que se guardan en las PC s locales. Soporte para archivos binarios LEICA (*.lb2), tanto para archivos id_37 que llegan al servidor como los archivos diarios que se guardan en las PC s locales. Soporte para archivos OBSERVABLES (*.obs) generados por el programa GPS-Scinda. Soporte para archivos ASCII de posición y cintilaciones. Conversión de todos los formatos binarios a RINEX versión 2.0. Módulo para lectura de archivos RINEX y cálculo del TEC. 5

6 gpsprocess.py Rinex.py utility.py Main Modules gpsutils init.py mycutils.pyc _mycutils.so Other Modules stations.dat leapseco.dat Other Files 2.2 Módulos principales gpsprocess.py Figura 3 Estructura del paquete gpsutils. Este módulo contiene todas las funciones y clases necesarias para realizar la concatenación, decimado y conversión a RINEX de los datos GPS. Varias de las funciones de este módulo están basadas en los antiguos programas en C que se muestran en la Figura 1. Para usar este módulo es necesario escribir un pequeño script que llame a las funciones necesarias para crear por ejemplo un archivo diario (concatenado y/o decimado) nvd. En nuestro caso utilizamos el script create_daily.py. Función cat_files nvd_to_rnx2 lb2_to_rnx2 obs_to_rnx2 Busca archivos binarios de un directorio, fecha y tipo especificados y crea un nuevo archivo binario decimado. Utiliza la clase decimate_file Lee un archivo binario Novatel y crea el correspondiente archivo en formato RINEX. Lee un archivo binario LEICA y crea el correspondiente archivo en formato RINEX. Lee un archivo observable y crea el correspondiente archivo en formato RINEX. Tabla 1 Principales funciones del modulo gpsprocess.py Clase decimate_file() Station(dict) mk_rinex() gpselem(dict) Crea un nuevo archivo binario decimado y permite agregar nuevos datos al archivo creado. Clase que busca el archivo stations.dat y crea un diccionario con información específica de una estación (códigos, tipo de receptor, ubicación, país, etc.) Clase utilizada por las funciones de conversión a formato Rinex. Contiene funciones que permiten crear la cabecera y líneas de satélites, y datos en formato Rinex. Clase que almacena la información contenida en los archivos almanac, comprende funciones para calcular la órbita de los satélites (elevación, azimut, latitud y longitud) para una ubicación específica. Tabla 2 Principales clases del modulo gpsprocess.py 6

7 2.2.2 Rinex.py Este módulo engloba funciones y clases para leer archivos en formato Rinex y guarda la información de los observables (Pseudoranges, Phases, Doppler Frequency y SNR) por satélite y frecuencia observada, también se guarda la información de la cabecera para ser utilizada posteriormente. El módulo soporta archivos en formato RINEX (estándar *.yyo) y CRINEX (con compresión hatanaka *.yyd), los cuales pueden incluso tener una segunda compresión (*.gz, *.tar.gz). Adicionalmente, la clase GPSdata tiene la función calctec que permite calcular el TEC (slant TEC y TEC equivalente). Este módulo está basado en el módulo gpsdata creado por Nick Matteo kundor@kundor.org read_rinex Función count_rinex Esta función lee un archivo en formato Rinex y crea un objeto del tipo GPSData con la información de los observables encontrados. Versión simplificada de read_rinex que solo cuenta el número de records que contiene el archivo, no crea el objeto GPSData. Tabla 3 Principales funciones del modulo Rinex.py Clase GPSData(list) SatBias(dict) LeapSeconds(dict) Objeto del tipo lista donde se almacenan los records, uno por cada tiempo de observación, con información de los observables encontrados por satélite. Tiene el atributo header con información de la cabecera del archivo. Esta clase busca los archivos *.dcb que contienen información del bias de los satélites y crea un diccionario con los valores del bias por satélite, sino encuentra los archivos intenta bajarlos del sitio ftp que provee la UNIBE (ftp.unibe.ch/aiub/code). Usa el archivo leapseco.dat para formar un diccionario con las fechas y los segundos intercalares, sino encuentra el archivo intenta bajar y actualizar el archivo desde la web. Tabla 4 Principales clases del modulo Rinex.py Función calctec Esta función pertenece a la clase GPSData y permite el cálculo del TEC a partir de los datos observables, esta función está basada en el programa tec_fromrt.f provisto por el Boston College. Las principales características de esta función son: Calcula el TEC relativo (utilizando los pseudoranges) y absoluto (utilizando las phases) por satélite. Calcula la elevación, azimut, latitud y longitud de cada satélite observado, utilizando la clase gpselem del módulo gpsprocess.py. Calcula el slant TEC. Corrige los saltos y valores erróneos encontrados en los datos. Corrige los cycle-slip encontrados. Estima el bias del receptor, minimizando la varianza del TEC equivalente entre las 3 y 6 a.m (hora local). Para la minimización se utiliza el método de Brent. Corrige el bias del receptor hallado de tal forma que el TEC equivalente sea siempre mayor a cero. 7

8 Finalmente calcula el TEC equivalente, por cada satélite, utilizando los bias calculados (satélite y receptor). Adicionalmente la clase GPSData también tiene funciones para calcular el TEC vertical total de una estación y guardar los diferentes parámetros calculados en un archivo ASCII utility.py El módulo Utility.py contiene diferentes clases y funciones utilizadas por los otros módulos. Principalmente se trata de utilidades matemáticas y de propósito general que pueden ser útiles en cualquier script. Función fitlin mnbrak brent mk_dir Ajusta una función lineal a N puntos. Clásica función que busca el rango donde se encuentra el mínimo de una función. Función que busca el mínimo de una función aplicando el método de Brent. Función para crear un directorio (recursivamente). Tabla 5 Principales funciones del módulo utility.py Clase Stats() open_file(object) set(list) Clase que calcula valores estadísticos de una lista (suma, promedio, varianza y desviación estándar) Utilidad para abrir y leer archivos. Versión simplificada de la función interna set(), se utiliza cuando los scripts corren en una versión de Python menor a la 2.4. Tabla 6 Principales clases del modulo utility.py 2.3 Otros módulos Adicionalmente el paquete gpsutils cuenta con otros módulos de inicialización y objetos, y librerías compartidas que completan el paquete. init.py: módulo de inicialización del paquete. mycutils.pyc y _mycutils.so: librería compartida en C, que puede ser importada directamente por Python, estas librerías han sido creadas con la aplicación swig ( y por ahora solo contiene una función para calcular el CRC32 de un bloque de datos. Se decidió utilizar esta librería ya que la ejecución de esta misma función en Python era demasiado lenta. 2.4 Otros archivos Finalmente el paquete gpsutils cuenta con dos archivos ASCII opcionales que brindan información adicional a los módulos. stations.dat: este archivo contiene información referente a cada estación el formato del archivo es como sigue: cada línea tiene los datos de una estación piu, piur, piurape, Novatel, , , 36.01, Piura, Peru, jic, jica, jicamar, Leica, , , , Jicamarca, Peru, en el siguiente orden y separado por comas: etiqueta, código, código antiguo, tipo de receptor, latitud, longitud, altura, nombre, país. 8

9 Figura 4 Ejemplo del archivo stations.dat con información de las estaciones: Piura y Jicamarca. leapsec.dat: este archivo contiene información actualizada de los segundos intercalares para ser comparados con los que vienen en las cabeceras de los archivos Rinex y corregirlos. 3 RESULTADOS Como resultado del trabajo se tiene una primera versión del paquete gpsutils, el cual nos facilita las tareas de procesamiento de los datos GPS de la red LISN. Las futuras actualizaciones se realizaran utilizando el sistema svn del ROJ. A continuación se muestra una comparación de algunos resultados que se obtienen con gpsutils y tec_fromrt para el caso del cálculo del TEC equivalente. gpsutils tec_fromrt 9

10 gpsutils tec_fromrt 4 CONCLUSIONES Figura 5 TEC obtenido con gpsutils y tec_fromrt. Los resultados del procesamiento generados con este paquete son comparables a los que se obtenían con los antiguos programas en C y Fortran, con la ventaja que las versiones en Python soportan más formatos y nos brindan más opciones. Este paquete incluso podrá ser utilizado por los usuarios LISN que requirieran herramientas para procesar datos binarios de GPS. 5 RECOMENDACIONES Incluir al paquete gpsutils las rutinas que se tienen para el ploteo de los diferentes parámetros GPS. 10

11 BIBLIOGRAFíA PRESS, W. H; Teukolsky, S. A; Vetterling, W. T and Flannery, B. P. Numerical Recipes in C. 2da. edición. Estados Unidos: Cambridge University Press, pp