APACH Control Quality Climate Data - Web Tool Version del documento 2.0 Jean-Philippe Boulanger IRD
Instructivo para el uso del sistema Dirección de internet del Sistema APACH La dirección de internet es: http://chac.cima.fcen.uba.ar:9090/apach2/login.jsp Registración al sistema Pantalla inicial para el ingreso al sistema. Debe utilizar el usuario y contraseña brindada para el servicio. Al ingresar, el menu incial del sistema presenta las siguientes opciones : Al selección el menu de base de datos, se accede a las siguientes opciones :
La opción de Crear Base de Datos, permite dar de alta una base de datos de estaciones climáticas con sus respectivas mediciones diarias de temperatura, precipitación, viento, radiación. ( El formato de archivo se explica detalladamente en una sección del documento ). Al seleccionar el tilde procesar matriz matlab, permite generar el input para los algoritmos de control de calidad. El proceso de generación de esta matriz tiene en este momento una duración 3 veces mayor que el ingreso de la información en el motor de bases de datos relación.
La opción de Listar bases de datos, permite elegir las opciones que se pueden realizar. Las opciones que se brindan sobre una base de datos son las siguienetes : ( La opción Exportar en CSV exporta la base de datos en el formato APACH2 ) ( La opción Matlab exporta la base de datos en el Formato Binario Matlab con las variables : nstat (cantidad de estaciones), station <1xnstat cell>, database <1xnstat cell> )
Si el estado de la base de datos es PROCESADO CON ERRORES en la opcion Log figura el error que se produjo en el procesamiento del archivo de entrada. En el menu principal se encuentra la opción para realizar controles de calidad sobre las bases de datos ingresadas. Para realizar dichos controles tanto de temperatura, como de precipitacion tiene que encontrarse la matriz matlab generada sobre dicha base de datos ( permitiendo que aparezca en el combo la base de datos en cuestión ). Se puede seleccionar el tipo de control de calidad a realizar : Temperatura y Precipitación.
Al listar los controles de calidad se puede acceder a las opciones : Las opciones del Control de Calidad son las siguientes :
En la opción Resultados QCP se listan las mediciones que los test marcan que son probables de tener que ser analizadas. Los resultados se muestran paginados, y se pueden exportar en formato csv. Accediendo a la opción Etapas QCP se accede a las etapas efectuadas por el control de calidad. Tanto de temperatura, como precipitación. Temperatura:
Precipitación: En la opción Ventana Diaria se visualiza la medición a analizar junto a mediciones anteriores y posteriores para dicha estación.
Se puede acceder a la opción de visualización de estaciones en los mapas de google.
Funcionalidad de detección de errores: En la lista de estaciones de una base de datos, se encuentra la opción de Analizar Estacion. El formulario es el siguiente: Se pueden modificar los parámetros: Variable: Disponible TMIN y TMAX Desde / Hasta: Periodo de tiempo a considerar para detectar posibles errores. Cantidad Dudosos: Elegir la cantidad de mediciones que el algoritmo encuentre como posibles errores. Cantidad Gráficos: La cantidad de gráficos de mediciones que detecte el algoritmo. (Cantidad dudosos >= Cantidad Gráficos) Cormin: Tamaño de la ventana: Al seleccionar Analizar, aparece la leyenda : PROCESANDO y al terminar el procesamiento aparece la leyenda : RESPUESTA ALGORITMO DETECCION DE ERROES como se visualiza en la siguiente imagen :
Al hacer click en la RESPUESTA, se puede acceder al output del algoritmo de detección de errores y a los gráficos, donde cada uno representa un posible error de medición con respecto a las mediciones de las estaciones vecinas. En la siguiente imagen se visualiza la salida:
Sección: Formato de Archivo de Entrada ( Formato APACH2 ) Consiste en un archivo comprimido en formato zip que contiene en la jerarquia inicial dos archivos que se detallan a continuacion : * stations.csv * measurements.csv Estos dos archivos deben tener exactamente este nombre y extensión para que el parser pueda procesarlos. Primero se procede al procesamiento de stations.csv, dando el ingreso de las estaciones en el sistema, si es que no existian anteriormente. Luego se procesa measurements.csv, que manteniendo una relación con el archivo de estaciones mediante el campo de measurements.csv : FK_PKINT que referencia al campo de stations.csv : PKINT ). Este formato utiliza el standard CSV ( comma-separated-values ) para representar un registro. Las columnas de stations.csv : # NAME ( TEXT : No puede ser NAN ) # CODOMM ( INT : No puede ser NAN ) # CODCOUNTRY ( INT : No puede ser NAN, seleccionar arbitrariamente un entero que represente el país * ) # SOURCE ( TEXT : No puede ser NAN, si no se conoce ingresar el valor por ejemplo : SMN ) # CODINTERNAL ( TEXT : Puede ser NAN ) # ALTITUD ( DOUBLE : Puede ser NAN ) # LATITUDE ( DOUBLE : No puede ser NAN ) # LONGITUDE ( DOUBLE : No puede ser NAN ) # PKINT ( INT : No puede ser NAN ) Nota : LATITUDE y LONGITUDE se toman juntas como valor UNICO dentro del modelo relacional, con lo que 2 estaciones no pueden tener el mismo par de valores. Columnas de measurements.csv: # AUTONUM ( INT : No puede ser NAN ) # FK_PKINT ( INT : No puede ser NAN, relacionado con PKINT de stations.csv ) # FECHA ( INT : No puede ser NAN, única para cada estación ) # TMIN ( DOUBLE : Puede ser NAN ) # TMAX ( DOUBLE : Puede ser NAN ) # PREC ( DOUBLE : Puede ser NAN ) # RAD ( DOUBLE : Puede ser NAN ) # WIND ( DOUBLE : Puede ser NAN ) # HELIO ( DOUBLE : Puede ser NAN ) * el sistema contempla al : 1 = Brasil, 2 = Argentina, 3 = Uruguay, 4 = Paraguay Nota: NAN (Not A Number o Ausencia de Valor) Ejemplo: stations.csv "ZAVALLA","NaN","54","SMN","NAN","50.0","-33.0167","299.1167","161" "NUEVE DE JULIO","87550","54","SMN","NAN","76.0","-35.45","299.1167","32" measurements.csv "7878207","161","1973-01-04","20.3","32.6","0.0","NaN","34.0" "7878206","161","1973-01-03","20.7","29.6","0.0","NaN","36.0" "7878205","161","1973-01-02","19.5","34.9","3.7","NaN","20.0" "7878204","161","1973-01-01","20.4","33.6","0.0","NaN","5.0" "7878207","32","1973-01-04","21.3","30.6","0.0","NaN","34.0" "7878206","32","1973-01-03","23.7","27.6","0.0","NaN","36.0" "7878205","32","1973-01-02","19.5","32.9","1.7","NaN","20.0" "7878204","32","1973-01-01","20.4","30.6","0.0","NaN","5.0"
Estos dos archivos deben ser zipeados en la jerarquía incial del archivo. ( Sin haber ningún tipo de directorio ). Y generarían una base de datos con 2 estaciones y 4 mediciones diarias en cada una. Sección Notas : Para crear una base de datos, un archivo zipeado en el formato APACH2 tiene una limitación de 20 megas. Si se produce un error o la conexión de internet del usuario no funciona, como están desactivados los botones del navegador (atrás, recagargar, etc). Con un click en la ventana con el botón derecho, se abre un menú contextual y se puede seleccionar la opción de atrás. Si el error persiste hacer una captura de pantalla y mandar por mail a juanpablosuarez@gmail.com. Si el input de los datos para realizar el control de calidad genera que un test falle. Se detectará, y analizando lo sucedido nos pondremos en contacto con el usuario.
Sección : INSTALACION Instalacion en MAC OSX 10.5 / 10.6 - Descargar el archivo comprimido apach2install.zip - Descomprimir en directorio / como apach2 ( si es posible como root ) - Instalar el Motor de base de datos PostgreSQL 8.4 y setear el password y recordarlo. ( sugerencia : usar admin ) - En la linea de comandos hacer la siguiente secuencia de comandos, que crearan las tablas de la base de datos : cd /apach2/scripts./install.sh ( pide dos password: el primero es el elegido en la instalacion y el segundo es admin ) - Instalar R 2.11.1 Desde la consola de R instalar los paquetes Rserve y robustbase. install.packages( Rserve ) install.packages( robustbase ) - Instalar Matlab 2009a Editar el archivo classpath.txt en el directorio : /Applications/MATLAB2009A/MATLAB_R2009a.app/toolbox/local/ Agregar la linea como root al final del archivo classpath.txt : /apach2/java/postgresql-8.3-604.jdbc3.jar - Cambiar permisos de la carpeta apach2 desde la consola como root : chmod -R 777 /apach2 - Para iniciar el servicio : cd /apach2./start29.sh - Para acceder al servicio : En cualquier navegador ( Chrome, IExplorer, Firefox, Mozilla, Opera... ) Ingresar la url : http://localhost:8080/apach2/login.jsp - Para detener el servicio : cd /apach2./stop29.sh