CONTROLES DE CALIDAD PARA SERIES TEMPORALES EN EL ÁMBITO DEL ESEOO

Transcripción

1 CALIDAD DE DATOS SUBTAREA 2.4 CONTROLES DE CALIDAD PARA SERIES TEMPORALES EN EL ÁMBITO DEL ESEOO GUÍA DE UTILIZACIÓN 19/01/2007

2 ÍNDICE I. INTRODUCCIÓN...3 II. CONTROL DE CALIDAD DE SERIES TEMPORALES Parámetros oceano-meteorológicos tratados Escala de índices de calidad Archivos de entrada y salida Controles de calidad...6 Test de rango...6 Test de salto... 7 Test de estacionalidad Intervalo de muestreo...8 III. REFERENCIAS...9 2

3 I. INTRODUCCIÓN El servicio de control de calidad de series temporales, accesible a través de Internet, es un producto desarrollado de acuerdo a los objetivos de la subtarea 2.4., Calidad de Datos, del proyecto ESEOO ( Este servicio tiene como objetivo facilitar al usuario una herramienta numérica para el análisis de la calidad de una serie temporal de datos. Esta herramienta, como procedimiento opcional, puede ser utilizada como fase previa al uso del servicio de Tratamiento Automático de Series Temporales (Subtarea 2.5 Análisis Homogéneo de la Información). El test de calidad analiza uno a uno todos los datos de una serie temporal asignando un flag o etiqueta de calidad a cada uno de ellos. Estos flags, designados por los índices qc (Quality Control), son indicativos de la validez de los datos (dato válido, dato dudoso, ). Tras esta sección introductoria, en un segundo apartado se muestran las especificaciones necesarias para el uso y la comprensión del funcionamiento del test de calidad. En particular, se hacen algunas consideraciones sobre el formato ESEOOXML, utilizado para la entrada y salida de datos en el contexto de las tareas de intercambio, análisis y difusión de series temporales en el marco de ESEOO. En un tercer apartado, se presenta un ejemplo práctico sobre el empleo de la herramienta de control de calidad de datos. 3

4 II. CONTROL DE CALIDAD DE SERIES TEMPORALES 1. Parámetros oceano-meteorológicos tratados El control de calidad se ha diseñado para su aplicación homogénea a todas las variables oceanográficas y meteorológicas de interés en el marco del sistema español de oceanografía operacional. Cabe señalar que los parámetros de nivel del mar no se contemplan en el análisis ya que se dispone de controles más complejos diseñados por Puertos del Estado (Begoña Pérez Ref.) La lista de los parámetros contemplados en el análisis es la siguiente: AirPressure: Presión atmosférica. AirTemp: Temperatura del aire. CurrentDir: Dirección de la corriente. CurrentSpeed: Velocidad de la corriente. Salinity: Salinidad. WaterTemp: Temperatura del agua. WindDir: Dirección del viento. WindSpeed: Velocidad del viento. Hm0: Altura significante estimada con el momento espectral 0 H13: Altura significante estadística del oleaje obtenida de cruce por cero. Hmax: Altura máxima estadística. Tm02: Periodo medio espectral estimado con el m0 y m2. Tp: Periodo de pico. Tzm: Periodo medio estadístico del oleaje obtenido de cruce por cero. MeanDirPeak: Dirección media del pico espectral. DirSpreadingPeak: Dispersión direccional del oleaje en el pico espectral. 4

5 2. Escala de índices de calidad Tal y como se ha mencionado anteriormente, cada dato de la serie temporal tratada tendrá asociado una etiqueta de calidad, o flag, denominado qc. Los códigos empleados son los definidos en proyectos europeos integrados (MERSEA, ARGO, SEAMER, etc.) y recomendados por organismos internacionales (UNESCO, IOC, IODE, ICES, etc.). La utilización de índices normalizados permite el intercambio de datos no sólo entre los participantes del proyecto ESEOO sino además entre los principales sistemas de oceanografía operacional europeos e internacionales. En la Tabla 1 se muestran los valores numéricos posibles para el flag de calidad, así como su significado e interpretación. Tabla 1. Significado, interpretación y valores de qc CÓDIGO SIGNIFICADO qc=0 No se ha efectuado control de calidad sobre el dato qc=1 El dato es bueno qc=2 El dato es probablemente bueno qc=3 Dato malo potencialmente corregible qc=4 El dato es malo qc=5 Valor modificado qc=6 No utilizado qc=7 No utilizado qc=8 Dato interpolado qc=9 Dato ausente El servicio de control de calidad ESEOO podrá aplicarse tanto a series temporales de datos que disponen ya de flags asociados como a series brutas sin qc. Los distintos tests que componen la herramienta se aplican sucesivamente a los datos cuyo qc es inferior o igual a 2, es decir, un qc superior o igual a 3 no se verá alterado. 3. Archivos de entrada y salida El usuario de ESEOO que desee aplicar el control de calidad a una serie temporal de datos deberá partir de un archivo tipo xml que cumpla las especificaciones ESEOOXML (ESEOO, Subtarea 2.3). Además los datos de fecha deberán tener obligatoriamente el formato (AAAAMMDD), mientras que los de la hora admiten los siguientes tres: (hh), (hhmm) y (hhmmss). Partiendo de un fichero XML que cumple las especificaciones mencionadas, y por medio de la hoja de estilos datos2txtqc.xsl (ESEOO, Subtarea 2.3), el programa genera un fichero ASCII de 40 columnas que recibe el nombre datos.txt. Estas 40 columnas corresponden a la fecha, la hora y dos columnas (parámetro, qc) por cada uno de los 19 parámetros ESEOOXML.

6 La hoja de estilos mencionada trata los flags de la siguiente forma: Si el dato tiene un flag de calidad asociado lo escribe. Si el dato NO tiene un flag de calidad asociado le asigna qc=0. Si el dato NO EXISTE en el xml asigna el valor -999 a la columna de valor y qc=6 al flag de calidad (flag de uso interno del programa). Si el dato tiene el valor -999 le asigna un flag de calidad qc=4. Tras ejecutar el programa de control de calidad, detallado en el siguiente apartado, se obtiene un archivo tipo xml en el que cada dato tiene asignado su flag de calidad (Figura 1). Figura 1. Esquema de entrada y salida de la herramienta de control de calidad. 4. Controles de calidad El programa se basa en la aplicación de los siguientes controles de calidad al objeto de evaluar la validez de los datos: test de rango, test de salto y test de estacionalidad. Estos tests se basan en los valores máximo (maxvalor) y mínimo (minvalor) permitidos, en el máximo salto permitido entre dos medidas consecutivas (salto) y en el máximo tiempo permitido, en horas, con el que el parámetro puede mantenerse estacionario (estac). Todos estos valores están basados y deducidos del análisis estadístico de series históricas disponibles y características de la climatología regional del ámbito ESEOO. Test de rango Se comprueba que el dato esté comprendido entre los límites inferior (minvalor) y superior (maxvalor) (Tabla 2). En caso contrario se asigna el flag qc=4 y no se procede a la aplicación de los siguientes controles. 6

7 Test de salto Para cada dato, se determina si existen los datos anterior y posterior, comprobando que sus flags correspondientes sean iguales o menores a 2. Asimismo, se comprueba que los intervalos entre dato y dato sean iguales al intervalo de muestreo. Si ambos existen, se asigna el flag 4 siempre y cuando las diferencias absolutas con el dato anterior y posterior sean superiores al máximo salto permitido (salto): / V V 1 / salto y V V + / salto n n > / n n 1 > donde V n es el n-esimo valor de la serie temporal, V n 1 el anterior y V n+ 1 el posterior. En el caso en el que falte uno ( Vn 10 V n+ 1), el test se limita a comprobar: / V V 1 / salto ó V V + / salto n n > / n n 1 > Si se carece de datos anterior y posterior, se asigna el flag 2 indicando que no se ha podido realizar el test de salto por ser un dato aislado. Para las series vectoriales, corrientes y viento, siempre y cuando la magnitud y dirección pasen el test de salto, se ejecutan subrutinas adicionales para las componentes vectoriales. En el caso de que cualquiera de las dos componentes no pase el test, se asigna el flag 4 a las series de magnitud y dirección. Test de estacionalidad Se considera que la serie es estacionaria cuando el dato se repite durante un tiempo superior al límite "estac" (Tabla 2), comprobando que los posibles huecos no representen más de la mitad del periodo en cuestión. 7

8 5. Intervalo de muestreo Los límites de los controles de calidad dependen a su vez del intervalo de muestreo de las series temporales. La Tabla 2 recoge los límites establecidos para series registradas cada 10, 30 y 60 minutos. Tabla 2. Limites superiores e inferiores, límites de salto y estacionalidad para series registradas cada 10, 30 y 60 minutos. Minvalor Maxvalor Salto Estac (horas) Parámetro(unidad) 10, 30 y , 30 y AirPressure (mb) AirTemp (ºC) CurrentDir (º) CurrentSpeed(cm/s) Salinity (UPS) WaterTemp (ºC) WindDir (º) WindSpeed (m/s) Hm0 (m) H13 (m) Hmax (m) Tm02 (s) Tp (s) Tzm (s) MeanDirPeak (º) DirSpreadingPeak (º)

9 III. REFERENCIAS ARGO data management, Argo quality control manual, v2.1, CORIOLIS, French Operational Oceanography System : In-situ data quality control, ESEOO, Subtarea 2.3. EMPLEO DE XML PARA LA TRANSFERENCIA DE DATOS DE SERIES TEMPORALES EN EL ÁMBITO DE ESEOO. Fisheries and Oceans Canada, Marine Environmental Data Service. GOSUD, Global Ocean Surface Underway Data Pilot Project. ICES -GETADE Formatting Guidelines for Oceanographic Data Exchange ( ICES -MDM QA Guidelines - CTD - Marine Data Management working Group (CIEM) Reports. MATCOR : Analisis de datos de Corrientes, Aplicación informática en Matlab, IEO. MERSEA IP, In-situ real-time data quality control. QCDAMAR : Quality Control of Oceanographic Data, IEO. SCOOP, Software of Data Quality Control, IFREMER. UNESCO/IOC/IODE : Manual of Quality Control Procedures for validation of Oceanographic Data -Manuals and Guides 26- (GTSPP chapter). UNESCO/IOC: GTSPP Real-Time Quality Control Manual - Manuals and Guides 22, 1990.