Apéndice A: Metodología para la evaluación del modelo de pronóstico meteorológico

Transcripción

1 Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco

2 Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco Tabla de contendos Ap.A Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco... A- ApA. Estadístcos... A- ApA. Aplcacón en superfce y alttud... A-4

3 Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco Ap.A Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco ApA. Estadístcos Hasta la actualdad no se ha desarrollado nngún protocolo de evaluacón para estos modelos, sendo una tarea pendente y necesara. La mayoría de estudos centífcos se decantan por una evaluacón de los resultados cualtatva, y en aquellos dónde se cuantfca el análss optan por el uso de estadístcos smples como el error cuadrátco medo, el error absoluto medo o el sesgo. Algunos trabajos donde se plantean y utlzan dstntos estadístcos para la evaluacón de WP son Wllmott (98), Pelke (984), Wllmott et al. (985), Stauffer y Seaman (990), Cox et al. (998), Stenger (000). Para la valdacón presentada se ha optado por utlzar el error cuadrátco medo (RMSE), el error absoluto medo (MAE), el error absoluto medo normalzado (MAE) y el sesgo (BIAS) defndos por Pelke (984) y Stauffer y Seaman (990). Éstos estadístcos permten medr la precsón de la smulacón. Por precsón se entende el promedo del grado de correspondenca entre pares ndvduales de valores pronostcados y valores observados. Por valores observados se entende aquellos obtendos en estacones de medda meteorológcas. Para el cálculo de la precsón se utlza el error medo cuadrátco, defndo como (Pelke, 984): RMSE ( φ φ ) (7.) donde φ φ es el valor pronostcado para la celda es el valor observado para la celda es el número de valores analzados El error medo cuadrátco nos da la medda de las dferencas en promedo entre los valores pronostcados y los observados. Otro estadístco que nos descrbe una nformacón smlar es el error absoluto medo defndo como (Stauffer y Seaman, 990): MAE φ φ (7.) Para tener en cuenta el peso del error respecto al valor de la varable medda se normalza el error absoluto, tenendo el error absoluto medo normalzado (Stauffer y Seaman, 990): MAE φ φ φ (7.3) A-

4 Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco Por últmo, el sesgo (BIAS) nos proporcona nformacón sobre la tendenca del modelo a sobreestmar o subestmar una varable, nos cuantfca el error sstemátco del modelo. Pelke (984) defne el BIAS según: BIAS ( φ φ ) (7.4) Así, para la comparacón de varables escalares de meddas de estacones se han calculado el RMSE, MAE, MAE, BIAS para cada hora, tenendo así una evolucón temporal del error y poder analzar con detalle el comportamento del modelo durante toda la smulacón. Para el caso del vento se puede utlzar tambén una varacón del RMSE tenendo en cuenta las dos componentes del msmo. Así se defne el error cuadrátco medo del vector horzontal del vento como (Pelke, 984): RMSVE ( u u ) + ( v v) n (7.5) donde u u v v es el valor pronostcado para la celda de la componente u del vento es el valor observado para la celda de la componente u del vento es el valor pronostcado para la celda de la componente v del vento es el valor observado para la celda de la componente v del vento es el número de valores analzados Por últmo comentar el caso partcular de la dreccón del vento. Al tratarse de una varable cíclca se deben calcular los estadístcos con precaucón. Una manera es utlzar el RMSVE para tener una magntud de la correccón del vector. Para analzar por separado la dreccón se ha calculado en algunos casos el RMSE. Entonces se utlza la dferenca entre dreccón smulada y dreccón observada mínma, ya que se pueden tener dos valores, uno postvo y otro negatvo. Al trabajar con el valor mínmo, los resultados al promedar los estadístcos no nclurán una desvacón por método de cálculo que no represente la dferenca real entre las meddas. Así el RMSE de la dreccón se calculará como: RMSE dr D ; D ( d d, d d ) mn (7.6) donde d d es la dreccón del vento horzontal pronostcada para la celda es la dreccón del vento horzontal observada para la celda es el número de valores analzados Cuando se ha calculado el BIAS de la dreccón del vento se ha aplcado la sguente formulacón: BIAS dr D ; D d d s (d d ) < (d d ) (7.7) D d d s (d d ) > (d d ) A-

5 Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco donde d d es la dreccón del vento horzontal pronostcada para la celda es la dreccón del vento horzontal observada para la celda es el número de valores analzados Un BIAS postvo mplca que la tendenca del modelo es a smular vectores del vento a la zquerda de las observacones, y vceversa cuando es negatvo. Por últmo, comentar que para los estadístcos de la dreccón del vento, éstos sólo se calculan para velocdades superores a 0.5 m/s. Complementando la nformacón que aportan estos estadístcos se ha calculado tambén un índce que aporta nformacón sobre el comportamento del modelo al comparar los resultados con observacones. El índce de ajuste (IOA, ndex of agreement) se calcula como: IOA ( P O ) (7.8) ( P Omean + O Omean ) donde es el número de observacones P son los valores pronostcados O son los valores observados O mean es la meda de las observacones. Para la aplcacón de estos estadístcos en mallas de trabajo se utlzan dos métodos: verfcacón celda-celda y verfcacón celda-punto (Pelke, 984). La verfcacón celda a celda consste en comparar el resultado del pronóstco con el análss para la msma hora. La ventaja que conlleva éste método es la sencllez en la computacón, ya que, todos los puntos de los valores observados y pronostcados concden espacalmente. Sn embargo, algunos autores, Stenger (000) y Whte et al. (999), han constatado la tendenca de esta metodología en producr un sesgo a favor de los resultados de los domnos con resolucones menores. Stenger (000) constata éste hecho al analzar el RMSE celda-celda para una malla de 36 km de resolucón frente al domno andado en ella de km; aplcando esta metodología para la malla de 36 km se tenen RMSE nferores que para la de km, cuando al realzar comparacones con meddas puntuales queda claro el mejor comportamento de los resultados de km. La otra metodología utlzada, y altamente extendda, es la verfcacón celda-punto. En esta se comparan observacones puntuales con los valores de las celdas donde se stúan las observacones. En éste caso no se analzan todos los puntos del domno, sólo se centra en los puntos donde hay observacón. Esta metodología supone que los dos valores son comparables, aunque la observacón es un valor temporal y espacalmente puntual, a dferenca del resultado pronostcado, que es un valor temporal y espacalmente promedado. La problemátca que se plantea al analzar la caldad de las smulacones con un análss estadístco es que aunque los estadístcos presenten un mal comportamento los A-3

6 Apéndce A: Metodología para la evaluacón del modelo de pronóstco meteorológco resultados de la smulacón sean buenos pero con un decalaje temporal en la predccón de los fenómenos dentro el domno. Para ntentar detectar estos casos se comparan puntualmente la evolucón de las varables en algunas estacones sgnfcatvas. Para la verfcacón del modelo se ha utlzado la metodología celda-punto. Se comparan los resultados del modelo con las observacones. Para comparar con las observacones se escogen los datos del modelo correspondentes a la celda más próxma a la localzacón de la observacón. o se ha realzado nnguna nterpolacón con los datos del modelo para ajustarse al punto específco de la observacón. ApA. Aplcacón en superfce y alttud Para la valdacón de los resultados en superfce se han calculado en algunos casos el RMSE y el BIAS de la temperatura y la velocdad del vento a y 0 m respectvamente, mentras que para la dreccón del vento se ha calculado el BIAS a 0 m. En otros casos se ha optado por evaluar el RMSVE del vector vento a 0 m. Tambén se han realzado comparacones con radosondeos, que han permtdo evaluar el comportamento del modelo en alttud. Para esto se ha optado por subdvdr la troposfera en tres capas, consderando que es más nteresante poder cuantfcar el comportamento del modelo en las dstntas capas con un comportamento partcular de la troposfera. Así, se ha defndo una prmera capa concdendo con la capa fronterza en algunos casos que abarca desde la superfce a 00 m s.n.t. La sguente capa comprende entre 00 a 5000 m s.n.m, comprendendo la atmósfera lbre hasta la meda troposfera, y la tercera entre 5000 a 0000 m s.n.m comprendendo el resto hasta la troposfera alta. Para cada capa se ha evaluado el RMSE, MAE, MAE y BIAS de la temperatura del are, la velocdad del vento y la dreccón del vento. A-4