Análisis Estadístico de Datos Climáticos Verificación y valor de los pronósticos A. Díaz M. Bidegain - M. Barreiro Facultad de Ciencias Facultad de Ingeniería 2011
Verificación de pronósticos Una definición: La verificación de pronósticos es la exploración y evaluación de la calidad de un sistema de pronósticos basado en una muestra de pronósticos previos y en las observaciones correspondientes. Aquí la calidad tiene que ver con la capacidad de los pronósticos para reducir la incertidumbre sobre el estado futuro (desconocido) de un sistema. (Para eso se hacen los pronósticos )
Está bastante aceptado que la calidad de un pronóstico tiene muchos atributos diferentes que no pueden ser resumidos con un solo indicador o medida ( score ). En general, son necesarios varios scores para poder medir la calidad de un pronóstico. Nota: los métodos para verificar pronósticos son también útiles para otros problemas como comparar dos conjuntos de datos (p. ej., cuando se usa un conjunto para estimar al otro).
Las razones para realizar verificación de pronósticos son de 3 tipos: administrativas científicas económicas Además los resultados de la verificación deberían dar información de interés, no realizarse por mera conveniencia.
El predictando (es decir, aquello que se quiere predecir) puede ser: continuo (temperatura, presión, precipitación, etc) discreto (categórico) (ocurrencia o no ocurrencia, valor por encima o debajo de una referencia, o en un rango, cobertura de nubes (ordinal), tipo de nubes (nominal), etc) univariado
multivariado (viento, varias variables, campos espaciales en puntos de grilla) una probabilidad (la probabilidad de que mañana haya niebla es un 40%) ensembles de pronósticos de modelos
Predictando categórico Pronóstico de Tornados (Finley, 1884) Matriz de contingencia (caso binario) O sí O no Indicador de performance de Finley: P sí Fracción de aciertos: P no PC = (28+2680)/2803 = 0.966
Pronóstico alternativo: Nunca hay Tornado O sí O no P sí P no Indicador: Fracción de aciertos PC = (0+2752)/2803 = 0.982 (> 0.966!!)
Comentarios El esquema de Finley pronosticó correctamente más de la mitad de los tornados ocurridos. (El otro obviamente no.) El score fracción de aciertos puede no ser el mejor indicador para sintetizar el valor de este esquema de pronósticos en este caso, porque los pronósticos de no tornado son en general correctos. Es decir que no es un buen indicador para eventos raros. Los aciertos (P sí ; O sí ) son cruciales, y este score no los destaca.
Recalibración (usuario): El esquema de Finley: Cuando pronostica tornado, acierta el 28% de los casos. Cuando pronostica no tornado, se equivoca menos del 1% de los casos. El otro esquema: Nunca acierta un tornado Se equivoca el 1.8% de los casos
TS Otros indicadores para pronósticos binarios = FAR H = CSI a a a + b + c = b a a + b + c a = aciertos b = falsa alarma c = fallos d = negativo correcto a + b + c + d = n es útil si a << d. Para el caso Finley da 0.228 false alarm ratio (0.72) = Hit rate (0.55) etc etc etc BIAS= (a+b)/(a+c) (1.96)
No hay un solo score que resuma toda la información Al tratar de resumir la información dada por los valores de la tabla en uno solo, se pierde información Se suelen analizar varios conjuntamente
Los valores de pronósticos de un predictando continuo escalar se pueden dividir en dos rangos separados por un umbral, considerarlos como pronósticos categóricos binarios, y calcular los scores ya vistos. También se puede variar ese umbral y graficar los scores en función del umbral.
Ej: Estimación de precipitación por satélite Ebert, 2002
También se puede dividir en K intervalos o rangos, y obtener una tabla de contingencia de KxK
Murphy y Winkler (1987) establecieron un marco general para la verificación de pronósticos basado en las distribuciones de probabilidad conjuntas de los eventos observados y pronosticados. En el caso de variables discretas, si llamamos x al valor observado, y x al correspondiente valor pronosticado, se llama distribución conjunta de pronósticos y observaciones p(x,x) a la probabilidad de que x tome un valor determinado y, al mismo tiempo, x tome otro valor determinado.
A su vez, a partir de la distribución conjunta se definen las distribuciones marginales y condicionales. Para variables discretas, las distribuciones marginales de x y x son: p(x') = x p (x',x) p(x) = x' p (x',x) y las condicionales: p (x' x ) = p (x', x) p (x) p (x x' ) = p (x', x) p (x')
Un sistema de pronóstico es completamente inútil si los pronósticos son independientes de las observaciones, o sea si: p (x x' ) = p(x) o p (x' x ) = p(x' ) para todos los valores de x y x
Habilidad de pronóstico (forecast skill) Se define en relación con un sistema de pronóstico de referencia (típicamente, persistencia o climatología). Skill score = s s - perf - s ref s ref Si s = s perf, skill = 1 (máximo) Si s = s ref skill = 0 (igual que la referencia) Si s < s ref, skill < 0 (peor que la referencia)
Predictandos continuos Medidas de performance usuales su raíz cuadrada es el RMSE Correlaciones
Pronóstico de probabilidades La probabilidad de que llueva mañana es 30% Cómo se evalúa? Con varios (muchos) pronósticos de 30% El sistema de pronóstico debe ser consistente y tener resolución. Consistencia: entre las probabilidades pronosticadas y observadas. Resolución: capacidad de clasificar eventos observados en grupos diferentes entre sí. Por ej., distinguir eventos que ocurren con mayor o menor frecuencia que la climatológica.
Habilidad artificial Es una habilidad aparente que no se conserva cuando se aplica el modelo de pronóstico a un conjunto independiente de datos. Cuantos más predictores potenciales se incluyan, es más posible que aparezca esta habilidad artificial. Para evitar este problema: Usar un período de entrenamiento y un período de verificación Usar validación cruzada.
Características deseables de un esquema de pronóstico Que tenga base física Estadísticamente correcto Reproducible y transparente (NO caja negra ) Mostrar cómo hubiera funcionado en el tiempo ( pronósticos retrospectivos ) Que permita tomar decisiones en un área dada. Ser sometido al juicio de los pares, a través de publicación arbitrada.
Valor de los pronósticos Se refiere al valor económico para el usuario, que está relacionado con la calidad del pronóstico. Como dijimos, la calidad tiene que ver con la posibilidad de reducir la incertidumbre sobre el estado futuro del sistema. Veremos un modelo muy sencillo que define el valor de un pronóstico.
Modelo de decisión costo-pérdida Se tiene un evento climático cuya ocurrencia produce una pérdida P. Se pueden tomar acciones preventivas, cuyo costo es C. (C<P). La frecuencia climatológica del evento es s. (0 < s < 1) 1) Si no se dispone de pronóstico, (y suponiendo que siempre se realiza la misma acción): E clim = min (C, sp) (valor esperado del gasto)
Modelo de decisión costo-pérdida (cont.) Entonces, según si: C/P < s, o C/P > s, será más conveniente proteger o no hacerlo. (Hemos supuesto que s no cambia con el correr del tiempo.)
Modelo de decisión costo-pérdida (cont.) 2) Disponiendo de un modelo perfecto: E perf = sc (a éste gasto se quiere llegar; notar además que E perf < E clim ) 3) Si se tiene un pronóstico que da un gasto esperado E pron, se define: V = E E clim clim E E pron perf (es el valor del sistema de pronóstico) Si V > 0, el sistema da beneficio (V max = 1)
Comentarios El beneficio de un mismo pronóstico será distinto para distintos usuarios, ya que cada uno tiene su C y P. Se demuestra que los pronósticos probabilísticos dan más beneficio que los determinísticos. (Hay una probabilidad umbral óptima dependiendo del valor C/P.)