Laboratorio de Previsión del Tiempo I cuatrimestre 2011 Dra. Silvina Solman

Transcripción

1 La predicción por ensambles: Parte 2 Agradecimientos: este material se basa en el módulo de Explicación del pronóstico por ensambles tomado del Programa COMET ( Laboratorio de Previsión del Tiempo I cuatrimestre 2011 Dra. Silvina Solman

2 Puntos principales Explicar los fundamentos de la Predicción por ensambles y el significado del concepto de caos. Describir los métodos que se utilizan para generar los miembros del ensamble en un sistema de predicción por ensambles. Comprender los conceptos y métodos estadísticos básicos que se aplican para el desarrollo de productos de pronóstico por ensambles. Reconocer e interpretar la variedad de productos de la predicción por ensambles Interpretar los productos de verificación de ensambles.

3 Modos de presentar la información obtenida con pronósticos de conjuntos Debido a que los sistemas de pronóstico por conjuntos proporcionan información sobre la incertidumbre, el resultados más probable del pronóstico y la distribución de probabilidad de los resultados del pronóstico, los productos operativos de los SPC miden los siguientes aspectos: la centralidad y dispersión (para evaluar, en promedio, el resultado más probable y la incertidumbre en el pronóstico) la distribución de probabilidad de los pronósticos por conjuntos (para evaluar la utilidad de las dos medidas anteriores) la probabilidad de exceder umbrales críticos (para evaluar la necesidad de alertas, advertencias, etc.)

4 Media y dispersión: Pronóstico a 84 horas Diagramas spaghetti: proveen información de todos los miembros del ensemble no proveen información sobre la distribución de probabilidad de los pronósticos

5 Guías para la interpretación Una dispersión grande en una característica producida por la media del conjunto significa incertidumbre en la amplitud de la característica: incertidumbre en la intensidad de la vaguada Grandes dispersiones corriente arriba y corriente abajo de una característica producida por la media del conjunto significan incertidumbre en la ubicación de la característica. Una dispersión asimétrica grande en relación con una característica producida por la media del conjunto significa que el aglomerado de una minoría de posibles soluciones del pronóstico difiere de la media del conjunto.

6 ensemble 11 miembros Dada la media y dispersión de los campos de precipitación y el mismo umbral crítico de crecida repentina para toda la región de 36 mm en 12 horas, dónde es mayor la posibilidad de una crecida repentina? En el ejemplo anterior, tenemos dos áreas bien diferenciadas en las cuales la precipitación media del conjunto está entre 6,5 y 13 mm, pero la dispersión excede los 25 mm sólo en las regiones central y sur central (Ctr y SC), indicando que una crecida repentina es una posibilidad allí.

7 Gráficos de eventos más probables Ventajas y limitaciones de estos gráficos Ventajas: Presentación compacta. Indican cuál es la salida más probable del pronóstico por conjuntos. Desventajas: Pueden esconder otras salidas de pronóstico cuya probabilidad es casi igual. Las salidas de pronóstico "más probables" pueden no haber sido producidas por la mayoría de los miembros del conjunto. Por ejemplo, si cinco miembros del conjunto predicen nieve, cuatro lluvia congelada, tres lluvia y tres granizo como tipo de precipitación en un ciclo de ejecución de 15 miembros de un SPC, se indicará nieve como la precipitación más probable, pese a que ocurre en sólo el 33 % de los casos.

8 Probabilidad de exceder un valor crítico Eventos extremos La probabilidad de exceder un valor se calcula dividiendo el número de miembros del conjunto que exceden el umbral elegido entre el número total de miembros del conjunto. Probabilidad de crecida repentina

9 Evoluciones temporales en un punto Diagramas pluma: muestran la evolución temporal de una variable de pronóstico para cada miembro del conjunto, más la media del conjunto (equivalentes a los diagramas espagueti en planta). Diagramas de cajas y bigotes: muestran la mediana del conjunto y la dispersión de una variable de pronóstico en forma de cajas y bigotes que indican, respectivamente, los percentiles y los extremos. Bigotes: extremos del conjunto Cajas: cuartil 25 y 75 Mediana

10 Cual de las siguientes afirmaciones son correctas? a) La media de los 11 miembros del conjunto representa la temperatura más probable para el nivel de 2 m del día 31 de mayo de b) Los datos muestran aglomeración a las 1200 UTC del 27 de mayo de c) El rango de temperatura a 2 m de los miembros del conjunto a las 0000 UTC del 1 junio de 2004 es aproximadamente 1,5 C. d) La mediana a las 0000 UTC del 25 de mayo de 2004 varía aproximadamente entre 22,5 y 25 C. e) El valor mínimo de un miembro del conjunto para las 0000 UTC del 28 de mayo de 2004 es de aproximadamente 17 C.

11 La verificación de los pronósticos por conjuntos Agradecimientos: este material se basa en el módulo de Explicación del pronóstico por ensambles tomado del Programa COMET ( y en la página web de WGNE: Forecast verification- Issues, Methods and FAQs

12 Qué atributos pretendemos medir? Verificar la distribución de probabilidad de los eventos pronosticados si el pronóstico de un SPC exagera o subestima las probabilidades; cuán probable es que el SPC capture todos los resultados posibles del pronóstico; si el SPC tiene sesgos o no; etc., CONFIABILIDAD RESOLUCION La confiabilidad mide el grado en que la distribución de probabilidad de los pronósticos por conjuntos coincide con la distribución de verificación. La resolución cuantifica la respuesta a la pregunta coinciden las distribuciones de probabilidad de pronósticos diferentes del SPC con las distribuciones de probabilidad de verificación igualmente diferentes?

13 Confiabilidad Resolución

14 Indicadores de verificación de SPC Característica de la Distribución de Probabilidad evaluada Confiabilidad y resolución Confiabilidad Herramientas empleadas Indice de Brier (BS) Brier Skill Score (BSS) Diagrama de confiabilidad Diagrama de Talagrand (Histograma de Análisis de Rangos)

15 El Indice de Brier Responde a la pregunta: cuál es la magnitud del error de la probabilidad de un pronóstico? Para cada par de pronóstico y observación se asigna 1 ó 0 si ambos caen en la misma categoría o no, respectivamente 0<BS<1 BS=0 : pronóstico perfecto O k : proporción de pronósticos correctos en la categoria k P k probabilidad estimada en la categoría k O : proporción de pronósticos correctos Se puede convertir en un Skill-score utilizando como referencia la probabilidad climatológica del evento Confiabilidad resolución incertidumbre

16 Ejemplo: BS Figura del Centro de Predicción Hidrológica (HPC): Índices de Probabilidad de precipitación pronosticada a 3-7 días (POP) para los pronósticos correspondientes al período Julio 2003 a Julio BS aumenta (menor confiabilidad) a medida que se incrementa el plazo del pronóstico y durante el verano respecto del invierno.

17 El diagrama de confiabilidad La línea roja en el diagrama de confiabilidad marca la frecuencia de ocurrencia observada en función de la probabilidad pronosticada. Un pronóstico perfectamente confiable está represenado por la linea azul: las probabilidades pronosticadas y observadas coinciden. Climatología (o línea de resolución cero) es en este caso 10%. La línea de "habilidad cero", que se puede derivar del BSS, trazada a través de puntos equidistantes de la línea de confiabilidad perfecta y la línea de climatología (resolución cero). Esencialmente, el rango de resolución representa los puntos finales de la distribución de probabilidad con respecto a la distribución de verificación, y la pendiente de la línea roja muestra variaciones de resolución en el rango completo de probabilidades pronosticadas. Ejemplo: se clasificaron los pronósticos de alturas de 500 hpa de cada ciclo de ejecución del SPC realizado durante un período de 20 días, en 10 clases (bins): el porcentaje de los miembros del conjunto que están de acuerdo (es decir, que caen en la misma clase) representa la probabilidad pronosticada de que se produzca ese resultado.

18 El diagrama de confiabilidad El rango de resolución representa los puntos finales de la distribución de probabilidad con respecto a la distribución de verificación, y la pendiente de la línea roja muestra variaciones de resolución en el rango completo de probabilidades. pronosticadas. El 3 % de las veces que el pronóstico por conjuntos indicaba que el evento no ocurriría (es decir, ningún pronóstico cayó en esa clase), el evento sí ocurrió,, y que el 14 % de las veces que el pronóstico indicó una probabilidad del 100 % de que ocurriera el evento (es decir, que todos los miembros del conjunto caerían en la misma clase), el evento no ocurrió.. Esto implica que el sistema de predicción por conjuntos subestima las probabilidades bajas y exagera las probabilidades altas.

19 Ejemplos Pronósticos siempre que subestiman la probabilidad observada Pronósticos con mínima resolución Pronósticos con buena resolución a expensas de baja confiabilidad

20 El diagrama de Talagrand o histograma de análisis de rangos El Talagrand es un tipo de histograma en el cual las categorías asociadas a cada columna son rangos variables en lugar de valores discretos, es decir, un histograma de rangos. La forma del diagrama de Talagrand, nos permite sacar conclusiones sobre los sesgos del sistema de pronóstico por conjuntos y el alcance de su dispersión. La primera clase representa el rango HASTA el miembro del conjunto de la clase más baja, mientras que la última clase representa el rango por encima del miembro del conjunto en la clase más alta. Esto significa que hay n+1 clases en el diagrama. Las frecuencias mostradas por las columnas representan el porcentaje de veces que el análisis (el dato aquí empleado para la verificación) cae en los rangos o las clases definidas por los miembros del pronóstico por conjuntos en cada punto de la malla del dominio del pronóstico, dentro del período de verificación. La línea azul en el gráfico marca la frecuencia teórica en cada categoría para un SPC perfectamente confiable. Esta frecuencia es 1/(n+1), donde n es el número miembros del conjunto del SPC. Esto supone que si el SPC está bien construido, en una muestra grande cada miembro tiene la misma probabilidad de verificarse, es decir, que el esquema de generación crea un rango de miembros igualmente válidos.

21 Interpretación de los diagramas de Talagrand Dispersión excesivamente grande Dispersión excesivamente chica Sesgo alto (sobreestimación) Sesgo bajo (subestimación)

22 Ejemplo: Comparación la confiabilidad de diferentes SPC