Herramientas computacionales para la generación de escenarios climáticos Richard Miguel Centro de Predicción Numérica SENAMHI Perú 1
Agenda Introducción Por que requerimos poder de computo? Definiciones Experiencias previas en SENAMHI Infraestructura Actual Computación Grid en SENAMHI Necesidades Futuras Conclusiones 2
Introducción Las proyecciones climáticas a largo plazo consumen grandes recursos computacionales. Intervienen técnicas estadísticas y de simulación, además de TI que deben ser aplicadas eficientemente para optimizar el rendimiento de las aplicaciones. SENAMHI viene usando desde hace algunos años con mucho éxito estas herramientas que hacen posible ejecutar proyectos mas complejos. 3
Por que requerimos poder de computo? Los modelos numéricos y demás aplicaciones de High Performance Computing hacen uso intensivo de memoria, comunicaciones (red) y acceso de lectura y escritura a discos o dispositivos de almacenamiento. Tenemos 3 maneras de resolver eso: Trabajar mas duro: haciendo mejoras en la tecnología. Trabajar mas eficientemente: mejorando los algoritmos y códigos de las aplicaciones. Buscar ayuda : Programación paralela 4
Computación Paralela y Distribuida Problema Proceso_1 Proceso_2 Proceso_n M e m o r i a Problema Red P1 P2 Pn M1 M2 Mn 5
Computación Grid 6
Experiencias previas en SENAMHI Proyecto PROCLIM Proyecto SCNCC Proyecto PRAA Pre procesamiento de datos ingresados a RAMS Modelo RAMS 4.4 Post Procesamiento 7
Tiempo de respuesta (minutos) 45.00 40.00 35.00 30.00 25.00 20.00 15.00 10.00 5.00 Alpha Cluster PC Cluster Xeon 0.00 1 2 3 4 5 6 7 8 9 10 15 20 25 30 Nº de procesadores * Simulación usando modelo RAMS para pronostico de 24 horas 8
Infraestructura Actual 9
Computación Grid en SENAMHI Simulación hecha en GRID: CAM + WRF en SENAMHI 10
Participamos del WP3: Applications, Task 3.3b Climate Applications. Otros socios en la misma tarea fueron: Universidad de Concepción, Chile UDEC Universidad de Cantabria, España UC Proyecto EELA 01/04/2009 CAMBIO CLIMATICO EN EL PERU: IMPACTOS 11 ECONOMICOS Y SOCIALES
Justificación Los cambios climáticos y su gran impacto socio económico en LA (Fenómenos El Niño y La Niña) pueden enfrentarse uniendo recursos (infraestructura y conocimiento) usando GRID. Anomalía Positiva (El Niño) Anomalía Negativa (La Niña) Tres aplicaciones fueron identificadas Modelo de Circulación Atmosférica Global (CAM) Modelo Regional de Tiempo (WRF) Herramientas de minería de datos (SOM) Dos de estas aplicaciones ya están implementadas en el Testbed 01/04/2009 CAMBIO CLIMATICO EN EL PERU: IMPACTOS 12 ECONOMICOS Y SOCIALES
Reto Computacional El reto computacional no es un problema trivial ya que depende mucho de las relaciones entre las aplicaciones, por lo que se propuso realizar simulaciones en cascada. WRF (par 1) CAM WRF (par 2) WRF (par n) SE SOM Sea Surface Temperature, etc. La cascada de aplicaciones interactúa con el middleware para: Preparar y enviar los trabajos dependientes. Almacenar y recuperar datasets desde el LFC Administrar los metadatos con AMGA (datasets y estado de la aplicación). Restablecer los experimentos abortados o con falla. 01/04/2009 CAMBIO CLIMATICO EN EL PERU: IMPACTOS ECONOMICOS Y SOCIALES 13
Aplicación SOM El carácter multidimensional de los datos involucrados en las simulaciones climáticas, requieren de técnicas eficientes de minería de datos para extraer algún conocimiento útil. El clustering no supervisado permite dividir la base de datos de simulaciones produciendo tipos de clima o tiempos característicos que pueden ser materia de estudio. Los algoritmos SOM son uno de los mas usados, principalmente en el área de modelamiento y visualización. The weather types can be locally projected to obtain statistical regional forecasts of variables of interest. (Right) Precipitation at two different stations in Peru for a El Niño period. 01/04/2009 CAMBIO CLIMATICO EN EL PERU: IMPACTOS 14 ECONOMICOS Y SOCIALES
Simulación en Cascada Los sistemas ensamblados de predicción, comparan múltiples corridas del modelo de tiempo con ligeramente distintas condiciones iniciales y parametrizaciones del modelo. Las simulaciones resultantes contiene información valiosa acerca de las fuentes de incertidumbre en la muestra. Sea surface temperature One El Niño year CAM 365 simulations WRF (par 1) WRF (par 2) WRF (par n) SE Compare the SOM distribution of each parameterization. SOM 01/04/2009 CAMBIO CLIMATICO EN EL PERU: IMPACTOS 15 ECONOMICOS Y SOCIALES
Portal Climático Usamos GENIUS para interactuar con las aplicaciones. En un futuro cercano, un portal especifico de clima será desarrollado, el cual estará disponible para la comunidad científica. 01/04/2009 CAMBIO CLIMATICO EN EL PERU: IMPACTOS 16 ECONOMICOS Y SOCIALES
Necesidades Futuras Procesamiento Adquisición de mas cores o procesadores dedicados para computo paralelo. Uso de tecnologías de 64 bits. Almacenamiento Mejoras en el sistema de almacenamiento centralizado, adquisición de discos. Mejoras en el sistema de copias de respaldo. Redes Avanzadas Conexión a redes avanzadas a través de la RAAP (Red Académica Peruana). Mejoras en los enlaces para descarga de datos y procesamientos remotos. 17
Conclusiones Tendencias actuales de ejecutar aplicaciones colaborativamente son cada vez mas usadas. Las herramientas de computo disponibles para la ejecución de aplicaciones científicas es amplia y es posible usarla. Es necesario trabajar cooperativamente para alcanzar mejores rendimientos de aplicaciones y aprovechar al máximo los recursos disponibles. Los recursos computacionales para este tipo de aplicaciones nunca serán suficientes, por lo que la correcta gestión cobra mayor importancia. Usar la GRID 18
EELA2 Grid Tutorial for Users and Administrators 11 14 de Mayo 2009 EELA2 Workshop in Lima 15 de mayo 2009 Lugar: Universidad Peruana Cayetano Heredia 19
Gracias rmiguel@senamhi.gob.pe 20