El Supercómputo en la Explotación del Petróleo

Transcripción

1 El Supercómputo en la Explotación del Petróleo Escuela de Modelación y Métodos Numéricos CIMAT, Guanajuato, Junio 2009 Luis M. de la Cruz Unidad de Investigación en Cómputo Aplicado DGSCA Universidad Nacional Autónoma de México k: luiggi@unam.mx web : 19 Junio 2009

2 Colaboradores Dr. Ismael Herrera, Instituto de Geofísica UNAM Dr. Martín Díaz Viera, Instituto Mexicano del Petróleo Dr. Dennys López Falcón, Instituto Mexicano del Petróleo LMCS Escuela de Modelación y Métodos Numéricos 2 / 44

3 Contenido 1 MMC Problemas de gran reto Proceso general de la MMC Modelos físicos Modelos matemáticos Modelos discretos Solución de las ecuaciones 2 Cómputo de Alto Desempeño (HPC) HPC Visualización y análisis de los resultados 3 Integración 4 Conclusiones LMCS Escuela de Modelación y Métodos Numéricos 3 / 44

4 Modelación Matemática y Computacional La MMC (cómputo científico) ha tenido un desarrollo muy significante en los últimos años. Desarrollo de nuevas arquitecturas. Desarrollo de nuevos métodos. Desarrollo de algoritmos eficientes. Se ha convertido en una herramienta indispensable en casi todas las disciplinas científicas. Es particularmente útil en la solución de problemas que son insolubles analíticamente o cuyo experimento es imposible difíciles, lentos, caros y peligrosos. LMCS Escuela de Modelación y Métodos Numéricos 4 / 44

5 Problemas de gran reto El Federal High Performance Computing and Communications Program (HPCC) establecido en 1991, en EE.UU, definió una clase de problemas conocidos como Grand Challenge Problems(GCP). Un GCP es un problema fundamental de ciencia y/o ingeniería, NO resuelto en la actualidad, con muchas aplicaciones y cuya solución requiere del uso de grandes recursos de cómputo, los cuales estarán disponibles en un futuro cercano. La solución de un GCP tendría un gran impacto económico y social significante. Uno de esos problemas es la recuperación eficiente de hidrocarburos. LMCS Escuela de Modelación y Métodos Numéricos 6 / 44

6 Proceso general de la MMC La modelación matemática y computacional (MMC) consiste de la construcción de modelos matemáticos de fenómenos que ocurren en la naturaleza y en procesos industriales, y de la solución de éstos mediante el uso de técnicas numéricas y computacionales LMCS Escuela de Modelación y Métodos Numéricos 8 / 44

7 Modelo Físico Un yacimiento petrolero está constituido de un material sólido y poroso (la matriz), cuyos huecos están llenos de fluidos que se separan en tres fases: agua, aceite y gas. En la fase agua sólo hay H2O, pero tanto en la fase de aceite como en la fase de gas hay muchos hidrocarburos de distinta composición LMCS Escuela de Modelación y Métodos Numéricos 10 / 44

8 Modelo Físico En la simulación de yacimientos petroleros (SYP) Rasgos geológicos y estructurales del yacimiento. Fallas, delimitación de unidades geológicas, tipos de rocas y su distribución, etc. Distribución de las propiedades petrofísicas de roca y fluidos. Porosidad, permeabilidad, saturación, etc. Tipo de modelo Una, dos o tres fases (petróleo, agua, aceite). Composicional Modelos térmicos. Reacciones químicas LMCS Escuela de Modelación y Métodos Numéricos 11 / 44

9 Modelo Matemático: petróleo negro Ecuaciones de balance global dm w Z (t) = g w dx dt B(t) d M o Z (t) = ḡ o dx dt B(t) dm dg Z (t) = dt dm g (t) dt = Z B(t) B(t) g dg + g o g dx g dg + g g o dx Ecuaciones diferenciales de balance (φs wρ w) + (φs wρ wv w ) t = g w (φs o ρ o) + (φs o ρ ov o ) t = ḡ o (φs o R S ρ o) + (φs o ρ dgv o ) t = g dg + g o g (φs gρ g) + (φs gρ gv g ) t = g g + g g o S w + S o + S g = 1 y g o g + g g o = 0 Las g α corresponden a la extracción de cada fase; g o g es la masa de gas que se disuelve en la fase aceite; g g o es la masa de gas disuelto que se volatiliza pasando a la fase gas. LMCS Escuela de Modelación y Métodos Numéricos 13 / 44

10 Modelo Matemático: petróleo negro Usando la velocidad de Darcy (u α = φs α v α, α = w, o, g ): (φs wρ w) + (ρ wu t w ) = g w (φs o ρ o) + ( ρ ou t o ) = ḡ o φ(s gρ g + S o R S ρ o) + (ρ gu t g + ρ o R Su o ) = g g + R Sḡ o u α = kkrα ` pα + ρ α γ µ α ρ dg = R S ρ o; S w + S o + S g = 1; p cgo(s g) = p g p o; p cow(s w) = p o p w 9 ecs. por nodo de la malla y el mismo número de incógnitas, (ρ w, ρ o, ρ g, S w, S o, S g, u w, u o, u g ). LMCS Escuela de Modelación y Métodos Numéricos 14 / 44

11 Modelos discretos Dado que en general no existe solución analítica de los modelo matemáticos, se recurre a métodos numéricos simular los fenómenos que ocurren en la extracción de petróleo. El problema se transforma en un modelo discreto: 1 Discretización del espacio 2 Discretización de las ecuaciones matemáticas continuas. LMCS Escuela de Modelación y Métodos Numéricos 16 / 44

12 Modelos discretos: espacio En los métodos numéricos tradicionales se requiere de la construcción de una malla sobre el dominio físico de estudio. En SYP la generación de la malla es un proceso muy complejo, pues las mallas son irregulares y con fallas. LMCS Escuela de Modelación y Métodos Numéricos 17 / 44

13 Modelos discretos: ecuaciones Métodos numéricos más usados: Diferencias finitas (MDF) Volumen finito (MVF) Elemento finito (MEF), En años recientes el método de MVF, originalmente desarrollado para mallas estructuradas, ha sido adaptado a mallas no estructuradas para geometrías complejas. Debido a esto el MVF ha sido utilizado en SNY, y de acuerdo con varios autores, es actualmente una buena opción a MDF y MEF. Menos grados de libertad Conservativo Más fácil de implementar que MEF. Menos esfuerzo computacional que MEF. Más preciso que MDF. LMCS Escuela de Modelación y Métodos Numéricos 18 / 44

14 Solución de las ecuaciones Modelo composicional: 2 N c + 9 ecuaciones en cada nodo, con el mismo número de incógnitas. N c es el número de componentes. Para 80,000 nodos: Composicional: N c = 5; 1, Los sistemas son dispersos y es en este paso donde se consume el mayor tiempo de cómputo. Algoritmos de solución: Directos (Gauss, LU) Iterativos (Jacobi, Gauss-Seidel, PCGM, GMRES, ORTHOMIN) LMCS Escuela de Modelación y Métodos Numéricos 20 / 44

15 Ley de Moore En 1965 Gordon Moore se dió cuenta que el número de transistores en un circuito integrado se podía duplicar cada 18 meses. LMCS Escuela de Modelación y Métodos Numéricos 22 / 44

16 Ley de Moore en la práctica LMCS Escuela de Modelación y Métodos Numéricos 23 / 44

17 Velocidad de una computadora Proporcional al número de transistores por unidad de área. FLOPS : FLoating point Operations Per Second. Nombre Símbolo FLOPS Mega FLOPS MFLOPS 10 6 Giga FLOPS GFLOPS 10 9 Tera FLOPS TFLOPS Peta FLOPS PFLOPS Exa FLOPS EFLOPS Zetta FLOPS ZFLOPS Yotta FLOPS YFLOPS Xera FLOPS XFLOPS LMCS Escuela de Modelación y Métodos Numéricos 24 / 44

18 Requerimientos en un GCP SYN: Modelo composicional Se consideran N c componentes de hidrocarburos. Fases: agua, aceite y gas. 2 N c + 9 ecuaciones e incógnitas por nodo. En una simulación típica se requieren 10 6 nodos. Total de incógnitas para N c = 5 es Simulación de 5 años, resultados cada día. : 3, Double 4 Bytes. Total requerido : O(10 11 ). Este tipo de simulaciones se repiten muchas veces. Escalamiento (Upscaling) : reducción del número de nodos. LMCS Escuela de Modelación y Métodos Numéricos 25 / 44

19 Cómputo de Alto desempeño (HPC) High-performance computing (HPC) Provee de recursos computacionales con más de un orden de mágnitud de poder computacional que una PC de escritorio. Estos recursos agrupados en un mainframe se suele llamar supercomputadora, aunque también es posible tener el mismo poder mediante el arreglo de computadoras o clusters. Las supercomputadoras y/o clusters son usados para resolver problemas complejos de gran escala (GCP). El uso efectivo de HPC requiere de aprender a desarrollar estas técnicas dentro de un código. LMCS Escuela de Modelación y Métodos Numéricos 26 / 44

20 Top 500 Lista de supercomputadoras más poderosas en el mundo. 1.- Roadrunner, LANL, USA, 122,440 cores, TFLOPS (1 PFLOP) Kanbalam, UNAM, MX, 1,368 cores, 7.1 TFLOPS. 1 Noviembre, 2006 LMCS Escuela de Modelación y Métodos Numéricos 27 / 44

21 Ley de Moore vs HPC LMCS Escuela de Modelación y Métodos Numéricos 28 / 44

22 Top 10 LMCS Escuela de Modelación y Métodos Numéricos 29 / 44

23 Desempeño hasta 2009 LMCS Escuela de Modelación y Métodos Numéricos 30 / 44

24 Desempeño proyectado hast 2019 LMCS Escuela de Modelación y Métodos Numéricos 31 / 44

25 Desarrollo de Software I. Jacobson, G. Booch, and J. Rumbaugh. LMCS Escuela de Modelación y Métodos Numéricos 32 / 44

26 Desarrollo de software en MMC LMCS Escuela de Modelación y Métodos Numéricos 33 / 44

27 TUNA::FVM Arquitectura LMCS Escuela de Modelación y Métodos Numéricos 34 / 44

28 TUNA::FVM Paquetes Ecuación general de transporte: Versión discreta usando FVM: ψ t + (vψ) = τ + g a P ψ P = a W ψ W + a E ψ E + a S ψ S + a N ψ N + a B ψ F + a B ψ B + S u. LMCS Escuela de Modelación y Métodos Numéricos 35 / 44

29 Desarrollo de software en MMC Bibliotecas de código abierto, paralelos y escalables: TOPS : Toward Optimal Petascale Simulation [ HYPRE [ ] PETSc : Portable, Extensible Toolkit for Scientific Computation [ SUNDIALS [ ] SuperLU [ xiaoye/superlu/ ] Toolkit for Advanced Optimization [ ] The Trilinos Project [ ] Métodos de Descomposición de Dominio. Herrera, I and Yates, R., Unified Multipliers-Free Theory of Dual-Primal Domain Descomposition Methods, Numerical Methods For Partial Differenctial Equations, Wiley InterScience, LMCS Escuela de Modelación y Métodos Numéricos 36 / 44

30 HPC Aprender HPC requiere de mucho esfuerzo. Con HPC se puede mejorar un código para que en vez de 1 día se ejecute en 1 hr. Por qué no esperar 1 día? Respuestas: HPC nos da lo que no se obtiene en ningún otro lugar: hacer ciencia más grande, más rápido y más emocionante. Si un código corre más rápido significa que puede resolver problemas más grandes que los comunes en la misma cantidad de tiempo. Lo que pasa hoy en HPC será lo que se tenga en una PC de escritorio en 5 o 10 años. Cualquier experiencia en HPC nos da una visión del futuro. LMCS Escuela de Modelación y Métodos Numéricos 37 / 44

31 Visualización y análisis Que hacer con miles y miles de números? Visualización científica: mapear números en dimensiones perceptuales para hacer la información entendible. Visual, auditiva y táctil. Nuevas tecnologías estereoscopía despliegues amplios e interfaces. cluster s gráficos con GPUs de última generación (ATI, nvidia, etc.) programación de la GPU. Visualización en paralelo [ The Institute for Ultrascale Visualization The Visualization and Analytics Center for Enabling Technologies (VACET) The Scientific Data Management Center for Enabling Technologies LMCS Escuela de Modelación y Métodos Numéricos 39 / 44

32 Integración Como integrar todas las técnologías para modelar la recuperación mejorada de hidrocarburos? Telecomunicaciones. GRID e Internet 2. Ejemplo: ResGRID Center for Computation and Technology, Louisiana State University (LSU). Craft & Hawkins Departament of Petroleum Engineering, LSU. Dept. of Computer Science, LSU. Objetivos: 1 Manejo de datos de gran escala 2 Realización de cientos o miles de simulaciones. 3 Herramientas fácil de usar integradas (a través de web). LMCS Escuela de Modelación y Métodos Numéricos 40 / 44

33 ResGrid : escenario de uso LMCS Escuela de Modelación y Métodos Numéricos 41 / 44

34 ResGrid : manejo de datos LMCS Escuela de Modelación y Métodos Numéricos 42 / 44

35 ResGrid : manejo de las simulaciones LMCS Escuela de Modelación y Métodos Numéricos 43 / 44

36 Conclusiones La modelación matemática y computacional de la recuperación eficiente de hidrocuarburos es un problema de gran reto. Los modelos físicos y matemáticos son complejos. La generación de las mallas no es trivial Los métodos numéricos generan sistemas de ecuaciones muy grandes. Requiere de grandes recursos de cómputo (HPC). CPU Memoria Almacenamiento Análisis El uso de HPC es de vital importancia. El uso de la Ingeniería de software en combinación con POO y PP ayudan a ordenar los desarrollos. Una manera de integrar las nuevas tecnologías es a través del uso de GRID. Se requiere de personal especializado en muchas áreas del conocimiento. LMCS Escuela de Modelación y Métodos Numéricos 44 / 44