Soluciones HPC para el Sector Energético: Desafíos y Oportunidades

Transcripción

1 Octavio Castillo Reyes Universidad Politécnica de Cataluña Doctorado en Arquitectura de Computadores Soluciones HPC para el Sector Energético: Desafíos y Oportunidades Introducción Este trabajo considera tres premisas: 1) Datos recientes demuestran que más del 70% de la producción mundial de petróleo y gas proviene de campos maduros, 2) Expertos en la materia sostienen que la demanda de energía aumentará significativamente en las próximas décadas, particularmente en las regiones subdesarrolladas del mundo, incluyendo Asia y África, 3) Quien mejor computa, mejor compite. En este sentido, las compañías energéticas enfrentan el reto de satisfacer no sólo la creciente demanda sino también el desafío de la extracción de recursos energéticos en condiciones cada vez más complejas. Ejemplo de ello son los resultados del último estudio del uso de Cómputo de Altas Prestaciones (HPC) en el Sector de Petróleo y Gas por el IDC. En él, se establece que las aguas profundas del Golfo de México albergan aproximadamente millones de barriles de crudo. Sin embargo, dichas reservas se encuentran bajo miles de metros de agua y gruesas capas de sal, además, el costo de cada pozo perforado en estas aguas oscila entre los 175 y 200 millones de dólares. Para hacer frente a estos retos, las compañías energéticas han apostado por la I+D de tecnologías dedicadas a la geofísica de exploración. Éstas se enfocan en la generación de imágenes 3D del subsuelo terrestre. Para ello, unos barcos arrastran hidrófonos que capturan ondas acústicas producidas por un transmisor. Naturalmente, las ondas sufren reflexiones y refracciones durante su viaje por los diferentes estratos del subsuelo, por lo cual sus tiempos de trayecto son registrados. Esta información (entre 10 y 20 Terabytes de datos) recibe un tratamiento informático que, a través del uso de algoritmos matemáticos complejos y no universales pues son dependientes de la zona geológica en cuestión, reproduce el perfil geológico del área del subsuelo. Es en este punto donde el HPC se convierte en aliado indispensable. Si bien el método antes descrito permite obtener imágenes de alta calidad, éste refleja una pobre sensibilidad a variaciones de conductividad de fluidos tales como agua, salmuera, petróleo y gas. Por

2 ello, en la última década se ha incrementado el uso de métodos electromagnéticos (ME) para mapear la conductividad eléctrica del terreno y acoplarla con modelos sísmicos a fin de reducir los riesgos de exploración e incrementar las tasas de éxito de perforación. Dentro del abanico de ME, el CSEM (Controlled-Source Electromagnetic Method) se ha convertido en el estándar de facto. Esta técnica consiste en arrastrar un dipolo eléctrico que genera un campo eléctrico, y la respuesta de las formaciones geológicas es registrada por los receptores en el fondo del mar. Este trabajo presenta el estado del arte del HPC en el sector energético, sus desafíos y oportunidades; se muestran los rasgos característicos del desarrollo de un software paralelo basado en Edge Elements para la resolución de ME en geometrías anisotrópicas de 3D y a ejecutarse en el supercomputador MareNostrum (Barcelona Supercomputing Center - BSC) con una capacidad de cómputo de 1.1 Petaflops. La demanda energética: un vistazo tecnológico Expertos en la materia sostienen que la demanda de energía aumentará significativamente en las próximas décadas, particularmente en las regiones subdesarrolladas del mundo, incluyendo Asia y África. En este sentido, se afianza la idea de que el crecimiento económico, depende y dependerá, de una cadena de energía eficiente. En otras palabras, es un tema de seguridad nacional predecir el suministro de recursos energéticos a un precio razonable. En el futuro cercano, el petróleo seguirá presente como un elemento toral en el día a día de nuestras vidas: alimentación, transporte, procesos industriales y de edificación, cosméticos, alfombras, detergentes, medicamentos, desarrollo de fibras sintéticas, entre otros. En este sentido y según datos de la revista Oil and Gas Journal (OGJ), el consumo mundial de petróleo en 2013 alcanzó los millones de barriles al día, de los cuales 22 millones fueron consumidos por EU, 6.6 por China y 3 por México. Por otro lado, los suministros, en todo caso finitos, no sólo dependen de su volumen, sino también de la capacidad de las empresas energéticas para su extracción y entrega de manera que sean económicamente competitivos y sostenibles. Lo anterior abre un abanico de retos y desafíos científico-tecnológicos claves para los índices de competitividad de las próximas décadas. Las herramientas tecnológicas actuales, junto con los precios del petróleo y los costos de su

3 extracción, son los factores que determinan si un terreno es económicamente viable. Para ello, es fundamental conocer el punto de saturación irreductible ya que éste determina el punto en el cual se vuelve físicamente imposible extraer más petróleo en un campo dado. La I+D podrían coadyuvar en la reducción de dicho límite, de hecho, diversas herramientas tecnológicas ya han aumentado considerablemente la capacidad de recuperación promedio, pasando de un 30% hace varias décadas, a un 50% en la actualidad. Estas ganancias se deben, principalmente, a modelos matemáticos e informáticos que detallan y caracterizan de manera más precisa las estructuras geológicas subyacentes. Por todo lo anterior, el Cómputo de Alto Desempeño (High Performance Computing-HPC), se ha convertido en un indiscutible aliado para el sector energético. Éste ha permitido al sector industrial desarrollar nuevas y mejoradas técnicas de exploración a fin de predecir de una mejor manera no sólo dónde se encuentra el petróleo, sino también cómo obtener un rendimiento mayor en el proceso de extracción. En ese sentido, las arquitecturas HPC facilitan el tratamiento de datos de imágenes sísmicas y electromagnéticas para crear simulaciones de pozos petroleros de manera más precisa. Estas imágenes muestran una aproximación de las características geológicas bajo la superficie de la tierra. Las imágenes son de gran valor porque denotan la posible presencia o ausencia de petróleo y gas. De igual forma, ofrecen una representación detallada de las propiedades físicas circundantes, mismas que deben ser consideradas en el proceso de extracción. Sin embargo, y a pesar de las recientes mejoras en las técnicas de adquisición de grandes volúmenes de datos para caracterizar la geología subterránea o submarina, la información aún no es lo suficientemente amplia para determinar con precisión la existencia de recursos energéticos en un terreno dado. Por ello, el sector científico intenta compensar la ausencia de datos mediante el uso de interpretaciones o aproximaciones geológicas, es decir, desarrollan modelos matemáticos y computacionales para simular pozos petroleros con mayor precisión. Estos modelos han demostrado capacidad en el incremento sustancial de la comprensión de las incertidumbres que imposibilitan la mejora de tasas de recuperación. En este sentido, los modelos matemáticos y computacionales que se están desarrollando en la actualidad buscan representar de manera más precisa las propiedades e interacciones de los terrenos, esto conlleva a modelos con un elevado número de parámetros físicos, complejos y costosos en términos computacionales. El tiempo de simulación de un modelo es crucial para el sector energético que, por ejemplo, si cada iteración de un modelo dado consume un mes de cómputo, la industria no intentaría ejecutarlo. Por tanto, si se pudiera reducir este tiempo mediante el uso de herramientas

4 eficientes, la simulación podría ejecutarse de manera frecuente. Es así como el desarrollo de modelos cada vez más grandes y complejos aplicados a la geofísica de exploración y el acceso a arquitecturas HPC reducirán significativamente la incertidumbre que enfrentan las empresas petroleras; también podrán evitar algunos problemas técnicos derivados de condiciones de terreno inesperadas, reduciendo costos y daños ambientales. Métodos de exploración geofísica La Geofísica de Exploración (GE) es un campo de la ciencia que utiliza los principios de la física para obtener información, en muchos casos inaccesible desde una observación geológica, acerca de la superficie de la tierra. La GE incluye un amplio abanico de métodos, los más comunes son los sísmicos, gravitacionales, magneto telúricos y electromagnéticos (Actualmente, Controlled-Source Electromagnetic Method CSEM es uno de los métodos más aceptados). Estas técnicas utilizan datos obtenidos en áreas geográficas restringidas para determinar la distribución de sus propiedades físicas en la profundidad. El tipo de propiedad física define el rango de aplicación de cada método, por ejemplo, el método MT es muy apropiado para localizar cuerpos de magnetita gracias a su alta susceptibilidad magnética. Por otro lado, los métodos sísmicos y electromagnéticos son adecuados para la localización de trampas de agua y otros fluidos contenidos en capas freáticas. Dada su capacidad para detectar y delinear características locales en áreas internas, algunas de las principales aplicaciones de los métodos de GE son: búsqueda de hidrocarburos, búsqueda de minerales y aplicaciones medioambientales, entre otras. En términos de inversión anual, los métodos sísmicos son el recurso más importante debido a su práctica habitual y generalizada en la exploración de hidrocarburos. Éstos son capaces de obtener imágenes de alta resolución de la estratigrafía, las cuales son cruciales en el desarrollo de proyectos de investigación, de exploración, de inversión, y de categorización, entre otros. Sin embargo, hay algunos casos en los que las técnicas sísmicas no son lo suficientemente adecuadas. Una de ellas es la exploración de yacimientos que se lleva a cabo principalmente mediante métodos topográficos electromagnéticos y magnéticos. Lo anterior obedece al hecho de que las técnicas sísmicas tienen muy poca sensibilidad a las alteraciones de algunos fluidos, tales como el agua, la salmuera, petróleo y gas. Por lo tanto, en muchos casos es difícil o incluso imposible extraer datos sobre fluidos atrapados en el subsuelo a partir de conjuntos de datos sísmicos. El último hecho demostró que los métodos sísmicos

5 no son apropiados para el reconocimiento de diferentes tipos de fluidos contenidos en el subsuelo. Por lo anterior, en la última década se ha sucedido un aumento en el uso de los métodos electromagnéticos para mapear las variaciones en la conductividad eléctrica en terrenos de prospección [1, 2, 3, 4]. A saber, la conductividad eléctrica de un cuerpo geológico está determinada esencialmente por su contenido de poros, los materiales evidencian una anomalía de conductividad cuando sus poros contienen petróleo o gas. Esto hace de los métodos electromagnéticos, y en particular al CSEM, una importante herramienta de cara a proporcionar datos complementarios a las imágenes sísmicas de hidrocarburos con el objetivo de reducir ambigüedades y riesgos de exploración. La técnica de CSEM consiste en remolcar un dipolo eléctrico que genera un campo eléctrico, y la respuesta de las formaciones geológicas a la excitación es registrada por los receptores de campo eléctrico y magnético en el fondo del mar [5 y 6]. Dependiendo de la profundidad del objetivo, las frecuencias de operación del transmisor pueden variar entre 0,1 a 10 Hz y las separaciones entre fuente/receptor pueden ser de hasta 10 km [7 y 8]. El método CSEM, ha sido utilizado durante mucho tiempo para estudiar la conductividad eléctrica de la corteza oceánica y el manto superior [9]. Sin embargo, en los últimos años, ha surgido un intenso interés comercial en la detección de yacimientos de hidrocarburos en alta mar. Además, el método ha demostrado ser eficaz para la caracterización de sedimentos superficiales de hidratos de gas [10]. El problema físico y computacional En general, las leyes de la física proporcionan la forma de cálculo de los valores de los datos que figuran un modelo: esto se conoce como problema directo (Forward Modelling). Por otro lado, el objetivo de resolver el problema inverso (Inverse Problem) es reconstruir un modelo a partir de un conjunto de datos físicos. En el contexto de los problemas de EM en geofísica de explotación, el enfoque del Forward Modelling consiste en resolver las ecuaciones de Maxwell, donde la permeabilidad se establece como constante, pero la conductividad eléctrica puede ser muy heterogénea. El propósito de la inversión es recuperar la conductividad a partir ciertas mediciones del campo eléctrico y del campo magnético. Existen muchos retos para resolver tanto el Forward Modelling como el Inverse Problem. En primer lugar, debido a su no linealidad. En segundo lugar, la cantidad de datos a procesar es razonablemente grande debido a las mejoras en los sistemas de adquisición de datos (modelos de conductividades de alta calidad en áreas geológicas complejas). Por último, el coste

6 computacional para resolver los sistemas de ecuaciones que modelan terrenos en 3D. Por otro lado, y en paralelo con el desarrollo y mejora de los métodos EM, el área computacional ha sido objeto de importantes avances, sobre todo en términos de velocidad de procesamiento y capacidades de memoria. Esto ha motivado el desarrollo de nuevos algoritmos que muestran un alto grado de sofisticación en términos de precisión y tiempo de ejecución. Por ejemplo, problemas de Inversión EM en 2D que hace 10 años requerían una computadora Cray para tiempos de cálculo razonables, ahora pueden finalizar su ejecución en unos pocos minutos en equipos de cómputo estándar [10, 11, 12 y 13]. A fin de reducir los tiempos de procesamiento, la interpretación de datos en 2D se ha convertido en una técnica estándar debido a la falta de modelos EM en 3D eficientes. A pesar de ello, existen casos en los cuales la interpretación en 2D no es suficiente ya que puede arrojar resultados en los que aparecen algunos objetos o ruidos que podrían conducir a una interpretación errónea del terreno. Este hecho pone de relieve la necesidad de modelos eficientes que resuelvan el tanto el Forward Modelling como el Inverse Problem en geometrías 3D. En resumen, la solución de modelos EM en 3D es un gran desafío, sus sistemas de ecuaciones pueden requerir la solución de varios millones de incógnitas de campo (eléctrico o magnético). Como resultado, se requiere un esfuerzo sustancial de dos vías. En primer lugar para construir una solución numérica que aproxime de manera eficiente los fenómenos físicos, y en segundo lugar, para identificar e implementar una metodología que haga un uso adecuado de los recursos computacionales de última generación a fin de reducir el tiempo de procesamiento. Edge elements, EM y HPC El método de Diferencias finitas (FD) y el método de elementos finitos (FE) suelen ser las técnicas de elección para la solución numérica de grandes problemas electromagnéticos que surgen en la exploración geofísica, como CSEM. Ambos métodos son comparables en términos de precisión de la solución, los requisitos de almacenamiento y velocidad de ejecución. En el método FD, la conductividad, un campo electromagnético y las ecuaciones diferenciales de Maxwell son aproximadas en diferencias finitas dentro de una malla rectangular de 3D. La principal ventaja de la técnica de FD para problemas electromagnéticos es una aparente simplicidad de su implementación. Sin embargo el método FD funciona solamente con mallas rectangulares estructuradas que no se ajustan a las configuraciones irregulares, esto puede tener un grave impacto en la calidad de las soluciones. En otras palabras, los refinamientos locales de malla no son posibles y por lo tanto el ajuste a cualquier tamaño

7 de la malla tiene un gran efecto global en los recursos computacionales necesarios. Por otro lado, el método de FE opera con mallas no estructuradas cuyos elementos de borde pueden adaptarse a geometrías irregulares, propias de las heterogeneidades del subsuelo. En el método FE, los campos EM (o sus potenciales) se descomponen en algunas funciones básicas. Soluciones de FE para problemas EM pueden ser formuladas directamente en términos de vectores de campo eléctrico o magnético, o en términos de potenciales vectores escalares acoplados. Ambos métodos tienen sus ventajas y desventajas explicadas en [14]. La aplicación de FE a problemas escalares es sencillo y siempre tiene éxito si el problema se formula correctamente [15]. Sin embargo, su aplicación a problemas vectoriales es una cuestión problemática. En caso de problemas electromagnéticos, hay tres grandes dificultades. La primera ocurre cuando la variable trabajo es discontinua a través de las interfaces entre diferentes materiales. La segunda es la aparición de soluciones espurias. La tercera dificultad es la incapacidad de modelar singularidades de campo en las esquinas, bordes y puntas de los materiales. Algunas de estas dificultades y sus soluciones son descritas por [16, 17, 18, 19 y 20]. Con el fin de resolver estos inconvenientes, se ha desarrollado un nuevo enfoque que lleva por nombre Edge Elements [21, 22 y 23]. Esta técnica consiste en asignar grados de libertad a las aristas en lugar de aplicarlos a los nodos de cada elemento. Este tipo de función está libre de todas las deficiencias de las funciones habituales de interpolación basadas en valores nodales (método de FE tradicional) y es particularmente adecuado para representar los campos electromagnéticos. El potencial y la importancia de los Edge Elements en problemas electromagnéticos son descritos por [24, 25, 26, 27, 28 y 29]. Por todo lo anterior, el objetivo de esta investigación es implementar un software de elementos finitos basado en Edge Elements para problemas EM de inducción en geometrías de 3D que surgen al aplicar algunos métodos EM para geofísica de exploración tales como CSEM. La técnica elegida para la discretización del problema físico permitirá el uso de mallas no estructuradas y el refinamiento local a fin de representar estructuras geológicas complejas con un grado de precisión aceptable en las soluciones. Para hacer frente a la enorme cantidad de cálculos que intervienen en el modelado de problemas EM en 3D, así como para aumentar la eficiencia del método numérico, el software será implementado en arquitecturas de altas prestaciones. Todas las simulaciones serán ejecutadas en la supercomputadora MareNostrum III del BSC [30]. MareNostrumIII es una supercomputadora basada en procesadores Intel SandyBridge, racks de cómputo idataplex, Sistema Operativo Linux y un sistema de interconexión Infiniband. Cuenta con una capacidad de cálculo de 1.1 Petaflops (mil Teraflops/s, es decir, mil billones de operaciones por segundo). Sus 48,448 procesadores Intel SandyBridge-EP E5-

8 2670 con una frecuencia de 2.6 GHz, se encuentran agrupados en 3,028 nodos (16 procesadores por nodo). Cuenta con TB de memoria principal (32 GB/nodo) y 1.9 PB de almacenamiento en disco. Los resultados serán comparados con los de otros investigadores con el fin de comprobar la exactitud de las aproximaciones. El rendimiento del código se pondrá a prueba para grandes problemas que van desde un millón hasta cien millones de grados de libertad. Conclusiones Este trabajo presentó una revisión del estado del arte del HPC en el sector energético, incluyendo sus desafíos y oportunidades. Se describió el papel de la geofísica de exploración, su esencia y su relación con CSEM para mapear la conductividad eléctrica de un terreno. Se mencionaron los métodos numéricos más comunes para modelarlo: FD, FE y Edge Elements. Todos ellos requieren la solución de sistemas de ecuaciones lineales dispersos y complejos que demandan grandes capacidades de cómputo y almacenamiento que solo pueden ser resueltos con la ayuda de arquitecturas HPC. Finalmente, se mostraron los rasgos característicos para el desarrollo de un software paralelo basado en Edge Elements para la resolución de ME en geometrías anisotrópicas de 3D y a ejecutarse en el supercomputador MareNostrum (BSC) con una capacidad de cómputo de 1.1 Petaflops. Agradecimientos El autor agradece al Consejo Nacional de Ciencia y Tecnología (CONACyT) el apoyo otorgado a través de la Beca para estudios de Doctorado en el extranjero # De igual forma, agradece todo el soporte del Departamento de Aplicaciones en Ciencia e Ingeniería CASE del Barcelona Supercomputing Center Centro Nacional de Supercomputación. Referencias 1. Newman, G. A., Commer, M., & Carazzone, J. J. (2010). Imaging CSEM data in the presence of electrical anisotropy. Geophysics, 75(2), F51-F Weiss, C. J., & Newman, G. A. (2002). Electromagnetic induction in a fully 3-D anisotropic earth. Geophysics, 67(4), Carazzone, J. J., Burtz, O. M., Green, K. E., Pavlov, D. A., & Xia, C. (2005). Three dimensional

9 imaging of marine CSEM data. In 2005 SEG Annual Meeting. 4. Constable, S. (2010). Ten years of marine CSEM for hydrocarbon exploration. Geophysics, 75(5). 5. Abubakar, A., Habashy, T., Druskin, V., Alumbaugh, D., Zerelli, A., & Knizhnerman, L. (2006). Two-and-half-dimensional forward and inverse modeling for marine CSEM problems. In 2006 SEG Annual Meeting. Society of Exploration Geophysicists. 6. Commer, M., & Newman, G. A. (2008). New advances in three dimensional controlled source electromagnetic inversion. Geophysical Journal International, 172(2), Eidesmo, T., Ellingsrud, S., MacGregor, L. M., Constable, S., Sinha, M. C., Johansen, S. E.,... & Westerdahl, H. (2002). Sea bed logging (SBL), a new method for remote and direct identification of hydrocarbon filled layers in deepwater areas. First break, 20(3). 8. Ellingsrud, S., Eidesmo, T., Johansen, S., Sinha, M. C., MacGregor, L. M., & Constable, S. (2002). Remote sensing of hydrocarbon layers by seabed logging (SBL): Results from a cruise offshore Angola. The Leading Edge, 21(10), Hano, M. (1984). Finite-element analysis of dielectricloaded waveguides. Microwave Theory and Techniques, IEEE Transactions on, 32(10), Huang, Y., Li, J., & Wu, C. (2013). Averaging for superconvergence: verification and application of 2D edge elements to Maxwell s equations in metamaterials. Computer Methods in Applied Mechanics and Engineering, 255, Koldan, J. (2013). Numerical Solution of 3-D Electromagnetic Problems in Exploration Geophysics and its Implementation on Massively Parallel Computers. UPC. 11. Smith, J. T., & Booker, J. R. (1991). Rapid inversion of two and three dimensional magnetotelluric data. Journal of Geophysical Research: Solid Earth ( ), 96(B3). 12. Siripunvaraporn, W., & Egbert, G. (2000). An efficient data-subspace inversion method for 2-D magnetotelluric data. Geophysics, 65(3), Rodi, W., & Mackie, R. L. (2001). Nonlinear conjugate gradients algorithm for 2-D magnetotelluric inversion. Geophysics, 66(1), Badea, E. A., Everett, M. E., Newman, G. A., & Biro, O. (2001). Finite-element analysis of controlled-source electromagnetic induction using Coulomb-gauged potentials. Geophysics, 66(3). 15. Jin, J. M., Jin, J., & Jin, J. M. (2002). The finite element method in electromagnetics. New York: Wiley. 16. Demerdash, N. A., Fouad, F. A., Nehl, T. W., & Mohammed, O. A. (1981). Three dimensional finite element vector potential formulation of magnetic fields in electrical apparatus. Power Apparatus and Systems, IEEE Transactions on, (8), Kotiuga, P. R., & Silvester, P. P. (1982). Vector potential formulation for three dimensional

10 magnetostatics. Journal of Applied Physics, 53(11), Barton, M. L., & Cendes, Z. J. (1987). New vector finite elements for three dimensional magnetic field computation. Journal of Applied Physics, 61(8), Boyse, W. E., Lynch, D. R., Paulsen, K. D., & Minerbo, G. N. (1992). Nodal-based finite-element modeling of Maxwell's equations. Antennas and Propagation, IEEE Transactions on, 40(6). 20. Bíró, O. (1999). Edge element formulations of eddy current problems. Computer methods in applied mechanics and engineering, 169(3), Webb, J. P. (1993). Edge elements and what they can do for you. Magnetics, IEEE Transactions on, 29(2), Bossavit, A. (1998). Computational electromagnetism: variational formulations, complementarity, edge elements. Academic Press. 23. Chen, J., Liu, Q. H., Chai, M., & Mix, J. A. (2010). A nonspurious 3-D vector discontinuous Galerkin finite-element time- domain method. Microwave and Wireless Components Letters, IEEE, 20(1), Nédélec, J. C. (1986). A new family of mixed finite elements in R 3. Numerische Mathematik, 50(1), Bossavit, A., & Verite, J. C. (1982). A mixed FEM-BIEM method to solve 3-d eddy-current problems. Magnetics, IEEE Transactions on, 18(2), Hano, M. (1984). Finite-element analysis of dielectric-loaded waveguides. Microwave Theory and Techniques, IEEE Transactions on, 32(10), Mur, G., & De Hoop, A. T. (1985). A finite-element method for computing three-dimensional electromagnetic fields in inhomogeneous media. Magnetics, IEEE Transactions on, 21(6). 28. Lee, J. F., Sun, D. K., & Cendes, Z. J. (1991). Tangential vector finite elements for electromagnetic field computation. Magnetics, IEEE Transactions on, 27(5), Rieben, R. N., Rodrigue, G. H., & White, D. A. (2005). A high order mixed vector finite element method for solving the time dependent Maxwell equations on unstructured grids. Journal of Computational Physics, 204(2), Barcelona Supercomputing Center Centro Nacional de Supercomputación