Tesis de Maestría en Ingeniería de Sistemas. Línea de investigación en Inteligencia Artificial JULIÁN MORENO CADAVID

Transcripción

1 MODELO DE SIMULACIÓN BASADO EN AGENTES DE SOFTWARE INTELIGENTES PARA EL APRENDIZAJE DE ESTRATEGIAS DE COMERCIALIZACIÓN DE ENERGÍA ELÉCTRICA EN COLOMBIA Tesis de Maestría en Ingeniería de Sistemas Línea de investigación en Inteligencia Artificial JULIÁN MORENO CADAVID Director DEMETRIO ARTURO OVALLE C. PhD. Co Director JUAN DAVID VELÁSQUEZ H. PhD. (c) Universidad Nacional de Colombia Sede Medellín Facultad de Minas Escuela de Sistemas 2007

2 NOTAS DE ACEPTACIÓN ii

3 iii

4 iv

5 AGRADECIMIENTOS El autor expresa sus agradecimientos a: El director y codirector de esta tesis, los profesores Demetrio Ovalle y Juan David Velásquez de la Escuela de Sistemas por su acompañamiento y valiosos aportes en la elaboración de este trabajo. A Carlos Jaime Franco, Mónica Henao y Alejandro Uribe, jurados de esta tesis, por sus oportunos comentarios, sugerencias y correcciones. A todos los profesores y compañeros de la maestría por su apoyo y críticas constructivas. Y en general a todas aquellas personas que de una u otra manera fueron una ayuda en la realización de este trabajo. v

6 RESUMEN El alto nivel de competencia introducido en los mercados eléctricos alrededor del mundo a raíz de su liberalización ha obligado a las diversas empresas que hacen parte estos mercados, y en particular a aquellas que se dedican al negocio de la comercialización, ha desarrollar estrategias inteligentes que les permitan posicionarse de manera eficiente y perdurable. El mercado eléctrico colombiano no es ajeno a este panorama por lo que en esta tesis se proponen una serie de modelos que, ha partir de la estadística, la algoritmia y la inteligencia artificial, permiten la evaluación de estrategias de comercialización y el impacto de la evolución de las mismas dentro de un ambiente de simulación que considera las principales características del mercado colombiano. Entre estas características se considera la alta dependencia hidráulica para la formación de los precios, así como la alta volatilidad de estos en la bolsa de energía, entre otras. Para lograr este objetivo se propone emplear la simulación basada en sistemas multi-agente cuyos fundamentos la hacen adecuada para el problema abordado en esta tesis. Sin embargo, para poder emplear este enfoque, fue necesario definir una metodología formal con la que se pudiera abordar cada una de las fases requeridas en este tipo de proyecto. Una vez definida la arquitectura del modelo general de simulación, se procedió a la modelación de las principales decisiones que deben tomar los comercializadores así como de las variables involucradas en dicho procesos. Posteriormente se definió un modelo de inferencia basado en lógica difusa que permite brindar una recomendación de cara al comercializador respecto a su proceder en contratación a partir de las condiciones actuales del mercado y de su expectativa en el futuro cercano. Así mismo, se definió un modelo de aprendizaje que permite simular la manera en la que los comercializadores alteran sus creencias respecto a la utilidad de tranzar en bolsa, esto es, como cambian el nivel de credibilidad con el que valoran el sistema de recomendación de acuerdo a los resultados que perciben al usarlo. Finalmente, se presentan varios casos de estudio en los que se simulan distintos escenarios que consideran la naturaleza del mercado eléctrico colombiano. A partir de tales pruebas fue posible determinar el rendimiento obtenido por agentes con perfiles de riesgo diferentes, así como la conveniencia en términos de eficiencia económica del uso de los modelos de inferencia y aprendizaje propuestos. vi

7 ABSTRACT The high level of competence that was introduced in the electric markets around the world due to their liberalization has forced the companies, and particularly those which are dedicated to trading process, to develop intelligent strategies that allow them to position in an efficient and lasting way. The Colombian market is not the exception. Because of this, and based on statistics, algorithms and artificial intelligence; a set of models that allows the evaluation of trading strategies and the impact of their evolution within a simulation environment that considers the main features of the Colombian market were proposed in this thesis. Among these features it was considered the high hydraulic dependence in the prices formation and the high volatility of prices in the spot market. To reach this goal a multi-agent based simulation approach was used whose principles are suitable to the studied problem, but first it was necessary to define a formal methodology to undertake each one of the required phases in this kind of project. Once the architecture of the general simulation model was defined, the main decisions that trading agent must take as well as the involved variables were modeled. Later on, a fuzzy inference model that gives a recommendation to the trading agent about its contracting level was defined considering the current market conditions as well as close future expectations. Likewise, a learning model that simulates the way in which trading agent alters their beliefs about the convenience of trading electricity in the spot market was defined, this is, how they change the credibility level that is used to value the recommendation system according to the results they perceive. Finally, several study cases that simulate different scenarios considering the Colombian market nature were presented. Starting from that tests it was possible to determine the profits that are achieved by agents with different risk profiles, as well as the usefulness in terms of economic efficiency of the use of de proposed inference and learning models. vii

8 TABLA DE CONTENIDO Pag. CAPÍTULO INTRODUCCIÓN Introducción Motivación Aportes Definición del problema de investigación Preguntas de investigación Alcance Objetivos Metodología de trabajo Organización del documento Difusión de resultados CAPÍTULO APROXIMACIONES AL MODELADO DEL MERCADO ELÉCTRICO COLOMBIANO Generalidades sobre el mercado eléctrico Colombiano Aproximaciones para el aprendizaje de estrategias de comercialización Teoría moderna de inversión Teoría de arbitraje Teoría moderna de portafolios Teoría formal de negociación Teoría de juegos Teoría de decisión Simulación de sistemas Trabajos realizados Reflexión CAPÍTULO PROPUESTA METODOLÓGICA PARA LA CONSTRUCCIÓN DE MODELOS DE SIMULACIÓN BASADOS EN SISTEMAS MULTI-AGENTE Enfoques y metodologías existentes Simulación de sistemas Ingeniería de software Ingeniería de software orientada a agentes Metodología propuesta Fase de captura de requerimientos Fase de conceptualización Fase de análisis Modelo de roles Modelo de entorno viii

9 Modelo de tareas Modelo de razonamiento y aprendizaje Modelo de ontología Modelo de coordinación Fase de diseño Modelo de agentes Modelo de comunicación Modelo de plataforma Fase de implementación y verificación Fase de validación Fase de estudio de resultados Fase de replicación Reflexión CAPÍTULO MODELO DE SIMULACIÓN BASADO EN AGENTES DEL MERCADO ELÉCTRICO COLOMBIANO Fase de captura de requerimientos Fase de conceptualización Fase de análisis Modelo de roles Modelo de entorno Modelo de tareas Modelo de razonamiento y aprendizaje Modelo de ontología Modelo de coordinación Fase de diseño Modelo de agentes Modelo de comunicación Modelo de plataforma Reflexión CAPÍTULO TOMA DE DECISIONES DE LOS AGENTES COMERCIALIZADORES DE ENERGÍA Decisiones de la actividad de comercialización Factor de contratación Estrategia de compra Precio de venta Otras consideraciones Mecanismo de razonamiento Proyección de la demanda Evaluación de la disponibilidad hídrica Análisis de la dinámica de precios Precio de compra Propensión a transar en bolsa Distribución de contratos Factor de contratación Margen de utilidad ix

10 5.3 Reflexión CAPÍTULO MECANISMO DE INFERENCIA DIFUSO PARA LA CONTRATACIÓN DE LOS AGENTES COMERCIALIZADORES DE ENERGÍA Aspectos a considerar Análisis de la evolución de precios Evaluación de la disponibilidad hídrica Determinación del factor de contratación Desempeño del modelo Reflexión CAPÍTULO MECANISMO PARA MODELAR EL APRENDIZAJE DE ESTRATEGÍAS DE COMERCIALIZACIÓN DE ENERGÍA Decisiones de los agentes Generalidades de los métodos de aprendizaje de máquina Aprendizaje reforzado Modelo general Medida de la optimalidad Medida de rendimiento del aprendizaje Mecanismo de aprendizaje propuesto Desempeño del modelo Reflexión CAPÍTULO VALIDACIÓN Y ANÁLISIS DE RESULTADOS Caso Caso Reflexión CAPÍTULO CONCLUSIONES Y TRABAJO FUTURO REFERENCIAS BIBLIOGRÁFICAS ANEXO A MODELOS PARA LA SIMULACION DE ESCENARIOS A.1 Aportes de los ríos A.2 Embalse ofertable A.3 Precio promedio mensual de contratos A.4 Precio promedio mensual de bolsa A.5 Demanda de energía A.5.1 Modelado de la demanda del sistema A.5.2 Modelado de la evolución de demanda propia del comercializador ANEXO B DETALLES DE IMPLEMENTACIÓN DEL PROTOTIPO x

11 B.1 Arquitectura técnica del prototipo B.2 Plataforma JADE B.3 Herramienta Protégé B.4 Herramienta JESS B.5 Herramienta FuzzyJ B.6 Consideraciones sobre las herramientas utilizadas xi

12 LISTA DE FIGURAS Figura 2.1. Estructura del mercado eléctrico colombiano Figura 2.2. Ciclo de Aprendizaje a través de Mundos Virtuales Figura 3.1. Esquema del proceso de desarrollo de modelos de simulación Figura 3.2. Ciclo de vida del software Figura 3.3. Esquema del desarrollo de software orientado a agentes Figura 3.4. Esquema de desarrollo de la metodología propuesta Figura 3.5. Notación gráfica de los casos de uso Figura 3.6. Diagrama de roles Figura 3.7. Diagrama de actividad para representar una tarea t Figura 3.8. Diagrama de flujo para representar la lógica de razonamiento r Figura 3.9. Diagrama de conceptos para representar la ontología o Figura Diagrama de secuencia de mensajes Figura Árbol de tipos de agentes Figura Diagrama de despliegue Figura 4.1. Notación grafica de los casos de uso Figura 4.2. Diagrama de roles Figura 4.3. Diagrama de la tarea Comprar energía en el SEC Figura 4.4. Diagrama de la tarea Comprar en la bolsa de energía Figura 4.5. Razonamiento de la actividad Definir porcentaje de contratación Figura 4.6. Diagrama de conceptos Figura 4.7. MSC Registro Figura 4.8. MSC Compra de energía en subasta Figura 4.9. MSC Informes periódicos Figura Árbol de tipos de agentes Figura Diagrama de despliegue Figura 5.1. Esquema de contratación Figura 5.2. Porcentaje de la demanda del sistema eléctrico Colombiano cubierta con contratos Figura 5.3. Precios corrientes de contratos y de bolsa Figura 5.4. Comparación entre agentes comercializadores Figura 5.5. Distribución de contratos de largo y corto plazo Figura 5.6. Número de contratos despachados Figura 5.7. Duración promedio de los contratos Figura 5.8. Esquema general del mecanismo de razonamiento Figura 5.9. Curva de demanda típica mensual Figura Esquema de contratación a largo plazo Figura Esquema de inferencia para determinar el factor de contratación Figura 6.1. Evolución de precios y promedios ponderados para bolsa y contratos Figura 6.2. Evolución de Aportes de los ríos y Embalse ofertable Figura 6.3. Disponibilidad hídrica mensual, años Figura 6.4. Disponibilidad hídrica promedio años Figura 6.5. Disponibilidad hídrica real vs. Modelo de pronóstico Figura 6.6. Diagrama de frecuencia de las variables de entrada Figura 6.7. Conjuntos difusos para la diferencia de precios Figura 6.8. Conjuntos difusos para la disponibilidad hídrica esperada xii

13 Figura 6.9. Conjuntos difusos para el factor de contratación Figura Superficie difusa para la variable de respuesta Figura Precios vs. Porcentaje de contratación Figura Disponibilidad hídrica vs. Porcentaje de contratación Figura Ganancia vs. Porcentaje de contratación Figura 7.1. Modelo estándar de aprendizaje reforzado Figura 7.2. Ganancias obtenidas vs. Lambda Figura 7.3. Factor de contratación vs. Lambda Figura 7.4. Ganancias obtenidas Figura 8.1. Disponibilidad hídrica para el caso de prueba Figura 8.2. Evolución de precios para el caso de prueba Figura 8.3. Demanda del sistema para el caso de prueba Figura 8.4. Esquemas de contratación por duración del contrato para el caso de prueba Figura 8.5. Porcentajes de contratación para el caso de prueba Figura 8.6. Esquema de compra de energía vs. proyección de demanda para el caso de prueba Figura 8.7. Precio promedio de contratos para el caso de prueba Figura 8.8. Precio promedio de compras para el caso de prueba Figura 8.9. Utilidades obtenidas por transacciones en bolsa para el caso de prueba Figura Disponibilidad hídrica para el caso de prueba Figura Evolución de precios para el caso de prueba Figura Porcentajes de contratación para el caso de prueba Figura Precio promedio de contratos para el caso de prueba Figura Precio promedio de compras para el caso de prueba Figura Porcentajes de cubrimiento de la demanda para el caso de prueba Figura Ganancias obtenidas por transacciones en bolsa para el caso de prueba Figura A.1. Resultados del modelo STR para los aportes de los ríos Figura A.2. Resultados del modelo de regresión para el embalse ofertable Figura A.3. Resultados del modelo ARIMA para el precio de contratos Figura A.4. Autocorrelalograma de los residuales para el modelo de precio de contratos Figura A.5. Crecimiento anual: Demanda de energía y PIB. Fuente: UPME, Figura A.6. Resultados del modelo ARIMA para la demanda comercial Figura A.7. Autocorrelalograma de los residuales para el modelo de la demanda Figura A.8. Sensibilidad de la demanda a la diferencia de precios Figura B.1. Interfaz del prototipo de simulación Figura B.2. Modelo de referencia FIPA para una plataforma de agentes Figura B.3 Interfaz de JADE Figura B.4 Editor de Clases de Protégé Figura B.5 Sistema basado en reglas con ciclo simple xiii

14 LISTA DE TABLAS Tabla 3.1. Comparación entre metodologías Tabla 3.2. Plantilla de rol Tabla 3.3. Plantilla de componentes de entorno Tabla 3.4. Plantilla de concepto Tabla 3.5. Estadísticos comunes de ajuste Tabla 3.6. Plantilla de las pruebas de validación Tabla 3.7. Plantilla de informe de resultados Tabla 4.1. Caso de uso Negociación de contratos largo plazo Tabla 4.2. Caso de uso Transacciones de energía en bolsa Tabla 4.3. Caso de uso Ventas de energía al mercado regulado Tabla 4.4. Caso de uso Ventas de energía al mercado no regulado Tabla 4.5. Caso de uso Control del mercado Tabla 4.6. Caso de uso Regulación del mercado Tabla 4.7. Plantilla del rol Comercializador Tabla 4.8. Plantilla del rol Generador Tabla 4.9. Plantilla del rol Administrador Tabla Plantilla de componente Módulo de hidrología Tabla Plantilla de componente Módulo de demanda Tabla Plantilla de componente Módulo de precios Tabla 6.1. Disponibilidad hídrica promedio años Tabla 6.2. Matriz de reglas del sistema de inferencia Tabla 8.1. Configuración de los agentes comercializadores del caso de prueba Tabla 8.2. Transacciones realizadas por los comercializadores para el caso de prueba xiv

15 CAPÍTULO 1 INTRODUCCIÓN 1.1 Introducción La simulación basada en sistemas multi-agente es un campo de investigación relativamente reciente, proveniente de la Inteligencia Artificial, que se encarga del estudio de sistemas complejos desde la perspectiva de la interacción entre las entidades (agentes) que los conforman así como de la interacción que éstas tienen con su entorno. Dentro de esta tesis se hace uso de este enfoque con el fin de facilitar el aprendizaje de estrategias de comercialización en el mercado eléctrico Colombiano. Para alcanzar este cometido se propone un modelo de simulación que permite la evaluación de diversas estrategias y que está compuesto a su vez de varios modelos que se encargan de simular dicho mercado en dos aspectos: su funcionamiento general, y las reglas de actuación de los agentes que en él intervienen, siendo de particular interés aquellos involucrados en la actividad de comercialización. Para el primer aspecto se proponen diversos modelos matemáticos y algorítmicos que reflejan la dinámica de algunas de las principales variables del sector; mientras que para el segundo se propone el uso de la lógica difusa y el aprendizaje de máquina para modelar los procesos de razonamiento y aprendizaje que, con el fin de obtener mayores utilidades, son llevados a cabo por los agentes comercializadores. 1.2 Motivación Los cambios que se han presentado durante las dos últimas décadas en los mercados eléctricos alrededor del mundo han intensificado la competencia entre las diversas empresas de energía, convirtiéndose para éstas en un reto del cual depende su permanencia en el sector. Si bien la introducción de dicha competencia tuvo como finalidad llevar a los mercados hacia la eficiencia económica que se tradujera en beneficios para los usuarios, les introdujo a dichos mercados un alto nivel de complejidad. El mercado eléctrico colombiano no es ajeno a este panorama, a partir del cual ha surgido la necesidad de desarrollar aplicaciones inteligentes que sirvan de ayuda en la toma de decisiones a las cuales se enfrentan las empresas involucradas. Dichas herramientas tienen como objetivo ayudar a definir y evaluar estrategias de participación que les permitan a tales empresas 1

16 posicionarse de una manera eficiente, competitiva y perdurable; para ello deben brindar mecanismos para modelar la dinámica del mercado y la interacción de todos los agentes que participan en él, junto con los aspectos técnicos, económicos y operativos presentes. Diversas investigaciones han sido llevadas a cabo sobre estos aspectos. Particularmente en la Universidad Nacional de Colombia Sede Medellín se ha empleado la Dinámica de Sistemas, junto con otras herramientas, para la simulación del mercado eléctrico colombiano (Raigoza, 1999; Bedoya, 2001; Ochoa, 2002; Uribe, 2002; Montoya, 2003). Dichos trabajos promueven el aprendizaje como ventaja competitiva para los agentes comercializadores del mercado, y para alcanzarlo, utilizan los modelos de simulación para evaluar diferentes estrategias de compra y venta de energía. Estas aproximaciones se caracterizan por modelar los principales aspectos del mercado y porque permiten observar, gracias al empleo de micromundos, las consecuencias de las acciones del usuario en materia de comercialización sobre sus rendimientos dentro del ambiente virtual, ofreciéndole un ciclo de realimentación durante varios períodos y facilitándole así el aprendizaje. Sin embargo, estas aproximaciones, que se encuentran basadas en modelos de macro simulación, no resultan tan apropiadas para evaluar ciertos aspectos del mercado como son: el impacto del comportamiento individual de cada competidor sobre los demás, teniendo en cuenta que dichos comportamientos no necesariamente son homogéneos; la capacidad de evolución de las estrategias de comercialización gracias a mecanismos de aprendizaje; la aparición de comportamientos emergentes dentro del mercado en base a los criterios individuales de maximización de la utilidad de los agentes, entre otros. Son precisamente estos aspectos el objeto de estudio de esta tesis, en la cual se propone desarrollar un modelo de simulación la comercialización de energía eléctrica en Colombia basado en un sistema multi-agente. Dicho modelo incorpora ciertas características fundamentales del mercado como la volatilidad de los precios debidos a la dependencia hidráulica, entre otros. Una característica del enfoque planteado, y que lo diferencia las otras aproximaciones citadas, es que las entidades que componen el modelo son simuladas en términos de agentes inteligentes, los cuales cuentan con mecanismos de razonamiento propios, haciendo posible la evaluación de estrategias individuales en la actividad de la comercialización. El paradigma de la programación multi-agente ofrece claras ventajas para abordar este tipo de problemas (Conte et al., 1998; Davidsson, 2000; Tesfatsion, 2002) por lo que su uso resulta apropiado en esta investigación. Entre dichas ventajas se 2

17 resaltan la proactividad y adaptabilidad de las entidades simuladas, sus habilidades comunicativas, y el modelamiento de conceptos mentales como creencias, deseos e intenciones. 1.3 Aportes Los aportes de esta tesis son de tipo metodológico, conceptual y aplicado. En lo metodológico se presenta una propuesta metodológica que considera las fortalezas y debilidades de metodologías ya existentes para el desarrollo de modelos de simulación multi-agente y que contempla una representación adecuada de los procesos llevados a cabo por los agentes modelados. En lo conceptual se proponen modelos y algoritmos particulares para la simulación de algunas de las variables físicas y de mercado más importantes, así como el desarrollo de sistemas de inferencia y de aprendizaje, los cuales son un aporte desde la inteligencia artificial para al modelado de mercados eléctricos. En lo aplicado se introduce el paradigma de la Simulación Basada en Sistemas Multi-Agente en el contexto de la comercialización de energía eléctrica en Colombia, lo cual no había sido desarrollado anteriormente, o al menos no, de la manera que este trabajo lo presenta; se incentiva el desarrollo de sistemas que incorporen varias herramientas de la inteligencia artificial; y se promueve la utilización de tecnologías y aplicaciones de agentes de software cuyo uso en Colombia y el mundo ha ido ganando interés en los últimos años. 1.4 Definición del problema de investigación El cambio en la estructura del sector eléctrico colombiano a partir de mediados de los 90 s afectó de manera considerable la forma en la que este operaba. El conocimiento del mercado, y más aún la utilización de dicho conocimiento para mejorar los procesos decisorios, es una tarea fundamental para los agentes involucrados y en especial para aquellos que participan en la actividad de comercialización de energía (Bedoya, 2001). En este sentido, la capacidad de aprendizaje de estrategias de comercialización y la forma de hacerla más eficiente y menos costosa, resulta ser una fuente de ventaja competitiva (Senge, 1990). Para lograr tal aprendizaje, existe una amplia variedad de técnicas y herramientas. Algunas son de tipo económico como es el caso de la teoría moderna de inversión, la teoría de arbitraje y la teoría moderna de portafolios, las cuales tienen como inconveniente que en ellas dominan ciertas reglas y suposiciones, que no siempre son válidas en la realidad, menos aún en ambientes inciertos como los 3

18 mercados eléctricos y donde el bien tranzado, es decir, la energía, difiere de otros bienes para los cuales tales teorías fueron concebidas. Herramientas de otro tipo, como es el caso de la teoría de juegos, la teoría de la decisión y la teoría formal de negociación, tienen como desventaja que suponen la racionalidad perfecta de los entes involucrados, lo cual es poco realista. Otros inconvenientes que comparten las aproximaciones mencionadas, y que son especialmente importantes en el contexto de la comercialización de energía son (Raigoza, 1999): No permiten la incorporación de nuevos agentes a lo largo del modelado, ni la realimentación continua dentro del sistema. En los mercados existen tendencias no lineales en sus comportamientos, y estas técnicas pretenden representarlos como sistemas lineales. No permiten tener en cuenta la componente estocástica para representar la incertidumbre. Son metodologías estacionarias que suponen que el comportamiento del sistema es uniforme. Se basan en modelos muy generales cuya adaptación es difícil de realizar para algunos casos específicos. Otra aproximación para alcanzar el aprendizaje es la simulación de sistemas. Esta, a diferencia de las anteriores, provee medios para reconocer y evaluar estrategias de una manera intuitiva y realimentada, de manera que se superan muchos de los inconvenientes mencionados y se evitan los costos de la experimentación real. Dentro del campo de la simulación, y más específicamente en el tema de la comercialización de energía eléctrica, existen varios trabajos fundamentados en Dinámica de Sistemas, los cuales se basan en representar las principales características del mercado Colombiano a manera de diagramas causales. El objetivo de estos trabajos es ayudar a definir las estrategias de comercialización de los agentes, bien sea definiendo su nivel de cubrimiento por medio de contratos, organizando su portafolio de opciones para disminuir el riesgo, o evaluando estrategias de negociación con generadores y/o usuarios. El enfoque utilizado en estos trabajos presenta varias ventajas pero existen algunos problemas de interés para los cuales no resulta tan adecuado. Entre dichos problemas se encuentran el estudio de las relaciones que se llevan a cabo entre las entidades involucradas (competencia, cooperación, especulación, etc.), el aprendizaje por medio de la experiencia, los mecanismos de razonamiento cuando existe información incierta, los comportamientos emergentes que pueden presentarse, etc. 4

19 Con lo anterior no se quiere decir que herramientas como la Dinámica de Sistemas no sean propicias para modelar entornos como el mercado eléctrico Colombiano, si no que ésta, junto con otras herramientas de macro simulación, está más encaminada a estudiar el comportamiento de variables globales del sistema analizado y, en el caso de los micromundos, a evaluar la incidencia de éstas en el comportamiento de un solo individuo (el usuario). Pero dejan de lado otras cuestiones que son objeto de estudio de este trabajo tales como el modelado de la toma de decisiones individuales a partir de las condiciones del entorno, la incidencia de dichas decisiones en el desempeño de los agentes, el análisis de la competencia no de manera agregada si no como una interacción entre agentes heterogéneos, las consecuencias del comportamiento de un individuo sobre el comportamiento de otros, y por último, la capacidad de los agentes de aprender para alterar sus estrategias y obtener mayores rendimientos. Para atacar estos problemas, se plantea dentro de este trabajo la creación de un modelo de simulación fundamentado en un enfoque diferente a los ya utilizados en el caso colombiano: la Simulación Basada en sistemas Multi-Agente (MABS por sus siglas en inglés), y cuya elección se debe a las bondades que presenta y a su desempeño en la evaluación de plataformas y políticas en otros mercados como el inglés y el norteamericano. La idea tras la realización de este trabajo es que puedan evaluarse diferentes estrategias dentro de la actividad de la comercialización y en particular para los comercializadores puros, teniendo en cuenta que esta se desarrolla en un ambiente incierto como es el mercado eléctrico colombiano. Una característica del modelo planteado es que se tiene en cuenta que los competidores cuentan con mecanismos de razonamiento, creencias y objetivos propios, que no necesariamente son iguales, pero que pueden alterarse de manera dinámica con el fin de alcanzar mejores rendimientos dentro del mercado simulado. 1.5 Preguntas de investigación A partir de la problemática planteada y de las falencias encontradas en los enfoques existentes, surgen las siguientes preguntas de investigación que desean resolverse en el desarrollo de este trabajo: 1. Cuáles son los elementos fundamentales que deben tenerse en cuenta para la simulación del mercado eléctrico colombiano, particularmente en el negocio de comercialización y cómo éstos influencian la toma de decisiones de los agentes involucrados? 5

20 2. Qué metodología es más apropiada para llevar a cabo el desarrollo formal de modelos de simulación multi-agente como el requerido en este trabajo? 3. Cómo modelar los mecanismos de razonamiento de los agentes comercializadores de energía, los cuales actúan en un ambiente dinámico como es el mercado colombiano? 4. Es posible modelar mecanismos de aprendizaje que permitan a los agentes simulados redefinir sus políticas para alcanzar mayores beneficios? 5. Es viable evaluar estrategias de comercialización y medir el rendimiento obtenido que pudieran obtener agentes de diferentes perfiles en base al modelo propuesto? 1.6 Alcance Para dar respuesta a las preguntas de investigación, esta tesis se centra en el desarrollo de un modelo de simulación del mercado eléctrico Colombiano y más específicamente del negocio de comercialización, en el que se simplifican los procesos llevados por los agentes involucrados. En particular, tal modelo contempla la simulación del razonamiento y del aprendizaje llevado a cabo por los agentes comercializadores para tomar sus decisiones estratégicas y para esto se consideran algunas variables del sector. La elección de dichas variables obedece a la relevancia de su influencia sobre las decisiones de los agentes y a la facilidad de simularlas adecuadamente mediante algún modelo matemático. Bajo esta premisa algunas variables (en particular de tipo cualitativo) quedan por fuera de este trabajo a pesar de ser de interés, aunque son descritas brevemente como información adicional para el lector. Tanto el modelo de razonamiento como el de aprendizaje es validado de manera independiente con base en los datos reales del mercado de los últimos años, mientras que el modelo general de simulación es validado gracias al prototipo implementado mediante varios casos de prueba. Dichos casos reflejan diferentes condiciones que pueden presentarse en el mercado (siendo todas probables) y son obtenidos por medio de la simulación del entorno en el que actúan los agentes. Los resultados obtenidos son presentados en este documento con su respectivo análisis. En el caso del modelo de razonamiento de los agentes comercializadores éste se obtiene a partir de unas reglas de actuación muy generales que permiten la construcción de un sistema de inferencia, mientras que el modelo que simula el aprendizaje de estos es una aproximación de este proceso mediante un enfoque de aprendizaje de máquina. Lo que esto significa es que ambos modelos, si 6

21 bien pueden presentar buenos rendimientos, no pueden ser usados para el modelado de un agente en particular, caso en el cual se requeriría de modelos más específicos. Es de resaltar que los modelos presentados en esta tesis, así como su funcionamiento integrado, son una propuesta que desde la matemática, la algoritmia y la inteligencia artificial buscan reproducir ciertos comportamientos del sector eléctrico Colombiano y no deben ser usadas como herramientas de apoyo para la toma de decisiones en el sector a menos que sea bajo la supervisión y el análisis experto. Se resalta sin embargo que tales modelos pueden servir de punto de partida para futuros refinamientos que permitan un análisis más a fondo e incluir otros aspectos del mercado Colombiano. Por último, cabe señalar que si bien el título de este trabajo incluye el concepto de aprendizaje de estrategias de comercialización, éste no debe confundirse con el mecanismo de aprendizaje que se modela dentro de los agentes simulados. El primer caso se refiere al aprendizaje que alguien, respecto a la definición de estrategias de comercialización, puede alcanzar haciendo uso del modelo general presentado en este trabajo; mientras que el segundo se refiere a la simulación que por medio de el mecanismo propuesto (entiéndase algoritmo) se hace del proceso llevado a cabo por los agentes comercializadores del mercado para modificar sus conductas considerando sus perfiles de riesgo. 1.7 Objetivos General Desarrollar un modelo de simulación basado en un sistema multi-agente para apoyar el aprendizaje de estrategias de comercialización de energía eléctrica en Colombia. Dicho modelo debe considerar los diferentes perfiles y reglas de actuación de los agentes involucrados, así como la dinámica del entorno en el que se desenvuelven. Específicos 1. Proponer una metodología para el diseño y construcción de modelos de simulación basados en sistemas multi-agente, a partir de la caracterización de metodologías ya existentes, provenientes de diferentes enfoques, para soportar el modelo de simulación a desarrollar. 7

22 2. Definir, utilizando la metodología propuesta, un modelo basado en agentes de software para la simulación de algunos aspectos comerciales y operativos del mercado eléctrico colombiano, relevantes para la actividad de comercialización de energía. Entre estos aspectos se encuentran los mecanismos de compra y venta de energía, las restricciones impuestas por los mecanismos de control, la dependencia hidráulica en la determinación de precios, el comportamiento de la demanda, entre otros. 3. Formular un mecanismo que simule el razonamiento de los comercializadores para establecer sus estrategias de negociación y de cubrimiento de riesgo, e incorporarlo en los agentes de software que harán parte del sistema. 4. Dotar a los agentes de software con mecanismos de aprendizaje que les permitan obtener mayores utilidades en la actividad de comercialización. 5. Evaluar el desempeño de los mecanismos de razonamiento y aprendizaje propuestos, por medio del análisis de diferentes casos de estudio. 1.8 Metodología de trabajo Los pasos de la metodología propuesta para abordar este trabajo de investigación corresponden al cumplimiento de los objetivos específicos previamente planteados de la siguiente manera: Para cumplir el objetivo 1 se realizó una revisión de las principales metodologías de diseño y construcción de sistemas Multi-Agente como MAS-CommonKADS, GAIA, Styx, MaSE, etc., así como de otras provenientes de la Ingeniería de Software. A partir de dicha revisión se identificaron las principales características de dichas metodologías, haciendo hincapié en las ventajas y/o inconvenientes que signifiquen para la construcción de modelos de simulación. Finalmente, con base en los elementos identificados, se propuso una metodología robusta que establece las fases, modelos y artefactos que debe considerar el desarrollo de este tipo de modelos. Para cumplir el objetivo 2 se llevó a cabo un estudio de la estructura actual del mercado eléctrico Colombiano identificando sus componentes (agentes, organismos de control, mecanismos de negociación, características físicas y económicas), las relaciones que los gobiernan y la normatividad que los rige. Una vez identificados se propuso un modelo basado en agentes para simularlos, en base a la metodología planteada a partir del cumplimiento del objetivo 1. 8

23 Para cumplir el objetivo 3 se siguieron los siguientes pasos: 1. Se analizó cuáles de los aspectos identificados a partir del cumplimiento del objetivo 2 influyen en la toma decisiones de los agentes comercializadores y de qué manera lo hacen. 2. Se analizaron diferentes mecanismos de razonamiento y se determinó cuál resultaba más apropiado para aproximar la toma de decisiones de los agentes comercializadores. 3. Se introdujo en el mecanismo de razonamiento elegido, los elementos identificados en el primer paso. 4. Se realizó un trabajo de campo (consulta con expertos) para evaluar el mecanismo propuesto y se realizaron los cambios que se determinaron convenientes. 5. Se incorporó el mecanismo resultante dentro del modelo de razonamiento de los agentes del modelo de simulación. Para cumplir el objetivo 4 se siguieron los siguientes pasos: 1. Se determinó cuáles procesos llevados a cabo por los agentes requieren de mecanismos de aprendizaje que les permitan mejorar sus desempeños. 2. Se caracterizaron diversos algoritmos de aprendizaje ampliamente difundidos en la bibliografía. 3. Se determinó cuál de dichos algoritmos era más propicio para incorporarlo en los procesos definidos en el primer paso y por qué. 4. Se realizaron adecuaciones al algoritmo elegido en caso de ser necesario. 5. Se incorporó el algoritmo resultante dentro del modelo de razonamiento de los agentes del modelo de simulación, como una adecuación al mecanismo de razonamiento definido en el objetivo anterior. Para cumplir el objetivo 5 se realizaron varias corridas del modelo de simulación propuesto bajo diferentes condiciones y parámetros, haciendo un análisis de los resultados obtenidos. Esto con el fin de evaluar tanto el desempeño individual de los agentes de software, como el comportamiento del sistema visto de manera global. Finalmente, para plasmar los resultados de este trabajo de investigación, se llevó a cabo de manera paralela al desarrollo de cada objetivo, la elaboración de este documento de tesis que refleja los resultados obtenidos. Así mismo, se veló por la divulgación de dichos resultados en eventos y revistas de interés, para beneficio de la comunidad científica. 9

24 1.9 Organización del documento La organización del resto de este documento continúa de la siguiente manera: en el Capítulo 2 se presentan los antecedentes y el marco teórico sobre la problemática a tratar y los enfoques más comunes para atacarla, así como una breve descripción del estado del arte de modelos de simulación para el aprendizaje en mercados eléctricos; en el Capítulo 3 se describe una propuesta metodológica general para el desarrollo de modelos de simulación multi-agente; en el Capítulo 4 se hace uso de dicha metodología para definir el modelo del mercado eléctrico Colombiano dentro el alcance previamente definido; en el Capítulo 5 se hace una descripción de las decisiones que los comercializadores deben tomar así como las variables que deben analizar para hacerlo; en el Capítulo 6 se presenta un modelo de inferencia para una de esas decisiones; en el Capítulo 7 se expone un mecanismo de aprendizaje para optimizar la manera en que los agentes emplean tal inferencia; en el Capítulo 8 se presenta una validación de los modelos propuestos y del prototipo respectivo por medio de casos de prueba; en el Capítulo 9 se exponen las conclusiones y el trabajo futuro. Adicionalmente, en el Anexo A se describen los modelos matemáticos y los algoritmos propuestos para la simulación de algunos aspectos del sector eléctrico; mientras que en el Anexo B se presentan algunos detalles técnicos sobre las plataformas y herramientas empleadas para la construcción de un prototipo de software que soporta el modelo de simulación propuesto Difusión de resultados A continuación se listan las publicaciones y ponencias en congresos que se han realizado a la fecha a raíz de los resultados obtenidos en la realización de esta tesis de maestría, así como de investigaciones relacionadas. Internacionales Integración de Mecanismos de Razonamiento en Agentes de Software Inteligentes para la Negociación de Energía Eléctrica. Revista Ingeniería Informática (Chile), edición 13, noviembre de Razonamiento basado en reglas de inferencia para subastas electrónicas tipo inglesa mediante agentes inteligentes. V Congreso Internacional Electrónica y Tecnologías de Avanzada CIETA. Septiembre

25 Modelos de simulación de escenarios para el sector eléctrico Colombiano. V Congreso Internacional Electrónica y Tecnologías de Avanzada CIETA. Septiembre Determinación de estrategias de contratación para el mercado eléctrico Colombiano usando Lógica Difusa. V Congreso Internacional Electrónica y Tecnologías de Avanzada CIETA. Septiembre Integración de un modelo ontológico para la simulación del proceso de negociación de contratos de energía eléctrica. V Congreso Internacional Electrónica y Tecnologías de Avanzada CIETA. Septiembre Nacionales Diseño y Desarrollo de Mecanismos de Razonamiento Multi-Agente para la Negociación de Energía Eléctrica Utilizando JESS Y JADE. Revista Avances en Sistemas e Informática. Volumen Especial: Encuentro de Investigación Sobre Tecnologías de Información Aplicadas a la Solución de Problemas, 7ª. Versión - EITI2006). Vol. 3, Num. 1. Junio Modelamiento de un sistema multi-agente para la simulación del proceso de negociación en el mercado energético colombiano por medio de contratos normalizados bilaterales. Revista Avances en Sistemas e Informática. Escuela de Sistemas, Universidad Nacional de Colombia Sede Medellín. (En revisión) Una Aproximación Metodológica para la Construcción de Modelos de Simulación basados en el Paradigma Multi-Agente. II Congreso Colombiano de Computación (En revisión). Modelo de razonamiento basado en el paradigma difuso para la contratación de energía eléctrica en Colombia. II Congreso Colombiano de Computación (En revisión). Integración de ontologías y capacidades de razonamiento en agentes de software inteligentes para la simulación del proceso de negociación de contratos de energía eléctrica. II Congreso Colombiano de Computación (En revisión). 11

26 CAPÍTULO 2 APROXIMACIONES AL MODELADO DEL MERCADO ELÉCTRICO COLOMBIANO El objetivo de este capítulo es presentar los antecedentes, marco teórico y estado del arte que dan contexto a este trabajo de investigación y que justifican su realización. En primera instancia se describen algunas generalidades de los mercados eléctricos haciendo hincapié en los problemas a los que se enfrentan los agentes comercializadores, en especial para el caso Colombiano. Luego se presentan algunas herramientas teóricas que pueden ser empleadas para resolver dichos problemas resaltando sus características y su aplicabilidad. Por último se hace un recuento de varios de los trabajos realizados alrededor de la comercialización de energía eléctrica y se destacan tanto los aspectos del mercado que consideran como los que dejan por fuera, siendo de particular interés estos últimos para la justificación de este trabajo. 2.1 Generalidades sobre el mercado eléctrico Colombiano En los procesos de liberalización de los sectores eléctricos alrededor del mundo, los proponentes de la reforma han tenido como prioridad alcanzar la eficiencia económica (Ford, 1999). Lo anterior ha dado paso a la entrada de inversionistas y a la introducción de la competencia en las actividades donde es posible desarrollarla. Se han dinamizado los mercados favoreciendo a los consumidores, que en muchos casos han visto bajar los precios y aumentar el número de proveedores potenciales de sus servicios (Littlechild, 1998; Dyner y Larsen, 2000), pero al tiempo se ha convertido en un reto para las empresas que prestan los servicios del mercado. El mercado eléctrico Colombiano no es ajeno a este panorama. Un diagnóstico efectuado a comienzos de la década de los 90 s sobre la gestión y logros que habían alcanzado las empresas de generación de electricidad en manos del Estado, mostró resultados altamente desfavorables en términos de la eficiencia administrativa, operativa y financiera. El sector, considerado de forma global, enfrentaba la quiebra financiera, la cual finalmente se tradujo en un racionamiento nacional que abarcó el período Debido a esta situación el país, a partir de la Constitución de 12

27 1991, admitió como principio clave para el logro de la eficiencia en los servicios públicos la competencia donde fuera posible y la libre entrada a todo agente que estuviera interesado en prestarlos; el Estado pasó a cumplir el papel de ente regulador, mientras que se dejó al sector privado la producción de los bienes y servicios (Banco de la República, 1998). En 1992, como consecuencia del severo racionamiento, el Gobierno expidió, haciendo uso del estado de emergencia económica previsto por la Constitución, el Decreto 700. Este Decreto, entre otras decisiones, fijó normas para la entrada de inversionistas privados en el negocio de la generación de energía. Así, se dio impulso a varios proyectos previstos en el Plan de Expansión y se autorizó a las empresas oficiales involucradas a firmar contratos de compraventa de energía a largo plazo con los consorcios escogidos para tales efectos. Posteriormente, se presentó una reestructuración del mercado bajo las leyes 142 y 143 de 1994 (Ley de servicios públicos domiciliarios y Ley eléctrica), que tenían como finalidad aumentar la eficiencia del sistema y vincular capitales privados al mismo, y se produjo la instauración de la Bolsa de Energía en 1995 (ISA, 1999). Dichas leyes definieron el marco regulatorio aplicable a los negocios de generación, así como la transmisión, distribución y comercialización de energía eléctrica; igualmente reglamentó sus aspectos técnicos, comerciales, empresariales y operativos. Con el nuevo esquema se separaron las funciones del Estado, y se creó un organismo regulador y un organismo de vigilancia independientes (Comisión Nacional de Regulación de Energía y Gas CREG y Superintendencia de Servicios Públicos Domiciliarios SSPD, respectivamente), que se encargan de fijar las reglas del mercado, así como de vigilar su cumplimiento además de proteger a los inversionistas y defender los intereses de los consumidores (Ayala y Millán, 2002). Se promulgó la competencia en los sectores de la cadena productiva donde es posible obtenerla, tales como la comercialización y generación, y se mantuvieron como monopolio natural la transmisión y distribución. La estructura general del mercado se presenta en la Figura 2.1. Una de las últimas reformas propuestas en el Sector es la implementación del Sistema Electrónico de Contratos Normalizados Bilaterales (SEC) propuesto en el documento CREG 005 de enero de Los objetivos buscados con dicho mecanismo en el que se contempla un sistema electrónico en línea de subastas, con estandarización de contratos y anonimato entre las partes son: brindarle al mercado la liquidez necesaria para su desarrollo futuro, dinamizar la comercialización, permitir 13

28 avanzar al sector con la utilización de nuevas herramientas financieras acordes con la exigencia de los agentes, y alcanzar un mayor beneficio para el sector y los usuarios. Figura 2.1. Estructura del mercado eléctrico colombiano (Fuente: XM) A pesar de las reformas llevadas a cabo, o quizá debido a ellas, el mercado eléctrico Colombiano cuenta con las características de un sistema incierto y complejo; no sólo por su inmadurez, que se ha visto reflejada en una regulación cambiante, si no también por ser altamente sensible a las fuertes variaciones hidrológicas que presenta el país, que introducen un alto nivel de incertidumbre en los precios de la electricidad (Dyner, 2000). Estas características son especialmente relevantes en el caso particular de la actividad de comercialización, la cual se fundamenta en el aprovechamiento de márgenes derivados de las fluctuaciones en los precios, en las recompensas que ofrece el mercado al tomar riesgos y en la negociación de contratos bilaterales para cubrirse del riesgo del mercado de corto plazo o spot (Ochoa, 2002). Por lo tanto es fundamental para los agentes comercializadores, el grado de conocimiento que manejan y la oportunidad que éste les brinde para el análisis de la información generada por el mercado en este nuevo esquema (CREG, Resolución 24 de 1995). Según Bedoya (2001), el negocio de comercialización es quizá, desde el punto de vista estratégico, la actividad más compleja que un agente puede llevar a cabo en el mercado de energía. Esto se debe a que éstos, pese a que no desempeñan funciones operativas dentro del sector, sí actúan como tomadores de riesgo, asegurando la compra de la producción de la electricidad mediante contratos o 14

29 en bolsa, para luego entregarla a sus clientes o a otros agentes. Si bien esta explicación de la labor del comercializador parece simple, involucra el dinamismo que se genera en el sistema al considerar la interacción de los elementos que se presentan en los mercados de corto y largo plazo. Es debido a esta complejidad que algunos autores establecen que hay indicios de que esta actividad no se está realizando de manera adecuada, y en especial, por la falta de profesionales específicamente entrenados para cumplir esta función (Dyner y Larsen, 2000). 2.2 Aproximaciones para el aprendizaje de estrategias de comercialización En ambientes complejos e inciertos como es el mercado eléctrico y en especial en la actividad de comercialización descrita anteriormente, surge la necesidad del aprendizaje organizacional como ventaja competitiva (Senge, 1990). Según Ochoa (2002), administrar efectivamente este nivel de complejidad requiere una experiencia y un conocimiento profundo del mercado, por lo que las empresas deben aprender las reglas del mercado y entender cómo pueden alcanzar una posición estratégica que les facilite su sostenimiento futuro. Una de las maneras para alcanzar tal aprendizaje es por medio de la experiencia directa, que en el caso de los comercializadores se refiere a los procesos de negociación y cubrimiento de riesgo; no obstante, Elder (1993) establece que los mercados no están diseñados como entornos para el aprendizaje, y menos aún cuando la intención es aprender cómo negociar para obtener rendimientos económicos. Otra falencia de esta aproximación es que las variables tiempo y espacio dificultan el aprendizaje; esto se debe a que las consecuencias de una decisión pueden manifestarse tiempo después y su repercusión puede ser advertida en sectores diferentes al de su origen (Senge e Isaacs, 1992). Eso sin contar que dicho proceso puede acarrear altos costos para las organizaciones, así como implicaciones nocivas en caso de errores. Es debido a esta dificultad del aprendizaje en entornos reales, que nace la necesidad de encontrar mecanismos que permitan a las personas encargadas de tomar las decisiones planear sus estrategias y observar las posibles consecuencias que éstas acarrean. De esta manera es posible que los directivos de las empresas evalúen los posibles efectos de sus acciones y tengan la oportunidad de reestructurar sus modelos mentales al comprender el funcionamiento del sistema al cual se enfrentan (Sterman, 2000), así como las principales variables que gobiernan su comportamiento. 15