Optimización basada en Colonia de Hormigas

Transcripción

1 Capítulo 11 Optimización basada en Colonia de Hormigas 11.1 Introducción Optimización de colonia de hormigas (ant colony optimization o ACO) está inspirado en el rastro y seguimiento de feromonas realizado por las hormigas como medio de comunicación. La optimización de colonias de hormigas (ACO) es un método basado en una población para resolver problemas de optimización combinatoria inspirado en el comportamiento de las hormigas (Dorigo & Socha 2006). Los algoritmos de ACO se consideran como parte de inteligencia de enjambres (swarm intelligence), que es el campo de investigación que estudia algoritmos inspirados por la observación del comportamiento de enjambres. Estos algoritmos utilizan individuos que cooperan a través de auto-organización (sin ningún control central que actúe sobre los miembros del enjambre). 239

2 11.2 Hormigas Se ha observado que en muchas especies que las hormigas que caminan hacia o desde un depósito de comida en el suelo dejan una sustancia llamada feromona (pheromone). Esta sustancia tiene una influencia en otras hormigas al momento de elegir su ruta, es decir; las hormigas tienden a elegir caminos con altos contenidos de feromona. De esta manera las hormigas siguen un camino de feromona que las lleva a encontrar buenas fuentes de alimentos que fueron previamente identificados por otras hormigas. Las hormigas sólo detectan la feromona cuando están en contacto directo con ella, es decir; es un contacto local. En un experimento hecho por (Goss et al. 1989) había 2 puentes, uno significantemente más largo que el otro. Al inicio del experimento las hormigas elegían uno de los 2 puentes (sin ninguna influencia) pero las que elegían el puente más corto regresaban más rápido y es así como ese camino obtenía más feromona que el otro. A este fenómeno se le llama autocatálisis y es como explotan la retroalimentación positiva para encontrar la ruta más corta entre una fuente de alimento y su nido. Este es el modelo de comunicación de las hormigas, también conocido como modelo de comunicación por medio del ambiente o stigmergic en inglés Algoritmos A partir de los resultados obtenidos con el experimento de (Goss et al. 1989) se desarrolló un modelo para explicar el comportamiento observado en el experimento del puente binario. Asumiendo que después de t unidades de tiempo del inicio del experimento, y que m 1 hormigas usaron el primer puente y que m 2 hormigas el segundo, la probabilidad p 1 de que la (m + 1) hormiga elija el primer puente esta dada por: p 1(m+1) = (m 1 + k) h (m 1 + k) h + (m 2 + k) h P 2(m+1) = 1 P 1(m+1) 240

3 donde k y h son parámetros del modelo para ajustarlo a los datos experimentales. Con simulación de Monte Carlo se encontró que para valores de k 20 y h 2 el modelo corresponde a los datos reales. El modelo anterior se utilizó como inspiración para crear algoritmos con hormigas artificiales que simulan el concepto de feromona modificando variablesferomona asociadas a estados del problema que visitan al construir una solución al problema de optimización. Las características de la comunicacin por medio del ambiente (stigmergic) se llevan a agentes artificiales como: Asociando variables de estado a diferentes estados del problema Dando a los agentes solo acceso local a estas variables Otro aspecto del comportamiento de las hormigas que se puede llevar a las hormigas artificiales es el acoplamiento entre el mecanismo auto-catalítico y la evaluación implícita de soluciones (las rutas más cortas, que corresponden a soluciones con menor costo en caso de las hormigas artificiales, se encuentran más rápido que las largas y por eso reciben su refuerzo de feromona más rápido. La comunicación por medio del ambiente (stigmergy), la evaluación de solución implícita y el comportamiento autocatalítico dieron lugar a ACO. Cosas en común entre hormigas reales y artificiales: Ambas colonias de hormigas se componen de una población de individuos que trabajan juntos para alcanzar una cierta meta Una colonia es una población de simples e independientes agentes asíncronos que cooperan para encontrar una buena solución a el problema En caso de hormigas reales la meta es encontrar comida, en caso de hormigas artificiales, la meta es encontrar la solución a un problema dado de optimización 241

4 Una sola hormiga es capaz de encontrar solución a este problema pero solo la cooperación entre muchos individuos a través de la comunicación por medio del ambiente (stigmergy) les permite encontrar buenas soluciones Las diferencias entre las hormigas reales y las artificiales se dan porque las hormigas reales depositan la sustancia química llamada feromona y las reales utilizan variables con valores numéricos que simulan la feromona. Los caminos de feromona de las hormigas reales se simulan con caminos de feromona artificiales que son una secuencia de valores de feromona asociados con estados del problema. En la vida real la feromona física se evapora y de esta manera las hormigas olvidan el pasado y se enfocan en nuevas direcciones prometedoras. Las hormigas artificiales crean soluciones secuenciales al ir de un estado a otro, van hacia los estados disponibles tomando una decisión a la vez. Diferencias entre hormigas reales y artificiales Las hormigas artificiales viven en un mundo discreto, se mueven secuencialmente a través de un conjunto finito de estados del problema Las actualizaciones de feromona (depósitos y evaporación de feromona) no se realiza de la misma manera. Algunas veces la actualización de feromona se hace solo para algunas de las hormigas artificiales y con frecuencia sólo después de que se construyó una solución. Algunas implementaciones de hormigas artificiales usan mecanismos adicionales que no existen en hormigas reales: mirar hacia delante, búsqueda local, backtracking, etc La Meta-heurística de la Optimización de Colonias de Hormigas ACO se ve como una meta-heurística de optimización combinatoria (Combinatorial Optimization Problem COP). Para encontrar la solución al prob- 242

5 lema se define el modelo de la feromona como un COP. MODELO Un modelo P=(S,ω,f) de un COP consta de: Un espacio de búsqueda S definido sobre un conjunto finito de variables discretas de decisión y un conjunto ω de restricciones entre las variables. Una función objetivo f : S R + a ser minimizada El espacio de búsqueda se define de la siguiente manera: Variables X i, i = 1,..., n con valores v j i D i = {vi 1,..., v D i } Instanciación de variables: asignar un valor v j i a una variable X i denotado como X i v j i Una solución s S se llama óptimo global sí y sólo si f(s ) f(s) s S S S es el conjunto de todas las soluciones óptimas globales Resolver un COP es encontrar al menos una s S El modelo de un COP se usa para derivar el modelo de feromona de los ACO Un componente de solución c ij es la instancia de una variable de decisión X i = v j i El conjunto de todos los posibles componentes de solución se denota con C. A cada c ij se asocia un parámetro de rastro de feromona T ij El conjunto de todos los parámetros de rastro de feromona se denota con T El valor de un parámetro de rastro de feromona es τ ij 243

6 Tabla 11.1: Algoritmo de ACO. Algorithm 1: Ant colony optimization metaheuristic Set parameters, initialize pheromone trails While termination conditions not meet do ConstructAntSolutions ApplyLocalSearch (optional) UpdatePheromones end while En un ACO se utiliza una representación de conocimiento basada en grafos para encontrar la solución al problema de optimización combinatoria. Para esto se hace un recorrido al grafo de construcción G C = (V, E). G C es un grafo totalmente conectado y el conjunto de componentes C se asocian ya sea a los vértices o a los arcos de G C. En este modelo la solución se construye de la siguiente manera: Las hormigas se mueven de un vértice a otro a través de los arcos del grafo de construcción para construir una solución de forma incremental. Las hormigas depositan una cantidad de feromona en los componentes (puede ser en los vértices o en los arcos que visitan) La cantidad de feromona depositada δτ depende de la calidad de la solución encontrada Las siguientes hormigas utilizan la información de la feromona depositada como una guía en la búsqueda de soluciones dentro del espacio de búsqueda En la tabla 11.1 se muestra el algoritmo de la Meta-Heurística ACO. ConstructAntSolutions Se inicia con una solución parcial vacía s p = varnothing, que se extiende a cada paso añadiéndole un componente de solución factible c ij elegido entre 244

7 los vecinos N(s p ) C. Esto es equivalente a encontrar una ruta en el grafo de construcción G C = (V, E) guiada por el mecanismo de construcción que define el conjunto N(s p ) con respecto a la solución parcial. La elección de un elemento de N(s p ) se hace de manera probabilística en cada paso de construcción y la manera en que se hace varía dependiendo de la variante de ACO pero una de las mejores es la del sistema Ant System (AS) (Dorigo et al. 1996). p(c ij s p ) = τ α ij η(c ij) β Cil N(s P )τ α il η(cβ il ), C ij N(s P ), donde, τ ij es el valor de feromona asociado al componente C ij η( ) es una función que asigna en cada paso de construcción un valor heurístico a cada solución factible c ij N(s p ), (información heurística) α y β son parámetros positivos que determinan la relativa importancia de la feromona contra la información heurística ApplyLocalSearch Al terminar la construcción de soluciones pero antes de actualizar los valores de feromona, se requiere realizar algunas acciones opcionales conocidas como acciones deamon. Estas acciones implementan actividades específicas del problema o centralizadas que no puede realizar una hormiga individualmente. Comúnmente se realiza una búsqueda local a las soluciones construidas y las soluciones óptimas locales son las que se utilizan para decidir que feromonas se actualizan. UpdatePheromones En este paso se quiere aumentar el nivel de feromona de las rutas prometedoras y disminuir el de las rutas no tan buenas. Primero se decrementan todos los valores de feromona por medio de una evaporación de feromona y 245

8 después se incrementa el nivel de feromona al conjunto de soluciones buenas S upd τ ij (1 ρ) τ ij + ρ F(s), donde: s S upd C ij S S upd es el conjunto de soluciones que se actualizarán ρ (0, 1] es un parámetro llamado tasa de evaporación F : S R + es una función tal que f(s) < f(s ) F(s) F(s ), s s S F( ) es conocida como la función de aptitud La evaporación de feromona evita una convergencia demasiado rápida del algoritmo. Además, esta forma de olvidar permite la exploración de nuevas áreas del espacio de búsqueda. Las versiones de algoritmos ACO difieren en la forma de actualizar los valores de feromona como Ant Colony System -ACS (Dorigo et al. 1997) o MAX - MIN Ant System - MMAS (Stutzle and Hoos, 2000). La forma de obtener instancias del conjunto S upd a actualizar también varía. La regla que utiliza el sistema Ant System (Dorigo et al., 1996) se conoce como la regla AS-update: S upd S iter otra regla que es más común es la conocida como IB-update, donde IB se refiere a Iteration-Best : S upd argmax s Siter F(s) la regla IB-update introduce un mayor sesgo a encontrar la mejor solución que la regla AS-update aunque también incrementa la probabilidad de converger prematuramente. 246

9 Otra regla que incrementa el sesgo a encontrar la mejor solución es la regla BS-update (BS se refiere a la mejor solución) y S upd contiene a {s sb }. En general los algoritmos que utilizan variaciones de las reglas IB-update o BS-update y que añaden mecanismos para evitar la convergencia prematura funcionan mejor que aquellos utilizan la regla AS-update Ejemplo: Problema del Agente Viajero Representación del problema La primera versión de ACO se utilizó para resolver el agente viajero. El grafo de construcción se crea asociando una ciudad a cada vértice y el paso de una ciudad a otra corresponde a los componentes de solución. El movimiento de la ciudad i a la ciudad j es el componente de solución C ij. El peso de los arcos indica la distancia entre ciudades (i.e. la longitud de los arcos) y el nivel de feromona se asocia a los arcos. Construcción de la solución Cada hormiga inicia desde una ubicación aleatoria (vértice del grafo) En cada paso de construcción, la hormiga se mueve a través de los arcos del grafo Cada hormiga mantiene memoria de la ruta que ha seguido y al construir su solución no regresa a un vértice ya visitado La hormiga termina de construir su solución cuando ya visitó todos los vértices del grafo En cada paso de construcción la hormiga elige el arco a seguir (de los disponibles) de manera probabilística dependiendo de la implementación Cuando todas las hormigas terminaron su recorrido se actualiza la feromona de los arcos de acuerdo a alguna de las reglas vistas previamente 247

10 Al construir soluciones, una hormiga k decide irse de la ciudad i a la ciudad j con la siguiente probabilidad: p k ij (t) = [τ ij (t)] α [η ij ] β l N [τ ij(t)] i k α [η ij ] si j N k β i donde η ij = 1/d ij es información disponible, α y β son parámetros que se tienen que definir, y Ni k es la vecindad factible de la hormiga k (el conjunto de ciudades que k no ha visitado). Si α = 0 se visita la ciudad más cercana. Si β = 0 se basa solo en las trazas de feromona y tiende a converger rápidamente a un punto de no mejora subóptimo. Cuando todas las hormigas completan un circuito, se actualizan las feromonas.primero se reducen todos los caminos por un factor constante (evaporación) y después cada hormiga deposita la siguiente cantidad de feromona en los nodos de su circuito: m (i, j) τ ij (t + 1) = (1 ρ) τ ij (t) + τij k (t) donde 0 ρ 1 es la razón de evaporación de feromona y m es el número de hormigas. τ k ij(t) es la cantidad que deposita cada hormiga en cada nodo, definida por: k=1 τ k ij(t) = { 1/L k (t) si la liga (i, j) es usada por la hormiga k 0 de otra forma donde L k (t) es la longitud del circuito de la hormiga k Extensiones Una primera extensión fué la de premiar de más a la mejor solución global obtenida hasta el momento, algo parecido a una estrategia elitista. 248

11 Otra variante fue ordenar las hormigas de mejor a peor y solo permitir a las N mejores poner feromonas (además de la mejor ruta global). Otra variante fué el mover a las hormigas usando una política ǫ greedy. Algunas variantes solo actualizan la cantidad de feromona del camino de la mejor hormiga. El uso de feromonas sirve para balancear entre exploración y explotación. Un sistema utiliza un límite inferior y superior de cantidad de feromona. El inferior garantiza un nivel mínimo de exploración. También se pueden variar los parámetros α y β para balancear de forma diferente la exploración y explotación durante la búsqueda. Se puede combinar con búsqueda local (parecido a GRASP). Se construye con ACO y se sigue con búsqueda local. Si existen muchos posibles candidates en la parte de construcción de soluciones de puede tener también una lista de candidatos Principales variantes de ACO Ant System (Dorigo et al. 1991, Dorigo 1992, Dorigo et al. 1996) MAX-MIN Ant System (Sttzle and Hoos 2000) Ant Colony System (Gambardella and Dorigo 1996, Dorigo and Gambardella 1997) HC-ACO (Hyper-cube ACO) (Blum and Dorigo 2004) PB-ACO (Population-based ACO) (Guntsch and Middendorf 2002) 249

12 11.8 Futuro de ACO Aplicación de algoritmos ACO a problemas de optimización del mundo real Optimización dinámica (Guntsch and Middendorf 2002). Cuando las condiciones de búsqueda o la calidad de las soluciones cambia dinámicamente. Optimización multi-objetivo. Resolver varios problemas de optimización simultaneamente con objetivos potencialmente en conflicto. Problemas estocásticos Optimización de valores continuos y variables mixtas Implementaciones paralelas de ACO s REFERENCIAS C. Blum and M Dorigo. The Hyper-cube framework for ant colony optimization. IEEE Transactions on Systems, Man, and Cybernetics - Part B, 34(2): , M. Dorigo. Optimization, Learning and Natural Algoritms (in Italian). PhD thesis, Dipartimento di Elettronica, Politecnico di Milano, Italy, M. Dorigo and L. M. Gambardella. Ant Colony System: A cooperative learning approach to the traveling salesman problem. IEEE Transactions on Evolutionary Computation, 1(1):53-66, M. Dorigo, V. Maniezzo, and A. Colorni. Positive feedback as a search strategy. Technical Report , Dipartimento di Elettronica, Politecnico di Milano, Italy, M. Dorigo, V. Maniezzo, and A. Colorni. Ant System: Optimization by a colony of cooperating agents. IEEE Transactions on Systems, Man, and Cybernetics - Part B, 26(1):29-41,

13 M. Dorigo and K. Socha. An Introduction to Ant Colony Optimization. Technical Report TR/IRIDIA/ , April L. M. Gambardella and M. Dorigo. Solving symmetric and asymmetric TSPs by ant colonies. In T. Baeck, T. Fukuda, and Z. Michalewics, editors, Proceedings of the 1996 IEEE International Conference on Evolutionary Computation (ICEC 96), pages IEEE Press, Piscataway, NJ, S. Goss, S. Aron, J. Deneubourg, and J. Pasteels. Self-organized shortcuts in the Argentine ant. Naturwissenschaften, 76: , M. Guntsch and M. Middendorf. Applying population based ACO to dynamic optimization problems. In M. Dorigo, G. Di Caro, and M. Sampels, editors, Proceedings of ANTS Third International Workshop on Ant Algorithms, volume 2463 of LNCS, pages Springer Verlag, Berlin, Germany, M. Guntsch and M. Middendorf. A population based approach for ACO. In S. Cagnoni, J. Gottlieb, E. Hart, M. Middendorf, and G. Raidl, editors, Applications of Evolutionary Computing, Proceedings of EvoWorkshops 2002: EvoCOP, EvoIASP, EvoSTim, volume 2279 of LNCS, pages Springer Verlag, Berlin, Germany, T. Stutzle and H. H. Hoos. MAX-MIN Ant System. Future Generation Computer Systems, 16(8): ,