Implementación de un Algoritmo Multioperador Basado en Evolución Diferencial para Optimización Númerica con Restricciones

Transcripción

1 Implementación de un Algoritmo Multioperador Basado en Evolución Diferencial para Optimización Númerica con Restricciones TESIS DE MAESTRÍA Luis Alfredo Gordián Rivera Laboratorio Nacional de Informática Avanzada Maestría en Computación Aplicada Diciembre 2012

2

3 Implementación de un Algoritmo Multioperador Basado en Evolución Diferencial para Optimización Númerica con Restricciones Tesis para obtener el grado de maestría Maestría en Computación Aplicada Director Dr. Efrén Mezura Montes Codirector Dr. Edgar Alfredo Portilla Flores Laboratorio Nacional de Informática Avanzada Maestría en Computación Aplicada Diciembre 2012

4

5 A mi madre, que nunca ha dejado de apoyarme

6

7 La creación intelectual es el más misterioso y solitario de los oficios humanos. Gabriel García Márquez

8

9 Agradecimientos Si estás solo, serás todo tuyo, y si estás acompañado por una sola persona, serás medio tuyo. Leonardo Da Vinci Quiero agradecer a mi familia por apoyarme y estar conmigo en los buenos momentos pero principalmente en los malos. A mi padre por su consejos y cariño, a mi madre por darme la vida y su apoyo aún en los peores momentos, a mi hermano por su compañia y su amistad. Quiero dar mi más profundo agradecimiento al Dr. Efrén Mezura Montes por brindarme su tiempo y su apoyo en el desarrollo de este trabajo, ha sido realmente grata la experiencia de trabajar bajo su dirección. Al Dr. Edgar Alfredo Portilla Flores por apoyarme en la revisión del documento y por abrirme las puertas en el CIDETEC para realizar mis residencias. A mis compañeros y amigos que hicieron de esta experiencia un recuerdo inolvidable. Y al CONACYT por otorgarme la beca para la realización de esta maestría. IX

10

11 Resumen La optimización se define como el proceso llevado a cabo para encontrar los valores o características que minimicen algún otro valor que depende de ellos. En el mundo real la mayoría de problemas de optimización se encuentran sujetos a un conjunto de restricciones lo que a su vez complica el proceso de búsqueda generando a su vez una gran cantidad de clases de problemas. En la actualidad diversos algoritmos han surgido con la intención de resolver la mayor cantidad de problemas de optimización. Sin embargo se ha observado que ningún algoritmo posee la capacidad para tener un buen desempeño en todas las clases de problemas. En este trabajo se presenta un nuevo algoritmo para el manejo de múltiples operadores para resolver problemas de optimización con restricciones. La característica principal del algoritmo es la adaptación de medidas de desempeño a su funcionamiento, así como el uso de variantes especializadas en el manejo de problemas de optimización con restricciones. Con el objetivo de probar y evaluar el comportamiento de la técnica propuesta se utilizó un conjunto de problemas de prueba, además de un grupo de problemas de optimización en ingeniería. También, se presenta un análisis del comportamiento del algoritmo y se hace una comparación de los resultados obtenidos contra los obtenidos por otros algoritmos del estado del arte. XI

12

13 Índice Agradecimientos Resumen IX XI 1. Introducción Antecedentes Objetivos Objetivo General Objetivos Específicos Hipótesis Justificación Alcances y Limitaciones Organización de la Tesis Optimización Motivación Definición de Optimización Clasificación de los Problemas de Optimización Componentes del Problema de Optimización Planteamiento del Problema General de Optimización Numérica con Restricciones Técnicas de Optimización Técnicas Tradicionales y No Tradicionales Evolución Diferencial Algoritmos de Optimización Algoritmos de Inteligencia Colectiva Algoritmos de Computación Evolutiva Componentes de un Algoritmo Bio-inspirado Evolución Diferencial Algoritmo de ED Componentes de la ED XIII

14 XIV ÍNDICE 3.3. Manejo de Restricciones Ejemplos de aplicación Algoritmos Multioperadores Introducción Hiperheurísticas Estructura y Funcionamiento Clasificación Ensambles e Híbridos Estructura y Funcionamiento Clasificación Clasificación del algoritmo propuesto Técnica Propuesta Motivación Solución propuesta Variantes de ED Operadores Medidas de Desempeño Descripción general del Algoritmo Resultados Diseño experimental Problemas de prueba Análisis estadístico y discusión de resultados finales Análisis de comportamiento Problemas de diseño ingenieril Análisis estadístico y discusión Analisis de comportamiento Integración de resultados Conclusiones y Trabajo futuro Conclusiones Trabajo futuro I Apéndices 69 A. Problemas de prueba. 71 A.1. Problemas de prueba B. Gráficas de comportamiento. 83 B.1. Problemas de prueba

15 ÍNDICE XV Referencias 95

16

17 Índice de figuras 2.1. Ejemplo del espacio de búsqueda Proceso de mutación Descripción gráfica de la cruza exponencial y binomial Estructura basica de una hiperheurística Clasificación de las hiperheurísticas Clasificación de los algoritmos cooperativos de acuerdo al tipo de algoritmos y a su forma de cooperación Clasificación de los algoritmos cooperativos de acuerdo al grado de cooperación y a la distribución del espacio de búsqueda Diagrama esquemático del algoritmo propuesto, donde P (t) son las subpoblaciones antes de ser evolucionadas por cada variante v y PR y DC son el Progress Ratio y la Diferencia de convergencia respectivamente Diagrama de flujo del algoritmo propuesto en un ciclo Promedio del comportamiento del tamaño de las subpoblaciones en las 30 ejecuciones para problemas representativos con base en el tamaño de la zona factible Promedio del comportamiento del tamaño de las subpoblaciones en las 30 ejecuciones para problemas representativos con base en su dimensionalidad Gráficas del comportamiento de las subpoblaciones en cuatro ejecuciones distintas. Dos ejecuciones por problema Gráficas del comportamiento de las subpoblaciones en los problemas de ingeniería B.1. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.2. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g XVII

18 XVIII ÍNDICE DE FIGURAS B.3. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.4. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.5. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.6. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.7. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.8. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.9. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.10. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.11. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.12. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.13. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.14. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.15. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.16. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.17. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.18. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.19. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.20. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g B.21. Comportamiento promedio de los tamaños de subpoblación en las 30 ejecuciones para el problema g

19 Índice de Tablas 6.1. Características principales de los 24 problemas de prueba Valores utilizados por cada parámetro del algoritmo propuesto Comparación estadística del algorimo propuesto contra tres algoritmos encontrados en el estado del arte Características principales de los 4 problemas de ingeniería Valores utilizados por cada parámetro del algoritmo propuesto Detalle de las mejores soluciones obtenidas por el algoritmo propuesto para los problemas de ingeniería Resultados estadísticos obtenidos por el algoritmo propuesto Comparación de los resultados estadísticos obtenidos por el algoritmo contra los encontrados en el estado del arte Porcentaje promedio de población asignado a cada variante por cada problema incluidos los problemas de prueba A.1. Conjunto de datos para el problema de prueba g A.2. Conjunto de datos para el problema de prueba g XIX

20

21 Capítulo 1 Introducción En este capítulo se presenta la motivación y la justificación de esta investigación. También se presentan los objetivos principales y específicos de la presente tesis. Además se explica la hipótesis y la contribución de este trabajo Antecedentes La optimización es el proceso llevado a cabo para obtener los valores necesarios para maximizar o minimizar un resultado bajo ciertas circunstancias. Además, es uno de los principales puntos de estudio de diversas áreas del conocimiento[1]. Por otro lado, la optimización se ha vuelto una importante herramienta al momento de tomar decisiones en la ciencia y en el análisis de sistemas físicos [2]. Al hablar de optimización, un punto importante son los métodos empleados para obtener los valores óptimos. Existen diversas técnicas en el área de optimización [3], las más conocidas son las técnicas basadas en métodos numéricos, cálculo diferencial y programación matemática[4][5]. Actualmente han surgido novedosas técnicas que, apoyadas por la capacidad computacional actual, obtienen resultados comparables a los obtenidos con técnicas matemáticas. Un ejemplo de ello son las heurísticas y las metaheurísticas, mediante las cuales se realiza una búsqueda de soluciones que sacrifica la optimalidad para ganar eficiencia (la solución encontrada será competitiva, más no se garantiza que sea la mejor de todas) [6]. Una heurística es una técnica de búsqueda de soluciones aplicable a un problema particular. De tal manera, que para cada problema planteado es necesario diseñar un mecanismo capaz de buscar y encontrar una solución satisfactoria. Por ejemplo, suponga que se desea optimizar el tiempo de fabricación de las piezas para automóvil, una posible heurística podría ser comenzar fabricando las piezas más pequeñas y terminar con las más grandes, sin que ésto signifique que es la mejor manera de hacerlo. Otra heurística puede ser el intercalado de piezas grandes y pequeñas. 1

22 2 CAPÍTULO 1. Introducción Los algoritmos heurísticos basan su funcionamiento en la aplicación de operadores o reglas, que de acuerdo al problema dirigen la búsqueda hacia las soluciones más prometedoras, un ejemplo de este tipo de algoritmos es el Hill Climbing o ascenso de colinas en el que la búsqueda parte de una solución inicial y el operador se encarga de realizar una búsqueda en soluciones vecinas donde si alguna de las soluciones es mejor que el punto actual entonces ésta se convierte en la solución actual [7]. Así, se reduce la cantidad de recursos necesarios, pues intentan evadir zonas poco favorables del espacio de búsqueda, lo que reduce precisamente el tiempo de búsqueda necesario y hace a los algoritmos heurísticos técnicas competitivas en espacios de búsqueda extensos. Sin embargo, el funcionamiento del algoritmo heurístico está retringido al problema para el que fué diseñado, pues el operador en cada heurística depende de las características y condiciones de la problemática para el que fue pensado. Así, la heurística utilizada para optimizar el tiempo de fabricación de las piezas de nuestro automóvil probablemente no se podría aplicar para optimizar el tiempo de armado. Por otro lado, una metaheurística es una técnica con mayor generalidad que una heurística y que aplica un conjunto de heurísticas de manera sistemática y sin necesidad de tener información a priori del problema que se quiere resolver. Las técnicas metaheurísticas poseen la ventaja de que las heurísticas se encuentra incluidas en su funcionamiento, lo que hace posible el uso de los algoritmos metaheurísticos en una amplia variedad de problemas tanto de índole combinatoria como númerica, sin la necesidad de cambios importantes en su estructura o mecanismo, además de que proporcionan un marco de trabajo bien definido lo que hace más fácil su implementación [8]. Existen diversos trabajos relacionados al desarrollo de metaheurísticas que buscan mejorar la capacidad para converger a una buena solución del problema de manera rápida y con mayor exactitud. Algunos de estos algoritmos están basados en comportamientos de la naturaleza. Por ejemplo, en [9], se describe la Evolución Diferencial y la Optimización mediante Cúmulos de Partículas, métodos surgidos a partir de la teoría de la evolución de las especies y en el comportamiento social observado en las parvadas de aves, respectivamente. Otro ejemplo, es [10] donde se explica el método utilizado en los algoritmos ABC (colonia artificial de abejas) y MBFOA (Optimización Mediante el Forrajeo de Bacterias) donde se emula principalmente la inteligencia colectiva mostrada por grupos de abejas y bacterias. En [11] se realiza una comparación del algoritmo de Evolución Diferencial contra el método de Programación Matemática llamado programación por Metas aplicado a la optimización en el diseño concurrente de un CVT; en dicho trabajo se logra observar la capacidad de los algoritmos metaheurísticos para lidiar con problemas mecánicos reales. A pesar de las ventajas que ofrecen los algoritmos metaheurísticos, existen ciertas desventajas relacionadas a su selección y aplicabilidad [12]; ya que es dífi-

23 1.2. Objetivos 3 cil establecer que técnica metaheurística se adapta mejor al problema que se quiere resolver. Aunque las técnicas metaheurísticas tienen la capacidad de guiar la búsqueda en el espacio de soluciones, cada una tiene comportamientos diferentes para explorar y explotar la región de búsqueda, teniendo mayores ventajas unas que otras de acuerdo a la forma del espacio y a la distribución de las buenas soluciones. Actualmente, han surgido nuevos enfoques de búsqueda, basadas en el uso de múltiples operadores mediante un solo mecanismo, denominadas ensambles así como las llamadas hiperheurísticas que son algoritmos diseñados para controlar la selección de heurísticas de acuerdo al problema. De esta manera se hace posible el manejo de universos de búsqueda más grandes, con la ventaja de soportar diversos problemas sin cambios significativos en la programación [13]. El desarrollo de ensambles e hiperheurísticas es relativamente nuevo y, más que un intento de desplazar los algoritmos metaheurísticos, buscan resolver la problemática de la selección de heurísticas apropiadas para la solución de un problema, así como disminuir la complejidad de desarrollo y ampliar la aplicabilidad de las técnicas heurísticas en diversos problemas. En este trabajo se propone el uso de una técnica que integre características de ensambles e hiperheurísticas para el manejo de múltiples operadores (heurísticas) obtenidos de variantes especializadas de Evolución Diferencial (ED) para resolver problemas de optimización con restricciones con la capacidad de adaptarse a un mayor número de problemas en condiciones diversas de búsqueda. Con la finalidad de gestionar el uso de las heurísticas se propone una novedosa técnica para el uso de medidas de desempeño durante la ejecución del algoritmo Objetivos Objetivo General Diseñar e implementar un mecanismo de control adaptativo de uso de operadores obtenidos de variantes de ED especializadas en problemas de optimización con restricciones previamente diseñadas y probadas, encontradas en la literatura especializada Objetivos Específicos Identificar las técnicas empleadas en el desarrollo de ensambles e hiperheurísticas basadas en el uso de metaheurísticas, principalmente de ED. Analizar e implementar metaheurísticas de la literatura especializada capaces de soportar problemas de optimización con restricciones. Aplicar la técnica planteada en la resolución de problemas de prueba para la optimización con restricciones.

24 4 CAPÍTULO 1. Introducción Aplicar y resolver un conjunto de problemas de optimización con restricciones surgidos del diseño ingenieril. Realizar un análisis estadístico de los resultados obtenidos en problemas de prueba y compararlos contra contra técnicas metaheurísticas encontradas en la literatura especializada que adopten principalmente multioperadores Hipótesis El diseño e implementación de un mecanismo adaptativo de control de multioperadores demostrará capacidad para proporcionar resultados competitivos en la resolución de problemas de optimización con restricciones de prueba y de diseño ingenieril comparado contra algoritmos del estado del arte para optimización con restricciones. Por otra parte el diseño permitirá resolver un rango más amplio de problemas mediante la aplicación de múltiples operadores, además de lograrlo sin la intervención de usuario en el proceso de selección Justificación Debido a la complejidad que presentan los problemas de optimización numérica con restricciones es díficil encontrar un algoritmo heurístico capaz de manejar todas las clases de problemas existentes por lo que una propuesta de solución para ésto es aplicar múltiples heurísticas en un solo proceso de búsqueda. Uno de los principales inconvenientes con respecto a la selección de las heurísticas para resolver problemas de optimización, es que se depende del conocimiento previo del comportamiento de cada algoritmo y de las características del problema que se quiere resolver. Mediante este trabajo se busca facilitar al usuario la selección del mejor operador de acuerdo a las condiciones de la búqueda al solucionar problemas de optimización con restricciones; proporcionando un algoritmo adaptable capaz de aplicar tres operadores obtenidos de variantes de Evolución Diferencial para solucionar problemas de optimización con restricciones. Por otro lado, han surgido diversas técnicas para evaluar el comportamiento de los algoritmos denominadas medidas de desempeño sin embargo éstas son utilizadas una vez que el algoritmo finaliza su ejecución, por lo que sólo se utilizan con fines estadísticos. Pues no se encontraron trabajos relacionados al uso de múltiples operadores de optimización en los que se utilicen medidas de desempeño para el ajuste y selección de éstos. En este trabajo se propone un novedoso mecanismo de adaptación basado en medidas de desempeño y no sólo para el análisis del comportamiento del algoritmo metaheurístico.

25 1.5. Alcances y Limitaciones Alcances y Limitaciones El algoritmo propuesto se comparó contra otros encontrados del estado del arte en optimización con restricciones mediante la resolución de diversos problemas de prueba encontrados en la literatura especializada. Además se aplicó la propuesta en la optimización de modelos surgidos de diseño ingenieril. Para el desarrollo de este trabajo se utilizarón variantes de evolución diferencial ya diseñadas y probadas en la literatura especializada, por lo que el diseño se limitó a la creación del mecanismo adptativo para el uso de múltiples operadores heurísticos Organización de la Tesis La presente tesis se organiza de la siguiente manera. Capítulo 2. Optimización. Donde se define el problema general de optimización, su planteamiento matemático, la motivación para hacer optimización, la clasificación de sus problemas y de sus técnicas de solución. Capítulo 3. Evolución Diferencial. En este capítulo se describen las técnicas metaheurísticas de optimización, particularmente el algoritmo general de Evolución Diferencial y las variantes utilizadas para el desarrollo de la presente tesis. Capítulo 4. Algoritmos mutioperadores En este capítulo se presenta la descripción de un algoritmo mutioperador, sus características y las clasificaciones existentes. Capítulo 5. Técnica propuesta En este capítulo se describe el funcionamiento del mecanismo adaptativo sus elementos principales y los parámetros de calibración que se utilizaron. Capítulo 6. Resultados Se muestran los resultados obtenidos por el algoritmo propuesto en problemas de prueba así como los resultados en problemas de diseño ingenieril. Capítulo 7. Conclusiones y trabajo futuro Se describen las concluciones de este trabajo de tesis, así como el trabajo futuro.

26

27 Capítulo 2 Optimización En este capítulo se presenta una descripción de los principales conceptos en el problema de optimización, la motivación desde el punto de vista del diseño y sus principales características, así como su planteamiento general Motivación En la actualidad uno de los problemas con los que se encuentra el diseño ingenieril es la exigencia del mercado. La competencia hace que el diseño de nuevos sistemas sea cada vez más difícil al surgir artefactos cada vez mejores, por lo que se hace necesario desarrollar modelos de simulación lo más cercanos a la realidad con la finalidad de reducir gastos en el proceso de desarrollo del diseño [14]. La ventaja principal es que mediante el uso de estos modelos se obtiene una vista preliminar del comportamiento del sistema sin la necesidad de desarrollarlo físicamente, proporcionando una base para mejorarlo de acuerdo a las necesidades del producto que se desea construir o de las que el diseñador considere importantes. El problema de optimización surge cuando alguna o varias de las características del diseño deben ser minimizadas o maximizadas y de la necesidad de obtener los parámetros adecuados para lograrlo. Un punto importante en la optimización es el concepto de valor, ésto es, obtener una medida sobre qué es lo más importante o más deseable del diseño y decidir si es necesario optimizar ese valor; dicho valor es la capacidad inherente del diseño para satisfacer las características importantes en el sistema [15] Definición de Optimización Desde el punto de vista de la terminología la optimización se puede definir como hacer algo perfecto, efectivo o tan funcional como sea posible[16]. También se puede definir como el proceso llevado a cabo para obtener la mejor solución posible a un problema sometido a un conjunto de circunstancias o restricciones[17]. 7

28 8 CAPÍTULO 2. Optimización 2.3. Clasificación de los Problemas de Optimización Dentro del los problemas de optimización es posible encontrar diversas características que los distinguen. De esta manera es posible clasificarlos de acuerdo a cada una de ellas. K. Deb[18] propone la siguiente clasificación. 1. Basado en la existencia de restricciones Con restricciones Sin restricciones 2. Basado en la naturaleza de las variables de decisión Problemas estáticos o paramétricos Problemas dinámicos o de trayectorias 3. Basado en la naturaleza de las ecuaciones involucradas en el problema Problemas lineales Problemas no lineales Problemas de programación geométrica Problemas de programación cuadrática 4. Basado en los valores permitidos en las variables de diseño Problemas de programación entera Problemas de programación con valores reales Problemas de optimización combinatoria 5. Basado en la naturaleza determinística de las variables Problemas estocásticos Problemas deterministas 6. Basado en la separabilidad de las funciones Separables No separables 7. Basado en el número de funciones objetivo Mono-objetivo Multi-objetivo

29 2.4. Componentes del Problema de Optimización Componentes del Problema de Optimización De manera general los componentes principales de un problema de optimización son los siguientes [19][16][17]. Función Objetivo: Define la calidad de la solución y representa el valor que se quiere optimizar; dicho valor permite discriminar entre soluciones. Variables: Son el conjunto de valores que definen a una solución, y que afectan el valor que tomará la función objetivo. La dimensionalidad del problema está definida como el número de variables que posee el problema. Restricciones: Son un grupo de limitaciones relacionadas al problema, éstas pueden ser: Restricciones de frontera. Definen el rango de valores que cada variable puede tomar(cada problema tiene al menos un conjunto de estas restricciones). Restricciones funcionales. Dependen del problema que se plantea y comúnmente están definidas como una función de las variables del problema Planteamiento del Problema General de Optimización Numérica con Restricciones Este trabajo se centra en los problemas de optimización numérica con restricciones CNOP (Constrained Numerical Optimization Problem). Un CNOP se puede definir como la búsqueda de los valores adecuados para minimizar o maximizar algún objetivo numérico en particular limitado por un conjunto de restricciones; Villela [13] define la optimización como: Definición 1. Encontrar los valores de las n variables de decisión [x 1, x 2,..., x n ] T denotadas por el vector x S que satisfagan las m condiciones de desigualdad y las p condiciones de igualdad que optimicen la función objetivo f( x). Sin pérdida de generalidad un CNOP se define como el: Minimizar: Sujeta a: f( x), x = [x 1, x 2,..., x n ] (2.1) g i ( x) 0, i = [1, 2,..., m] (2.2)

30 10 CAPÍTULO 2. Optimización h j ( x) = 0, j = [1, 2,..., p] (2.3) Donde: L i x i U i x es el vector de variables conocidas como variables de diseño o parámetros donde cada x i (i = 1, 2,..., n) son valores escalares. f( x) es la función objetivo, la cual es un valor escalar de x. g i ( x) y h i ( x) son funciones restrictivas(restricciones) con valores escalares que deben ser satisfechas por el vector x. L i y U i son los límites inferior y superior respectivamentes, que pueden tomar cada una de las variables del vector x. De acuerdo a la definición anterior, es posible decir que existe un espacio de búsqueda o espacio de diseño S definido como un espacio cartesiano de dimensión n, donde cada eje representa una de las variables del problema conocidas como variables de diseño y cada punto denominado vector de diseño representa una solución potencial al problema. Además, si se consideran las restricciones en el espacio de búsqueda, existe un subconjunto de soluciones que satisfacen las restricciones, denominado región factible; siendo el conjunto de puntos infactibles la región infactible (no factible) (Ver fígura 2.1) Técnicas de Optimización El área de la optimización está caracterizada por el uso de técnicas basadas en el desarrollo matemático, principalmente derivadas del cálculo diferencial aplicadas en la investigación de operaciones [2]. Recientemente han surgido nuevas técnicas denominadas no tradicionales, basadas en el uso de heurísticas y métodos probabilísticos que pueden ser aplicados a una gran gama de problemas sin requerir grandes cambios derivados de características particulares de algún problema[1] Técnicas Tradicionales y No Tradicionales La investigación de operaciones o investigación operativa es la rama de las mátematicas aplicadas y el análisis númerico que entre otra cosas se encarga de proponer técnicas para resolver problemas de optimización[20]. En los últimos años diversas técnicas basadas en el uso de heurísticas y dedicadas a la resolución de problemas de optimización han surgido; la motivación

31 2.6. Técnicas de Optimización 11 x 1 g( x) Región Factible h( x) Región Infactible x 2 Figura 2.1: Ejemplo del espacio de búsqueda de un problema con dos variables de diseño, el problema posee dos restricciones g( x) y h( x) las cuales limitan las soluciones dentro de la región factible(línea gruesa) principal es que pese a que las técnicas tradicionales aportan soluciones satisfactorias a la mayoría de los problemas en los que se aplican, la complejidad sobre todo de problemas del mundo real pueden llegar a ser muy demandante. Las técnicas no tradicionales aportan una buena herramienta al momento de resolver problemas donde el espacio de búsqueda es muy amplio y/o las restricciones de las soluciones son altamente complejas. Por otra parte, existen diversos tipos de técnicas para la resolución de problemas de optimización, dentro de la optimización global es posible encontrar diversos métodos los cuales Deb [3] propone la clasificación en las siguientes categorías: 1. Métodos Tradicionales Algoritmos de optimización de variable simple: Estos algoritmos son clasificados en dos categorías métodos directos y métodos basados en gradientes. Además estos algoritmos proporcionan buena información sobre las propiedades de los máximos o mínimos en la función, trabajando de manera iterativa. Algoritmos de optimización multi-variable: son clasificadas en técnicas directas y técnicas basadas en gradiente. Algoritmos de optimización restringida: Funcionan utilizando técnicas de variable simple y multi-variable de manera repetida y simultánea, manteniendo los esfuerzos de búsqueda en la región factible.

32 12 CAPÍTULO 2. Optimización Algoritmos de optimización especializada: Son métodos utilizados para cierta clase de problemas debido a su capacidad para resolverlos. 2. Métodos no tradicionales. Métodos que incorporan conceptos heurísticos para mejorar la búsqueda. Por otro lado Tomas Weise [1] propone la siguiente clasificación para estos algoritmos. 1. De acuerdo al método de operación Determinísticos: Son los más utilizados si se encuentra una relación clara entre las características de las posibles soluciones y su utilidad para el problema. Sin embargo si la relación entre las soluciones y la función objetivo es muy compleja o la dimensionalidad del espacio de búsqueda es demasiado grande, estas técnicas se vuelven imprácticas o incapaces de resolver el problema de optimización por lo que son aplicables para un grupo reducido de problemas. Probabilísitcos: Son técnicas que procuran garantizar la mejor solución en un tiempo corto de ejecución; en este tipo de algoritmos se utilizan heurísticas, las cuales son funciones que ayudan al algoritmo a decidir de un conjunto de posibles soluciones cuál será la siguiente en ser analizada. A su vez las técnicas probabilísticas pueden trabajar de acuerdo a dos enfoques : Heurísticas. Que es una parte del algoritmo de optimización que utiliza la información del estado actual de la búsqueda para decidir cuál solución debería ser la siguiente en ser evaluada o generada. Generalmente depende del problema con el que se esté trabajando Metaheurísticas. Es un método que se utiliza para resolver problemas de manera más general, mediante la combinación de funciones objetivo o heurísticas de una manera eficiente, comúnmente sin un conocimiento profundo de la estructura del problema, vistas como una caja negra. 2. De acuerdo a sus propiedades Velocidad de optimización Online optimization: Son problemas de optimización que deben ser resueltos rápidamente, ya sea en cuestión de segundos o una fracción de ellos. Por ejemplo, la localización robótica, el balance de cargas o actualizaciones en la programación de una máquina de fabricación Offline optimization: En este tipo de optimización no es tan importante el tiempo y es posible esperar incluso varios días siempre

33 2.6. Técnicas de Optimización 13 que la solución sea la mejor o muy cercana a la mejor. Un ejemplo de estos problemas son los sugidos de data mining, optimización estructural, u optimización de mecanismos. Número de objetivos Mono-objetivo: Técnicas que se utilizan cuando es necesario maximizar o minimizar un único valor en el problema y el problemas solo posee una función objetivo. Multi-objetivo: Técnicas usadas cuando es necesario maximizar o minimizar múltiples valores por lo que el problema posee varias funciones objetivo. En el siguiente capítulo se abordarán algunas técnicas heurísticas para la solución de problemas de optimización, particularmente se tratará el algoritmo de Evolución Diferencial sus componentes principales y algunos casos de éxito en su aplicación.

34

35 Capítulo 3 Evolución Diferencial En este capítulo se presentan las principales técnicas metaheurísticas para la resolución de problemas de optimización; de manera partícular se habla sobre los algoritmos evolutivos, principalmente del algoritmo de evolución diferencial. Por otro lado se explica la clasificación de las técnicas para el manejo de restricciones y se describe la utilizada en este trabajo Algoritmos de Optimización Debido a su facilidad de implementación, los métodos no tradicionales, como las heurísticas y las metaheurísticas han sido ampliamente utilizados en el área de la optimización; uno de los principales motivos, es la complejidad de los problemas que se resuelven; mientras más cercanos son a la realidad, es más difícil aplicar métodos tradicionales. Siempre es conveniente considerar como primera opción los métodos clásicos pues a pesar de todas las ventajas que ofrecen los métodos no tradicionales, éstos no garantizan el encontrar el óptimo global. Sin embargo, suelen proporcionar soluciones altamente competitivas [10]. Dentro de los métodos no tradicionales existe un grupo especial de técnicas las cuales basan su funcionamiento en comportamientos o situaciones observadas en la naturaleza conocidos como algoritmos bio-inspirados. Los que a su vez se dividen en: Computación Evolutiva [21] Inteligencia Colectiva [22] Algoritmos de Inteligencia Colectiva Estos algoritmos se caracterizan principalente por el intento de emular el comportamiento de lo seres vivos y la manera en que se adaptan al entorno en el que viven; de esta esfera han surgido diversos trabajos, entre los que podemos encontrar 15

36 16 CAPÍTULO 3. Evolución Diferencial el PSO (Particle Swarm Optimization)[21] que funciona con base en el comportamiento observado en grupos de aves en el proceso de búsqueda de alimento; donde las soluciones se comportan como un grupo de aves en el que existe un líder que guía a la parvada hacia regiones más favorables para encontrar alimento. También existe el algoritmo basado en el comportamiento de las abejas ABC (Artificial Bee Colony) [16], donde se emula el comportamiento de las abejas dividiendo la colmena en abejas exploradoras y observadoras; las abejas empleadas buscan mejorar las soluciones ya encontradas mientras que las exploradoras se encargan de buscar nuevas zonas del espacio de búsqueda, y las observadoras permanecen al pendiente de las zonas que pueden ser más favorables para explotarlas. Otro ejemplo es el algoritmo basado en bacterias BFOA (Bacterial Foraging Optimization Algorithm) [17], donde se reproduce el proceso que lleva a cabo la bacteria e-coli para hacerse de nutrientes, así como para evitar sustancias que puedan afectarla; además de emular la manera en que las bacterias se comunican por medio de la producción de químicos y su liberación en el ambiente, lo que permite a las otras bacterias reconocer áreas favorables o dañinas Algoritmos de Computación Evolutiva La Computación Evolutiva (CE) es el término con el que se conoce al grupo de técnicas computacionales que intentan emular el proceso evolutivo natural. La CE engloba, entre otras técnicas, los Algoritmos Genéticos (Genetic Algorithms GA s) los cuales están basados en la herencia genética y la forma en que las características de los individuos se transmiten de generación en generación, las Estrategias Evolutivas basadas en la idea de adaptación y evolución, la Programación Evolutiva basada únicamente en los procesos de mutación y selección y la Evolución Diferencial (ED); y cuyo conjunto se conoce como Algoritmos Evolutivos (Evolutionary Algorithms EAs) [23][1] Componentes de un Algoritmo Bio-inspirado De manera general tanto los algoritmos de computación evolutiva como los de inteligencia colectiva comparten algunas características o elementos en su estructura. En este apartado se explican los pasos principales para el desarrollo de un algorimo bio-inspirado[10]. 1. Generación de un conjunto de soluciones (vectores) al problema denominado población, donde cada solución es denominada individuo. 2. Evaluar cada solución en la función objetivo que se quiere optimizar. 3. Seleccionar un grupo con las mejores soluciones de la población con base en la función objetivo. 4. Generar nuevas soluciones a partir del grupo obtenido en el paso anterior.

37 3.2. Evolución Diferencial Evaluar las nuevas soluciones. 6. Seleccionar las soluciones que formaran parte del siguiente ciclo. Además de los pasos para el desarrollo de un algoritmo bio-inspirado, existen un grupo de elementos comunes en la mayoría de algoritmos bio-inspirados que son los siguientes[10]. Representación de las soluciones: Las soluciones se pueden representar de acuerdo a las características del problema en cadenas binarias, números enteros o números reales. Para la resolución de CNOP la representación con números reales es la más adecuada, pues las variables de estos problemas comúnmente utilizan estos valores. Así cada solución será un vector que contenga un conjunto de números reales. Mecanismo de selección: En algunos algoritmos bio-inspirados funciona como el elemento que guía la búsqueda. Mediante el uso de este mecanismo se eligen un conjunto de soluciones de la población para generar nuevas soluciones. En general se utiliza un criterio basado en la función objetivo para hacer esta selección. Operadores de variación:son elementos del algoritmo bio-inspirado que sirven para generar nuevas soluciones a partir de las ya existentes en la población (regularmente las elegidas por el mecanismo de selección). Estos operadores son una de las características principales que distinguen a cada algoritmo bio-inspirado, y pueden generar desde una solución o varias a partir de una sola ya existente, o generar una o varias soluciones a partir de dos o más soluciones. Mecanismos de reemplazo: Al igual que el mecanismo de selección funciona como guía en la búsqueda, y es es mecanismo que funciona para seleccionar las soluciones que formaran la siguiente generación; esto se hace considerando las soluciones ya existentes y las recién generadas. El proceso de reemplazo se puede basar en el valor de las función objetivo, la edad de la solución o en mecanismos aleatorios Evolución Diferencial El algoritmo de Evolución Diferencial (ED) es de reciente surgimiento; propuesto por Storn y Price en 1997 [24], ha sido exitosamente aplicado en diversos problemas de optimización demostrando gran competitividad contra otros algoritmos del cómputo evolutivo y de inteligencia colectiva.

38 18 CAPÍTULO 3. Evolución Diferencial Algoritmo de ED El algoritmo de ED es una técnica de búsqueda directa que se basa en el desarrollo evolutivo de una población durante varios ciclos, la población durante la ejecución completa del algoritmo puede representarse como sigue: P x,g = { x 1,g, x 2,g,..., x NP,g }, g = 1,..., MAX_GEN (3.1) x i,g = [x 0, x 1,..., x n ] T, i = 1,..., NP (3.2) donde, MAX_GEN es el número máximo de ciclos que se ejecutara, P es la población, NP es la cantidad de vectores en la población y n es la cantidad de variables que tiene cada vector también llamada dimensionalidad del problema Componentes de la ED El algoritmo de evolución diferencial se compone de tres etapas principales durante cada ciclo. El algoritmo, contempla como primer paso la aplicación de dos operadores de variacion denominados Mutación y Recombinación para posteriormente llevar a cabo el proceso de Selección de individuos que formaran la siguiente generación. Es importante mencionar que en el algoritmo de ED no existe un proceso de selección de padres; ya que cada vector de la población genera un vector hijo mediante el uso de los operadores de variación Mutación El proceso de mutación, consiste en calcular un vector mutante para cada vector de la población; lo que significa que si existen NP vectores en la población, entonces N P vectores de mutación serán generados. Cada vector que genera un vector mutante es denominado vector padre. El cálculo del vector de mutación se realiza en 2 etapas. Se calcula el vector de diferencia, lo que representa la dirección de la búsqueda Se realiza la suma de la diferencia con el vector base. El cálculo del vector de diferencia se realiza utilizando un par de vectores r1 y r2, seleccionados de manera aleatoria de la población actual, restándolos entre sí para definir una dirección de búsqueda; el resultado es multiplicado por un factor de escala F; una vez que el vector de diferencia se ha calculado se suma un tercer vector denominado vector base o vector donante r3; el resultado obtenido es el vector de mutación o vector mutante en la Figura 3.1 se observa graficamente. Matemáticamente se expresa de la siguiente forma (Ver Eq. 3.3) v i,g = x r3,g + F ( x r1.g x r2,g ) (3.3)

39 3.2. Evolución Diferencial 19 y y Región Factible x r2,g x r1,g x r2,g x r1,g Región Factible x r2,g v x r1,g v (a) Región Infactible x (b) Región Infactible x Figura 3.1: (a)vector de diferencia obtenido de la resta de x r1,g y x r2,g. (b) Posibles soluciones con valor de F positivo y negativo (Ver Eq. 3.3) Recombinación Mientras que la mutación genera nuevas direcciones de búsqueda procurando explorar el espacio de soluciones; la recombinación se encarga de explotar las regiones ya encontradas mediante el intercambio de información de la población actual a sus descendientes. Esta operación se realiza entre el vector padre x i,g 1 y el vector de mutación ya generado v i,g. La recombinación se realiza de forma discreta, es decir el vector hijo u i,g heredará los valores de sus progenitores (vector padre y vector de mutación) de forma directa. El proceso es el siguiente: { vj,i,g si (rand u i,g = u j,i,g = j [0, 1) CR o j = j rand ); j = 1, 2,..., n x j,i,g 1 de otra manera (3.4) donde, CR es un número real definido por el usuario y se encuentra en el siguiente rango [0, 1) y permite definir qué tan parecido será el vector hijo con respecto al vector padre y al vector de mutación; si el valor de CR es cercano a 1, el vector decendiente será muy parecido al vector de mutacion; mientras que para valores cercanos a 0, el vector hijo será muy parecido al vector padre. Un punto importante, es que aunque el valor de CR sea 0, por lo menos en una posición el vector hijo será diferente del vector padre, dada la condición j = j rand, donde j es una variable del vector hijo; siendo j rand una posición generada de manera

40 20 CAPÍTULO 3. Evolución Diferencial aleatoria. Así, al menos en la posición j el vector padre diferirá del vector hijo. El algoritmo de ED en su versión original maneja dos tipos de recombinación discreta, y en ambas se utiliza el parámetro CR para ajustar el parecido del vector hijo con respecto al vector padre y al vector de mutación. Recombinación exponencial: La recombinación se inicia en la posición j rand y el vector es considerado como una cola circular donde al finalizar se continua con las primeras posiciones de éste, si aún no han sido consideradas (en el caso de que j rand sea una posición media en el vector). Así, por cada posición se genera un valor aleatorio entre 0 y 1 y los elementos que formarán al vector hijo se copiarán del vector de mutación, hasta que un valor aleatorio sea mayor que CR; una vez que esto sucede, los valores restantes de la cadena se copian del vector padre (Ver Figura 3.2 (a)). Recombinación binomial: Para el proceso de recombinación se genera un número aleatorio entre 0 y 1 para cada posición del vector, si el valor obtenido es más pequeño que CR, el hijo obtiene el valor del vector de mutación; en el caso de que el valor obtenido sea mayor que CR el valor se copia del vector padre(ver Figura 3.2 (b)) Selección La selección también denominada mecanismo de reemplazo, funciona de la siguiente manera: Una vez que todos los elementos de la población han generado su propio hijo, y la población total sea 2 NP ; el proceso de selección se encargará de mantener a la población con su tamaño original NP seleccionando a los mejores vectores. La comparación se realiza de forma directa padre contra hijo mediante la evaluación de cada uno de ellos en la función objetivo; de esta forma, el elemento que tenga mejor función objetivo permanecerá para el siguiente ciclo y el peor será eliminado (Ver Eq. 3.5). 1. { ui,g si (f( u u i,g = i,g )f( x i,g 1 )) de otra manera x i,g 1 (3.5) El proceso llevado por la técnica de ED se encuentra detallado en el algoritmo 3.3. Manejo de Restricciones El desarrollo de algoritmos evolutivos se ha caracterizado por su gran aplicabilidad en una amplia gama de problemas; sin embargo, un punto importante, es que a pesar de sus ventajas, no poseen un mecanismo propio para el manejo de restricciones. Además se debe señalar que aunque los problemas para los que fueron diseñados originalmente no consideraban las restricciones, la mayoría de los problemas reales poseen un conjunto de ellas.

41 3.3. Manejo de Restricciones 21 jrand=3 CR=0.2 rand(0,1) vector de mutación vector hijo vector padre (a) jrand=3 CR=0.2 rand(0,1) vector de mutación vector hijo vector padre (b) Figura 3.2: (a) Cruza exponencial el vector rand j (0, 1) está compuesto por valores aleatorios, el valor en negrita es menor que el parámetro CR, por lo que para esa posición, el vector hijo copia el valor del vector de mutación y el resto del vector padre (la cruza se inicia en la posición j rand ). (b) Cruza binomial los valores en negrita de rand j (0, 1) son menores que CR y son las posiciones que el vector hijo copia directamente del vector de mutación. El resto de las posiciones son copiadas del vector padre. El valor j rand define que posición sera tomada del vector de mutación en ambos casos

42 22 CAPÍTULO 3. Evolución Diferencial Algoritmo 1 Algoritmo de ED/rand/1/bin Require: Función Objetivo f(x), Número de generaciones MAX_GEN, Tamaño de población NP, Factor de escala F, Factor de cruza CR. 1: G=0 2: Crear población inicial aleatoria x i,g i, i = 1,..., NP 3: Evaluar f( x i,g ) i, i = 1,..., NP 4: for G = 1 to MAX_GEN do 5: for i = 1 to NP do 6: Seleccionar aleatoriamente r 1 r 2 r 3 7: j rand = randint(1, D) 8: for j = 1 to D do 9: if (rand j [0, 1) CR or j = j rand ) then 10: u i,j,g = x r3,j,g 1 + F (x r1,j,g 1 x r2,j,g 1) 11: else 12: u i,j,g = x i,j,g 1 13: end if 14: end for 15: if f( u i.g ) f( x i,g 1 ) then 16: x i,g = u i,g 17: else 18: x i,g = x i,g 1 19: end if 20: end for 21: end for

43 3.3. Manejo de Restricciones 23 Por lo anterior, diversos trabajos han surgido con la intención de proporcionar diversos mecanismos para el manejo y la evaluación de restricciones. Mezura et al. [25] propone una clasificación para las técnicas para el manejo de restricciones en las siguientes categorías: Funciones de penalización: Son enfoques que se basan en técnicas de programación mátematica, mediante las cuales se transforma el CNOP en un problema de optimización númerica sin restricciones. Decoders: Funcionan con base en la idea de transformar o mapear el espacio de soluciones factibles en un espacio más simple y en el que el algoritmo de búsqueda pueda proveer un mejor desempeño. Operadores Especiales: Son operadores que se diseñan con la finalidad de preservar la factibilidad de las soluciones o mover las soluciones a regiones de interes en el espacio de búsqueda. Separación de funciones objetivo y restricciones:se diferencían de las otras técnicas por el cambio de enfoque; pues mientras las técnicas restantes tratan de combinar la función objetivo con los valores de las retricciones en un solo valor, estas técnicas manejan los valores de manera separada. En este trabajo se utiliza una técnica perteneciente a la clase de separación de funciones objetivo y restricciones, basada en un conjunto de reglas propuestas por K. Deb [26] que se aplican para realizar la selección entre padre e hijo. Las reglas que propone son las siguientes: Entre 2 soluciones factibles, la que tenga el mejor valor en la función objetivo será seleccionada. Si una solución es factible y la otra es infactible, la solución factible es seleccionada. Si ambas soluciones son infactibles, la que tenga el menor valor en la suma de violación de restricciones es elegida. La suma de violación de restricciones se calcula de la siguiente manera. m max(0, g i ( x)) + i=1 p max(0, h j ( x) ɛ ) (3.6) j=1 Donde m es el número de restricciones de desigualdad que presenta el problema y p es el número de restricciones de igualdad del problema; ɛ es un parámetro que funciona para ajustar el nivel de tolerancia permitido por las restricciones de igualdad; de tal forma que sea posible convertir la restricción de igualdad en restricción de desigualdad.