Algoritmos Genéticos.

Transcripción

1 Algoritmos Genéticos. Miguel Cárdenas Montes, Antonio Gómez Iglesias Centro de Investigaciones Energéticas Medioambientales y Tecnológicas, Madrid, Spain miguel.cardenas@ciemat.es de Octubre de 2011

2 Temario del Curso Temario a la Computación Evolutiva. Aplicaciones a Problemas Científicos y Tecnológicos. Algoritmos Genéticos. Algoritmos Basados en Evolución Diferencial. Algoritmos Evolutivos para Problemas Multiobjetivo. RND y EA Modelos Basados en Adaptación Social: abejas, hormigas y enjambres.

3 Tabla de Contenidos 1 Tabla de Contenidos 2 3 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada 4 5 Exploración - Explotación Evitar la convergencia prematura 6

4

5 I Los algoritmos genéticos: Son algoritmos de optimización que usan la búsqueda y el aprendizaje. Están inspirados en los procesos de evolución natural y evolución genética Los algoritmos genéticos no son: La solución a todos los problemas de optimización

6 II Los algoritmos genéticos: Se inspiran en la evolucion biológica Hacen evolucionar poblaciones Modificaciones aleatorias de las características de los individuos Selección de los mejores individuos Modelo iterativo

7 Componentes Los algoritmos genéticos: Población Selección Reproducción Reemplazo

8 Componentes

9 Modelos Modelo Generacional En cada iteración se crea una población completa nueva La nueva población reemplaza a la anterior

10 Modelos Modelo estacionario En cada iteración, se seleccionan dos o más padres y se aplican los operadores genéticos sobre ellos Los nuevos individuos reemplazan a uno o varios (pero no a todos) de los padres Es un modelo elitista (los mejores individuos se suelen mantener de una iteración a otra) que puede tener una convergencia alta

11 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Modelos Pasos para construir un AG Diseñar una representación Decidir cómo inicializar una población Diseñar una forma de evaluar un individuo Diseñar un operador de mutación adecuado Diseñar un operador de cruce adecuado Decidir cómo seleccionar los individuos para ser padres Decidir cómo reemplazar a los individuos Decidir la condición de parada

12 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Modelos Requisitos Debe permitir representar todo el espacio de búsqueda No debería permitir representar soluciones infactibles Debe estar ajustada al problema que representa (pequeños cambios en el individuo deben producir pequeños cambios en la solución) Debe ser fácil de decodificar Una vez que se ha decidido la codificación, se puede comenzar a definir el operador que se usará

13 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Representación Binaria La representación de un individuo se puede hacer mediante una codificación discreta, y en particular binaria

14 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Representación Real Una forma natural de codificar una solución es utilizando valores reales Muchas aplicaciones tienen esta forma natural de codificación

15 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Inicialización Aleatoria Debe ser uniforme sobre el espacio de búsqueda: Cadena binaria: 0 o 1 con probabilidad 0.5 Representación real: uniforme sobre un intervalo dado

16 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Inicialización desde una población anterior También se puede elegir la población a partir de los resultados de una heurística previa

17 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Inicialización desde una población anterior Este es el paso más costoso para una aplicación real Puede ser una subrutina, un simulador, o cualquier proceso externo Se pueden utilizar funciones aproximadas para reducir el coste de la evaluación Cuando hay restricciones, éstas se pueden introducir en el coste como penalización Con múltiples objetivos se busca una solución de compromiso

18 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Diseño de la función Procedimiento desarrollado íntegramente Uso de una aplicación ya desarrollada con anterioridad Conjunto de aplicaciones

19 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Selección Objetivo: Simular el proceso de selección natural en base a la calidad Requisitos Los individuos más aptos deben tener mayor probabilidad de ser elegidos Los individuos menos aptos deben tener oportunidad de ser elegidos Presión Selectiva: se utiliza para mejorar la convergencia. Ocurren cuando se utilizan métodos basados en el fitness

20 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Selección Aleatoria (RS) Tipos de Selección Selección por Torneo (TS): escoge al individuo de mejor fitness de entre N individuos seleccionados aleatoriamente (N = 2, 3,... ) Orden Lineal (LR): la población se ordena en función de su fitness y se asocia una probabilidad de selección a cada individuo que depende de su orden Emparejamiento Variado Inverso (NAM): escoge un padre aleatoriamente. Para el otro selecciona N padres y escoge el más lejano al primero (N = 3, 5,... ) Selección por Ruleta: asigna una probabilidad de selección proporcional al valor del fitness del individuo

21 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Selección por torneo Para cada padre a seleccionar: Escoger aleatoriamente N individuos Seleccionar el mejor de ellos N es el tamaño del torneo. A mayor N, mayor presión selectiva y viceversa

22 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Emparejamiento Variado Inverso en Binario Cruzar A con más de lejano: BCDE A B diferencias C diferencias D diferencias E diferencias

23 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce

24 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce Podríamos tener uno o más operadores de cruce para nuestra representación Algunos aspectos importantes a tener en cuenta son: Los hijos deberían heredar algunas características de cada padre. Si éste no es el caso, entonces estamos ante un operador de mutación Se debe diseñar de acuerdo a la representación La recombinación debe producir cromosomas válidos Se utiliza con una probabilidad alta de actuación sobre cada pareja de padres a cruzar (entre 0.6 y 0.9)

25 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce en binario Cruce en un punto en binario

26 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce en un punto en binario Cruce en binario Cruce en dos puntos en binario

27 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce en codificación real Ejemplo de operador de cruce

28 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce en codificación real Tanto el operador de cruce como el de mutación debe estar adaptado al problema que se está optimizando. Puede haber múltiples de ambos en un mismo código. Se puede hacer variar ambos operadores a lo largo de las generaciones. Se puede hacer un método de prueba y error hasta encontrar los más idóneos al problema.

29 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Cruce en codificación real Ejemplos: Blend crossover (BLX) Confidence interval based crossover (CIXL1, CIXL2) Partially Matched Crossover (PMX) Cycle Crossover (CX)

30 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada BLX-a 1 select two parents X (t) and Y (t) from a parent pool 2 create two offspring X (t+1) and Y (t+1) as follows: 3 for i = 1 to n do: 1 d i = x (t) i y (t) i 2 choose a uniform random real number u from interval < min(x (t) i,y (t) i ) a d i,max(x (t) i,y (t) i ) + a d i > 3 x (t+1) = u i 4 choose a uniform random real number u from interval < min(x (t) i,y (t) i ) a d i,max(x (t) i,y (t) i ) + a d i > = u 5 y (t+1) i 4 end do where: a - positive real parameter

31 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Mutación Podemos tener uno o más operadores de mutación para nuestra representación Algunos aspectos importantes a tener en cuenta son: Debe permitir alcanzar cualquier parte del espacio de búsqueda El tamaño de la mutación debe ser controlado Debe producir cromosomas e individuos válidos

32 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Mutación en codificación binaria

33 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Mutación en codificación real Propuesta Se suele utilizar la desviación estandard de cada cromosoma en la población (o en los mejores individuos)

34 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Reemplazamiento La presión selectiva se ve también afectada por la forma en que los cromosomas de la población son reemplazados por los nuevos descendientes Existen métodos de reemplazamiento aleatorios y determinísticos Podemos decidir no reemplazar al mejor individuo de la población: Elitismo Un modelo con alto grado de elitismo consiste en utilizar una población intermedia con todos los padres N y todos los descendientes y seleccionar los N mejores

35 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Estrategias En modelos estacionarios existen diferentes opciones: Reemplazar al peor de la población (RW): genera alta presión selectiva Torneo Restringido (RTS): se reemplaza al más parecido de entre N (N = 3,... ). Mantiene una cierta diversidad Peor entre semejantes (WAMS): se reemplaza el peor cromosoma del conjunto de los N (N = 3,... ) padres más parecidos al descendiente generado (seleccionados de toda la población). Busca equilibrio entre diversidad y presión selectiva Algoritmo de Crowding Determinístico (DC): el hijo (si mejora) reemplaza a su padre más parecido. Mantiene diversidad

36 Representación Inicialización Evaluación Selección Cruce y mutación Reemplazamiento Criterio de Parada Criterio de Parada Cuando se alcanza el óptimo Recursos limitados de CPU: fijar el máximo número de evaluaciones Límite sobre la paciencia del usuario: Después de algunas iteraciones sin mejora

37 cod. binaria I Problema de optimización: minimizar f (x) = x. i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x A B C D

38 cod. binaria II Cruce i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x A B AB A 1 B C D CD 0 1 C 0 D

39 cod. binaria III Eliminación de los peores padres. i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x A B C D

40 cod. binaria IV Mutación. i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x A A B B C D

41 cod. binaria V i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x A B C D

42 cod. binaria VI i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x B C BC B 1 C D A DA 0 1 D 0 A

43 cod. binaria VII i x 6 x 5 x 4 x 3 x 2 x 1 f (x) = x B C A D

44 cod. real I Minimizar f (x, y) = x 2 + y 2 ; x,y [-10,10]. i x y f (x) A B C D

45 cod. real II Cruce (a+b)/2 i x y f (x) A B AB C D CD

46 cod. real III Se eliminan los peores padres i x y f (x) A B C D

47 cod. real IV No mutación, segunda generación i x y f (x) A C AC B D BD

48 cod. real V No mutación, segunda generación i x y f (x) A C B D

49 cod. real VI Tercera generación i x y f (x) A D AD C B CB

50 cod. real VII Tercera generación i x y f (x) A D C B

51 Exploración - Explotación Evitar la convergencia prematura Exploración y Explotación Todo algoritmo de búsqueda necesita establecer un equilibrio entre dos factores aparentemente opuestos: exploración del espacio de soluciones, para realizar una búsqueda en amplitud, localizando así zonas prometedoras explotación del espacio de búsqueda, para hacer una búsqueda en profundidad en dichas zonas, obteniendo así las mejores soluciones Los algoritmos genéticos son algoritmos de búsqueda de propósito general, cuyos operadores pueden establecer un equilibrio adecuado entre exploración y explotación

52 Exploración - Explotación Evitar la convergencia prematura Convergencia y Diversidad Convergencia Centrar la búsqueda en regiones prometedoras mediante la presión selectiva La presión selectiva permite que los mejores individuos sean seleccionados para reproducirse. Es necesaria para que el proceso de búsqueda no sea aleatorio Diversidad Evitar la convergencia prematura (rápida convergencia hacia zonas que no contienen el óptimo global)

53 Exploración - Explotación Evitar la convergencia prematura Controlar la diversidad La diversidad está asociada a las diferencias entre los cromosomas en la población Falta de diversidad genética: todos los individuos en la población son parecidos Falta de diversidad convergencia prematura a óptimos locales En la práctica es irreversible. Soluciones: Inclusión de mecanismos de diversidad en la evolución Reinicialización cuando se produce convergencia prematura

54 Exploración - Explotación Evitar la convergencia prematura Evitar la convergencia prematura Propuestas Diversidad con la Mutación Diversidad con el Cruce Separación Espacial Adaptación, Auto-adaptación, Metaevolución Estrategias de Reemplazamiento

55 Exploración - Explotación Evitar la convergencia prematura Diversidad con la mutación Una alta probabilidad de mutación no soluciona la convergencia prematura Se usa una probabilidad adaptativa: Comenzar con una probabilidad alta al principio del algoritmo e ir reduciéndola conforme avanzan los ciclos. Aplicar una probabilidad alta sobre las peores soluciones y baja sobre las mejores.

56 Exploración - Explotación Evitar la convergencia prematura Diversidad con el cruce Técnicas de emparejamiento Los padres se pueden seleccionar de forma que se mantenga la diversidad de la población Prohibición de cruce basada en ascendencia. Un individuo no puede emparejarse con él mismo, ni con sus padres, ni con sus hijos, ni con sus hermanos Prohibición de incesto. Dos padres se cruzan si su distancia Hamming está por encima de cierto umbral Emparejamiento variado. Un individuo se cruza con otro que es bastante diferente

57 Exploración - Explotación Evitar la convergencia prematura (Distancia Hamming) La distancia Hamming entre y es 2. La distancia Hamming entre y es 3. La distancia Hamming entre tener y reses es 3.

58 Exploración - Explotación Evitar la convergencia prematura Separación espacial Separación espacial Los métodos de preservación de la diversidad basados en separación espacial han sido propuestos para evitar la convergencia prematura. Los más representativos son los AGs distribuidos y los AGs celulares

59 Exploración - Explotación Evitar la convergencia prematura Adaptación, Auto-adaptación, Metaevolución Adaptación Consiste en la adaptación de determinados elementos de los AGs a lo largo de la ejecución en función de su estado o información disponible sobre el espacio de búsqueda. Se utilizan diferentes herramientas para su aplicación: Funciones sobre parámetros, por ejemplo una función lineal asociada a las iteraciones para disminuir la probabilidad de mutación Sistemas de control basados en reglas difusas Coevolución de sistemas de control basados en reglas difusas,...

60 Exploración - Explotación Evitar la convergencia prematura Adaptación, Auto-adaptación, Metaevolución Auto-adaptación Evolución de los parámetros de acuerdo al comportamiento del algoritmo Metaevolución Considera la búsqueda del mejor AG para resolver un problema como un problema de optimización y se utiliza otro AG para resolverlo Un AG-metanivel opera sobre una población de AGs (cada AG es un individuo) que intentan resolver el problema en cuestión

61 Exploración - Explotación Evitar la convergencia prematura Estrategias de Reemplazamiento Objetivo Introducir mayor diversidad o convergencia en la población en función del mecanismo de reemplazamiento. Son de interés en los modelos estacionarios o cuando se introducen mecanismos de competición entre padres o hijos. Alternativas Métodos de multitud, se basan en la similitud genotípica y reemplazan al individuo más similar al generado (Modelo Estacionario) Métodos de competición entre descendientes y los padres u otros individuos de la población

62 - Resumen basados en una metáfora biológica: evolución gran potencialidad de aplicación muy populares en muchos campos muy potentes en diversas aplicaciones altas prestaciones a bajo costo

63

64 Gracias Gracias Preguntas? Más preguntas?