Hiperheurísticas: Un Nuevo Enfoque para la Resolución de Problemas Complejos

Transcripción

1 Tipos de : Un Nuevo Enfoque para la Resolución de Problemas Complejos Departamento de Informática Universidad Técnica Federico Santa María 10 de septiembre de 2006 Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

2 Introducción Tipos de Tipos de 4 Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

3 Tipos de Pablo Garrido mail:

4 Orígenes Introducción Tipos de Concepto que nace formalmente en el grupo de investigación ASAP en la Universidad de Nottingham a mediados del año El término hiperheurística, sin embargo, tuvo sus primeros usos a mediados de los 60 por Fisher y Thompson (1961, 1963) y Crowson(1963) enfrentando el problema de Job Shop Scheduling (elección de heurísticas en base a probabilidades). Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

5 Introducción Tipos de Diseñar metaheurísticas eficientes requiere incorporar conocimiento específico lo que implica un gran esfuerzo en tiempo y recursos. Consecuencia: Difíciles de reusar o aplicar en otros problemas. Complicadas de entender. Estrategia: Optar por usar técnicas simples, baratas y razonablemente eficientes. Idea: Compromiso entre la calidad de la solución y la rapidez de la implementación y ejecución. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

6 Introducción Tipos de Diseñar metaheurísticas eficientes requiere incorporar conocimiento específico lo que implica un gran esfuerzo en tiempo y recursos. > necesidad de expertos Consecuencia: Difíciles de reusar o aplicar en otros problemas. Complicadas de entender. Estrategia: Optar por usar técnicas simples, baratas y razonablemente eficientes. Idea: Compromiso entre la calidad de la solución y la rapidez de la implementación y ejecución. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

7 Introducción Tipos de Diseñar metaheurísticas eficientes requiere incorporar conocimiento específico lo que implica un gran esfuerzo en tiempo y recursos. > gran inversión en dinero Consecuencia: Difíciles de reusar o aplicar en otros problemas. Complicadas de entender. Estrategia: Optar por usar técnicas simples, baratas y razonablemente eficientes. Idea: Compromiso entre la calidad de la solución y la rapidez de la implementación y ejecución. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

8 Introducción Tipos de Diseñar metaheurísticas eficientes requiere incorporar conocimiento específico lo que implica un gran esfuerzo en tiempo y recursos. > sintonización de parámetros Consecuencia: Difíciles de reusar o aplicar en otros problemas. Complicadas de entender. Estrategia: Optar por usar técnicas simples, baratas y razonablemente eficientes. Idea: Compromiso entre la calidad de la solución y la rapidez de la implementación y ejecución. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

9 Introducción Tipos de Diseñar metaheurísticas eficientes requiere incorporar conocimiento específico lo que implica un gran esfuerzo en tiempo y recursos. > elección de heurísticas Consecuencia: Difíciles de reusar o aplicar en otros problemas. Complicadas de entender. Estrategia: Optar por usar técnicas simples, baratas y razonablemente eficientes. Idea: Compromiso entre la calidad de la solución y la rapidez de la implementación y ejecución. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

10 Introducción Tipos de Diseñar metaheurísticas eficientes requiere incorporar conocimiento específico lo que implica un gran esfuerzo en tiempo y recursos. Consecuencia: Difíciles de reusar o aplicar en otros problemas. Complicadas de entender. Estrategia: Optar por usar técnicas simples, baratas y razonablemente eficientes. Idea: Compromiso entre la calidad de la solución y la rapidez de la implementación y ejecución. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

11 Introducción Tipos de Es siempre válido aplicar este enfoque? Se deben distinguir 2 escenarios. Escenario 1: Se busca la mejor solución posible. Se está preparado para invertir tiempo y dinero para obtener dicha solución. Escenario 2: Se desea ocupar el mismo método en una cantidad considerable de problemas sin gastar mucho tiempo y recursos re-adaptándolo. Se desean obtener resultados de calidad aceptable. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

12 Tipos de Pablo Garrido mail:

13 Tipos de Hiperheurística: Caja Negra Pablo Garrido mail:

14 Definición Introducción Tipos de Método que inteligentemente controla la elección de la heurística (método) de bajo nivel que debiera ser aplicada en cada punto de decisión dependiendo de las características de las heurísticas y de la región del espacio de solución que se está explorando (estado del problema). Para ello, la hiperheurística debiera tener un mecanismo de aprendizaje. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

15 Definición Introducción Tipos de Método que inteligentemente controla la elección de la heurística (método) de bajo nivel que debiera ser aplicada en cada punto de decisión dependiendo de la características de las heurísticas y de la región del espacio de solución que se está explorando (estado del problema). Para ello, la hiperheurística debiera tener un mecanismo de aprendizaje. }{{} Analogía del estratega Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

16 Tipos de Características Que puedan ser aplicadas a un amplio rango de problemas. Su fin no es vencer a técnicas construidas a la medida, sino demostrar que son competitivas y capaces de generar resultados de calidad. Que no sean sensibles a perturbaciones del problema y a distintos problemas. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

17 Tipos de Requerimientos No deben tener conocimiento del dominio. Deben proveer una interfaz genérica y común para cada heurística de bajo nivel. Capaces de tomar decisiones dinámicamente en base al estado actual de la búsqueda. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

18 Estructura Introducción Tipos de Pablo Garrido mail:

19 Tipos de Clasificación de hiperheurísticas: Sin aprendizaje Aleatorias Greedy Con aprendizaje Función de elección Metaheurísticas Basadas en razonamiento Aprendizaje incremental Pablo Garrido mail:

20 Tipos de Pablo Garrido mail:

21 Aleatorias Introducción Tipos de Aleatoria Simple Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling, SMD Multi-Head Placement Machine. Mecanismo: Aleatoriamente elige la siguiente heurística de bajo nivel, aceptándola en base a criterios de sólo mejora o cualquier movimiento. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

22 Aleatorias Introducción Tipos de Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Aleatoriamente elige la siguiente heurística de bajo nivel y la aplica hasta que no se produzca una mejora. La elección de cada heurística se realiza mediante criterios de sólo mejora o cualquier movimiento. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

23 Aleatorias Introducción Tipos de Permutación Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Pablo Garrido mail:

24 Aleatorias Introducción Tipos de Permutación Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Pablo Garrido mail:

25 Aleatorias Introducción Tipos de Permutación Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Pablo Garrido mail:

26 Aleatorias Introducción Tipos de Permutación Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Pablo Garrido mail:

27 Aleatorias Introducción Tipos de Permutación Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Pablo Garrido mail:

28 Aleatorias Introducción Tipos de Permutación Aleatoria Descendente Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Pablo Garrido mail:

29 Greedy Introducción Tipos de Greedy Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3]. Aplicaciones: Sales Summit, Project Presentation Scheduling. Mecanismo: Evalúa cada heurística y elige la que tenga el mejor desempeño del conjunto. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

30 Tipos de Pablo Garrido mail:

31 Tipos de Función de Elección Agrupada Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3, 4]. Aplicaciones: Sales Summit, Project Presentation Scheduling, SMD Multi-Head Placement Machine, Nurse Rostering. Pablo Garrido mail:

32 Tipos de Función de Elección Agrupada La elección de la heurística H k es la que maximiza/minimiza el valor de: αf 1 (H k ) + βf 2 (H j, H k ) γf 3 (H k ) donde f 1 es la mejora reciente de la heurística, f 2 es la mejora reciente de dos heurísticas aplicadas secuencialmente y f 3 es el tiempo en que la heurística no ha sido aplicada. Se definen dos versiones: Con sintonización de parámetros. Con control. Parámetros se ajustan mediante mecanismo de aprendizaje reforzado. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

33 Tipos de Función de Elección Múltiples Objetivos Propuesta por Soubeiga y Landa Silva [2, 3, 4, 16]. Aplicaciones: Sales Summit, Project Presentation Scheduling, Nurse Rostering, Two-Objective Space Allocation. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

34 Tipos de Función de Elección Múltiples Objetivos La elección de la heurística H k es la que maximiza/minimiza el valor de: [α l f 1l (H k ) + β l f 2l (H j, H k ) γ l L f 3l(H k )] l L donde L es el conjunto de subobjetivos. Los parámetros de la función son ajustados para enfatizar la búsqueda en ciertos objetivos. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

35 Tipos de Elección de Heurísticas Usando Metaheurísticas Pablo Garrido mail:

36 Tipos de Elección de Heurísticas Usando Metaheurísticas Tabu Search Incremental Propuesta por Soubeiga y Kendall [16, 20, 21]. Aplicaciones: Examination Timetabling, University Course Timetabling, Nurse Rostering, Two-Objective Space Allocation. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

37 Tipos de Elección de Heurísticas Usando Metaheurísticas Tabu Search Incremental Pablo Garrido mail:

38 Tipos de Elección de Heurísticas Usando Metaheurísticas Algoritmos Genéticos Propuesta por Han [5, 6, 14] y otros. Aplicaciones: Trainer Scheduling, Project Presentation Scheduling. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

39 Tipos de Elección de Heurísticas Usando Metaheurísticas Algoritmos Genéticos Operadores: Cruzamiento: Simple en un punto sobre grupos de genes o cromosoma completo. Mutación: Inserción/eliminación/modificación de (grupos de) genes. Se definen versiones con cromosomas de tamaño fijo y variable. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

40 Tipos de Elección de Heurísticas Usando Metaheurísticas Ants Propuesta por O Brien [17, 18] y otros. Aplicaciones: Project Presentation Scheduling. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

41 Tipos de Elección de Heurísticas Usando Metaheurísticas Ants Pablo Garrido mail:

42 Tipos de Elección de Heurísticas Usando Metaheurísticas Simulated Annealing Incremental Propuesta por Ayob [15] y Bai [23]. Aplicaciones: SMD Multi-Head Placement Machine, Shelf Space Allocation. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

43 Tipos de Elección de Heurísticas Usando Metaheurísticas Simulated Annealing Incremental El vecindario corresponde a un conjunto de heurísticas a aplicar. Se puede elegir la mejor heurística del vecindario o una al azar. Si la solución mejora se continúa la búsqueda, si empeora se puede aceptar el movimiento por probabilidad. Incrementalmente agrega una heurística a la secuencia. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

44 Tipos de Case Based Reasoning Propuesta por Petrovic y Qu [7, 8, 9]. Aplicaciones: University Course Timetabling, Examination Timetabling. Mecanismo: Se emplea un conjunto de instancias de entrenamiento para detectar patrones de estado/solución, posteriormente, los patrones son aplicados sobre instancias nuevas. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

45 Tipos de Case Based Reasoning En base a casos pasados es capaz de elegir la mejor metodología o heurística para resolver una instancia o el estado actual de un problema. Para comparar casos ocupa medidas de similaridad. Proceso de entrenamiento de dos etapas: Selección del conjunto de características que representan bien a todos los problemas (uso de herramientas de selección y extracción de características). Eliminación de casos redundantes (técnicas de edición y condensado). Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

46 Tipos de Metodología: A partir de instancias de entrenamiento se deducen iterativamente un conjunto de reglas que posteriormente son ocupadas para resolver nuevas instancias. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

47 Tipos de XCS Propuesta por Ross [11], Marín-Blázquez [22] y otros. Aplicaciones: One-Dimensional Bin Packing. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

48 Tipos de XCS El sistema evoluciona un conjunto de reglas que asocian estados con heurísticas a medida que se resuelven instancias. La heurística asociada es la que genera la máxima recompensa (mejor desempeño). La evolución de las reglas se lleva a cabo con un algoritmo genético (sólo se evolucionan reglas con máxima recompensa). Se distinguen dos versiones: Entornos en que se evalúa el desempeño luego de realizar un movimiento (paso simple) o entornos en que se evalúa el desempeño luego de cambiar de estado (múltiples pasos). Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

49 Tipos de : XCS Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

50 Tipos de Algoritmos Genéticos Propuesta por Ross [12]. Aplicaciones: One-Dimensional Bin Packing. Pablo Garrido mail:

51 Tipos de Algoritmos Genéticos Cada cromosoma es de tamaño variable y contiene un conjunto de reglas que asocian un estado con una heurística. Así, cada gen es una tupla (estado,heurística). La regla del cromosoma que está más cercana al estado actual del problema es la aplicada. Cada cromosoma es un solucionador del problema. Operadores: Cruzamiento en un punto (preservando genes). Mutación de alelos. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

52 Tipos de Algoritmos Genéticos Pablo Garrido mail:

53 Tipos de Pablo Garrido mail:

54 Introducción Tipos de Las hiperheurísticas no son la panacea. Su objetivo no es resolver todos los problemas, sino proveer una interfaz uniforme que permita resolver un amplio rango de problemas. Una adecuada elección de heurísticas de bajo nivel es necesaria. Deben ser diversas y hacer movimientos que le ayuden a la hiperheurística a tomar decisiones según su mecanismo de aprendizaje. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

55 Introducción Tipos de Algunas hiperheurísticas tienen el problema de contener demasiados parámetros, muchos de los cuales son sintonizados (por ejemplo: ants y genéticos). Existen hiperheurísticas que asumen que existe mucha información que puede ser aprovechada para resolver problemas. Lo anterior limita su generalidad. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

56 Tipos de Trabajo Futuro Aún está en duda si pueden ser efectivamente aplicadas en escenarios donde se desea tener la mejor solución. No se han visto enfoques que junten el aprendizaje con el razonamiento. Ocupar metaheurísticas que, en lugar de construir una secuencia de heurísticas, sean capaces de reparar secuencias (i.e., simulated annealing, tabu search). Pablo Garrido mail:

57 Referencias Introducción Tipos de P. Cowling, G. Kendall, E. Soubeiga. A Hyperheuristic Approach to Scheduling a Sales Summit. Selected Papers of the Third International Conference on Practice and Theory of Automated Timetabling, PATAT LNCS, pp , Konstanz, Germany, August Springer-Verlag. P. Cowling, G. Kendall, E. Soubeiga. A Parameter-Free Hyperheuristic for Scheduling a Sales Summit. In proceedings of 4th International Conference, Porto Portugal, July 2001, pp P. Cowling, G. Kendall, E. Soubeiga. Hyperheuristic: A Tool for Rapid Prototyping in Scheduling and Optimisation. Second European Conference on Evolutionary Computing for Combinatorial Optimisation, EvoCop LNCS, pp. 1-10, Kinsale, Ireland, April 3-5, 2002, Springer-Verlag. P. Cowling, G. Kendall, E. Soubeiga. Hyperheuristic: A Robust Optimisation Method Applied to Nurse Scheduling. Parallel Problem Solving from Nature VII, PPSN LNCS, pp , Granada, Spain, September , Springer-Verlag. Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

58 Referencias Introducción Tipos de P. Cowling, G. Kendall, L. Han. An Investigation of a Hyperheuristic Genetic algorithm applied to a Trainer Scheduling Problem. Accepted for 2002 Congress on Evolutionary Computation (CEC2002), Hilton Hawaiian Village Hotel, Honolulu, Hawaii, May P. Cowling, G. Kendall, L. Han. An Adaptive Length Chromosome Hyperheuristic Genetic Algorithm for a Trainer Scheduling Problem. Technical Report NOTTCS-TR (submitted to SEAL 2002 Conference), University of Nottingham, UK, School of Computer Science & IT E. Burke, B. MacCarthy, S. Petrovic, R. Qu. Knowledge Discovery in a HyperHeuristic for Course Timetabling Using Case-Based Reasoning. Proceedings of the Fourth International Conference on the Practice and Theory of Automated Timetabling (PATAT 02), pp , Ghent, Belguium, August S. Petrovic, R. Qu. Case-Based Reasoning as a Heuristic Selector in a Hyper-Heuristic for Course Timetabling Problems. Knowledge-Based Intelligent Information Engineering Systems and Allied Technologies, Volume 82. Proceedings of KES 02, pp , Crema, Italy, September Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

59 Referencias Introducción Tipos de E. Burke, S. Petrovic, R. Qu. Case-Based Heuristic Selection for Timetabling Problems S. W. Wilson. Generalization in the XCS Classifier System. In Proceedings of the Third Genetic Programming Conference (J. Koza ed.), pp , Morgan Kaufmann, San Francisco, P. Ross, S. Schulenburg, J. G. Marín-Blázquez, E. Hart. Hyper-heuristics: Learning to Combine Simple Heuristics in Bin-Packing Problems. Accepted for Genetic And Evolutionary Computation Conference (GECCO 20020) 2002, New York, July Learning a Procedure that Can Solve Hard Bin-Packing Problems: A New GA-Based Approach to Hyper-heuristics E. Burke, J. Newall. A new Adaptive Heuristic Framework for Examination Timetabling Problems. Technical Report NOTTCS-TR , University of Nottingham, UK February Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

60 Referencias Introducción Tipos de L. Han, G. kendall. Guided Operators for a Hyper-Heuristic Genetic Algorithm. In Proceedings of AI-2003: Advances in Artificial Intelligence. The 16th Australian Conference on Artificial Intelligence, Perth, Autralia, pp , 3-5 December M. Ayob, G. Kendall. A Monte Carlo Hyper-Heuristic to Optimise Component Placement Sequencing for Multi Head Placement Machine E. Burke, J. D. Landa Silva, E. Soubeiga. Hyperheuristic Approaches for MultiObjective Optimisation. The Fifth Metaheuristics International Conference, pp. 052-{1-6}. Kyoto, Japan, August 25-28, E. Burke, G. Kendall, R. O Brien, D. Redrup, E. Soubeiga. An Ant Algorithm Hyperheuristic. The Fifth Metaheuristics International Conference. Kyoto, Japan, August 25-28, E. Burke, G. Kendall, D. Landa Silva, R. O brien, E. Soubeiga. An Ant Algorithm Hyperheuristic for the Project Presentation Problem Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

61 Referencias Introducción Tipos de E. Bonabeau, M. Dorigo, G. Theraulaz. Swarm Intelligence: From Natural to Artificial Systems. Oxford University Press, Oxford, New York, E. Burke, G. Kendall, E. Soubeiga. A Tabu-Search Hyperheuristic for Timetabling and Rostering. Journal of Heuristics, No 9, pp , G. Kendall, N. M. Hussin. An Investigation of a Tabu Search Based Hyper-Heuristic for Examination Timetabling J. G. Marín-Blazquez, S. Schulenburg. Multi-Step Environment Learning Classifier Systems Applied to Hyper-Heuristics. GECCO 06, July , Seatte, Washington, USA. R. Bai, G. Kendall. An Investigation of Automated Planograms Using a Simulated Annealing Based Hyper-Heuristic, Pablo Garrido mail: pgarrido@alumnos.inf.utfsm.cl

62 Preguntas? Introducción Tipos de Pablo Garrido mail: