PLANIFICACIÓN INDEPENDIENTE DEL DOMINIO EN ENTORNOS DINÁMICOS DE TIEMPO RESTRINGIDO

Transcripción

1 PLANIFICACIÓN INDEPENDIENTE DEL DOMINIO EN ENTORNOS DINÁMICOS DE TIEMPO RESTRINGIDO Presentada por: Oscar Sapena Vercher Dirigida por: Dra. Dña. Eva Onaindía de la Rivaherrera PARA LA OBTENCIÓN DEL GRADO DE DOCTOR EN INFORMÁTICA POR LA UNIVERSIDAD POLITÉCNICA DE VALENCIA Valencia, España JULIO 2005

2 ii

3 Fecha: Julio 2005 Autor: Oscar Sapena Vercher Director: Dra. Dña. Eva Onaindía de la Rivaherrera Título: Planificación Independiente del Dominio en Entornos Dinámicos de Tiempo Restringido Departamento: Sistemas Informáticos y Computación Universidad: Universidad Politécnica de Valencia Grado: Doctor Mes: Julio Año: 2005 Firma del Autor iii

4 iv

5 Me encanta que los planes salgan bien. Annibal Smith v

6 vi

7 Tabla de contenidos Tabla de contenidos Índice de tablas Índice de figuras Agradecimientos Resumen Abstract Resum VII XI XIII XVIII XIX XXI XXIII 1. Introducción Antecedentes Breve reseña histórica Perspectiva actual Motivación y objetivos Aportaciones de la tesis Organización del trabajo La planificación en I.A Definición del problema Lenguajes de especificación STRIPS ADL PDDL Extensiones de PDDL Aproximaciones a la planificación independiente del dominio Planificación de orden parcial POCL vii

8 Planificación basada en grafos Planificación heurística Transformación del problema de planificación Técnicas de descomposición Técnicas híbridas de planificación Aproximaciones a la planificación dependiente del dominio Reglas de control Redes de tareas jerárquicas Conclusiones Planificación práctica Introducción Percepción del entorno Monitorización de la ejecución Acciones de sensorización Técnicas de planificación práctica Planificación conforme Planificación contingente Planificación reactiva Sistemas de planificación y ejecución Conclusiones Especificación del sistema de planificación y ejecución Introducción Arquitectura del sistema Agentes de planificación Agentes externos Simulación del entorno Lenguaje de modelización Incertidumbre sobre el estado inicial Acciones de sensorización Acciones no deterministas Conclusiones Planificación heurística en tiempo real Motivación del algoritmo propuesto Notación y terminología Extensiones numéricas Estados Acciones viii

9 Sensorización Planes Esquema general del algoritmo de planificación Etapa de preproceso Grafo relajado de planificación Incertidumbre sobre el estado actual Manejo de funciones numéricas Manejo de acciones de sensorización Coste computacional de las extensiones propuestas Cálculo de planes mono-objetivo Cálculo de un plan inicial mono-objetivo Fase de refinamiento Coste computacional del cálculo de los planes monoobjetivo Ordenación de planes Propiedades del algoritmo Conclusiones Evaluación y experimentación Variables numéricas y criterios de optimización Incertidumbre y acciones de sensorización Comportamiento anytime Planificación on-line Conclusiones Conclusiones y trabajo futuro Introducción Conclusiones Aproximación propuesta Contribuciones de la tesis Trabajos futuros A. Caso de estudio 197 A.1. Descripción del problema A.2. Construcción del grafo relajado de planificación A.3. Cálculo de los planes mono-objetivo A.3.1. Cálculo de los planes iniciales mono-objetivo A.3.2. Fase de refinamiento A.3.3. Selección de la siguiente acción a ejecutar ix

10 B. Descripción de dominios de planificación clásicos 207 B.1. El mundo de bloques B.2. Logistics B.3. Depots B.4. DriverLog B.5. MailDelivery B.6. Rovers B.7. Satellite B.8. ZenoTravel Bibliografía 235 x

11 Índice de tablas 5.1. Tiempo de cómputo de la etapa de preproceso. El número de literales y acciones instanciadas ofrecen una medida de la complejidad del problema Número de grafos relajados y tiempo medio empleado en su construcción para distintos problemas de planificación. La última columna muestra el porcentaje del tiempo total de planificación que supone la generación de estos grafos Porcentaje de planes mono-objetivos válidos generados y número medio de etapas de refinamiento necesarias para obtener dichos planes Número total de planes iniciales y etapas de refinamiento calculadas para diversos problemas clásicos de planificación Número total de etapas de búsqueda y de nodos expandidos para varios problemas numéricos de planificación Comparación entre la extensión numérica propuesta y la aproximación tradicional (siguiendo el formato propuesto/tradicional). La calidad depende de la métrica del problema (un valor mayor representa un plan más costoso) y el tiempo se mide en segundos Resultados para los cuatro casos definidos en el primer escenario Resultados para los cuatro casos definidos en el segundo escenario Soluciones encontradas en 20 segundos para problemas del Mundo de Bloques. La talla del problema representa el número de bloques en el problema Soluciones encontradas en 20 segundos para problemas del dominio Depots xi

12 6.6. Soluciones encontradas en 20 segundos para problemas del dominio Satellite Soluciones encontradas en 20 segundos para problemas del dominio ZenoTravel Soluciones encontradas en 60 segundos para problemas de la versión numérica del dominio Depots Soluciones encontradas en 60 segundos para problemas de la versión numérica del dominio ZenoTravel A.1. Grafo relajado de planificación para el problema en estudio A.2. Segunda expansión del RPG para incluir los efectos de la acción de sensorización Search-pkg p1 d E A.3. Evaluación de las acciones productoras de in p2 t, suponiendo que ɛ = xii

13 Índice de figuras 2.1. Esquema general de un problema de planificación Solución al problema de la anomalía de Sussman (versión de un operador) mediante un algoritmo POP. Las líneas continuas representan enlaces causales, mientras que las discontinuas son ordenaciones introducidas para resolver amenazas Grafo de planificación para un problema del mundo de bloques (versión de un operador). Inicialmente, el bloque B está sobre el A, y el objetivo es obtener la torre inversa Modelización lógica de un problema del mundo de bloques (versión de un operador). El plan se obtiene mediante la instanciación de los dos predicados move Planificación clásica vs. planificación práctica: principales simplificaciones Shakey: el primer sistema de planificación y ejecución Problema de navegación de un robot en el que existe incertidumbre sobre la existencia de varios obstáculos Arquitectura ERE para el cálculo y la ejecución de planes reactivos Esquema de planificación off-line. El planificador se invoca una vez y genera un plan que ejecutará el reactor Esquema de planificación y ejecución alternadas Modelos de planificación y ejecución concurrente: a) El planificador recibe información del entorno pero trabaja aislado. b) El planificador incorpora continuamente información del entorno Robot móvil (modelo Pioneer 2) empleado en el sistema xiii

14 4.2. El entorno actúa como un recurso compartido sobre el que varios agentes pueden actuar simultáneamente Arquitectura de un agente de planificación Arquitectura de VirtualRobot Simulator Simulación del problema de reparto de correo en una planta de despachos mediante VirtualRobot Simulator Posibles estados iniciales derivados de una especificación inicial incompleta Esquema funcional del algoritmo de planificación Diagrama de secuencia del funcionamiento on-line de los agentes de planificación Ejemplo de transición entre estados producida por la ejecución de una acción y en ausencia de eventos inesperados. Puede observarse también que la acción a es aplicable en S Ejemplo de transición entre estados producida por la ejecución de una acción de sensorización en ausencia de eventos inesperados Esquema general del algoritmo de planificación. El ejecutor interacciona con el planificador para solicitarle acciones y para notificarle la información adquirida del entorno Expansión tradicional del RPG Algoritmo de expansión del RPG considerando la incertidumbre en los valores lógicos de las proposiciones Expansión del RPG considerando la métrica del problema Algoritmo para la inserción en el RPG de los efectos de las acciones de sensorización Cálculo incremental de un plan P i independiente para cada objetivo del problema Función para comprobar si p es una proposición necesaria para un plan P = {a 0,..., a n } y un conjunto de objetivos G Proceso de cálculo de un plan inicial para un objetivo proposicional Tomando como primera acción las acciones ejecutables en el estado actual (a i1,..., a 1n ) se escoge el plan resultante que mejor calidad ofrece xiv

15 5.14. Representación gráfica de las acciones de P i y de los estados sobre los que se aplican, de forma que result(a j, S j, ) = S j+1, a j P i Primer paso en la resolución de una precondición proposicional no satisfecha p fail : se genera un plan P i,j para alcanzar p fail desde cada estado S j, 0 j fail Segundo paso en la resolución de una precondición proposicional no satisfecha p fail : se genera un plan P i,j,k desde cada estado S j hasta un estado S k, j k fail de P i División en bloques de los planes mono-objetivo calculados para el problema de la anomalía de Sussman Estado inicial del primer escenario propuesto Estado inicial del mundo para el segundo escenario Planes calculados para un problema del dominio Rovers, incrementando progresivamente el tiempo máximo para el cálculo de cada acción Planes calculados para un problema del dominio ZenoTravel, incrementando progresivamente el tiempo máximo para el cálculo de cada acción Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio Mundo de Bloques Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio Depots Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio Satellite Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio ZenoTravel Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas de la versión numérica del dominio Depots Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas de la versión numérica del dominio ZenoTravel xv

16 6.11. Primer problema de navegación: el robot debe moverse de la celda inicial (S) hasta la celda objetivo (G) El robot se encuentra un obstáculo en la celda (26,11) El robot se encuentra un obstáculo en la celda (30,14) El robot alcanza la celda objetivo Tiempo de cómputo de cada acción para el primer problema de navegación Segundo problema de navegación: el objetivo se modifica antes de que el robot alcance la celda objetivo (G) Nueva ruta para alcanzar el objetivo y nuevo cambio de objetivo El robot alcanza la celda objetivo Tiempo de cómputo de cada acción para el segundo problema de navegación Estado inicial de los problemas del dominio de manipulación Estado objetivo del primer problema del dominio de manipulación Primer evento inesperado: el objeto p7 cae sobre la mesa table Segundo evento inesperado: en lugar de ensamblar p5 a la derecha de p3 se ensambla a la derecha de p Tiempo de cómputo de cada acción para el primer problema de manipulación Estado inicial y objetivo del segundo problema de manipulación Primer cambio en el objetivo del segundo problema de manipulación Segundo cambio en el objetivo del segundo problema de manipulación Tiempo de cómputo de cada acción para el segundo problema de manipulación A.1. Estado inicial del problema ejemplo del caso de estudio A.2. Planes para alcanzar la proposición at t C A.3. Única alternativa para reparar el plan P B.1. Problema del mundo de bloques: la anomalía de Sussman B.2. Estado inicial del problema logistics-4-0 del dominio Logistics. 212 B.3. Estado inicial del problema depotprob1818 del dominio Depots. 214 xvi

17 B.4. Estado inicial del problema DLOG del dominio DriverLog. 218 B.5. Estado inicial del problema ejemplo del dominio MailDelivery. 222 B.6. Estado inicial del problema ejemplo del dominio Rovers B.7. Estado inicial del problema ejemplo del dominio Satellite B.8. Estado inicial del problema ejemplo del dominio ZenoTravel xvii

18 Agradecimientos En primer lugar, quiero agradecer a mis padres los numerosos empujones que me han dado, sin los cuales este trabajo no habría visto la luz dentro del plazo previsto. Miguel Ángel y Adriana también han sido indispensables para este fin, lo que les agradezco profundamente. Finalmente, quiero dar las gracias a Eva por toda la ayuda y el esfuerzo que ha dedicado durante el desarrollo de esta tesis. Valencia, España Julio, 2005 Oscar Sapena Vercher xviii

19 Resumen La investigación en planificación independiente del dominio se ha centrado durante mucho tiempo en el desarrollo de técnicas de búsqueda eficientes, orientadas generalmente a encontrar una secuencia óptima (o próxima a la óptima) de acciones que conduzca al sistema desde el estado actual hasta el estado objetivo. El problema de la planificación independiente del dominio, sin embargo, es un problema muy complejo. Por ello, aunque los planificadores más recientes, sobretodo aquellos basados en la planificación heurística, son muy rápidos, necesitan todavía varios minutos para resolver muchos problemas de tamaño medio/grande. Existen, sin embargo, numerosas aplicaciones reales, como el control de robots móviles o los agentes de inteligencia artificial en juegos de ordenador y simulaciones, en las que un tiempo de cómputo excesivo no es admisible. Un tiempo de respuesta acotable no es el único requerimiento en este tipo de aplicaciones. Es frecuente, por ejemplo, que el planificador no pueda acceder a toda la información del entorno. Algo todavía más probable es que el mundo cambie constantemente, ya que el planificador no es el único agente capaz de actuar sobre el mundo y modificarlo. Estas son, entre otras, las características que hacen que los planificadores clásicos no sean la mejor opción para la resolución de este tipo de problemas. Las nuevas técnicas de planificación capaces de afrontar las dificultades de este tipo de dominios (o, al menos, algunas de ellas) se enmarcan dentro de la planificación práctica. En este trabajo de tesis, que se enmarca dentro de esta vertiente práctica de la planificación, se propone una aproximación basada en la integración de los procesos de planificación y ejecución. De esta forma, el planificador puede incorporar en sus planes la información adquirida del entorno durante la ejecución. xix

20 xx El algoritmo de planificación propuesto se basa en varias técnicas de planificación clásicas bien conocidas, como es el cálculo de heurísticas y la descomposición de objetivos, pero combinadas de una forma novedosa. Este algoritmo proporciona una serie de características muy útiles para la planificación en muchos entornos reales: en primer lugar, ofrece un comportamiento muy similar al de los algoritmos anytime, proporcionando una primera respuesta en un periodo de tiempo limitado, y refinándola mientras haya tiempo disponible. Este comportamiento le permite reaccionar rápidamente ante eventos inesperados y modificaciones en los objetivos durante la ejecución. Permite también resolver problemas con información incompleta mediante el uso de acciones de sensorización, y soporta el uso de variables numéricas y la definición de funciones de optimización.

21 Abstract Over the last few years, research on domain-independent planning has focused mainly on the development of efficient search techniques to find optimal or sub-optimal solutions. Although recent state-of-the-art planners can efficiently tackle domain-independent planning problems, they still require complex and long computations when solving medium/large problems. Moreover, there exist many real applications, such as mobile robot control or AI agents in computer games and simulations, where a response is required within a given time interval. A limited response time is not the only requirement that planning systems have to address in problems of this type. The planning agent usually does not have complete and accurate knowledge of the problem and the state of the world is likely to change very frequently because other agents can act and modify it. For these reasons, classical planning approaches do not seem very appropriate to tackle this type of problems. Practical planning is known as a set of planning techniques aimed at addressing planning problems in partially known and dynamic environments. The work in this dissertation has been developed under this framework, and it presents an approach to integrate the planning and execution processes. Therefore, the planning process is able to incorporate information that is acquired during the execution of the plan. The approach presented in this work makes use of some well-known classical planning techniques, such as goal decomposition and heuristic planning. The novelty and main contribution of this PhD work is how to combine these planning techniques and come up with a new approach that provides many useful features for planning in real environments. First, the algorithm behaviour is quite similar to the anytime algorithms, which compute a first solution xxi

22 xxii in a limited time interval and improve this solution while there is available time. This behaviour allows fast reactions from the planner when unexpected events occur and the goals change during the plan execution. The proposed algorithm can handle problems with incomplete information by using sensing actions, and it is also able to manage numeric variables and optimization functions.

23 Resum La investigació en planificació independent del domini hi ha centrat durant molt de temps en el desenvolupament de tècniques de recerca eficients, orientades generalment a trobar una seqüència òptima (o pròxima a l òptima) d accions que conduïsca al sistema des de l estat actual fins a l estat objectiu. El problema de la planificació independent del domini, no obstant, és un problema molt complex. Per això, encara que els planificadors més recents, sobretot aquells basats en la planificació heurística, són molt ràpids, necessiten encara alguns minuts per a resoldre molts problemes de tamany mitjà/gran. Existixen, no obstant, nombroses aplicacions reals, com el control de robots mòbils o els agents d intel ligència artificial en jocs d ordinador i simulacions, en les que un temps de còmput excessiu no és admissible. Un temps de resposta acotable no és l únic requeriment en aquest tipus d aplicacions. És freqüent, per exemple, que el planificador no puga accedir a tota la informació de l entorn. Una cosa encara més probable és que el món canvie constantment, ja que el planificador no és l únic agent capaç d actuar sobre el món i modificar-lo. Estes són, entre altres, les característiques que fan que els planificadors clàssics no siguen la millor opció per a la resolució d este tipus de problemes. Les noves tècniques de planificació capaços d afrontar les dificultats d este tipus de dominis (o, almenys, algunes de elles) s emmarquen dins de la planificació pràctica. En este treball de tesi, que s emmarca dins d esta vessant pràctica de la planificació, es proposa una aproximació basada en la integració dels processos de planificació i execució. D esta forma, el planificador pot incorporar en els seus plans la informació adquirida de l entorn durant l execució. xxiii

24 xxiv L algoritme de planificació proposat es basa en diverses tècniques de planificació clàssiques ben conegudes, com és el càlcul de heurístiques i la descomposició d objectius, però combinades de una forma nova. Este algoritme proporciona una sèrie de característiques molt útils per a la planificació en molts entorns reals: en primer lloc, oferix un comportament molt semblant al dels algoritmes anytime, proporcionant una primera resposta en un període de temps limitat, i refinant-la mentres hi haja temps disponible. Este comportament li permet reaccionar ràpidament davant d esdeveniments inesperats i modificacions en els objectius durant l execució. Permet també resoldre problemes amb informació incompleta per mitjà de l ús d accions de sensorització, i suporta l ús de variables numèriques i la definició de funcions d optimació.

25 Capítulo 1 Introducción Este trabajo de tesis se enmarca en el área de planificación en Inteligencia Artificial. Informalmente, un problema de planificación consiste en encontrar una secuencia de acciones que permita, partiendo del estado actual del entorno, alcanzar un determinado estado objetivo. La resolución de un problema de planificación puede verse, básicamente, como un problema de búsqueda en un espacio de estados o de planes (parcialmente resueltos). Por tanto, el objetivo de un planificador consiste en explorar este estado de la forma más eficiente posible, o bien en reducir este espacio al máximo de manera que la búsqueda sea menos costosa. En cualquier caso, es necesario recurrir a técnicas sofisticadas para resolver el problema. En la sección 1.1 se realiza un breve recorrido por las distintas técnicas que han surgido desde el comienzo de esta disciplina. En la sección 1.2 se exponen los objetivos que nos han llevado a realizar este trabajo de tesis. El apartado 1.3 muestra las principales aportaciones de este trabajo. Finalmente, en la sección 1.4 se resumen los distintos capítulos que componen esta tesis Antecedentes La Inteligencia Artificial puede definirse como el arte de crear máquinas con capacidad de realizar funciones que realizadas por personas requieren inteligencia [Rich y Knight 1991]. Según [Bellman 1978], la Inteligencia Artificial es la automatización de actividades que vinculamos con procesos de pensamiento humano, actividades como la toma de decisiones, resolución de 1

26 Antecedentes problemas, aprendizaje,.... La historia de esta disciplina comienza formalmente en 1956, cuando se acuñó el término Inteligencia Artificial (I.A.), aunque ya se investigaba en este área desde hacía varios años. En los inicios de esta disciplina, los científicos perseguían un objetivo muy ambicioso: construir una máquina inteligente. Sin embargo, la I.A. ha resultado ser algo mucho más complejo de lo que muchos imaginaron en un principio. A medida que la investigación fue avanzando, se observó que el razonamiento genérico sólo se podía alcanzar mediante la comprensión de ejemplos más específicos de razonamiento humano. Por ello, la I.A. se dividió en diversos campos, cada uno de ellos dedicado a distintas áreas del razonamiento aplicado a la resolución de problemas concretos. Uno de esos campos es la planificación Breve reseña histórica Las raíces de la planificación en I.A. se encuentran en la resolución de problemas mediante la búsqueda en un espacio de estados y otras técnicas similares (GPS [Newell y Simon 1963], QA3 [Green 1969], etc.), y en las necesidades de la robótica. De hecho, se considera que la planificación como campo específico surgió hace tres décadas con el primer sistema de planificación importante: STRIPS (STanford Research Institute Problem Solver [Fikes y Nilsson 1971]). Este planificador se diseñó para controlar a Shakey, un robot que deambulaba por las instalaciones del SRI. STRIPS realizó contribuciones muy importantes, como la definición de un lenguaje de especificación de problemas de planificación que ha servido como base para otros lenguajes considerados ahora como estándar. A partir de STRIPS se produjo un importante auge dentro del área, del que surgieron numerosos planificadores como NOAH [Sacerdoti 1975], SNLP [McAllester y Rosenblitt 1991], O-Plan [Currie y Tate 1991], UCPOP [Penberthy y Weld 1992], etc. En toda esta labor investigadora se pueden observar dos tendencias claras: Por un lado, los planificadores orientados a aplicaciones (también denominados dependientes del dominio) obtienen resultados excelentes en dominios específicos. Sin embargo, las técnicas desarrolladas en estos sistemas no son reutilizables en otros contextos.

27 1. Introducción 3 Por otro lado, las aproximaciones no orientadas a aplicaciones (también denominadas independientes del dominio) resuelven un conjunto limitado de problemas, pero las técnicas que se desarrollan son totalmente generales y reutilizables. Las grandes diferencias entre el rendimiento de los planificadores de ambas tendencias provoca una tensión que contribuye a dirigir la investigación en planificación independiente del dominio hacia la solución de problemas más complejos. A principios de los años 90, la mayoría de planificadores se basan en el modelo de planificación de orden parcial (que define los planes sin necesidad de establecer un orden entre todas sus acciones), y ninguno de ellos puede generar planes de más de 30 acciones [Long y Fox 2002]. Esta situación, sin embargo, cambió radicalmente con la aparición en 1995 del planificador Graphplan [Blum y Furst 1997], que seguía una nueva aproximación basada en grafos. El éxito de Graphplan revitalizó la investigación en el área de la planificación independiente del dominio, lo que propició el desarrollo de nuevos sistemas basados en técnicas diferentes de las empleadas tradicionalmente: En [Kautz y Selman 1996] se demostró que un algoritmo de satisfactibilidad era capaz de mejorar el rendimiento de Graphplan y de otros algoritmos especialmente diseñados para trabajar con problemas de planificación. En [Bonet y Geffner 2001a] se mostró que la utilización de técnicas de búsqueda heurística en los algoritmos de planificación permitía obtener resultados muy interesantes. En los últimos años, el rendimiento de las técnicas independientes del dominio ha experimentado mejoras significativas. Los nuevos planificadores desarrollados, como FF [Hoffman y Nebel 2001], LPG [Gerevini y Serina 2000] o SGPlan [Chen et al. 2004], permiten resolver problemas más complejos, lo que se traduce en importantes avances en el área Perspectiva actual Durante muchos años, los esfuerzos de investigación en el área de planificación se centró en la búsqueda de soluciones óptimas. Debido a la intratabilidad