PLANIFICACIÓN INDEPENDIENTE DEL DOMINIO EN ENTORNOS DINÁMICOS DE TIEMPO RESTRINGIDO

Transcripción

1 PLANIFICACIÓN INDEPENDIENTE DEL DOMINIO EN ENTORNOS DINÁMICOS DE TIEMPO RESTRINGIDO Presentada por: Oscar Sapena Vercher Dirigida por: Dra. Dña. Eva Onaindía de la Rivaherrera PARA LA OBTENCIÓN DEL GRADO DE DOCTOR EN INFORMÁTICA POR LA UNIVERSIDAD POLITÉCNICA DE VALENCIA Valencia, España JULIO 2005

2 ii

3 Fecha: Julio 2005 Autor: Oscar Sapena Vercher Director: Dra. Dña. Eva Onaindía de la Rivaherrera Título: Planificación Independiente del Dominio en Entornos Dinámicos de Tiempo Restringido Departamento: Sistemas Informáticos y Computación Universidad: Universidad Politécnica de Valencia Grado: Doctor Mes: Julio Año: 2005 Firma del Autor iii

4 iv

5 Me encanta que los planes salgan bien. Annibal Smith v

6 vi

7 Tabla de contenidos Tabla de contenidos Índice de tablas Índice de figuras Resumen Abstract Resum VII X XII XVII XIX XXI 1. Introducción Antecedentes Breve reseña histórica Perspectiva actual Motivación y objetivos Aportaciones de la tesis Organización del trabajo La planificación en I.A Definición del problema Lenguajes de especificación STRIPS ADL PDDL Extensiones de PDDL Aproximaciones a la planificación independiente del dominio Planificación de orden parcial POCL Planificación basada en grafos Planificación heurística vii

8 Transformación del problema de planificación Técnicas de descomposición Técnicas híbridas de planificación Aproximaciones a la planificación dependiente del dominio Reglas de control Redes de tareas jerárquicas Conclusiones Planificación práctica Introducción Percepción del entorno Monitorización de la ejecución Acciones de sensorización Técnicas de planificación práctica Planificación conforme Planificación contingente Planificación reactiva Sistemas de planificación y ejecución Conclusiones Arquitectura del sistema Introducción Descripción del sistema Agentes de planificación Agentes externos Simulación del entorno Lenguaje de modelización Incertidumbre sobre el estado inicial Acciones de sensorización Acciones no deterministas Conclusiones Planificación heurística en tiempo real Motivación del algoritmo propuesto Notación y terminología Extensiones numéricas Estados Acciones Sensorización Planes viii

9 5.3. Esquema general del algoritmo de planificación Etapa de preproceso Grafo relajado de planificación Incertidumbre sobre el estado actual Manejo de funciones numéricas Manejo de acciones de sensorización Coste computacional de las extensiones propuestas Cálculo de planes mono-objetivo Cálculo de un plan inicial mono-objetivo Fase de refinamiento Coste computacional del cálculo de los planes monoobjetivo Ordenación de planes Conclusiones Evaluación y experimentación Variables numéricas y criterios de optimización Incertidumbre y acciones de sensorización Comportamiento anytime Planificación on-line Conclusiones Conclusiones y trabajo futuro Introducción Conclusiones Aproximación propuesta Contribuciones de la tesis Trabajos futuros A. Descripción de dominios de planificación clásicos 193 A.1. El mundo de bloques A.2. Logistics A.3. Depots A.4. DriverLog A.5. MailDelivery ix

10 Índice de tablas 5.1. Tiempo de cómputo de la etapa de preproceso. El número de literales y acciones instanciadas ofrecen una medida de la complejidad del problema Número de grafos relajados y tiempo medio empleado en su construcción para distintos problemas de planificación. La última columna muestra el porcentaje del tiempo total de planificación que supone la generación de estos grafos Número total de planes iniciales y etapas de refinamiento calculadas para diversos problemas clásicos de planificación Número total de etapas de búsqueda y de nodos expandidos para varios problemas numéricos de planificación Comparación entre la extensión numérica propuesta y la aproximación tradicional (siguiendo el formato propuesto/tradicional). La calidad depende de la métrica del problema (un valor mayor representa un plan más costoso) y el tiempo se mide en segundos Resultados para los cuatro casos definidos en el primer escenario Resultados para los cuatro casos definidos en el segundo escenario Soluciones encontradas en 20 segundos para problemas del Mundo de Bloques. La talla del problema representa el número de bloques en el problema Soluciones encontradas en 20 segundos para problemas del dominio Depots Soluciones encontradas en 20 segundos para problemas del dominio Satellite Soluciones encontradas en 20 segundos para problemas del dominio ZenoTravel x

11 6.8. Soluciones encontradas en 60 segundos para problemas de la versión numérica del dominio Depots Soluciones encontradas en 60 segundos para problemas de la versión numérica del dominio ZenoTravel xi

12 Índice de figuras 2.1. Esquema general de un problema de planificación Solución al problema de la anomalía de Sussman (versión de un operador) mediante un algoritmo POP. Las líneas continuas representan enlaces causales, mientras que las discontinuas son ordenaciones introducidas para resolver amenazas Grafo de planificación para un problema del mundo de bloques (versión de un operador). Inicialmente, el bloque B está sobre el A, y el objetivo es obtener la torre inversa Modelización lógica de un problema del mundo de bloques (versión de un operador). El plan se obtiene mediante la instanciación de los dos predicados move Planificación clásica vs. planificación práctica: principales simplificaciones Shakey: el primer sistema de planificación y ejecución Problema de navegación de un robot en el que existe incertidumbre sobre la existencia de varios obstáculos Arquitectura ERE para el cálculo y la ejecución de planes reactivos Esquema de planificación off-line. El planificador se invoca una vez y genera un plan que ejecutará el reactor Esquema de planificación y ejecución alternadas Modelos de planificación y ejecución concurrente: a) El planificador recibe información del entorno pero trabaja aislado. b) El planificador incorpora continuamente información del entorno Robot móvil (modelo Pioneer 2) empleado en el sistema xii

13 4.2. El entorno actúa como un recurso compartido sobre el que varios agentes pueden actuar simultáneamente Arquitectura de un agente de planificación Arquitectura de VirtualRobot Simulator Simulación del problema de reparto de correo en una planta de despachos mediante VirtualRobot Simulator Posibles estados iniciales derivados de una especificación inicial incompleta Esquema funcional del algoritmo de planificación Diagrama de secuencia del funcionamiento on-line de los agentes de planificación Ejemplo de transición entre estados producida por la ejecución de una acción y en ausencia de eventos inesperados. Puede observarse también que la acción a es aplicable en S Ejemplo de transición entre estados producida por la ejecución de una acción de sensorización en ausencia de eventos inesperados Esquema general del algoritmo de planificación. El ejecutor interacciona con el planificador para solicitarle acciones y para notificarle la información adquirida del entorno Expansión tradicional del RPG Algoritmo de expansión del RPG considerando la incertidumbre en los valores lógicos de las proposiciones Expansión del RPG considerando la métrica del problema Algoritmo para la inserción en el RPG de los efectos de las acciones de sensorización Cálculo incremental de un plan P i independiente para cada objetivo del problema Función para comprobar si p es una proposición necesaria para un plan P = {a 0,..., a n } y un conjunto de objetivos G Proceso de cálculo de un plan inicial para un objetivo proposicional Tomando como primera acción las acciones ejecutables en el estado actual (a i1,..., a 1n ) se escoge el plan resultante que mejor calidad ofrece xiii

14 5.14. Representación gráfica de las acciones de P i y de los estados sobre los que se aplican, de forma que result(a j, S j, ) = S j+1, a j P i Primer paso en la resolución de una precondición proposicional no satisfecha p fail : se genera un plan P i,j para alcanzar p fail desde cada estado S j, 0 j fail Segundo paso en la resolución de una precondición proposicional no satisfecha p fail : se genera un plan P i,j,k desde cada estado S j hasta un estado S k, j k fail de P i Los planes P i,1,k no se generan puesto que el plan P i,1 comienza por la acción a Los planes P i,0,0, P i,0,1 y P i,1,1 no se generan puesto que a 1 elimina el literal p fail División en bloques de los planes mono-objetivo calculados para el problema de la anomalía de Sussman Estado inicial del primer escenario propuesto Estado inicial del mundo para el segundo escenario Planes calculados para un problema del dominio Rovers, incrementando progresivamente el tiempo máximo para el cálculo de cada acción Planes calculados para un problema del dominio ZenoTravel, incrementando progresivamente el tiempo máximo para el cálculo de cada acción Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio Mundo de Bloques Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio Depots Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio Satellite Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas del dominio ZenoTravel Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas de la versión numérica del dominio Depots xiv

15 6.10. Calidad y tiempo promedio de las soluciones obtenidas en 10 segundos para problemas de la versión numérica del dominio ZenoTravel Primer problema de navegación: el robot debe moverse de la celda inicial (S) hasta la celda objetivo (G) El robot se encuentra un obstáculo en la celda (26,11) El robot se encuentra un obstáculo en la celda (30,14) El robot alcanza la celda objetivo Tiempo de cómputo de cada acción para el primer problema de navegación Segundo problema de navegación: el objetivo se modifica antes de que el robot alcance la celda objetivo (G) Nueva ruta para alcanzar el objetivo y nuevo cambio de objetivo El robot alcanza la celda objetivo Tiempo de cómputo de cada acción para el segundo problema de navegación Estado inicial de los problemas del dominio de manipulación Estado objetivo del primer problema del dominio de manipulación Primer evento inesperado: el objeto p7 cae sobre la mesa table Segundo evento inesperado: en lugar de ensamblar p5 a la derecha de p3 se ensambla a la derecha de p Tiempo de cómputo de cada acción para el primer problema de manipulación Estado inicial y objetivo del segundo problema de manipulación Primer cambio en el objetivo del segundo problema de manipulación Segundo cambio en el objetivo del segundo problema de manipulación Tiempo de cómputo de cada acción para el segundo problema de manipulación A.1. Problema del mundo de bloques: la anomalía de Sussman A.2. Estado inicial del problema logistics-4-0 del dominio Logistics. 198 A.3. Estado inicial del problema depotprob1818 del dominio Depots. 200 A.4. Estado inicial del problema DLOG del dominio DriverLog. 204 xv

16 A.5. Estado inicial del problema ejemplo del dominio MailDelivery. 208 xvi

17 Resumen La investigación en planificación independiente del dominio se ha centrado durante mucho tiempo en el desarrollo de técnicas de búsqueda eficientes, orientadas generalmente a encontrar una secuencia óptima (o próxima a la óptima) de acciones que conduzca al sistema desde el estado actual hasta el estado objetivo. El problema de la planificación independiente del dominio, sin embargo, es un problema muy complejo. Por ello, aunque los planificadores más recientes, sobretodo aquellos basados en la planificación heurística, son muy rápidos, necesitan todavía varios minutos para resolver muchos problemas de tamaño medio/grande. Existen, sin embargo, numerosas aplicaciones reales, como el control de robots móviles o los agentes de inteligencia artificial en juegos de ordenador y simulaciones, en las que un tiempo de cómputo excesivo no es admisible. Un tiempo de respuesta acotable no es el único requerimiento en este tipo de aplicaciones. Es frecuente, por ejemplo, que el planificador no pueda acceder a toda la información del entorno. Algo todavía más probable es que el mundo cambie constantemente, ya que el planificador no es el único agente capaz de actuar sobre el mundo y modificarlo. Estas son, entre otras, las características que hacen que los planificadores clásicos no sean la mejor opción para la resolución de este tipo de problemas. Las nuevas técnicas de planificación capaces de afrontar las dificultades de este tipo de dominios (o, al menos, algunas de ellas) se enmarcan dentro de la planificación práctica. En este trabajo de tesis, que se enmarca dentro de esta vertiente práctica de la planificación, se propone una aproximación basada en la integración de los procesos de planificación y ejecución. De esta forma, el planificador puede incorporar en sus planes la información adquirida del entorno durante la ejecución. xvii

18 xviii El algoritmo de planificación propuesto se basa en varias técnicas de planificación clásicas bien conocidas, como es el cálculo de heurísticas y la descomposición de objetivos, pero combinadas de una forma novedosa. Este algoritmo proporciona una serie de características muy útiles para la planificación en muchos entornos reales: en primer lugar, ofrece un comportamiento muy similar al de los algoritmos anytime, proporcionando una primera respuesta en un periodo de tiempo limitado, y refinándola mientras haya tiempo disponible. Este comportamiento le permite reaccionar rápidamente ante eventos inesperados y modificaciones en los objetivos durante la ejecución. Permite también resolver problemas con información incompleta mediante el uso de acciones de sensorización, y soporta el uso de variables numéricas y la definición de funciones de optimización.

19 Abstract The research in independent-domain planning has focused on the development of efficient search techniques. They are mainly focused on finding an optimal sequence (sub-optimal) of actions to guide the system from the current state to the goal state. However, the independent-domain planning problem is a very complex problem. Moreover, even the more recent planners work very fast (overall, those based on heuristic planning), they already need several minutes to solve medium/large-scale problems. Furthermore, there exist many real problems, such as mobile robot control or artificial intelligence agents in computer games and simulations that do not allow excessive running time. A limited response time is not the unique requirement in this type of systems. For instance, it is usual that no information is available by the planner. Continuous changes in the environment are even more probably, due to the planner is not the only one able to act and change the environment. These are, among others, the main characteristics that do not make appropriate classic planner for solving these types of problems. The new planning techniques aimed at facing up the problems in this type of domains (or, at least, some of them) are classified as practical planning. This work has been developed under this frame, and it proposes an approach based on the integration of the planning and execution processes. This way, the planner can include in its plans information acquired from the environment during the execution. The proposed planning algorithm relies on some well-known classical planning techniques, as the computation of heuristics and the goal decomposition, but combined in a novel way. This algorithm provides many useful features for planning in many real environments: first, its behaviour is quite similar to the anytime algorithms, computing a first solution in a limited time and xix

20 xx improving that solution while there is available time. This behaviour allows fast reactions when unexpected events occur and the goals are changed during the execution. The proposed algorithm can handle problems with incomplete information by using sensing actions, and it also manages numeric variables and optimization functions.

21 Resum La investigació en planificació independent del domini hi ha centrat durant molt de temps en el desenvolupament de tècniques de recerca eficients, orientades generalment a trobar una seqüència òptima (o pròxima a l òptima) d accions que conduïsca al sistema des de l estat actual fins a l estat objectiu. El problema de la planificació independent del domini, no obstant, és un problema molt complex. Per això, encara que els planificadors més recents, sobretot aquells basats en la planificació heurística, són molt ràpids, necessiten encara alguns minuts per a resoldre molts problemes de tamany mitjà/gran. Existixen, no obstant, nombroses aplicacions reals, com el control de robots mòbils o els agents d intel ligència artificial en jocs d ordinador i simulacions, en les que un temps de còmput excessiu no és admissible. Un temps de resposta acotable no és l únic requeriment en aquest tipus d aplicacions. És freqüent, per exemple, que el planificador no puga accedir a tota la informació de l entorn. Una cosa encara més probable és que el món canvie constantment, ja que el planificador no és l únic agent capaç d actuar sobre el món i modificar-lo. Estes són, entre altres, les característiques que fan que els planificadors clàssics no siguen la millor opció per a la resolució d este tipus de problemes. Les noves tècniques de planificació capaços d afrontar les dificultats d este tipus de dominis (o, almenys, algunes de elles) s emmarquen dins de la planificació pràctica. En este treball de tesi, que s emmarca dins d esta vessant pràctica de la planificació, es proposa una aproximació basada en la integració dels processos de planificació i execució. D esta forma, el planificador pot incorporar en els seus plans la informació adquirida de l entorn durant l execució. xxi

22 xxii L algoritme de planificació proposat es basa en diverses tècniques de planificació clàssiques ben conegudes, com és el càlcul de heurístiques i la descomposició d objectius, però combinades de una forma nova. Este algoritme proporciona una sèrie de característiques molt útils per a la planificació en molts entorns reals: en primer lloc, oferix un comportament molt semblant al dels algoritmes anytime, proporcionant una primera resposta en un període de temps limitat, i refinant-la mentres hi haja temps disponible. Este comportament li permet reaccionar ràpidament davant d esdeveniments inesperats i modificacions en els objectius durant l execució. Permet també resoldre problemes amb informació incompleta per mitjà de l ús d accions de sensorització, i suporta l ús de variables numèriques i la definició de funcions d optimació.

23 Capítulo 1 Introducción Este trabajo de tesis se enmarca en el área de planificación en Inteligencia Artificial. Informalmente, un problema de planificación consiste en encontrar una secuencia de acciones que permita, partiendo del estado actual del entorno, alcanzar un determinado estado objetivo. La resolución de un problema de planificación puede verse, básicamente, como un problema de búsqueda en un espacio de estados o de planes (parcialmente resueltos). Por tanto, el objetivo de un planificador consiste en explorar este estado de la forma más eficiente posible, o bien en reducir este espacio al máximo de manera que la búsqueda sea menos costosa. En cualquier caso, es necesario recurrir a técnicas sofisticadas para resolver el problema. En la sección 1.1 se realiza un breve recorrido por las distintas técnicas que han surgido desde el comienzo de esta disciplina. En la sección 1.2 se exponen los objetivos que nos han llevado a realizar este trabajo de tesis. El apartado 1.3 muestra las principales aportaciones de este trabajo. Finalmente, en la sección 1.4 se resumen los distintos capítulos que componen esta tesis Antecedentes La Inteligencia Artificial puede definirse como el arte de crear máquinas con capacidad de realizar funciones que realizadas por personas requieren inteligencia [Rich y Knight 1991]. Según [Bellman 1978], la Inteligencia Artificial es la automatización de actividades que vinculamos con procesos de pensamiento humano, actividades como la toma de decisiones, resolución de 1

24 Antecedentes problemas, aprendizaje,.... La historia de esta disciplina comienza formalmente en 1956, cuando se acuñó el término Inteligencia Artificial (I.A.), aunque ya se investigaba en este área desde hacía varios años. En los inicios de esta disciplina, los científicos perseguían un objetivo muy ambicioso: construir una máquina inteligente. Sin embargo, la I.A. ha resultado ser algo mucho más complejo de lo que muchos imaginaron en un principio. A medida que la investigación fue avanzando, se observó que el razonamiento genérico sólo se podía alcanzar mediante la comprensión de ejemplos más específicos de razonamiento humano. Por ello, la I.A. se dividió en diversos campos, cada uno de ellos dedicado a distintas áreas del razonamiento aplicado a la resolución de problemas concretos. Uno de esos campos es la planificación Breve reseña histórica Las raíces de la planificación en I.A. se encuentran en la resolución de problemas mediante la búsqueda en un espacio de estados y otras técnicas similares (GPS [Newell y Simon 1963], QA3 [Green 1969], etc.), y en las necesidades de la robótica. De hecho, se considera que la planificación como campo específico surgió hace tres décadas con el primer sistema de planificación importante: STRIPS (STanford Research Institute Problem Solver [Fikes y Nilsson 1971]). Este planificador se diseñó para controlar a Shakey, un robot que deambulaba por las instalaciones del SRI. STRIPS realizó contribuciones muy importantes, como la definición de un lenguaje de especificación de problemas de planificación que ha servido como base para otros lenguajes considerados ahora como estándar. A partir de STRIPS se produjo un importante auge dentro del área, del que surgieron numerosos planificadores como NOAH [Sacerdoti 1975], SNLP [McAllester y Rosenblitt 1991], O-Plan [Currie y Tate 1991], UCPOP [Penberthy y Weld 1992], etc. En toda esta labor investigadora se pueden observar dos tendencias claras: Por un lado, los planificadores orientados a aplicaciones (también denominados dependientes del dominio) obtienen resultados excelentes en dominios específicos. Sin embargo, las técnicas desarrolladas en estos sistemas no son reutilizables en otros contextos.

25 1. Introducción 3 Por otro lado, las aproximaciones no orientadas a aplicaciones (también denominadas independientes del dominio) resuelven un conjunto limitado de problemas, pero las técnicas que se desarrollan son totalmente generales y reutilizables. Las grandes diferencias entre el rendimiento de los planificadores de ambas tendencias provoca una tensión que contribuye a dirigir la investigación en planificación independiente del dominio hacia la solución de problemas más complejos. A principios de loa años 90, la mayoría de planificadores se basan en el modelo de planificación de orden parcial (que define los planes sin necesidad de establecer un orden entre todas sus acciones), y ninguno de ellos puede generar planes de más de 30 acciones [Long y Fox 2002]. Esta situación, sin embargo, cambió radicalmente con la aparición en 1995 del planificador Graphplan [Blum y Furst 1997], que seguía una nueva aproximación basada en grafos. El éxito de Graphplan revitalizó la investigación en el área de la planificación independiente del dominio, lo que propició el desarrollo de nuevos sistemas basados en técnicas diferentes de las empleadas tradicionalmente: En [Kautz y Selman 1996] se demostró que un algoritmo de satisfactibilidad era capaz de mejorar el rendimiento de Graphplan y de otros algoritmos especialmente diseñados para trabajar con problemas de planificación. En [Bonet y Geffner 2001a] se mostró que la utilización de técnicas de búsqueda heurística en los algoritmos de planificación permitía obtener resultados muy interesantes. En los últimos años, el rendimiento de las técnicas independientes del dominio ha experimentado mejoras significativas. Los nuevos planificadores desarrollados, como FF [Hoffman y Nebel 2001], LPG [Gerevini y Serina 2000] o SGPlan [Chen et al. 2004], permiten resolver problemas más complejos, lo que se traduce en importantes avances en el área Perspectiva actual Durante muchos años, los esfuerzos de investigación en el área de planificación se centró en la búsqueda de soluciones óptimas. Debido a la intratabilidad

26 Antecedentes del problema de planificación, los algoritmos desarrollados sólo eran capaces de resolver problemas muy sencillos. Para facilitar esta labor, se impusieron una serie de restricciones que pocas veces se satisfacen en aplicaciones reales como, por ejemplo, que el mundo es estático, determinista y totalmente observable [Veloso et al. 1998]. El mundo se considera estático si no cambia mientras el planificador está calculando el plan y, durante la ejecución del plan, sólo cambia de acuerdo con el resultado de las acciones del plan. Determinista implica que las acciones tienen un resultado bien definido y conocido por el planificador. Finalmente, totalmente observable indica que el planificador conoce todos los hechos relevantes del entorno. Durante los últimos diez años, un número cada vez mayor de investigadores se ha dado cuenta de que estas asunciones no son válidas para muchos de los problemas reales de planificación. Consecuentemente, comenzaron a aparecer nuevas técnicas para relajar algunas de ellas. La planificación condicional [Peot y Smith 1992] [Collins y Pryor 1995], por ejemplo, elimina la necesidad de que el planificador tenga un conocimiento completo del mundo, mientras que la planificación probabilística [Goldman y Boddy 1994b] [Kushmerick et al. 1995] permite trabajar con acciones no deterministas. Menos numerosos son los trabajos orientados a suprimir la asunción de que el mundo es estático. Una aproximación consiste en utilizar técnicas para la planificación con incertidumbre, tratando anticipadamente los posibles eventos exógenos que pueden ocurrir en el mundo [Blythe 1998]. Esta aproximación, sin embargo, puede resultar extremadamente costosa cuando el número de eventos posibles es elevado. Otra aproximación es la planificación reactiva [Firby 1994]. Esta aproximación es, generalmente, dependiente del dominio, y consiste en calcular el comportamiento del planificador ante las posibles situaciones en las que puede verse envuelto. Probablemente, una de las aproximaciones independientes del dominio más eficientes para la planificación en entornos dinámicos es la integración del proceso de planificación y ejecución [Ambros-Ingerson y Steel 1988]. El planificador genera progresivamente un plan al mismo tiempo que se ejecutan las partes del plan que ya han sido calculadas. De esta forma, el planificador puede incorporar información que sólo está disponible en tiempo de ejecución, y puede reaccionar ante cualquier situación inesperada (sin necesidad de haberla

27 1. Introducción 5 previsto anticipadamente). Esta aproximación, sin embargo, requiere unos tiempos de respuesta razonables para evitar saltos en la ejecución. Muchos sistemas reales, además, necesitan que las acciones se lleven a cabo dentro de un plazo de tiempo limitado. En estos sistemas, que reciben el nombre de sistemas de tiempo real, el tiempo que se tarda en obtener la respuesta es tan importante o más que la respuesta en sí misma. Una consecuencia importante de los algoritmos de planificación en tiempo real es, por lo tanto, que no garantizan que se encuentre la solución óptima. La tendencia de desarrollar planificadores muy eficientes que ofrezcan soluciones subóptimas es bien patente en la actualidad. La mayoría de planificadores actuales, como Metric-FF [Hoffman 2003] o SGPlan [Chen et al. 2004], están diseñados con este objetivo. Una solución más flexible la ofrecen los planificadores basados en el paradigma anytime [Zilberstein y Russell 1996]: el planificador dispone en todo momento de una solución cuya calidad va mejorando mientras haya tiempo disponible. Este comportamiento es complejo de obtener, por lo que apenas existen planificadores independientes del dominio basados en esta técnica Motivación y objetivos El objetivo principal de esta tesis es el diseño y la implementación de un algoritmo de planificación que permita afrontar eficientemente muchos de los problemas potenciales que pueden surgir en aplicaciones reales. Estos problemas son, principalmente, la falta de información completa y fiable sobre el entorno, la aparición de situaciones inesperadas y de cambios en los objetivos, y la existencia de restricciones en los tiempos de respuesta del planificador. Pese a la existencia de diversas aproximaciones que permiten resolver estos problemas por separado, son muy pocos los sistemas de planificación que pueden resolverlos de forma conjunta. Estos sistemas necesitan, sin embargo, la ayuda del usuario, bien para que le facilite cierta información específica sobre el problema, o bien para que le ayude en la toma de decisiones. Un segundo objetivo del algoritmo de planificación que queremos desarrollar es que tenga

28 Motivación y objetivos un funcionamiento autónomo e independiente del dominio. Estas características son de gran utilidad cuando el sistema que se controla es autónomo y capaz de realizar tareas muy diversa índole. Este es el caso, por ejemplo, del empleo de técnicas de planificación para controlar robots móviles. Otra característica importante de muchas aplicaciones prácticas de planificación es la necesidad de trabajar con recursos. Estos recursos se modelan generalmente mediante variables y funciones numéricas. De esta forma se puede expresar el nivel de batería de un robot, la capacidad de un contenedor, la distancia entre dos puntos, etc. El tercer objetivo de este trabajo consiste en adaptar el algoritmo de planificación para manejar las extensiones numéricas de PDDL 2.1. Estas extensiones, además, permiten definir diversos criterios numéricos de optimización. El planificador, por lo tanto, puede tratar de optimizar una función que se adapte mejor a los requerimientos del problema, en lugar de emplear siempre una misma función definida a priori (la mayoría de planificadores clásicos tratan de minimizar la longitud o la duración final del plan). La integración del planificador en un entorno real (incluso en un entorno simulado) requiere necesariamente un módulo encargado de la ejecución y monitorización de los planes. El cuarto objetivo consiste en el desarrollo de una arquitectura que permita integrar el algoritmo de planificación y el módulo de ejecución. Además, esta arquitectura debe proporcionar una interfaz sencilla para una rápida adaptación del sistema de planificación a diferentes dominios de aplicación. Pese que el algoritmo de planificación es independiente del dominio, es necesario realizar un esfuerzo considerable para enlazar el módulo de ejecución con el sistema a controlar. El quinto objetivo de este trabajo es analizar y evaluar el comportamiento del sistema desarrollado. Por una parte, demostrar que el algoritmo de planificación es competitivo respecto a otros planificadores independientes del dominio actuales. Por otra parte, obtener resultados empíricos que muestren las ventajas de nuestro sistema en situaciones adversas: aparición de eventos inesperados, cambios en los objetivos, restricciones de tiempo, falta de información sobre el entorno, etc. Finalmente, el trabajo de esta tesis también ha venido motivado por las necesidades surgidas en diversos proyectos de investigación, realizados en el

29 1. Introducción 7 grupo de investigación al que pertenece el autor (y en los que él mismo ha participado). La investigación desarrollada en esta tesis está enmarcada, entre otros, en los siguientes proyectos: Sistema adaptativo multiagente de planificación dependiente del contexto, MCyT TIC C05-04 (Diciembre Diciembre 2005). Planificación y replanificación de actividades de un robot móvil en tiempo real, Vicerrectorado de Investigación y Desarrollo Tecnológico, proyecto interdisciplinar No (Septiembre Agosto 2004). Diseño y aplicación de modelos de integración y técnicas avanzadas de planificación y scheduling, CTIDIB/2002/112 (Enero Diciembre 2003). Sistema inteligente para la planificación y asignación de recursos en un entorno multiagente, MCyT DPI C03-03 (Enero Junio 2004) Aportaciones de la tesis Las principales aportaciones de este trabajo de tesis son las siguientes: 1. Revisión del estado del arte en el área de planificación, prestando especial atención a las técnicas independientes del dominio y a las nuevas aproximaciones que se han desarrollado para superar algunas de las simplificaciones clásicas de la planificación. 2. Definición de una arquitectura que permite integrar los procesos de planificación y ejecución. Esta arquitectura no sólo facilita la portabilidad del planificador a aplicaciones reales, sino que permite la simulación de distintos entornos para poder evaluar su comportamiento de forma sencilla. En concreto, se ha utilizado la herramienta VirtualRobot Simulator para simular de forma gráfica la ejecución de planes en diversos problemas de robots móviles.

30 Organización del trabajo 3. Diseño de varias extensiones generales del grafo relajado de planificación. Este grafo se emplea en la mayoría de planificadores heurísticos actuales y permite la obtención de información heurística a partir de una formulación relajada del problema de planificación original. Las extensiones propuestas incorporan nuevas características como el coste de las acciones respecto a la función de optimización del problema, la incertidumbre sobre algunas proposiciones y el manejo de acciones de sensorización. Estas extensiones proporcionan información adicional que el planificador puede utilizar para mejorar la calidad de los planes generados. 4. Desarrollo de una técnica de planificación basada en la descomposición de objetivos. Esta técnica permite centrar la atención del planificador en el cálculo de las siguientes acciones a ejecutar en lugar de elaborar un plan completo que frecuentemente se verá invalidado por el dinamismo del entorno. De esta forma, el planificador es capaz de obtener una respuesta (acción a ejecutar) en un intervalo acotado de tiempo y de refinar dicha respuesta mientras haya tiempo disponible. Ambas características, propias de los algoritmos anytime, resultan de gran importancia en aplicaciones reales en las que el tiempo de respuesta es un factor relevante. 5. Evaluación del sistema de planificación desarrollado. La orientación práctica de este planificador hace que esta evaluación tenga un enfoque distinto a la de los planificadores clásicos: el estudio se centra el comportamiento dinámico del planificador, es decir, en la resolución de los distintos problemas que pueden surgir durante la ejecución de un plan. Para ello, se evaluará la ejecución de acciones de sensorización, la calidad de las respuestas en función del tiempo de cómputo disponible, y el tiempo de reacción ante eventos inesperados y cambios en los objetivos Organización del trabajo Este trabajo se organiza como sigue: Capítulo 1. Introducción En este capítulo se realiza un breve resumen histórico de la disciplina de planificación en I.A. Se concreta también la motivación y los objetivos de

31 1. Introducción 9 este trabajo de tesis, junto con sus principales aportaciones. Por último, se incluye el presente apartado en el que se muestra la organización de esta memoria. Capítulo 2. La planificación en I.A. Este capítulo presenta la definición del problema de planificación, sus clasificaciones y distintos lenguajes utilizados para la especificación de problemas. Asimismo, se resumen las principales tendencias existentes dentro de la planificación clásica, centrándose tanto en la vertiente independiente del dominio como en la dependiente del dominio. Capítulo 3. Planificación práctica En este capítulo se describe el concepto de planificación práctica. Se describe también uno de los mecanismos básicos de muchas de las aproximaciones prácticas de planificación: la percepción del entorno a través de la monitorización de la ejecución y de las acciones de sensorización. Por último, se hace un estudio de las principales técnicas actuales dentro de la planificación práctica. Capítulo 4. Arquitectura del sistema Este capítulo se centra en la arquitectura del sistema de planificación y ejecución desarrollado, y en los distintos elementos que lo conforman. Se describe también la forma de evaluar el comportamiento del sistema en un entorno simulado mediante la herramienta VirtualRobot Simulator. Por último, se describe el lenguaje de especificación de problemas empleado, así como las extensiones que se han introducido para soportar características importantes como la incertidumbre o las acciones de sensorización. Capítulo 5. Planificación heurística en tiempo real Este capítulo describe el algoritmo de planificación propuesto. Tras una exposición de la notación y la terminología utilizada, se comentan cada una de las etapas de las que consta el algoritmo. Capítulo 6. Evaluación y experimentación

32 Organización del trabajo En este capítulo se analiza el comportamiento del planificador desarrollado de acuerdo con las principales características que ofrece: el manejo de variables numéricas y acciones de sensorización, el comportamiento anytime, que pone de relieve la calidad de los planes obtenidos respecto al tiempo de cómputo disponible, y el tiempo de reacción ante situaciones inesperadas y modificaciones en los objetivos. Capítulo 7. Conclusiones y trabajo futuro En este capítulo se exponen las aportaciones más relevantes de este trabajo de tesis, y se indican algunas de las futuras líneas de investigación por las que puede continuarse este trabajo. Apéndice A. Descripción de dominios de planificación clásicos Durante este trabajo de tesis se hace referencia a diversos dominios clásicos de planificación. Estos dominios ayudan a ilustrar diversas características, tanto del sistema de planificación propuesto como de otras aproximaciones existentes. En este apéndice se proporciona una breve descripción, así como su especificación en PDDL, de estos dominios.

33 Capítulo 2 La planificación en I.A. En este capítulo se aborda el concepto de planificación en I.A. desde el punto de vista más tradicional. La primera sección de este capítulo se centra en proporcionar una definición del problema de planificación y comenta los principales lenguajes de especificación de problemas. El resto de secciones abordan las diferentes técnicas que han surgido para resolver este tipo de problemas dentro del paradigma clásico de la planificación. Para completar este resumen sobre el estado del arte, el siguiente capítulo describe la problemática y las aproximaciones más importantes para la aplicación de técnicas de planificación en problemas más realistas Definición del problema Un problema de planificación es un problema de búsqueda que requiere encontrar una secuencia eficiente de acciones que conducen a un sistema desde un estado inicial hasta un estado objetivo. Desde el punto de vista de agentes inteligentes, el campo de la planificación busca construir algoritmos de control que permitan a un agente sintetizar una secuencia de acciones que le lleve a alcanzar sus objetivos [Weld 1999]. Más formalmente, un problema de planificación se puede definir mediante una tupla L, O, I, G, donde cada uno de estos elementos representa lo siguiente (ver figura 2.1): 11

34 Definición del problema L = Conjunto de fórmulas atómicas, denominadas hechos o literales. Representa el conjunto de hechos que son relevantes en el problema. O = Conjunto de acciones definidas en el dominio del problema. I = Conjunto inicial de hechos que forman la situación inicial del problema G = Conjunto final de hechos que deben formar parte de la situación final del problema. Figura 2.1: Esquema general de un problema de planificación El problema de planificación independiente del dominio es un problema muy complejo, generalmente PSPACE-completo [Bylander 1994]. Por ello no es factible emplear técnicas clásicas de solución de problemas o de demostración de teoremas. Las investigaciones en el campo de la planificación en I.A. surgieron para proporcionar técnicas, basadas en el razonamiento inteligente sobre las acciones y sus consecuencias, capaces de afrontar estos problemas. Este campo ha sido objeto de numerosos trabajos de investigación desde los años 60, no sólo por el desafío que supone un problema tan complejo, sino por la gran variedad de problemas reales a los que se puede aplicar. Entre estas aplicaciones destacan: Robots móviles: este área supuso la motivación inicial de la planificación [Fikes y Nilsson 1971] y sigue todavía en desarrollo. Entornos simulados: diseño de agentes para juegos o programas de entrenamiento [Nareyek 2004]. Entornos de red: con el reciente auge de las redes, las técnicas planificación han comenzado a utilizarse para realizar consultas y servicios

35 2. La planificación en I.A. 13 Web [Knoblock 2003]. Otra aplicación importante es la organización de tareas en redes computacionales [Gil et al. 2004]. Manejo de crisis: existen numerosas aplicaciones destinadas al manejo de situaciones desastrosas, como vertidos de petróleo, incendios forestales, evacuaciones urbanas, etc. [Gervasio et al. 1998]. Aplicaciones militares: la planificación ha tomado parte en el diseño de importantes campañas militares y en la toma de decisiones logísticas y estratégicas [Chun 1999]. Industria aeroespacial: las técnicas de planificación no sólo se aplican a la programación de misiones espaciales, sino que también se emplean para controlar aeronaves y vehículos autónomos en el espacio [Jónsson et al. 2000] Lenguajes de especificación Para lograr una planificación eficiente, es tan importante contar con buenos lenguajes de modelización como con buenos algoritmos. El lenguaje STRIPS [Fikes y Nilsson 1971] ha condicionado la gran mayoría de trabajos sobre planificación desde comienzos de los años 70, debido a su efectiva solución del problema marco [McCarthy y Hayes 1969] y a su soporte para las estrategias de divide-y-vencerás [Geffner 2000]. En esta sección se describe brevemente este lenguaje, así como sus dos extensiones más importantes: ADL [Pednault 1989] y PDDL [McDermott 2000] STRIPS El lenguaje STRIPS (STanford Research Institute Problem Solver [Fikes y Nilsson 1971]) surgió a principios de 1970 como un sistema de planificación para el proyecto del robot Shakey. STRIPS propone como método de representación un modelo compacto y sencillo para especificar dominios de planificación. Un estado S se representa como un subconjunto (S L), indicando que el literal l L es cierto si l S, y falso en caso contrario. El estado I especifica qué hechos son verdaderos y cuáles son falsos en la situación inicial

36 Lenguajes de especificación del problema; es decir, l L es inicialmente cierto si l I, y falso en caso contrario. El conjunto de objetivos G se representa como una conjunción de hechos, que debe cumplirse en un estado objetivo. Un estado S L es un estado objetivo si S satisface G, es decir, si G S. Un operador o O se define en STRIPS como una tupla Nombre, P re, Eff. Nombre es el nombre del operador y se representa mediante una expresión sintáctica de la forma o(x 1, X 2,..., X n ), donde cada X i es un símbolo variable que recibe el nombre de parámetro del operador. P re y Eff son respectivamente las precondiciones y los efectos del operador, y se representan mediante: Una fórmula atómica (nombre predicado arg 1... arg n ), donde el predicado describe el tipo de hecho y los argumentos son símbolos variables que se corresponden con los parámetros del operador. Una fórmula atómica también puede aparecer negada si aparece en los efectos del operador. Una conjunción de fórmulas atómicas. Una acción a se obtiene tras la sustitución de todos los parámetros de un operador por valores concretos. Una acción a, por lo tanto, es una instancia concreta de un operador. P re(a) es un conjunto de hechos que representa las precondiciones de la acción. Los efectos de la acción Eff(a) son los hechos que añade y elimina la acción. Los efectos positivos se representan como Add(a), y los efectos negativos como Del(a). El resultado, por tanto, de aplicar una secuencia de acciones sobre un estado se puede formalizar como se muestra a continuación: result(s, {}) = S { (S Del(a)) Add(a), si P re(a) S result(s, {a}) = S, en caso contrario result(s, {a 1, a 2,..., a n }) = result(result(s, {a 1 }), {a 2,... a n }) (2.2.1) Por comodidad, cualquier acción puede aplicarse en un estado, pero sólo tiene efecto si se satisfacen sus precondiciones. Si sus precondiciones se satisfacen, los efectos positivos de la acción se añaden al estado, mientras que los efectos negativos se eliminan.

37 2. La planificación en I.A. 15 Un plan P se define como una secuencia aplicable de conjuntos de acciones {A 0, A 1,..., A n }, e indica el orden en el que las acciones de dichos conjuntos se ejecutarán. Si un conjunto de acciones A i contiene más de una acción, dichas acciones se pueden ejecutar en paralelo. Por lo tanto, si A i = 1, i = 1... n se dice que el plan P es secuencial, y paralelo en caso contrario. Un plan P es una solución para un problema de planificación si result(i, P ) es un estado objetivo, es decir, si G result(i, P ). Ejemplo. Un ejemplo sencillo para ilustrar la notación STRIPS es la anomalía de Sussman. Este problema pertenece al dominio del mundo de bloques, y está descrito en el apéndice A. La representación de este problema es la siguiente: L = {(on A B), (on A C), (on B A), (on B C), (on C A), (on C B), (ontable A), (ontable B), (ontable C), (clear A), (clear B), (clear C), (handempty), (holding A), (holding B), (holding C)} O = {pick-up(?x), put-down(?x), stack(?x,?y), unstack(?x,?y)} I = {(on C A), (ontable A), (ontable B), (clear B), (clear C), (handempty)} G = {(on A B), (on B C)} Las variables que actúan como parámetros de los operadores se representan habitualmente precedidas de un signo de interrogación. Como se comentó anteriormente, las acciones se calculan mediante la sustitución de los parámetros por valores constantes. En este ejemplo, las acciones resultantes son las siguientes: A = {pick-up(a), pick-up(b), pick-up(c), put-down(a), put-down(b), putdown(c), stack(a,b), stack(a,c), stack(b,a), stack(b,c), stack(c,a), stack(c,b), unstack(a,b), unstack(a,c), unstack(b,a), unstack(b,c), unstack(c,a), unstack(c,b)} ADL Aunque el lenguaje STRIPS resulta muy restringido para la mayoría de dominios complejos, admite un elevado grado de ampliación. Una de las principales ampliaciones que se ha llevado a cabo es el lenguaje ADL (Action