Estado del Arte en Planificación con Incertidumbre

Transcripción

1 Estado del Arte en Planificación con Incertidumbre Alberto Reyes Ballesteros Doctorado en Ciencias Computacionales Programa ITESM-IIE ITESM Campus Cuernavaca Abril 2003

2 Resumen. Durante casi 40 años ha habido esfuerzos importantes por resolver el problema básico de la planificación, el cual consiste en construir una secuencia de acciones para alcanzar metas a partir de una descripción del estado inicial, en algunos casos mediante suposiciones muy restrictivas y en otros con técnicas que solo aplican a problemas de mediana complejidad. Desafortunadamente muchos dominios del mundo real como la medicina, la industria eléctrica, o las finanzas, no se rigen por estas suposiciones y su tratamiento requiere de otros enfoques. Estos enfoques consideran aspectos tales como la incertidumbre y representación de los ambientes reales, y la complejidad computacional que implica construir planes útiles. Los planteamientos en esta área en un primer caso toman en cuenta la posibilidad de que la aplicación de una acción produzca efectos deseados y no deseados. En un segundo caso, consideran que los beneficios de ejecutar un plan deben ser comparados contra su costo de elaboración. Y finalmente, en un tercer caso, existen planteamientos que intentan abordar problemas donde los estados del sistema son inciertos y tienen que ser determinados a partir de observaciones sobre otros aspectos conocidos del dominio. El objetivo general de este trabajo es realizar un análisis de los enfoques que abordan esta problemática haciendo énfasis en sus virtudes y deficiencias para detectar áreas de oportunidad científica en la solución del problema de la planificación con incertidumbre tomando como marco el dominio de las plantas eléctricas. Para esto, se muestra un breve panorama de la investigación reciente en el área bajo diversos enfoques, enfatizando algunos avances y problemas técnicos aun no resueltos. En la primera parte, se describen cuatro técnicas distintas para la planificación con incertidumbre que pueden verse como extensiones de la planificación clásica. En la segunda, se muestran algunos trabajos que pretenden hacer tratables ciertos problemas de representación para ser abordados como MDPs y POMDPs mediante el uso de representaciones compactas, concisas y expresivas que aprovechan al máximo la estructura del dominio. Por lo expuesto, parece ser que el formalismo de los MDPs son una plataforma semántica adecuada para la planificación con incertidumbre que requiere de refinamientos para la aproximación de la función de valor y la determinación de la mejor abstracción del problema, o de la inclusión de ideas de la planificación clásica para el cómputo de la política óptima. i

3 Contenido 1 Introducción El problema de la planificación Planificación con Incertidumbre Resumen Planificación Clásica STRIPS SNLP NOAH GRAPHPLAN SATPLAN PRODIGY UCPOP Resumen Extensiones a Métodos Clásicos Representación de Acciones No Deterministas: BURIDAN Planificación Condicional Planes Óptimos: DRIPS Eventos Exógenos Inciertos: WEAVER Planificación Probabilista: MAXPLAN Resumen MDPS y POMDPS Formalización Iteración de Política Iteración de Valor Aplicación POMDPs Resumen Extensiones a los Modelos Markovianos Representaciones Factorizadas Factorización de los estados Factorización de las acciones Factorización de funciones Resumen Conclusiones Referencias ii

4 Lista de Figuras Figura 1.1. Ejemplo de planificación en el dominio de las plantas eléctricas Figura 1.2. Tres versiones del operador cerrar( interruptorppal)... 2 Figura 1.3. Otros operadores del ejemplo de la planta eléctrica... 3 Figura 2.1. Problema de cómo producir flujo en la salida de un tanque... 6 Figura 2.2. Plan para generar electricidad encontrado por SNLP... 7 Figura 2.3. Estructura del algoritmo SNLP... 7 Figura 2.4. Grafo de planificación para un instante de tiempo t del problema a)... 9 Figura 3.1. Plan para generar electricidad determinado por BURIDAN Figura 3.2. Uso de una red de creencias para evaluar el plan para el problema de la generación eléctrica Figura 3.3. Plan condicional representado mediante etiquetas de contexto en la acciones Figura 3.4. Operadores atómicos (ground) y abstractos del ejemplo de la generación eléctrica utilizables por el planificador de refinamiento DRIPS Figura 3.5. Operadores atómicos y abstractos del ejemplo de la generación eléctrica utilizables por el planificador DRIPS Figura 3.6. Dos eventos exógenos modelando el paradero del operador y los operadores llamar y buscar operador Figura 3.7. Red de Decisión Dinámica utilizada para evaluar un plan con eventos exógenos inciertos Figura 3.8. Cadena de Markov y red de decisión dinámica del dominio eléctrico Figura 4.1. Algoritmo de Iteración de Política Figura 4.2. Algoritmo de Iteración de Valor Figura 4.3. Curva de operación de un HRSG en condiciones estables Figura. 5.1 Ejemplo de cambios en la política sobre diferentes particiones de conjuntos de estados en el dominio de Dean Figura 5.2. Concepto de reducción de la dimensionalidad por regiones empleado por Dean y Lin Figura 5.3. Red Bayesiana temporal de dos etapas para el dominio de generación eléctrica Figura 5.4. Diagrama de Influencia para la función de recompensa el dominio eléctrico iii

5 Lista de Tablas Tabla 3.1. Uso de la proyección hacia delante para evaluar el plan del problema de generación eléctrica Tabla 3.2. Resumen de posibles resultados para cada refinamiento del plan estructural determinado al refinar la acción abstracta rodar TV Tabla 4.1. (a). Conjunto de acciones. (b). Modelo de transición para el estado iv

6 1 Introducción 1.1 El problema de la planificación Un problema de planificación, desde el punto de vista de la inteligencia artificial, se especifica normalmente como sigue: dada una descripción del estado actual de un sistema, un conjunto de acciones que pueden realizarse sobre el sistema y una descripción de un conjunto de estados meta para el sistema, encontrar una secuencia de acciones para transformar el sistema en uno de los estados meta. Considere por ejemplo el dominio de las plantas eléctricas donde un sistema de generación consta de un conjunto de equipos de proceso tales como turbinas de gas (TG), recuperador de calor (HRSG), quemadores posteriores (QP), y turbina de vapor (TV), cada uno de los cuales puede mantener un estado de operación coherente con el resto de los demás. Las acciones posibles permiten arrancar un equipo para ponerlo en operación, y la meta es una configuración particular de cada componente, como por ejemplo todos los equipos encendidos. El problema consiste en determinar cual es la secuencia de acciones necesaria, incluyendo aquellas de naturaleza paralela, para llevar una planta apagada a su estado de operación estable (meta). En la figura 1.1 se representa esta situación mediante un conjunto de cláusulas lógicas describiendo el estado actual de los equipos de proceso, las operaciones posibles para transformar este estado, por ejemplo, arrancar un equipo x, y un conjunto de cláusulas lógicas describiendo el estado deseado de la planta (meta). tg1 hrsg tv tg1 Actual: (tg1 off) (tg2 off) (hrsg off) (qp off) (tv off) qp Operaciones: (start x) (x on) Meta: (tg1 on) (tg2 on) (hrsg on) (qp on) (tv on) Figura 1.1. Ejemplo de planificación en el dominio de las plantas eléctricas. Para resolver este tipo de problemas se usan los algoritmos de planificación. El tipo de problemas que estos algoritmos abordan define sus alcances y las suposiciones que pueden hacerse sobre el mundo. Por ejemplo, existen casos muy sencillos que asumen mundos estáticos y espacios de estados muy pequeños donde la simple selección de un plan compilado puede dar resultados satisfactorios (Reyes 2002a). En otro tipo de sistemas, ligeramente más complejos, las acciones sólo se aplican bajo ciertas 1

7 condiciones y producen efectos sobre el mundo. Las metas en estos sistemas son descripciones lógicas de un estado, de modo que, la medida de éxito de un plan se vuelve binaria. Los algoritmos de planificación clásica han intentado resolver esta problemática mediante la composición de planes como un proceso de búsqueda, satisfacción de restricciones, representaciones gráficas, etc. 1.2 Planificación con Incertidumbre La mayoría de los problemas del mundo real son problemas de mayor complejidad que los anteriores donde se debe tomar en cuenta que el mundo cambia dinámicamente 1, que las acciones pueden tener diferentes efectos, o que el conocimiento de un estado puede ser incierto. Además, también deben balancear el potencial de algún plan para alcanzar un estado meta contra el riesgo de producir un estado indeseable y contra el costo de elaboración de un plan. (estado tv rodando) (estado interruptorppal abierto) (estado tv rodando) (estado interruptorppal abierto) (estado tv rodando) (estado interruptorppal abierto) (cerrar interruptorppal) (cerrar interruptorppal) (cerrar interruptorppal) (operando QP) ~(operando QP) (estado tv generando) ~(< carga 90) (estado tv generando) ~(< carga 90) (estado tv generando) (< carga 90) (estado tv generando) ~(< carga 90) (estado tv generando) (< carga 90) Figura 1.2. Tres versiones del operador cerrar( interruptorppal). (estado tv generando) ~(< carga 90) (estado tv generando) (< carga 90) Iniciemos extendiendo la suposición de que las acciones son deterministas para asumir que una acción puede tener mas de un efecto con diferentes probabilidades. Considere como un ejemplo simple el problema de generar energía eléctrica mediante una turbina de vapor de una central de ciclo combinado. La meta es llevar el generador de la turbina de vapor al estado de generación a plena carga (mayor o igual al 90% de su capacidad total), especificada como (estado tv generando) (< carga 90). La figura 1.2 muestra tres descripciones crecientemente detalladas de la acción de cerrar el interruptor principal del generador de la turbina de vapor para alcanzar la meta. La primera es determinista y podría usarse el plan que alcanza la meta con toda certeza: (rodar tv), (cerrar interruptorppal), usando los operadores extras de la figura 1.3. El segundo operador cerrar tiene dos conjuntos de efectos alternos, modelando dos estados 1 El caso de ambientes dinámicos no esta contemplado en el alcance de este trabajo, sin embargo en sistemas basados en SIPE2, como el descrito en Ibargüengoytia y Reyes (2001) se considera que la ejecución del plan debe ser monitoreada continuamente para reparar el plan en curso o generar uno nuevo. 2

8 diferentes del mundo que pudieran darse al aplicar el operador. Los números sobre los arcos son las probabilidades de llegar a cada conjunto de estados. Bajo este modelo, el plan de dos pasos solo alcanzaría la meta con una probabilidad de 0.7. En la tercera formulación del operador cerrar, son posibles diferentes conjuntos de resultados, los cuales están basados en otras condiciones existentes al aplicar el operador, y los arcos ahora muestran probabilidades condicionales. El plan de dos pasos aun tiene probabilidad de éxito de 0.7. Sin embargo, el plan de tres pasos: (encender QP), (rodar tv), (cerrar interruptorppal) tiene éxito con probabilidad de 0.9. Encender QP significa encender los quemadores posteriores del recuperador de calor con la idea de soportar variaciones en el flujo de gases calientes saliendo de la o las turbinas de gas que permiten la generación de vapor. (estado tv hotstandby) (estado qp apagados) (estado valvgas abierta) (rodar tv) (encender QP) (estado tv rodando) (operando QP) Figura 1.3. Otros operadores del ejemplo de la planta eléctrica. Segundo, ahora extendamos la suposición de que las metas son descripciones lógicas del mundo, de modo que el plan tenga éxito o falle. Podemos agregar utilidades a los diferentes estados del mundo representando grados de deseabilidad. Por ejemplo, suponga que el estado en el cual el generador alcanza el 100% de generación tiene una utilidad de 10, y uno en el cual se alcanzó el 95% de generación tiene una utilidad de 6, cualquier estado en el cual la generación sea menor al 90% tiene una utilidad de Si el operador encender-qp puede lograr encender los quemadores posteriores con la mitad de su eficiencia, el plan de dos pasos entonces tiene una utilidad esperada de 23, y el plan de 3 pasos tiene una utilidad de 4. En este caso, el plan de encender-qp aun sin ser muy eficiente, es ligeramente mejor que no hacer nada, lo cual tiene utilidad de 0, y el plan de simplemente cerrar el interruptor sin encender los quemadores posteriores sería mucho peor. De acuerdo con los dos puntos anteriores es posible ver que existen fuertes diferencias entre generar planes que sólo consideran ambientes deterministas con aquellos que si consideran el no-determinismo del mundo, sobre todo en los dominios reales donde la incertidumbre es un componente intrínseco de la solución. Por su parte, también debemos hacer notar que lo importante es generar planes útiles y racionales al estudiar la calidad de la solución antes de decidir si un plan es viable o no. Por lo tanto, nuevos retos se deben asumir para lograr soluciones efectivas ante este tipo de problemas. Entre estos retos podemos mencionar principalmente la habilidad de hacer representaciones concisas y expresivas del mundo, mejorar las técnicas para evaluar la calidad de la solución, 3

9 aumentar la capacidad de evaluar planes útiles con buenos criterios, y elegir algoritmos de planificación adecuados al problema de modo que este sea tratable con medios computaciones. 1.3 Resumen A pesar de que por mucho tiempo la atención se concentró en el diseño de algoritmos cada vez más eficientes para la planificación bajo suposiciones muy restrictivas, los últimos cinco años han visto un resurgimiento en el trabajo sobre planificación con incertidumbre y planificación basada en teoría de decisiones. Una de las razones de retomar esta línea de investigación ha sido el avance reciente en inferencia Bayesiana, lo cual ha hecho factible computar (o aproximar) la utilidad esperada de un plan bajo condiciones de incertidumbre. Por otra parte, el éxito de la técnicas Markovianas en dominios tales como el reconocimiento de voz y las muy cercanas técnicas de aprendizaje por refuerzo han enfatizado el trabajo sobre planificación usando Procesos de Decisión de Markov o MDPs por sus siglas en inglés (Bellman, 1957). La velocidad de las nuevas computadoras, por su parte, ha hecho factible construir planificadores basados en teoría de decisiones (Luce y Raiffa, 1957) sobre espacios de búsqueda más complicados que su contraparte clásica. Los siguientes capítulos resumen algunos trabajos clásicos y del estado del arte que aprovechan las ventajas científicas y tecnológicas de esta época para intentar dar solución al problema de la planificación con incertidumbre. El capítulo 2 hace una breve descripción de los planificadores clásicos que asumen mundos deterministas como STRIPS (Fikes y Nilsson 1971), PRODIGY (Veloso et al. 1995), UCPOP (Penberthy y Weld 1992), GRAPHPLAN (Blum y Furst 1997), o el planificador no lineal de orden parcial NOAH (Sacerdoti, 1975). Posteriormente, en el capítulo 3, se exponen algunas extensiones a estos sistemas para considerar la incertidumbre del ambiente como BURIDAN o WEAVER, y la utilidad de construir planes útiles como DRIPS. En el capítulo 4, se exponen enfoques que intrínsecamente toman en cuenta la incertidumbre y la utilidad de los planes pero que presentan complicaciones de complejidad computacional como los MDPs. El capítulo 5 aborda esta problemática mediante el uso de representaciones intencionales de estados, acciones y funciones de utilidad en un MDP, con lo cual se espera hacer tratable la aproximación de la utilidad esperada de un plan en mundos complejos. Finalmente, se exponen algunas conclusiones en el capítulo 6. 4

10 2 Planificación Clásica Desde los primeros planificadores como GPS (General Problem Solver, Newell y Simon 1963) o STRIPS (Fikes y Nilsson 1971), la mayoría de los sistemas diseñados hacen en esencia las mismas suposiciones acerca del mundo. En resumen, estas suposiciones son: (1) la meta del planificador es una descripción lógica del estado del mundo (2) las acciones realizadas por el sistema son las únicas fuentes de cambio en el mundo, y (3) cada acción puede ser descrita por las condiciones bajo las cuales puede ser aplicada y sus efectos en el mundo. Esta última es conocida como la suposición de STRIPS, donde los efectos de la aplicación de una acción son descritos mediante hechos que dinámicamente se agregan o eliminan del mundo. Este capítulo presenta algunos trabajos que comparten estas suposiciones, tales como: PRODIGY (Veloso et al. 1995), UCPOP (Penberthy y Weld 1992), GRAPHPLAN (Blum y Furst 1997), o el planificador no-lineal NOAH (Sacerdoti, 1975). Estos sistemas son conocidos como planificadores clásicos y han servido de inspiración para la construcción de sistemas que abordan el problema de la planificación con incertidumbre. 2.1 STRIPS STRIPS (The STanford Research Institute Problema Solver) fue el primer sistema planificador importante. Fue diseñado como elemento de planificación en 1969 para el robot Shakey del Instituto de Investigaciones de Stanford (SRI por sus siglas en inglés). La versión inicial de STRIPS fue implementada en LISP sobre una computadora PDP-10. En STRIPS, un problema de planificación se representa mediante fórmulas bien formadas (wff) de la lógica de primer orden. STRIPS pertenece a la familia de planificadores que buscan sobre un espacio de modelos del mundo para hallar uno donde se alcance una meta dada. Para cualquier modelo del mundo, se asume que existe un conjunto de operadores aplicables capaces de transformar el modelo actual en algún otro modelo. La tarea particular de STRIPS es hallar alguna composición de operadores que transforme el modelo inicial en uno que satisfaga la condición meta establecida. Su estructura de control para extraer diferencias entre el estado actual y el estado meta, y para identificar operadores relevantes se basaba en GPS (Newell, Simon, 1963). Considere como ejemplo el problema de llenar un tanque para luego mantener un flujo constante en su salida a través de una válvula (figura 2.1). El estado inicial puede ser [bomba-apagada, tanque-vacio, válvula-cerrada] y el estado meta [flujo presente], las posibles operaciones son llenar-tanque y vaciar-tanque. Las precondiciones para llenartanque por ejemplo son ~[tanque-lleno] y que [bomba-encendida]. La lista de agregados 5

11 (add-list) es [tanque-lleno], y la de eliminados (delete list) es [tanque-no lleno]. El plan abstracto sería [llenar-tanque, vaciar- tanque]. B Figura 2.1. Problema de cómo producir flujo en la salida de un tanque. STRIPS es en general un planificador monoagente no-jerárquico, lineal, primero en longitud, y limitado a la suposición de STRIPS (ausencia de efectos colaterales), que realiza búsqueda en profundidad a ciegas. Esto último significa que STRIPS no cuenta con retroalimentación durante la ejecución del plan y cree ciegamente que la ejecución ordenada de todas las acciones lo conducirán con total certeza a la meta. La combinación de la suposición de STRIPS con la lógica como representación permitió al sistema administrar eficientemente los modelos del mundo y superar la explosión combinatoria del cómputo de estados. 2.2 SNLP SNLP (Systematic Non-Linear Planner) (Weld 1994) es un planificador no lineal que representa un plan como un conjunto de acciones parciales con restricciones de orden entre pasos. El plan contiene variables instanciables y estructuras de datos explícitas llamadas ligas causales, las cuales representan lo que se supone que pasará como efecto. En este sistema, una liga causal registra una submeta, el paso que la contiene como precondición (consumidor), y el paso que la contiene como efecto (proveedor). Por ejemplo, la conexión entre el operador (cerrar interruptorppal) y la meta en la figura 2.2 es una liga causal hacia la submeta ~(estado interruptorppal?x), con el operador (cerrar interruptorppal) como proveedor y Meta como consumidor. En este ejemplo, tv se refiere a turbina de vapor, e interruptorppal a Interruptor principal del generador de la turbina de vapor. Al igual que Meta es un paso adicional agregado al plan para representar las metas de alto nivel, Inicial es un paso extra que representa el estado inicial. El algoritmo SNLP sigue el ciclo mostrado en la figura 2.3, donde repetidamente selecciona una condición no soportada en el plan, agrega una liga causal soportándola desde algún paso que haga la condición verdadera, y elimina cualquier amenaza al enlace forzando cualquier paso que niegue la condición a suceder antes o después de ambos pasos ligados. SNLP se 6

12 considera completo, ya que considera todas las opciones de ligas causales y el ordenamiento de las amenazas. Por lo tanto, de existir un plan seguro lo encontrará. Inicial (estado tv?e) (rodar tv) (estado tv hotstandby) (estado interruptorppal abierto) (< carga 90) (estado tv rodando) (estado interruptorppal?x) (cerrar interruptorppal) (estado tv?f) ~(estado interruptorppal?x) ~(< carga 90) (estado tv generando) ~(estado interruptorppal?x) ~(< carga 90) Meta Figura 2.2. Plan para generar electricidad encontrado por SNLP. 1. Escoger una condición sin soporte. 2. Agregar un enlace con el paso que la genere. 3. Eliminar las amenazas forzando los pasos conflicto a que ocurran antes o después de los pasos ligados 2.3 NOAH Figura 2.3. Estructura del algoritmo SNLP NOAH (Networks of Action Hierachies) es un sistema para la resolución de problemas y monitoreo de la ejecución diseñado por Earl D. Sacerdoti en 1974 para un proyecto de consultaría del SRI. El sistema combina varias técnicas de representación de los planes, incluyendo técnicas de representación no-lineal. NOAH propone ideas tan significativas que varias líneas actuales de investigación en planificación aun derivan de este planificador. 7

13 Sacerdoti utiliza un método al que el mismo llama pseudo reducción. En esta técnica, se asume que las metas / submetas conjuntivas son independientes, por lo cual es posible encapsular las restricciones de cada una en forma particular para así reducir la conjunción. Igualmente introduce una estructura de representación para los planes llamada red procedimental, la cual representa un plan como un ordenamiento parcial de las acciones respecto al tiempo y mediante la cual se pueden detectar y resolver conflictos potenciales entre las submetas imponiendo restricciones lineales sobre algunas de las acciones primitivas. La idea principal de NOAH es expandir lo más posible y en paralelo las diferentes partes de un plan, y solo imponer un orden cuando haya conflictos o cuando el plan este completo. El algoritmo de planificación en NOAH opera en un ciclo simple reducción - crítica. Algunos de sus sucesores son INTERPLAN (A. Tate 1975) y NONLIN (A. Tate, 1977). 2.4 GRAPHPLAN GRAPHPLAN (Blum y Furst, 1997) es un planificador aplicable a dominios tipo STRIPS. Los elementos de un problema para GRAPHPLAN son: Un dominio tipo STRIPS (conjunto de operadores). Un conjunto de objetos. Un conjunto de proposiciones llamadas condiciones iniciales Un conjunto de metas, las cuales deben hacerse verdaderas al final de la ejecución del plan. Bajo la formalización de Blum y Furst una acción es un operador completamente instanciado, por ejemplo abrir-?v-?o, puede instanciarse como abrir-valvula52-20%. Un plan válido es un conjunto de acciones especificando en que tiempo se ejecutará cada una. Debe haber acciones por cada instante de tiempo, y podría haber más de una en forma simultánea si y sólo si no se interfieren entre si. GRAPHPLAN construye un grafo de planificación sobre el cual posteriormente realiza búsqueda sistemática de un plan válido. Debe señalarse que esta clase de grafos tienen un tamaño polinomial y el tiempo requerido para su construcción también se limita polinomialmente. Por su parte, los grafos de planificación no corresponden directamente a un espacio basado en estados. Más específicamente, un grafo de planificación es un grafo dirigido etiquetado en el cual hay dos tipos de nodos y tres tipos de arcos. El tipo de nodos corresponde a acciones y proposiciones, mientras que los tipos de arcos corresponden a los operadores sin efecto (no-op), efectos agregados (add-effects) y efectos eliminados (delete-effects). La figura 2.4 muestra un problema típico de llenado de un tanque y la representación del grafo de planificación asociado. Las proposiciones del lado izquierdo del grafo forman el conjunto de precondiciones, y las del lado derecho son los efectos de la aplicación de las 8

14 acciones posibles. En algunos casos las proposiciones se eliminan o se agregan al estado resultante y se hace explícita la existencia o ausencia de la acción. En el ejemplo, las acciones posibles son llenar-tanque y vaciar-tanque 2. El tanque se puede llenar solo si se encuentra no lleno y si la bomba esta encendida, y se puede vaciar si la válvula esta apagada y el tanque no esta vacío. Los efectos de llenar-tanque por ejemplo agregan el hecho nivel-presente, pero elimina a tanque-no lleno. GRAPHPLAN usa información considerando exclusión mutua entre las acciones para reducir la búsqueda. valvula-abierta tanque- no vacio valvula-cerrada bomba-encendida tanque-no_lleno Donde: llenar vaciar valvula-abierta tanque- lleno valvula-cerrada bomba-encendida tanque-no_lleno nivel-presente flujo-presente No-op Efecto Eliminado Efecto Agregado Figura 2.4. Grafo de planificación para un instante de tiempo t del problema a). Para construir el grafo de planificación, GRAPHPLAN procede por pasos, iniciando en el grafo cuyo primer nivel sea una de las proposiciones, que corresponda a las condiciones iniciales del problema. Para construir un nivel de acciones se hace lo siguiente: por cada operador y por cada forma de instanciar sus precondiciones con las proposiciones en el nivel formador, se inserta un nodo sin ninguna de sus precondiciones han sido marcada como mutuamente exclusiva. Los nodos correspondientes a las acciones son insertadas. Dado un grafo de planificación, se hace uso de la estrategia de búsqueda por encadenamiento hacia atrás. Una característica importante de GRAPHPLAN es que siempre encuentra el plan más corto (por número de pasos). GRAPHPLAN fue usado para encontrar la solución de un problema de planificación típico, y los resultados fueron comparados con los de otros planificadores como PRODIGY y UCPOP (Blum y Furst, 1997). Invariablemente, GRAPHPLAN lo hizo en menos tiempo que los otros. Muchos autores prefieren usar este planificador dada su eficiencia para generar planes. Nebel (1997), estudió los efectos producidos por la propagación de hechos y operadores que pueden ser irrelevantes para un problema dado. En su trabajo sugiere la combinación de la progresión con la regresión para construir el grafo de planificación para reducir la aparición de operadores irrelevantes. Kambhampati (1997) hizo un análisis de 2 En la figura 2.4 se omite tanque por comodidad. 9

15 profundidad de GRAPHPLAN para hacerlo un planificador orientado a metas así como para expresar efectos condicionales. 2.5 SATPLAN SATPLAN (Kautz y Selman, 1996), es un sistema que trata un problema de planificación como un problema de satisfacción de restricciones y no de deducción lógica (Allen 1991, Pednault, 1989) como lo hacen muchos de sus antecesores. En este enfoque, un plan corresponde a cualquier modelo que satisface un conjunto de restricciones lógicas que representa el estado inicial, el estado meta, y los axiomas del dominio. El tiempo consta de un numero de instancias discretas fijas. Una proposición corresponde a una condición variable respecto al tiempo (fluente) en un instante particular, por ejemplo: mayorcarga(tg1,tg2, 3) indica que en el instante 3 el turbogenerador 1 esta suministrando mayor energía que el turbogenerador1; o a una acción que inicia en un tiempo y termina en el siguiente, por ejemplo: abrir(valvulaa, 3) significa que la acción abrir-valvula inicia en el instante 3 pero termina en el 4. Las restricciones generales sobre hechos y acciones se representan como esquemas axiomáticos, los cuales serán instanciados por los objetos e instancias de tiempo de un problema en particular. Así, la máxima longitud de un plan se fija en un punto de tiempo (instancia de tiempo) especifico. Cuando esta cantidad no se conoce se recurre a una búsqueda binaria sobre instanciaciones de varios tamaños hasta encontrar la solución de menor longitud. Por ejemplo, si el plan óptimo tiene longitud 7, la búsqueda procederá a través de los planes de longitud 2, 4, 8 (aquí se encuentra un plan), 6 (no hay plan), y finalmente 7 (plan óptimo). El planteamiento de satisfacibilidad puede resolverse directamente usando algoritmos estándar de SAT como el método de Davis-Putnam (Trick y Johnson 1993), los cuales tiene en general tiene mejores propiedades de escalamiento que los probadores de teoremas deductivos de la lógica de primero orden. SATPLAN usa un algoritmo de búsqueda local no determinista llamado WALKSAT (Selman, Levesque, y Mitchelle 1992), el cual ha demostrado buena eficiencia. Además, es posible probar otros algoritmos no deterministas tales como el de búsqueda Tabú y búsqueda genética. Otra ventaja es su poder expresivo, ya que SATPLAN puede expresar restricciones arbitrarias sobre estados intermedios (y no sólo sobre los estados inicial y meta), y sobre la estructura del plan mismo. Una ventaja de este enfoque es que todos los modelos del conjunto de axiomas corresponden a planes válidos. 2.6 PRODIGY PRODIGY (Veloso, M.; Carbonell, J.; Pérez, A.; Borrajo, D.; Fink, E.; and Blythe, J. 1995) es un sistema integral de planificación y aprendizaje. El sistema no sólo incluye algoritmos de planificación sino procedimientos de aprendizaje y razonamiento basado en 10

16 casos, con lo cual se incrementa considerablemente la eficiencia del planificador. Por ejemplo, PRODIGY es capaz de aprender reglas de control, conducir experimentos para adquirir nuevo conocimiento, generar jerarquías de abstracción, y usar razonamiento analógico para reconocer y explotar las similitudes entre distintos problemas de planificación. Estrictamente hablando, Prodigy4.0 no es un planificador sencillo, sino una familia de procedimientos de planificación muy cercanos. Estos procedimientos se basan en una combinación de encadenamiento hacia atrás con la simulación de la ejecución de un plan similar a la planificación con encadenamiento hacia adelante. PRODIGY puede usar distintos métodos de encadenamiento hacia atrás. El simulador de la ejecución busca a partir del estado inicial aquellos estados del mundo que se puedan alcanzar al aplicar diferentes operadores. Sin embargo, a diferencia de los encadenadores hacia adelante, el simulador solo usa operadores que hayan sido seleccionados por el algoritmo de encadenamiento hacia atrás como relevantes a la meta. En resumen, PRODIGY consta de dos partes: un simulador de la ejecución del plan y un procedimiento de encadenamiento hacia atrás. El encadenador hacia atrás es el responsable del razonamiento orientado a metas, mientras que el simulador realiza, a través de la ejecución, una búsqueda guiada por los datos con elementos de encadenamiento hacia adelante. 2.7 UCPOP UCPOP (Penberthy y Weld 1992) es un planificador de orden parcial que representa las acciones usando el Lenguaje de Descripción de Acciones ADL (Pednault 1989), el cual es esencialmente una reformulación del cálculo de situaciones en esquemas de acción similar a las listas ADD y DELETE de STRIPS. ADL es mas expresivo que STRIPS pero menos que la lógica de primer orden. A diferencia de STRIPS, UCPOP permite efectos condicionales, expresados por cláusulas que especifican una condición requerida por ese efecto y el efecto mismo. UCPOP opera con acciones que tienen precondiciones y efectos positivos o negativos cuantificados universalmente, y metas cuantificadas universalmente. El estado inicial consta de predicados positivos con argumentos constantes, y el resto de estados son predicados atómicos inicialmente falsos. En esencia, UCPOP explora un espacio de planes especificados parcialmente, donde cada parte tiene una agenda de metas por satisfacer y las amenazas por advertir. El plan inicial contiene una acción de inicio dummy cuyo efectos son las condiciones iniciales dadas, y una acción final dummy cuyas precondiciones son las metas dadas. El ciclo general de control de UCPOP consiste en seleccionar un plan de la lista de planes actuales (inicialmente el plan simple basado en principio y fin) optando por una meta o 11

17 hilo de su agenda, y reemplazando el plan por el plan de refinamiento correspondiente. Si el elemento de la agenda es una meta, los planes refinados son los que corresponden a todas las formas de establecer la meta usando un paso nuevo o uno existente. Si el elemento de la agenda es un amenaza definida por una liga causal, entonces hay al menos tres planes refinados. Dos de estos restringen el paso amenazante a ser un paso anterior Sp (democión) o posterior Sc (promoción), advirtiendo así de la amenaza. Una tercera posibilidad surge si el efecto amenazante (Sp, Q, Sc) es un efecto condicional de la acción amenazante. Tal amenaza condicional puede ser advertida mediante la creación de una meta que niegue alguna precondición requerida por el efecto condicional. Penberthy y Weld (1992) prueban que UCPOP es tanto válido (sound) como completo. 2.8 Resumen En este capítulo se presentaron los exponentes mas representativos de la planificación clásica con la idea de destacar sus características comunes y sus aportaciones particulares a la inteligencia artificial. Es fácil darse cuenta del papel de STRIPS como paradigma básico para casi cualquier trabajo subsiguiente el área, pero también hay que reconocer que ha habido propuestas muy interesantes sobre todo en la parte de representación. Aunque estos sistemas enfatizan la búsqueda de un plan a través de distintos razonamientos, no contemplan la incertidumbre de los ambientes reales como la aparición de eventos exógenos, efectos indeseados en las acciones o la incertidumbre misma de encontrarse en cierto estado. Tampoco incluyen funciones que determinen la utilidad más allá del éxito o el fracaso de un plan. Las extensiones a estos sistemas comentadas en el siguiente capítulo muestran como es posible relajar las suposiciones restrictivas sobre el mundo que hacían los planificadores clásicos, para manejar la incertidumbre del mundo y decidir el plan más útil en problemas más complejos. 12

18 3 Extensiones a Métodos Clásicos En esta sección se describen algunos trabajos que extienden las suposiciones básicas de los planificadores clásicos. Entre estos se encuentran enfoques que introducen representaciones no deterministas de la acciones como BURIDAN, representaciones de planes condicionales como CNLP (Conditional Non-Linear Planner por sus siglas en inglés) o C-BURIDAN (Conditional-BURIDAN), técnicas para computar o estimar la máxima utilidad del plan como las usadas por DRIPS, representaciones explícitas de los eventos exógenos inciertos de WEAVER, y planificación probabilista como MAXPLAN. Así, la mayoría de los planificadores discutidos en esta sección son capaces de crear planes que consideran la utilidad en ambientes inciertos, empleando una gran variedad de técnicas que incluso consideran la posibilidad de acciones condicionales a observaciones futuras durante la ejecución de un plan. 3.1 Representación de Acciones No Deterministas: BURIDAN BURIDAN (Kushmerick, Hanks, y Weld 1995) es una versión modificada del algoritmo de planificación SNLP el cual puede crear planes que cumplen con un umbral de probabilidad de éxito ante acciones no deterministas, como son las dos últimas acciones en la figura 1.2. BURIDAN difiere de SNLP en que puede tener más de una liga causal por condición. Bajo diferentes escenarios de ejecución, diferentes acciones pueden hacer verdadera la condición, de manera que las ligas se combinen para incrementar el soporte a la condición. En estos casos, el criterio de terminación de SNLP donde todas las condiciones tienen exactamente un solo enlace ya no es aplicable. En su lugar, BURIDAN computa explícitamente la probabilidad de éxito del plan y termina si se supera el umbral dado. En la figura 3.1 se muestra un plan generado por BURIDAN para el ejemplo del sistema de generación con una turbina de vapor expuesto en el capítulo 1. En este esquema, el plan tiene éxito con 0.7 de probabilidad, ya que con probabilidad 0.3, la ejecución del operador (cerrar interruptorppal) puede resultar en generar una carga menor a 90%. Este paso sin embargo representa una amenaza para la conexión ~(< carga 90) de Inicial a Meta. Adicionalmente a los reordenamientos de SNLP para eliminar las amenazas, BURIDAN también puede confrontar las amenazas disminuyendo la probabilidad de cierto efecto en el cual la condición amenazada este negada. Esto se hace, agregando una liga desde el estado resultante con probabilidad 0.90 que no agrega el hecho(< carga 90) y planeando para su evento de disparo (operando QP). Por lo tanto, BURIDAN encontraría el plan [encender-qp, rodar-tv, cerrar-interruptorppal] el cual tendría una probabilidad de éxito de

19 Existen estrategias para determinar la probabilidad de éxito de un plan, las cuales están basadas en métodos de proyección hacia adelante o en el análisis entre los descriptores de un estado. Kushmerick, Hanks, y Weld 1995 hacen un descripción comparativa de estas estrategias y demuestran que no hay ventajas claras entre ellas. Inicial (estado tv?e) (rodar tv) (estado tv?f) (estado tv hotstandby) (estado interruptorppal abierto) (< carga 90) ~(operando QP) (operando QP) (estado tv rodando) (estado interruptorppal abierto) (cerrar interruptorppal) ~(operando QP) (estado interruptorppal cerrado) ~(< carga 90) (estado interruptorppal cerrado) (estado tv generando) ~(< carga 90) (estado interruptorppal cerrado) (estado tv generando) (< carga 90) (estado interruptorppal cerrado) (estado tv generando) ~(< carga 90) (estado interruptorppal cerrado) (estado tv generando) (< carga 90) Meta Figura 3.1. Plan para generar electricidad determinado por BURIDAN. La proyección hacia delante empieza con el conjunto de estados iniciales, y simula la ejecución de un plan en cierto instante manteniendo el conjunto de estados posibles y sus probabilidades después de completar cada paso. Cuando termina la simulación, la suma de las probabilidades de cada estado en la cual las metas se han satisfecho determina la probabilidad de éxito del plan. La parte alta de la tabla 3.1 muestra los conjuntos de estados construidos conforme se evalúa el plan de tres pasos por proyección hacia adelante. Para hacer el ejemplo mas interesante asumamos que la acción (encender QP) tiene éxito con probabilidad de 0.5 y, de otra forma, no tiene efecto. Sin embargo esto conduce a dos estados en la proyección hacia adelante, los cuales son propagados hacia el paso (rodar TV) y conduce a cuatro estados posibles después de la acción (cerrar interruptor). La probabilidad de éxito 0.8 se encuentra sumando las probabilidades de los estados. 14

20 Paso Estado Características Padre Probabilidad Encender-QP S 1 op operando QP I 0.5 Encender-QP S 2 op ~ operando QP I 0.5 Rodar-TV S 1 rodar operando QP, TV rodando S 1 op 0.5 Rodar-TV S 2 rodar ~ operando QP, TV rodando S 2 op 0.5 Cerrar-Interr S 11 a operando QP, ~< carga 90 S 1 rodar 0.45 Cerrar-Interr S 12 a operando QP, < carga 90 S 1 rodar 0.05 Cerrar-Interr S 21 a ~ operando QP, ~< carga 90 S 2 rodar 0.35 Cerrar-Interr S 22 a ~ operando QP, < carga 90 S 2 rodar 0.15 Tabla 3.1. Uso de la proyección hacia delante para evaluar el plan del problema de generación eléctrica. En general, el número de estados considerados puede crecer exponencialmente de acuerdo con la longitud del plan. Muchos estados creados pueden diferir solo en las características irrelevantes al plan. Esta observación sugiere el uso de otras estrategias de evaluación del plan que exploten su estructura tales como las redes bayesiana 3 (Pearl, 1988). La representación de las acciones en STRIPS, donde las precondiciones tienen suficiente información para determinar completamente los efectos de una acción, es un caso especial de la propiedad de Markov, la cual se preserva en la representación de las acciones empleadas aquí (Wellman 1990). Es posible usar esta información para crear una red de creencias sobre la cual hacer consultas para determinar la probabilidad de éxito del plan. Interruptor-abierto, 0 TV-hotstandby, 0 ~ < carga 90, 3 Encender-QP Rodar-TV Cerrar-Interruptor Meta QP-encendido, 1 TV-rodando, 2 TV-generando, 3 tiempo Figura 3.2. Uso de una red de creencias para evaluar el plan para el problema de la generación eléctrica. La figura 3.2 muestra la red de creencias asociada al problema de generación eléctrica. En este ejemplo, cada nodo es una variable aleatoria que representa el valor de un descriptor de estado en un punto de tiempo con los efectos de una acción considerados en el plan, por ejemplo el valor del estado de la TV es hotstandby en el instante 0. La acción final meta, se incluye con dos valores posibles: verdadero o falso. La probabilidad de que este nodo tenga valor verdadero es igual a la probabilidad de éxito del plan. 3 También conocida en la literatura como red de creencias. 15

21 Así, BURIDAN representa por primera vez acciones probabilistas, e introduce los umbrales de probabilidad de éxito para estimar en forma binaria (éxito o fracaso) la utilidad de un curso de acción completo. Otro aspecto interesante es el uso de representaciones factorizadas de los estados para evitar problemas de explosión combinatoria semejantes a las representaciones usadas por los enfoques Markovianos que se analizarán en el capítulo 5 de este trabajo. 3.2 Planificación Condicional CNLP fue el primer planificador basado en SNLP en representar planes condicionales (Peot y Smith 1992). Cada paso en el plan tiene un conjunto de etiquetas de contexto asociadas que denotan las condiciones bajo las cuales se puede ejecutar el paso. Por ejemplo, la figura 3.3 muestra un plan condicional para generar electricidad a plena carga en el cual un operador humano se dirige a la pantalla de datos del proceso antes de decidir si cerrar el interruptor principal del generador súbitamente o si aun hace falta sincronizar la unidad generadora con el sistema eléctrico. Inicial (estado tv hotstandby) (estado interruptorppal abierto) (< carga 90) (estado tv?e) Observar -Sincronoscopio (estado tv rodando) (estado interruptorppal (cerrar [si] (rodar tv) (estado tv?f) si n o (estado tv rodando) (estado interruptorppal (cerrar [no] (estado interruptorppal (estado tv generando) ~(< carga 90) (estado interruptorppal cerrado) ~(< carga 90) (estado interruptorppal (estado tv generando) ~(< carga 90) Meta Figura 3.3. Plan condicional representado mediante etiquetas de contexto en la acciones. El operador observar-sincronoscopio tiene dos posibles salidas, cada una de las cuales produce una etiqueta de observación si o no. Cada uno de los operadores para el cierre del interruptor tiene una marca con una de las etiquetas para indicar su contexto. Así que, sólo se ejecutarán si ya se conoce la información del sincronoscopio. Por ejemplo, el operador cerrar-interruptorppalpreviasincronizacion sólo se ejecutará si se produce la etiqueta no. Si cualquiera acción subsecuente no tuviera etiqueta de contexto, sería 16

22 ejecutada sobre ambas ramas del plan condicional. Los contextos pueden representar fácilmente planes que se ramifican y luego se combinan al igual que los planes con ramificaciones conteniendo operadores o submetas de alto grado de abstracción. C-BURIDAN refina el planteamiento de CNLP manteniendo distintas observaciones de los efectos y permitiendo resultados diferentes de una acción de sensado para tener el mismo nivel de observación, modelando así la observabilidad parcial (Draper, Hanks y Weld 1994). En C-BURIDAN se añaden nuevos contextos en respuesta a las amenazas entre las acciones que pueden ponerse en ramas separadas de un plan condicional. Así como se muestra en el ejemplo de la planta eléctrica, para representar acciones inciertas se deben representar los efectos resultantes y sus probabilidades condicionales al estado. Al proporcionar una representación más rica de las acciones inevitablemente se hace más difícil el problema de la planificación, por lo que los planificadores deben usar una representación que exprese los diferentes efectos lo más concisamente posible sin perder expresividad. La última representación del operador cerrar-interruptor no es muy concisa, ya que los cuatro efectos resultantes son descritos explícitamente, aun cuando las dos ramas sólo difieren en si se generó menos del 90% de carga. Cuando diferentes variables de estado son afectadas independientemente por una acción, es posible que el número de efectos crezca exponencialmente en función del número de variables. Obviamente, la habilidad para crear planes condicionales puede hacer el problema de planificación aún menos tratable. La mayoría de los planificadores condicionales no requieren que se produzca un plan por cada contingencia (aunque CASSANDRA es una excepción [Pryor y Collins 1996]). Onder y Pollack (1997) han estudiado como escoger las contingencias para planificar, tanto por la necesidad de mejorar la eficiencia y por la observación de que algunas contingencias pueden ser excluidas con seguridad para la replanificacion en tiempo de ejecución. 3.3 Planes Óptimos: DRIPS DRIPS (Haddawy y Suwandy 1994) y PYRRHUS (Williamson y Hanks 1994) son sistemas que consideran la utilidad de un plan más allá de la medida binaria de alcance de la meta. Estos sistemas asumen que, dada una distribución de probabilidades sobre los posibles resultados de una acción dado un estado, y una función de preferencia razonable, es posible definir una función de utilidad tal que, cuando un agente prefiera un plan es por que éste tiene la mayor utilidad esperada. Por lo tanto, la tarea de estos planificadores será encontrar un plan con la máxima utilidad esperada (MUE). Estos planteamientos se basan en el trabajo de Feldman y Sproull (1977), el cual tenía fuertes raíces en teoría de la probabilidad y teoría de la utilidad (Luce y Raiffa 1957). Por ejemplo, en el dominio de la planta eléctrica, la meta total es tener el generador de la turbina de vapor generando a plena carga, pero podríamos anexarle un crédito parcial de 17

23 generar parte de energía requerida en el problema. Dado un conjunto conjuntivo de metas, a veces la utilidad de resolver un subconjunto puede especificarse como la suma de parte de la utilidad de cada meta. Se debe tener también cuidado con esta técnica; por ejemplo, en el caso de la planta eléctrica las metas de alto nivel son (estado tv generando) y (~ (< carga 90)), pero el planificador que alcanza la primera meta sin la segunda no debe recibir la mitad del crédito. Algunas veces la utilidad de los resultados de un plan puede hacerse modular sumando el costo de cada operador independientemente (Pérez y Carbonell 1994). Ya sea multivaluada o binaria la utilidad, se debe computar o estimar la máxima utilidad del plan. En el caso más simple, esta es la probabilidad de éxito. Como veremos más adelante, hay varias formas de computar o estimar la utilidad. Para el problema de decidir que plan parcial expandir, lo que se requiere es un valor comparativo que indique que plan tiene la mayor utilidad esperada, lo cual es en ocasiones más sencillo que encontrar el valor absoluto. Para planificar eficientemente se debe ponderar el tiempo de estimación del valor del plan y el tiempo de expandir un plan con una valor más pobre del estimado. 0.9 éxito 0.8 éxito Cerrar Interruptor- PreviaSincronizacion QP falla éxito Cerrar Interruptor- Súbitamente QP falla éxito ~QP ~QP 0.3 falla 0.4 falla [0.8, 0.9] éxito Cerrar Interruptor (abstracto) QP [0.1, 0.2] [0.6, 0.7] falla éxito ~QP [0.3, 0.4] falla Figura 3.4. Operadores atómicos (ground) y abstractos del ejemplo de la generación eléctrica utilizables por el planificador de refinamiento DRIPS. Los planificadores descritos anteriormente buscan planes que exceden una mínima utilidad esperada dada. Para encontrar el plan con la máxima utilidad esperada, se deben evaluar de alguna manera todos los posibles planes para seleccionar el mejor. En DRIPS, los rangos de los valores de utilidad son computados por los planes parciales, comprendiendo las peores y mejores utilidades esperadas de todas las posibles expansiones del plan parcial (Haddawy y Suwandi 1994). Si el valor más bajo en algún rango del plan parcial excede al valor más alto de otros, el plan parcial con el rango más bajo puede no tomarse en cuenta y no expandir todos sus planes completos relacionados, 18

24 lo cual puede conducir a ahorros importantes de computación. El plan eliminado se dice ser dominado por los otros planes, una idea explorada también por Wellman (1990). DRIPS mantiene rangos de valores de utilidad usando la planificación por refinamiento estructural basada en una jerarquía de abstracción de los operadores (Friedland e Iwasaki 1985). En este planteamiento un plan parcial es una secuencia de operadores, uno o más de los cuales pueden ser una abstracción de un conjunto de operadores atómicos. La planificación procede escogiendo repetidamente una versión más específica de un operador en el plan hasta que ya no haya más operadores abstractos. El planificador inicia con un plan seleccionado de una librería de planes estructurales, con operadores altamente abstractos. La figura 3.4 muestra dos operadores atómicos y un tercero que corresponde a una abstracción de los dos anteriores. En la parte inferior se puede apreciar que el operador abstracto incluye las probabilidades de un resultado para los operadores atómicos de la parte superior. Generar Electricidad Rodar-TV Cerrar-Interruptor encender QP-y -rodar rodar cerrarsubitamente Cerrar-previaSincronización encender QP rodar Figura 3.5. Operadores atómicos y abstractos del ejemplo de la generación eléctrica utilizables por el planificador DRIPS La figura 3.5 muestra una red de abstracción-descomposición que describe todas las especializaciones posibles de un plan estructural para generar electricidad a plena carga. Las líneas continuas denotan la descomposición de un operador, y las líneas punteadas denotan las posibles acciones para un operador abstracto. El plan estructural codifica cuatro planes potenciales, donde es posible decidir si prender los quemadores posteriores, e independientemente como operar el interruptor principal. Suponga que DRIPS inicia refinando este plan al escoger entre el operador encenderqpy-rodar y rodar simplemente. Típicamente, el planificador agregará ambos refinamientos a una cola de planes parciales, pero antes computa los rangos de utilidad esperada para cada uno. Para hacer esto, explícitamente considera el conjunto de resultados posibles para cada plan o crónicas. Como se muestra en la tabla 3.2, cada plan tiene dos crónicas posibles para generar a plena carga (carga del 90% o mayor) o no. Para cada crónica, DRIPS computa los rangos de duración, utilidad y probabilidades basadas en los rangos o valores determinados en las acciones del plan. Para computar los rangos de la utilidad 19