Implementación y análisis de rendimiento de un sistema de planeamiento lineal basado en el modelo MPBH

Transcripción

1 Implementación y análisis de rendimiento de un sistema de planeamiento lineal basado en el modelo MPBH Tesis para obtener el Título Profesional de Ingeniero de Sistemas Christian Danniel Paz Trillo Miembros del Jurado: Lic. Wilber Ramos Lovón. Lic. Percy Huertas Niquen. PhD. Ernesto Cuadros Vargas. Escuela Profesional de Ingeniería de Sistemas Universidad Nacional de San Agustín - Arequipa - Perú Análisis de Rendimiento de MPBH 1

2 Agenda Introducción Planeamiento en IA Principales Sistemas de Planeamiento Planeador MPBH Resultados Discusión Análisis de Rendimiento de MPBH 2

3 Introducción El problema de planeamiento consiste en la identificación del conjunto de acciones que aplicadas a un estado inicial generan un estado que satisface las condiciones meta. MPBH: Modelo de Planeamiento basado en búsqueda heurística, propuesto recientemente en la EPIS-UNSA. Análisis de rendimiento comparativo de MPBH con STAN, HSP, FF y Blackbox. Análisis de Rendimiento de MPBH 3

4 Objetivos - Introducción Analizar el rendimiento de MPBH en comparación con otros sistemas de planeamiento para identificar fortalezas y proponer mejoras a puntos identificados como debilidades. Determinar las muestras y las variables para la medición del rendimiento. Ejecutar las pruebas para medir el rendimiento de MPBH y de STAN, HSP, FF y Blackbox, en función de las variables identificadas. Realizar el análisis comparativo de los resultados obtenidos en las mediciones. Analizar los procesos e identificar puntos débiles y ventajas. Proponer alternativas a los puntos débiles e implementarlas para verificar su aporte al modelo. Análisis de Rendimiento de MPBH 4

5 Hipótesis y Variables - Introducción Hipótesis: El planeador MPBH es competitivo en términos de número de problemas resueltos frente a los planeadores STAN, HSP, FF y Blackbox de eficacia comprobada. Variables: Valor Indicadores Independientes Planeadores STAN, HSP, FF,Blackbox y MPBH Dependientes Competitividad Nro. de Problemas resueltos Rendimiento Tiempo de Procesamiento Nro. de Estados Generados Tamaño de Plan Tiempo Cálculo Heurística Análisis de Rendimiento de MPBH 5

6 Determinación de la muestra - Introducción Dos ámbitos de prueba: Monodominio: Estudio especial considerando problemas de un único dominio de planeamiento: el mundo de los bloques. Tamaño de muestra: 160, error 0,1. Multidominio: Estudio considerando problemas de los dominios: mundo de los bloques, elevador, logística y satélite. Tamaño de muestra: 53, error 0, % de porcentaje del universo al que se puede generalizar la hipótesis. Análisis de Rendimiento de MPBH 6

7 Planeamiento en IA Área de investigación dentro de IA. Consiste en la identificación del conjunto de acciones que aplicadas a un estado inicial generan un estado que satisface las condiciones meta. Planeamiento dependiente del dominio: Implementaciones utilizan conocimiento específico del dominio. Planeamiento independiente del dominio: Extraen información de la especificación del problema de planeamiento. Análisis de Rendimiento de MPBH 7

8 El Problema - Planeamiento en IA Ejemplo del mundo de los bloques. Objetos y Tipos: b: Bloque. Átomos y Predicados: Sobre(b,a) : Sobre(X: Bloque, Y: Bloque). Estados: Situación en el mundo, es definido por el conjunto de condiciones(átomos) que son verdaderos en él. {Sobre(b,a), Sobre(c,b),...}. Acción: Función que modifica un estado del mundo. MoverAMesa(c,b) : MoverAMesa(X: Bloque, Origen: Bloque) hace que Sobre(c, b) no sea más verdadero(efecto negativo) y hace que Sobre(c, mesa) sea verdadero(efecto positivo). Para que la acción sea aplicable, hace falta que tanto Sobre(c,b) como Libre(c) sean verdaderos(precondiciones). Dominio: Acciones y Predicados. Análisis de Rendimiento de MPBH 8

9 Enfoques - Planeamiento en IA Búsqueda en Espacio de Estados: Espacio de estados E = (V, A, i, M): V es un conjunto de vértices, donde cada vértice v representa un estado alcanzable desde el estado inicial i, A es un conjunto de aristas dirigidas, donde cada arista etiquetada con a une dos vértices v 1 y v 2 ssi existe una acción a talque prec(a) v 1, y v 2 = v 1 \ ef neg(a) ef pos(a), i V es el estado inicial, M : {m M, G m} es el conjunto de estados meta. Problema de planeamiento: encontrar un camino(el más corto) entre el vértice i y cualquier vértice del conjunto M. Ej: HSP y FF. Planeamiento de Orden Parcial: Búsqueda de planes parcialmente ordenados en que cualquier ordenación topológica genere un plan válido totalmente ordenado. Ej: TWEAK, SNLP y UCPOP. Análisis de Rendimiento de MPBH 9

10 Enfoques - Planeamiento en IA Grafo de Planeamiento: G = (V P, V A, AP, AEP, AEN, I) V P : cjto de nodos proposicionales(átomos), V A: cjto de nodos de acciones, AP : cjto de aristas de precondiciones, dirigida de un nodo proposicional p a un nodo de acción a, siempre que p prec(a), AEP : cjto de aristas de efectos positivos, dirigida de un nodo de acción a a un nodo proposicional p, siempre que p ef pos (a), AEN : cjto de aristas de efectos negativos, I: cjto de nodos proposicionales del estado inicial y forman el primer nivel del grafo, grafo estructurado por niveles, los nodos de cada nivel sólo se enlazan con los del siguiente nivel, primer y último niveles compuestos de nodos proposicionales y los niveles se intercalan entre proposicionales y de acciones, último nivel: debe incluir las condiciones meta. Análisis de Rendimiento de MPBH 10

11 Enfoques - Planeamiento en IA Grafo de Planeamiento(cont.) El algoritmo genera el grafo de planeamiento adicionando un nivel de acciones y uno proposicional en cada paso, el grafo de planeamiento es generado en tiempo polinomial y contiene información interesante acerca del problema. Ej: Graphplan, IPP, FF y STAN. Planeamiento con Lógica Proposicional: Expresa un problema de planeamiento en lógica proposicional para poder utilizar un algoritmo SAT. La atribución que satisface el problema SAT es convertida en un plan que el algoritmo retorna como respuesta. Los algoritmos SAT son bastante estudiados dada su importancia computacional, y hay muchos progresos en esta área. Ej: SATPlan y Blackbox. Análisis de Rendimiento de MPBH 11

12 HSP - Principales Sistemas de Planeamiento Heuristic Search Planner. Innovó la solución de problemas de planeamiento con búsqueda heurística: problema relajado. HSP propone la relajación automática de un problema de planeamiento: desconsiderando los efectos negativos de las acciones se puede llegar a soluciones más rápido. El tamaño de una solución del problema relajado es una heurística que guia la búsqueda en el problema original. Usa el algoritmo weighted A, que permite dar importancia al estimado heurístico. Calcula su heurística usando un algoritmo de programación dinámica para cálculo de ruta mínima en un grafo dirigido. Análisis de Rendimiento de MPBH 12

13 HSP - Principales Sistemas de Planeamiento HSP es eficiente en número de problemas resueltos. Frecuentemente emplea mayor tiempo de procesamiento. Frecuentemente genera planes más grandes. El cálculo de la heurística de HSP consume aproximadamente el 85 % de su tiempo total de procesamiento. HSPr es una variación de HSP que efectua una búsqueda regresiva, lo que le permite calcular la heurística una sola vez. HSPr sin embargo no garantiza ser mejor en todos los dominios, como en el mundo de los bloques. Análisis de Rendimiento de MPBH 13

14 FF - Principales Sistemas de Planeamiento Fast Forward. Al igual que HSP realiza una búsqueda progresiva, utilizando un algoritmo de búsqueda local llamado Hill-climbing reforzado. La relajación del problema es resuelta utilizando grafos de planeamiento. La implementación del grafo de planeamiento en FF es altamente optimizada. FF ha demostrado una alta competitividad pues fue seleccionado como parte del grupo A en la Competencia de Planeamiento del año 2000, por su eficiencia en términos de tiempo y cantidad de problemas resueltos. Análisis de Rendimiento de MPBH 14

15 STAN - Principales Sistemas de Planeamiento Originalmente basado en Graphplan. Utiliza el sistema de análisis de dominio TIM. Identifica tipos de objetos asociando a ellos el concepto de movilidad. Posee una implementación optimizada de las relaciones mutex del grafo de planeamiento propuesto en Graphplan. TIM detecta las relaciones mutex más eficientemente que Graphplan. STAN posee un mejor rendimiento que el algoritmo Graphplan original. STAN presenta un rendimiento menor al de los planeadores FF y HSP en general. Análisis de Rendimiento de MPBH 15

16 Blackbox - Principales Sistemas de Planeamiento Combina grafos de planeamiento y lógica proposicional. El problema es convertido a un grafo de planeamiento de longitud k en que el último nivel del grafo contiene las condiciones meta. Los mutexes se calculan dentro del grafo. Un mutex es la disyunción de dos objetos negados, y los algoritmos SAT toman ventaja de ésto para calcular las soluciones más rápido. El grafo de planeamiento es convertido a una fórmula en notación CNF, la cuál es simplificada automáticamente por un algoritmo general de simplificación de fórmulas. La fórmula es solucionada por un algoritmo SAT: Walksat(local), chaff, satz o relsat(globales). Si se encontró una solución al CNF, la asignación de valores a variables encontrada por el algoritmo es traducida a un plan y este resultado es dado como respuesta. En caso de no encontrarse una respuesta, k es incrementado en 1 y el proceso se repite. Análisis de Rendimiento de MPBH 16

17 Blackbox - Principales Sistemas de Planeamiento Blackbox presentó un mejor rendimiento que los planeadores basados en grafo de planeamiento como STAN. Cabe resaltar que el rendimiento de Blackbox depende fuertemente del rendimiento del resolutor SAT utilizado. La comunidad que desarrolla algoritmos para solucionar el problema SAT es grande, y avanza a un ritmo más acelerado que la comunidad de planeamiento. Cada año surgen nuevos resolutores SAT los cuáles permiten que sin necesidad de modificar Blackbox su desempeño sea mejorado. Análisis de Rendimiento de MPBH 17

18 Planeador MPBH Modelo de Planeamiento basado en Búsqueda Heurìstica. Ejecuta una búsqueda heurística en el espacio de estados del problema de planeamiento. Propone una función heurística que utiliza la información generada por el grafo de planeamiento del problema relajado para cada estado evaluado, la relevancia de la heurística está en la selección de las acciones para la generación del plan relajado. Análisis de Rendimiento de MPBH 18

19 Estructura - Planeador MPBH Análisis de Rendimiento de MPBH 19

20 Búsqueda - Planeador MPBH Análisis de Rendimiento de MPBH 20

21 Grafo de Planeamiento - Planeador MPBH Análisis de Rendimiento de MPBH 21

22 STRIPS - Planeador MPBH STanford Research Institute Problem Solver. Fue uno de los primeros planeadores, y propuso un lenguaje derivado de LISP para representar problemas de planeamiento. La notación PDDL fue adoptada por las competiciones internacionales como un estándar para describir problemas de planeamiento. Un dominio tiene un nombre y define los tipos, predicados y acciones permitidas. Un problema tiene un nombre, un dominio asociado y define los objetos(asociados a sus tipos), y una descripción completa del estado inicial y condiciones meta. Análisis de Rendimiento de MPBH 22

23 Criterios de Evaluación: Resultados Evaluación por número de problemas resueltos. Evaluación de tiempo de procesamiento, número de estados generados y longitud de plan alcanzado. Evaluación de tiempo de cálculo de la heurística. Uso de dominios estándar para evaluación utilizados en competencias internacionales. Dos ámbitos: monodominio(mundo de los bloques) y multidominio(mundo de los bloques, logística, elevador y satélite). Muestras: 160 problemas para el mundo de los bloques y 53 problemas en el ámbito multidominio. Límite de tiempo de ejecución: 10 minutos. Análisis de Rendimiento de MPBH 23

24 Nro. de Problemas Resueltos: Mundo de los Bloques Análisis de Rendimiento de MPBH 24

25 Nro. de Problemas Resueltos: Multidominio Análisis de Rendimiento de MPBH 25

26 Resultados: Problemas Resueltos En el ámbito monodominio el planeador MPBH resolvió menos problemas que los demás planeadores: Se rechaza con 100 % de confianza la hipótesis en que El planeador MPBH es competitivo en términos de número de problemas resueltos frente a los planeadores STAN, HSP, FF y Blackbox de eficacia comprobada para el dominio del mundo de los bloques. En el ámbito multidominio MPBH resolvió una cantidad de problemas en promedio equivalente a los resueltos por los otros planeadores. Se cumple con un valor de entre 90 % y 95 % de confianza, la hipótesis en que El planeador MPBH es competitivo en términos de número de problemas resueltos frente a los planeadores STAN, HSP, FF y Blackbox de eficacia comprobada Análisis de Rendimiento de MPBH 26

27 Análisis adicional: Mundo de los bloques Longitud de plan Tiempo de Procesamiento Estados generados Análisis de Rendimiento de MPBH 27

28 Análisis adicional: Satélite Longitud de plan Tiempo de Procesamiento Estados generados Análisis de Rendimiento de MPBH 28

29 Análisis adicional: Elevador Longitud de plan Tiempo de Procesamiento Estados generados Análisis de Rendimiento de MPBH 29

30 Análisis adicional: Logística Longitud de plan Tiempo de Procesamiento Estados generados Análisis de Rendimiento de MPBH 30

31 Cálculo de Heurística: Resultados Mundo de los Bloques Satélite Elevador Logística Análisis de Rendimiento de MPBH 31

32 Análisis del Cálculo de Heurística: Resultados El cálculo de heurística consume un pequeño porcentaje del tiempo total de procesamiento. La búsqueda consume un alto porcentaje de tiempo, dado que la búsqueda local efectúa sólo las comparaciones necesarias, se debe reducir el número de estados evaluados por el algoritmo de búsqueda en anchura. Es necesario realizar un procedimiento de poda en el espacio de estados utilizando información del grafo de planeamiento. Como se tiene un plan pre-elaborado, las acciones que se seleccionaron para ese plan son considerados útiles y los estados generados por ese tipo de acciones deben ser evaluados con mayor prioridad. Análisis de Rendimiento de MPBH 32

33 Poda de estados: Longitud de plan Mundo de los bloques Satélite Elevador Logística Análisis de Rendimiento de MPBH 33

34 Poda de estados: Tiempo de procesamiento Mundo de los bloques Satélite Elevador Logística Análisis de Rendimiento de MPBH 34

35 Poda de estados: Número de Estados Mundo de los bloques Satélite Elevador Logística Análisis de Rendimiento de MPBH 35

36 Análisis del Cálculo de Heurística: Resultados Después de implementar la poda, se comparó el tiempo de procesamiento, el número de estados generados y la calidad de los planes encontrados. Se disminuyó drásticamente el tiempo de procesamiento y el número de estados generados en la mayoría de dominios. La calidad de los planes disminuyó en la mayoría de dominios. Sólo en el dominio del mundo de los bloques no se consiguió mejoras significativas. Análisis de Rendimiento de MPBH 36

37 Conclusiones y Recomendaciones MPBH lleva en promedio mayor tiempo de procesamiento que los otros planeadores de efectividad comprobada. MPBH encuentra soluciones de calidad equivalente o menor a los planeadores de efectividad comprobada. El cálculo de heurística consume un porcentaje mínimo del tiempo total de procesamiento. MPBH genera un mayor número de estados en la búsqueda de la solución. La mayor cantidad de nodos es generada por la búsqueda en anchura utilizada durante el algoritmo Hill-climbing reforzado. Problema: expansión de estados sin criterio de selección. Propuesta: realizar una poda que asigna diferentes prioridades a los estados expandidos (mayor prioridad a los generados por acciones seleccionadas durante el cálculo de la heurística). Análisis de Rendimiento de MPBH 37

38 Conclusiones y Recomendaciones Esto redujo considerablemente la cantidad de nodos generados, y por consecuencia el tiempo de procesamiento en tres de los cuatro dominios de prueba. Sin embargo, la calidad de los planes se vió reducida. STAN y HSP poseen limitaciones en su procesamiento del PDDL. Blackbox no pudo resolver ningún problema concerniente al dominio de Logística. Sólo MPBH y FF resolvieron problemas de todos los dominios evaluados: Planeador independiente de dominio. El problema de planeamiento es un problema altamente complejo y existen problemas que, a pesar de tener solución, pueden tomar tiempos no aceptables en ser resueltos. Es necesario sopesar entre dar mayor eficiencia a un planeador y garantizar que resuelva la mayor cantidad de problemas posibles. Análisis de Rendimiento de MPBH 38

39 Aportes Recopilación del estado del arte del problema de planeamiento. Comparación específica en función del tiempo general de procesamiento, espacio requerido para resolver los problemas y calidad de solución entre los planeadores más reconocidos para un conjunto de dominos diferentes. Análisis estadístico del χ 2 para comparación de los planeadores tanto en dominios individuales como en múltiples dominios. Detección de fortalezas, debilidades para MPBH y propuesta de mejora. Mejora en el algoritmo de búsqueda en anchura que permitió reducir la cantidad de estados generados y el tiempo total de procesamiento en promedio. Permitió resolver problemas que el MPBH original no pudo resolver. Análisis de Rendimiento de MPBH 39

40 Dificultades Encontradas Los tamaños de muestras requeridos para conseguir un alto grado de confianza para la demostración de la hipótesis es grande para universos infinitos, como es el caso del conjunto de problemas de planeamiento. Elaboración de la batería de pruebas, con generación aleatoria de problemas Ejecución de las pruebas. Análisis de Rendimiento de MPBH 40

41 Trabajo futuro Optimizar EDs del planeador MPBH, para mejorar los tiempos de respuesta del mismo. Es importante trabajar sobre este modelo, dado que se demostró que tiene un gran potencial en cantidad de problemas resueltos. Identificar las causas que llevan a obtener planes de menor calidad con la aplicación de la poda de acciones útiles; pues si bien es cierto que es importante obtener mejora en el tiempo total de procesamiento, la calidad de los planes no debe ser afectada. Investigar variaciones de algoritmos de búsqueda(estrategia y dirección) con la heurística MPBH. Analizar las características específicas de los dominios que hacen que el planeador MPBH tenga menor rendimiento, como los de logística y satélite. Análisis de Rendimiento de MPBH 41