Planificación de trayectorias mediante Programación Dinámica

Transcripción

1 Planfcacón de trayectoras medante Programacón Dnámca Mael O. Torres Pñero 1 Valery Moreno Vega 2 RESUMEN / ABSTRAT 1 Insttuto Superor Poltécnco José Antono Echevarra. mael@electrca.cuae.edu.cu 2 Insttuto Superor Poltécnco José Antono Echevarra. valery@ electrca.cuae.edu.cu En este trabao se realza un análss de dos métodos de PD utlzados en la planfcacón de trayectoras de robots móvles: uno propuesto por Kwo y Dressen (1999) y el otro el algortmo de Bellman-ord. A este últmo se le realzan modfcacones para ncrementar aún más su velocdad de búsqueda de la solucón. Palabras claves: planfcacón de trayectoras programacón dnámca. Path plannng wth Dynamc Programg In ths wor are studed two methods of dynamc programg that can be used n path plannng of moble robots. The frst one s proposng by Kwo and Dressen (1999) and the other one s the Bellman-ord algorthm. The last one wll be modfed to obtan better result. Key word: path plannng dynamc programg. INTRODUIÓN La programacón dnámca (PD) fue ntroducda por Bellman [1] y la msma consste en el proceso matemátco de tomar una sere de decsones óptmas para obtener una solucón global óptma. Este prncpo ha sdo usado en la planfcacón para buscar dentro de un conunto de estados del espaco de confguracón aquellos que sean óptmos según deterado crtero para luego conformar una trayectora óptma. Una de las prncpales ventaas que conlleva el uso de la PD es que las trayectoras que se obtenen por este método sempre son óptmas y se puede usar cualquer tpo de funcón de costo u optmzacón. Son dversos los algortmos donde se puede encontrar la programacón dnámca aunque en el área de la robótca móvl específcamente la planfcacón su versón más conocda es el llamado algortmo de Bellman-ord [2] no obstante exsten otros trabaos donde se aplcan otras versones de la PD [3 4 5]. En este trabao se hará un análss de dos métodos de PD utlzados en la planfcacón de trayectoras de robots móvles: uno propuesto por Kwo y Dressen (1999) y el otro el algortmo de Bellman-ord [2 6]. A este últmo se le harán modfcacones para ncrementar aún más su velocdad de búsqueda de la solucón. MATERIALES Y MÉTODOS Algortmo de Bellman-ord. Este algortmo detera la trayectora más corta entre el punto ncal y todos los restantes puntos del entorno. El algortmo propuesto por Bellman [1] se basa en la programacón dnámca y su formulacón recursva es la sguente: 0 s v s s v s 0 1) 1 w Q 1 ( w v) E { ( w) + } 1 vw 2) 31

2 Q : Es el conunto de estados que fueron actualzados en la etapa. E : Es el conunto de enlaces smples entre los estados. Se consdera que dos estados están enlazados de manera smple s se puede r de uno al otro en una etapa. S : Estado ncal. vw : Estados cualesquera. vw : osto de r del estado w al estado v. El seudo códgo algortmo puede ser defndo como sgue: n: antdad de estados. V: onunto de todos los estados. Deterar V Mentras Q alcular Q 0 y Q 0 0 y n hacer v) V ( y deterar n Mentras S Q entonces (v) defne la longtud de la trayectora más corta desde S hasta v v. S n y Q entonces exsten enlaces entre estados con costo negatvo y no pueden ser defnas las trayectoras más costas. Aunque este algortmo fue concebdo para deterar la trayectora óptma según la dstanca no hay pérdda de generaldad s se toma (v) como otro tpo de funcón obetvo. Sempre se obtrán las trayectoras óptmas según la funcón obetvo (v). La aplcacón de este método en la planfcacón de trayectora para un robot móvl es nmedata ya que el msmos es un método de búsqueda en una red de estados o grafo y en el caso de la robótca móvl los estados serían un conunto de localzacones pertenecentes al entorno donde se encuentra el robot es decr confguracones del espaco de confguracón. omo los entornos por los que se mueve un robot pueden tener obstáculos entonces el conunto de localzacones del entorno (estados) se encuentra dvddo en dos tpos: 1. estados prohbdos (ocupados por obstáculos) 2. estados lbres (el robot puede ocupar uno de ellos sn problemas) Luego para hacer la formulacón del algortmo más completa y acorde a las condcones de la robótca móvl las ecuacones 1) y 2) quedan como se muestra a contnuacón: 0 s v s y v O s v s óv O 0 3) 1 1 w Q ( w v) E 1 { ( w) + } vw O: onunto de estados ocupados por obstáculos (estados prohbdos). O O De esta manera la formulacón recursva del algortmo está representada por las ecuacones 3) y 4) manteno la msma defncón. Bellman-ord Optmzado El algortmo de Bellman-ord tal y como se plantea en la seccón anteror tene el nconvenente de que en cada etapa explora todos los estados del entorno. Esto puede traducrse en un mayor tempo de eecucón por tal razón a contnuacón se plantea la formulacón recursva del método de Bellman-ord optmzado. 0 s v s y v O s v s óv O 0 5) 1 Q G 1 1 ( ) v w v { ( w) + } vw 4) O O 6) Q : Es el conunto de estados que se van a explorar en la etapa. G -1 (v): Es el conunto de padres de v que fueron actualzados en la etapa -1. Se defne como padre de un estado v cualquer estado w del cual se pueda llegar a v en una etapa. S: Estado ncal. v w: Estados cualesquera. 32

3 vw : osto de r del estado w al estado v. O: onunto de estados ocupados por obstáculos (estados prohbdos). El seudo códgo del algortmo puede ser defndo como sgue: n: antdad de estados. V: onunto de todos los estados. P v : onunto de padres óptmos. Un padre óptmo del estado v es el estado w que hace que se mce el costo de v. Deterar V Mentras Q alcular P 0 y Q 1 y n hacer Q Q v y deterar Q + 1 n Mentras S Q entonces (v) defne el costo de la trayectora óptma desde S hasta v como el estado al cual se quere llegar desde S entonces la secuenca de estados es dada por: v v Mentras v S hacer v P v v v. onsderando n Mentras S n y Q entonces exsten enlaces entre estados con costo negatvo y no pueden ser defnas las trayectoras óptmas. Es mportante destacar que en esta versón del algortmo se dsuye el tempo de eecucón en gran medada al reducr el espaco de estados con posbldades de ser óptmos. Esto se debe a que en cada etapa solo se exploran aquellos estados cuyo estado padre haya sdo actualzado en la etapa anteror. Al hacerse de esta manera no se tenen que explorar todos los estados en cada etapa como sucede en el algortmo de Bellman-ord sn optmzar ya que solo es de nterés explorar aquellos estados que realmente tengan la posbldad de meorar su costo en la etapa. No obstante aún se le puede realzar una modfcacón que trbutara en una dsucón del espaco de búsqueda. Modfcacón para reducr el espaco de búsqueda Para reducr aún más el espaco de búsqueda y por tanto el tempo de eecucón del algortmo se propone que se exploren solo aquellos estados que cumplen con las condcones del método de Bellman-ord optmzado y además que el costo del estado padre sea menor que el menor costo encontrado hasta el momento para el estado obetvo. Esto ela aquellos estados que no aporten una solucón óptma. En la seccón 3 se hará un análss del efecto que provoca la reduccón del espaco de búsqueda de las dferentes versones de los métodos de PD presentados en este trabao. Método de Kwo-Dressen El algortmo que a contnuacón se presenta fue creado por Kwo y Dressen [3] para planfcar trayectoras de robots móvles. En el msmo se defnó una matrz M donde a cada elemento de la matrz se le asoco un estado del entorno según su localzacón dentro del msmo. Un estado se consderó como un punto con localzacón () dentro del entorno. 0 s el estado( ) es prohbdo 7) 1 s el estado( es lbre M ) La formulacón recursva propuesta por Kwo y Dressen es la sguente: m 1 1 ( ) ( 0 ( ) ( + 1 * + 1 m 1 S ) ) ( m ) + max max L1( L2( S ( ) y ( ) y ( m ) S S 8) max max arg 10) m + L1( L2( * I ( L m 1 + * ( m ) ) J 1 ) L + 12) m: Tpos de movmentos que se pueden realzar para llegar a un estado desde otro entre dos etapas consecutvas. Ver gura 1. 9) 33

4 * m + 1 : Es el movmento óptmo para llegar en la etapa +1 al estado (). L 1( : Indca el valor del estado ( ) del que se provene usando el movmento m. L 2 ( : Indca el valor del estado ( ) del que se provene usando el movmento m. S : Es el conunto de movmentos permtdos para llegar al estado () en la etapa. S se defne como: S m : m (1...8) L1( L2( ( m max max 1 ) 1 (m max max ): uncón obetvo y se defne como: 1 s L1 ( (1... max ) ó L2 ( (1... max ) ó M ( L1 ( L2 ( ) ds tan ca entre ( ) y ( L1 ( L2 ( ) para otro caso I 0 13) 14) : Es la localzacón óptma para moverse haca el estado ( ) regresando una etapa desde. J : Es la localzacón óptma para moverse haca el estado ( ) regresando una etapa desde. gura 1. Tpos de movmentos que se pueden realzar para llegar a un estado dado. El algortmo de Kwo y Dressen consste en repetr la formulacón recursva representada en las ecuacones 8)-12) para 123 desde un estado ncal ( start start ) hasta que suceda una de dos condcones: start start 2. La cantdad de elementos del conunto + 1 con es gual a la cantdad de elementos del conunto con 1. La prmera de las condcones sgnfca que ha sdo encontrada una solucón óptma y la secuenca de estados para r desde ( start start ) hasta ( ) es dada por: * start * start Hacer desde p 1 hasta -1 n Hacer. * I p * J p La segunda condcón sgnfca que no se encontró una solucón y por tanto no exste un cao entre el estado ncal y el fnal. DISUSIÓN Dentro de los algortmos de PD que buscan un cao óptmo en un grafo o red de estados sn dudas el más utlzado es de Bellman-ord. En este trabao se ha vsto este algortmo en tres versones dferentes: Bellman-ord Bellman-ord optmzado y Bellman-ord optmzado con una nueva modfcacón. Además se ha vsto otra forma de emplear la PD a la cual le llamamos Kwo-Dressen. En esta seccón se 34

5 dscutrá cada uno de los métodos de PD vstos y se verá el efecto que provoca reducr el espaco de búsqueda de los algortmos. Todas las smulacones realzadas en esta seccón se llevaron a cabo sobre el entorno mostrado en la fgura 2. Este entorno tene una dmensón de 101x101 undades donde cada undad es un estado por el que puede transtar el robot. Todos los puntos negros del entorno representan obstáculos. gura 2. Entorno dmensones 101x101 undades. ada undad consttuye un estado. A contnuacón se analzarán las tres versones del algortmo de Bellman-ord en cuanto a la cantdad de estados explorados del espaco de búsqueda. En la fgura 3 y la tabla 1 se pueden ver los resultados obtos de la smulacón realzada. algortmo hasta que encuentra la solucón óptma. Es mportante destacar que el rmento del algortmo no se debe valorar solo por las teracones que este realza sno más ben por la cantdad de estados que tene que explorar. La cantdad de estados explorados es el factor fundamental para evaluar la rapdez de eecucón de estos tres algortmos ya que mentras más estados sean necesaro vstar y calcular su costo más tempo se esta consumo. Debe observarse que el algortmo de Bellman-ord optmzado y modfcado solo explora estados a dferenca de los y estados que exploran las otras dos versones. omo se puede ver la reduccón del espaco de búsqueda es enorme. Hay que destacar tambén que la cantdad de estados explorados es mayor que la cantdad de estados que tene el entorno pues esto no entra en contradccón porque lo que sucede es que exsten estados que se han explorado más de una vez para enter esto con más clardad se debe recurrr al seudocódgo del algortmo o a su defncón. La sguente smulacón tene por obetvo comparar el algortmo de Kwo-Dressen con la versón modfcada de Bellman-ord optmzado. Los resultados se pueden observar en la fgura 4 y la tabla 2. gura 3. a) Resultados de la smulacón con el algortmo de Bellman-ord. b) Resultados de la smulacón con el algortmo de Bellman-ord optmzado. c) Resultados de la smulacón con el algortmo de Bellman-ord optmzado y modfcado. El costo de todas las trayectoras es undades para la funcón obetvo defnda como la dstanca eucldana. Tabla 1. Resultados de la smulacón Algortmo Bellman-ord Bellman- ord Optmzado Estados del entorno Modfcacón de Bellman- ord Optmzado Etapas Estados explorados osto óptmo undades undades undades La cantdad de estados que presenta el entorno utlzado en esta smulacón es de ya que se asumó que cada undad del entorno consttuye un estado. Dentro de este total se encuentran los estados prohbdos y los estados lbres. Las etapas no son más que la cantdad de teracones que realza el gura 4. a) Resultados de la smulacón con la modfcacón del algortmo de Bellman-ord optmzado. b) Resultados de la smulacón con el algortmo de Kwo-Dressen. El costo de todas las trayectoras es undades para la funcón obetvo defnda como la dstanca eucldana. Algortmo Tabla 2. Resultados de la smulacón Modfcacón de Bellman-ord Optmzado Kwo-Dressen Estados del entorno Etapas Estados explorados osto óptmo undades undades El método de Kow-Dressen tene sus orígenes en el algortmo de Bellman de la trayectora más corta ahora adaptándolo a una representacón matrcal de los estados para hacer concdr de esta manera cada estado con una localzacón () dentro del entorno por el cual se mueve el robot y defno además el conunto de estados prohbdos. Pero la modfcacón fundamental que ntroducen Kwo y Dressen es la detencón de la búsqueda cuando el costo del estado ncal dea de ser -1. Esto tene una mplcacón mportante y es que al detener la búsqueda cuando aparece el prmer cao se pueden desechar solucones meores que la 35

6 encontrada cuando la funcón obetvo no sea la defnda por Kwo y Dressen. Por lo tanto el algortmo perde generaldad comparado con los anterores ya que este tal y como está defndo solo obtrá solucones óptmas con funcones obetvos como la dstanca eucldana. En cuanto a la reduccón del espaco de búsqueda este algortmo ntroduce leves meoras respecto al de Bellman- ord sn optmzar ya que realza menos etapas al detenerse cuando aparece el prmer cao al estado obetvo pero aún sgue explorando en cada etapa todos los estados. No obstante las meoras que puedan provocar estas modfcacones en el tempo de eecucón son nsgnfcantes comparadas con los algortmos de Bellman-ord optmzado y la modfcacón de Bellman-ord optmzado. Esto se puede aprecar claramente en las tablas 1 y 2. Por últmo para poder aprecar como el algortmo Kwo- Dressen no srve para cualquer tpo de funcón de costo se muestra la sguente smulacón gual que las anterores solo que ahora se defne como funcón obetvo al cubo de la dstanca eucldana entre dos estados. Los resultados se pueden observar en la fgura 5 y la tabla 3. gura 5. a) Resultados de la smulacón con la modfcacón de Bellman-ord optmzado. osto de la trayectora 160 undades. b) Resultados de la smulacón con el algortmo Kwo-Dressen. osto de la trayectora undades. En todos los casos la funcón obetvo fue defnda como el cubo de la dstanca eucldana. Algortmo Tabla 3. Resultados de la smulacón Modfcacón de Bellman-ord Optmzado Kwo-Dressen Estados del entorno Etapas Estados explorados osto óptmo undades undades En la fgura 5 se observa como las trayectoras obtas por cada método son dferentes. La trayectora obta con el método de Kwo-Dressen posee un costo superor por lo que no consttuye la trayectora óptma para llegar desde el estado nca al estado fnal. La razón por la cual la trayectora obta por este últmo método no es la óptma es la que se menconaba con anterordad se detene la búsqueda cuando se encuentra la prmera. Obsérvese tambén que la cantdad de estados explorados por el método de Bellman-ord optmzado y modfcado es muy nferor que la cantdad que explora el algortmo Kwo- Dressen lo cual permte verfcar una vez más la superordad de este método. ONLUSIONES En este trabao se han estudado varos tpos de algortmos que usan la programacón dnámca para encontrar una trayectora entre dos estados cualesquera. Se comenzó por el algortmo de Bellman-ord y su versón optmzada a la cual se le ntroduo una modfcacón para reducr la cantdad de estados explorados. Posterormente se analzó otro método de planfcacón de trayectoras propuesto en [3] que tambén usa la programacón dnámca. Todos los algortmos se dscuteron y compararon medante la realzacón de varas smulacones en un entorno estátco. El algortmo de Bellman-ord sn optmzar resultó ser el que más estados exploraba en la búsqueda de la solucón por lo que fue de todos el que más tempo de eecucón consumó. No obstante las solucones encontradas sempre fueron óptmas. El método Kow-Dressen resultó ser un poco más efcente que el de Bellman-ord sn optmzar en cuanto al tempo de eecucón ya que explora menos estados en la búsqueda de la solucón pero las solucones que se encuentran no sempre son óptmas esto depe de la funcón obetvo que se halla usado por cuanto este solo es váldo cuando se use como funcón de costo la dstanca. En todos los casos el método propuesto modfcacón de Bellman-ord Optmzado resultó ser más efcente que los restantes pues su tempo de eecucón sempre fue menor debdo a que exploraba menos estados y sus solucones sempre fueron la óptma para las funcones obetvos utlzadas por cuanto el método garantza su generaldad para cualquer tpo de funcón de costo. REERENIAS 1. BELLMAN R.: Dynamc Programg Prnceton Unversty Press ORMEN THOMAS H.; LEISERSON. E.; RIVEST R. L. Y STEIN.: Introducton to algorthms. Second Edton MIT Press and McGraw- Hll KWOK K.S. Y DRIESSEN B. J. : Path Plannng for omplex Terran Navgaton Va Dynamc Programg n Proceedngs of the Amercan ontrol onference BARRAQUAND JEROME Y ERBAH PIERRE: Path plannng through varatonal dynamc programg Techncal report. Pars Research Laboratory

7 5. SARKAR SAURABH : Path plannng and obstacle avodance n moble robots Msc. thess. Unversty of ncnnat MORENO V. Y AEYELS D.: Mnmzacón del tempo de vuelo de satéltes usando Programacón Dnámca RIAI AUTORES Mael O. Torres Pñero Ingenero en Automátca profesor nstructor Insttuto Superor Poltécnco José Antono Echeverría mael@electrca.cuae.edu.cu. Investga en el área de la robótca móvl. Valery Moreno Vega Ingenero en Máqunas omputadoras máster en Informátca Aplcada Doctor en encas Técncas profesor ttular Insttuto Superor Poltécnco José Antono Echeverría valery@electrca.cuae.edu.cu. Actualmente realza nvestgacones en el área de robótca nformátca aplcada a la automatzacón y en aplcacones para el control utlzando métodos de ntelgenca artfcal. 37