Robots aéreos en red y su integración con redes inalámbricas de sensores.

Transcripción

1 Robos aéreos en red y su inegración con redes inalámbricas de sensores. Aníbal Ollero Baurone Escuela Superior de Ingenieros Universidad de Sevilla 1 Inroducción Múliples robos aéreos El proyeco COMETS Cooperación de robos erresres y aéreos El proyeco CROMAT Inegración con redes inalámbricas de sensores Proyecos AWARE y AEROSENS Conclusiones y desarrollos fuuros. 2

2 Tareas desarrolladas HElicoperos ROboicos en la Universidad de Sevilla HERO 1 HERO 2 Anena GPS Conmuador A/M Baería para conmuador A/M HERO 3 Anena WiFi Anena Radiomódem Caja de elecrónica Radiomódem Múliples conroladores lineales Conrol Hinfinio lineal Conrol borroso Descomposición en dos escalas de iempo Conrol no lineal basado en modelo Conrol con modelo inerno adapaivo para aerrizaje auónomo. Análisis de comporamieno no lineal 3 Pan & Til Baería para elecrónica Aviones auónomos en la Universidad de Seviila Méodos y écnicas aplicados en oros UAVs Conrol y FDI: helicóperos MARVIN (TUB) SLAM: Karma (LAAS) Tracking (Flying-cam) Proyecos robóica aérea: 2 Europeos (coordinador), 4 Plan Nacional, 2 Plan Andaluz, 3 empresas 4

3 Múliples vehículos aéreos auónomos COMETS. Real ime coordinaion and conrol of muliple heerogeneous unmanned aerial vehicles. EUROPEAN COMMISSION. INFORMATION SOCIETY TECHNOLOGIES IST PROGRAMME, , Coordinación cienífico écnica consorcio europeo (7 socios de 5 paises) hp://grvc.us.es/comes Arquiecura de conrol. Conrol y fiabilidad. Percepción cooperaiva. Implemenación y prueba con vehículos de bajo cose. Experimenos en deección y moniorización de fuegos foresales. El proyeco COMETS Misiones que requieren o se resuelven mejor con un equipo Complemenariedad: múliples especialisas Más fiabilidad: redundancia Reducción de cose Múliples UAVs: visas de diferenes punos. Heerogeneidad: Dirigibles: visas panorámicas Helicóperos: maniobrabilidad y visas de dealle. hp://grvc.us.es/comes Inegración de sisemas auónomos y eleoperados. 6

4 Arquiecura Muli-UAV Definición de un conjuno básico de areas GOTO_XYZ, TAKE_OFF, LANDING, SURVEY_AREA(A): GOTOLIST_XYZ. WAIT: hovering (helicopero) o círculos (avión),. cuya combinación permie ejecuar misiones complejas Asignación inicial de areas eniendo en cuena capacidades de UAVs Coordinación de rayecorias para eviar colisiones Respuesa ane coningencias (Fallos UAVs, comunicaciones,..) con inserción dinámica de nuevas areas Reasignación dinámica de areas a UAVs empleando Conrac Ne Proocol (negociación mediane reglas de mercado, eniendo en cuena coses y beneficios). 7 Arquiecura de decisión COMETS => Implanación de dos esquemas básicos: -(1) Cenralizada (en el Cenro de Conrol) -(2) Disribuida (delegación en los UAVs) 5 Niveles de auonomía de decisión Auonomía de decisión Supervision Coordinacion hp://grvc.us.es/comes Planificación areas Asignación areas Niveles Nivel 5 Alos (2) Nivel 4 Nivel 3 Niveles Nivel 2 Bajos (1) Nivel 1 D D D D D D D C D D C C D C C C C C C C 8

5 Ejemplo de misión: Exploración Misión: explorar cooperaivamene para buscar objeo de inerés. Dividir el área eniendo en cuena capacidades relaivas y posiciones iniciales. Empleo de parón zigzag. Objeivos: TR, opimización Modelos de UAVs: Resricción de iempo de vuelo. Capacidad UAV: rango Capacidad relaiva depende de: velocidad, aliud, combusible resane, consumo, condiciones de vieno, parámeros de las cámaras y sensores. UAV3 UAV1 UAV2 9 COMETS Vuelos coordinados Mayo 24 Mayo 25 hp:// 1

6 Percepción cooperaiva Méodos gaussianos para fusión información de disinos robos: Filro de Kalman p X z, u ) N( µ, ) X = A X + Bu 1 + v ( z = M X + ε 1 -Filro de información Mariz información: 1 1 Ω = Vecor información: ξ = µ Cenralizado (M robos) Ω = Ω + M T m M j, Ω j, M j, j = 1 ξ M T m = ξ + M j, ξ j, j = 1 Disribuido (M robos): UAV i recibe información de sus vecinos C(i) i i j i i, j Ω* = Ω + ( Ω Ω 1 Ω ) i, m i j i i, j ξ ξ + ( ξ ξ ξ ) j C ( i) Dinámico: consideración de la rayecoria complea) Exensión al caso no lineal: = 1 j C ( i) - Filro de Kalman exendido, - Linealización esocásica filro de Kalman (Unscened Kalman Filer) 11 Deección y localización cooperaivas Cada UAV communica esado a los oros vecinos: Cada alarma: vecor información (3), mariz información, (6), probabilidad (1) Fusión de daos: posición Fusión de daos: probabilidad alarma Ω i, m i = w Ω + (1 w) i, m ξ = wξ + (1 w) Ω j C i ξ j i j j Ci 12

7 Deección y localización cooperaivas Obecivo: Deecar evenos, Deerminar sus posiiones, Eliminar falsas alarmas, seguimieno en caso de movimieno Empleo de muliples UAVs con cámeras Ejemplo: Deección y localización fuego Filro de información para esimar posición Empleo de un filro por cada alarma. p Filro de Bayes: PD p pi, = P p + P i, i, 1 F 1 i, 1 [ p ] P D : prob. deección; P F : prob. falsa alarma 13 D i, 1 Posición, Velocidad, Rasgos de inerés del objeo Disribución de Bernouilli (probabiliy p i de ser fuego, y de 1-p i de ser falsa alarma = (1 P D ) p (1 P i, 1 D ) p i, 1 + (1 P ) 1 F Alarma deecada Alarma no deecada [ p ] i, 1 p Fusión de daos basada en grids Acualización de probabilidades: Consideración de las inceridumbres en la posición Empleo de modelos diferenes de los sensores: ˆ Deección y localización cooperaivas ( x + 1 ) p( x+ 1 u+ 1, x ) p( x ) p( x+ 1 ) α p( z+ 1 xˆ + 1) p(ˆ x+ 1 Modelo de cámara dx ) Modelo de sensor 14

8 Moniorización cooperaiva Asociación de daos: Diferenes UAVs: posición y orienación, disposiivos Diferenes sensores: cámaras IR y visuales, sensor fuego,.. Posicionamieno y medida empleando fusión de daos. 15 Procedimieno: Adopar alarmas previas (de mapas o imágenes): Inceridumbre asociada a la posición. Predecir posiciones acuales alarmas Nuevas medidas de UAVs Posición de la alarma P D y P F Asociación de daos Conjuno acual de Neares neighbour alarmas proyecado Gae checking en imagen IR Fusion de daos segmenada Acualización posición Acualización probabilidad fuego Inclusión de nuevas alarmas 16

9 Demosración final COMETS (Mayo 25) 17 Moniorización cooperaiva Usar seguimieno de caracerísicas para eliminar movimieno del fondo Analizar comporamieno dinámico de evenos Y X 18

10 Resulados COMETS Combinación de resulados cieníficos y logros ecnológicos en robóica, aeronáuica y sisemas emporados. Primer sisema para la cooperación de múliples UAVs demosrado experimenalmene. Aplicación demosrada en deección y moniorización de incendios foresales. Posibilidades de aplicación en seguridad y proección del medio ambiene. Impulso a la comercialización. 19 Homografía que relaciona dos imágenes del mismo plano: H 2 1 Odomería en visión monocular. 2 T 1 ( I λ n ) = A R A Cálculo de R, y n (facor de escala), uilizando la descomposición SVD (Triggs) y las marices de calibración en ambas visas (A 1 y A 2 ),para obener dos soluciones válidas Empleo ercera visa para eliminar ambiguedad 2 2 Facor escala: solo puede calcularse el produco 2.n T - Traslación afecada de facor de escala. - Empleo de oro sensor (laser, ulras. ) para medir disancia en primera visa. Algorimo empleando múliples visas: Calcular homografías enre primer marco (referencia) e imágenes consecuivas: {H i, i=2,,n }. Para cada H i, se calculan ambas soluciones válidas: ( R i, i y n i ) (1), ( R i, i y n i ) (2) Dadas N>2 visas, se elige solución con la misma normal n i en imágenes consecuivas. Alernaiva: conociendo la roación mediane la IMU. 2

11 Esimación de posición empleando visión Aplicación: Esimación de movimieno de un plano (el erreno): desplazamieno y roación. Posición: Visión frene a GPS X(m.) Y(m.) Aerrizaje Z(m.) Image number Z (m.) Aerrizaje Image Y (m) Mosaicos para Eliminar acumulación error Y (m) X (m) Se corrige la deriva al pasar por zonas almacenadas X (m) Esimación de posición muli-uav Hipóesis: dos UAVs ven aproximádamene la misma escena (común en moniorización). Si las dos cámaras esán calibradas (A 1 and A 2 ) y la disancia al erreno de un UAV de referencia es conocida, es posible calcular el movimieno del segundo UAV con respeco al de referencia. Correspondencia de blobs en ambas imágenes (wide baseline maching) Cálculo de la homografía que relaciona las dos visas. Generación de una referencia común para fusionar información. Si un UAV iene una buena esimación de la posición mediane GPS, es posible aplicar la homografía para deerminar la posición del oro UAV. 22

12 Esimación de posición muli-uav 16 - Experimeno uilizando las imágenes omadas por dos UAVs diferenes (Marvin and Heliv) moniorizando la misma escena. - Marvin es el de referencia (DGPS de elevada precisión). - Heliv iene un GPS con poca precisión y que suminisra solo una medida por segundo. - Se esima la posición de Heliv con respeco a Marvin. X (m) Y (m) Z (m) Image Image Image Esimación fiable de la posición relaiva en meros. 23 Cooperación de vehículos auónomos aéreos y erresres. Coordinación Proyeco español CROMAT ( Universidades de Sevilla, Málaga y Vigo) Subproyeco Sisema inegrado HERO- ROMEO con remolque hp://grvc.us.es/croma Planificador Misiones -Cenralizada - Disribuida Asignación de areas disribuida basada en CNP: proceso de negociación. Cada robo evalúa y comunica el cose de inserar la area en su plan. Se asigna la area al robo con menor cose. El proceso de negociación lo puede iniciar cualquier robo para oferar una area que le ha sido asignada previamene.

13 Asignación de areas en sisemas muli-robo (MRTA). Deerminar que robo debe ejecuar cada area - Cose de que un robo ejecue una area: energía, iempo, ec.. - Objeivo: minimizar la suma de odos los coses individuales (cose global). - Algorimos disribuidos: - Algorimos de negociación basados en reglas de mercado. Cada vez que se abre una subasa se conrola por un único subasador. La subasa se abre por un periodo de iempo y se consideran odas las oferas recibidas. La area se asigna al robo con la mejor ofera. Algorimo SET: Negociación simulánea de una sola area Inserción ópima de una area en plan local Algorimo SIT: Negociación de un conjuno de areas Subasador: selección conjuno de areas Oferane: Cálculo cose de inserción de conjuno areas Algorimo S+T: Consideración de areas y servicios Resulados próximos al ópimo global (máxima desviación 3%) Experimenos de simulación hasa con 5 robos y 4 areas 25 Equipos aéreos-erresres hp://grvc.us.es/croma Sevilla, Marzo 25 Parque del Alamillo 26

14 Inegración con redes inalámbricas de sensores AEROSENS (Plan Nacional) Avión, helicópero y redes de sensores con nodos fijos y móviles SADCON (Juna de Andalucía) Aplicación a la conservación de la flora y la fauna. Eviacíon de colisiones en sisemas con múliples UAVs Vehículos cooperaivos y no cooperaivos. - Méodo basado en modificación de velocidades de UAVs cooperaivos. - Eficiencia compuacional para aplicación en iempo real. - Planificación de velocidades en dos pasos: - Consideración de los modelos de los UAVs - Búsqueda heurísica de solución inicial facible. - Búsqueda Tabu para enconrar una solución que minimiza un crierio de cose (modificación lo menor posible del plan inicial vuelo). - Reducción de complejidad en un sisema disribuido. Trayecorias con colisiones Resolución de colisiones 28

15 AWARE Comisión Europea IST (26-29) Plaaforma para la cooperación de UAVs y redes inalámbricas de sensores en ierra con nodos móviles (personas o vehículos). Despliegue auónomo de sensores y comunicaciones para operación en siios sin acceso y sin infraesrucura. Arquiecura y Middleware Red inalámbrica en ierra Sisema de despliegue auónomo Transpore cargas con muliples helicóperos Funcionalidades: percepción cooperaiva Coordinador: AICIA-UNIV. SEVILLE (SPAIN). Parners: TUB (GERMANY), FLYING-CAM (BELGIUM), UNIV. TWENTE (THE NEDERLANDS), UNIV.STUTTGART (GERMANY), SELEX SENSORS AND AIRBORNE SYSTEMS (UK), ITURRI (SPAIN). 29 Escenarios de validación AWARE Siuaciones de desasres y proección civil Cinemaografía y rerasmisiones 3

16 Caracerísicas de AWARE Middleware: Componenes de la inerfaz Publish/subscribe: - Rouing Engine, - Filering Engine - Gaeway Managemen Engine Caracerísicas WSN - Combinacion nodos esáicos y dinámicos Se requiere localización de nodos - Calidad de Servicio para aplicaciones DM/CS - Eficiencia de energía para auo-despliegue - Proocolo MAC: Escalabilidad, eficiencia energía, movilidad - Topología dinámica, self-healing - Deección disribuida olerane a fallos. Funcionalidades: - Deección y seguimieno cooperaivos - Esraegias cooperación empleando UAVs, GCN, nodos WSN 31 Auo-despliegue nodos: Daos sensores de emperaura Copyrigh: AWARE consorium Disposiivo para auodespliegue 32

17 Los nodos suminisran la RSSI asociada a cada mensaje. Esimación de la disancia (media y desviación ípica) Triangulacion empleando nodos con posición conocida Esimación ruidosa. Localización de nodos de la WSN Empleo de una buena esimación de la posición de un nodo móvil para localizar nodos esáicos de la WSN: Auo-despliegue, Daamule, Vigilancia y conrol. Insalar un nodo en el robo y proyecar su posición empleando RSSI: 5 RSSI -1 Disancia (m) 5 33 Localización de nodos empleando el filro de parículas x Node 1: X 25 Node 1: X 25 m x x(m) sample x 16 Node 1: Y e x x error (m), x sd dev (m) sample Node 1: Y 1 m Resulados: -Buena convergencia a solución correca. - Desviación ípica coherene. y y(m) 5 m z sample Node 1: Z 5 z(m) e y e z y error (m), y sd dev (m) z error (m), z sd dev (m) sample Node 1: Z m Filro con 3 parículas: Valor absoluo Desv ípica 2 m Aníbal sample Ollero. Grupo de Robóica, Visión y Conrol. sample Universidad de Sevilla. hp://grvc.us.es

18 Localización y seguimieno de nodos móviles mediane RSSI Objeivo: Localización y seguimieno de la posición de nodos móviles empleando la RSSI en una red localizada. Movimieno desconocido de los nodos. Dificulades: Medidas RSSI con reraso (iempo en alcanzar gaeway) No se conoce el movimieno del blanco. Modelo RSSI/disancia con mucha inceridumbre Esimación inicial no gaussiana. Méodo empleado: Filro de Kalman exendido con inicialización mediane filro de parículas. 35 Arquiecura descenralizada para fusión de daos. Sofware de percepción en cada enidad: GCNs, UAVS and WSN. Reduce requerimienos en ransmisión de daos. Divide el procesamieno enre diferenes nodos. Robusez. Se compare el resulado de la percepción de cada nodo. Mejora conocimieno en cada enidad inegrando información del sisema compleo. UAV 1 GCN 1 PSS-4 PSS-1 PSS-2 WSN gaeway GCN 1 PSS-3 Ejemplo: seguimieno bombero 36

19 Experimenos de fusión de daos Aplicación Filro de Kalman Exendido Evenos represenados por: Posiion (media y desviación ípica), Velocidad (media y desviación ípica), Verosimiliud, Caracerisicas: Color, inensidad. EKF implemenado localmene para fusionar esimación local y la del reso del sisema, y uilizada en oros nodos. Inegración de GCN, UAV y WSN Enradas: Localizaciones del blanco, posiciones GCN y posiciones UAVs Salida: Localización absolua del blanco y mariz de covarianza. Experimeno: deección, esimación de posición y seguimieno de bombero. 37 Deección fuego y humo empleando imágenes Seguimieno empleando UAV y 2 GCNs 38

20 Conclusiones Inerés de sisemas con múliples robos aéreos para aplicaciones Dificulad de experimenación Inerés de inegración con infraesrucura Redes de sensores y acuadores Auodespliegue Múliples reos por resolver De los prooipos a las aplicaciones 39 Publicaciones Publicaciones en las que se deallan los resulados incluidos en la presenación (25-27): Muliple Heerogeneous Aerial Vehicles A. Ollero and I. Maza. Springer racs in Advanced Roboics. Springer Verlag, Berlín Heidelberg. En prensa, 27 Vision-based muli-uav posiion esimaion. L. Merino, J. Wiklund, F. Caballero, J. R. Marínez and A. Ollero. IEEE Roboics and Auomaion Magazine. Vo. 13. No. 3. Sepiembre 26. Pgs A Cooperaive percepion Sysem for muliple UAVS: Applicaion o auomaic deecion of fores fires. L. Merino, F. Caballero, J. R. Marinez, J. Ferruz and A. Ollero. Journal of Field Roboics. Pgs (26). "Archiecure and percepion issues in he COMETS muli-uav projec. Muliple eyes in he skies". A. Ollero, S. Lacroix, L. Merino, J. Gance, J. Wiklund, V. Remuss, I. Veiga, L.G. Guierrez, D.X. Viegas, M.A. Gonzalez, A. Malle, R. Alami, R. Chaila, G. Hommel, F.J. Colmenero, B. Arrue, J. Ferruz, R. Marinez de Dios and F. Caballero. IEEE Roboics and Auomaion Magazine. Vol. 12, No. 2, pág Junio 25. AWARE: Plaform for Auonomous self-deploying and operaion of Wireless sensor-acuaor neworks cooperaing wih unmanned AeRial vehicles. A. Ollero, M. Bernard, M. La Civia, L. van Hoesel, P. Marrón, J. Lepley, E. de Andres. Proc. of he IEEE Workshop on Safey, Securiy and Rescue Roboics. Rome. Sepember 27. Auonomous percepion echniques for urban and indusrial fire scenarios. J. Capián, D. Manecón, P. Soriano and A. Ollero. Proc. of he IEEE Workshop on Safey, Securiy and Rescue Roboics. Rome. Sepember 27. "Single and Muli-UAV relaive posiion esimaion based on naural landmarks. L. Merino, F. Caballero, P.E.Forssen, J. Wiklund, J. Ferruz, J. Ramiro Marínez-de-Dios, A. Moe, K. Nordberg, and A. Ollero. "Advances in Unmanned Aerial Vehicles: Sae of he ar and he road o auonomy. A. Valavanis Edior. Springer Verlag, 27. Homography Based Kalman Filer for Mosaic Building. Applicaions o UAV posiion esimaion.f. Caballero, L. Merino y J. Ferruz, A. Ollero. IEEE Inernaional Conference on Roboics and Auomaion

21 Publicaciones SET: An algorihm for disribued mulirobo ask allocaion wih dynamic negoiaion based on ask subses. A. Viguria, I. Maza and A. Ollero. IEEE Inernaional Conference on Roboics and Auomaion. Rome, April 27. Daa cenric middleware for he inegraion of wireless sensor neworks and mobile robos. P. Gil, I. Maza, A. Ollero and Pedro Marron. IEEE Roboics. Paderne (Porugal). April 27. Collision avoidance among muliple aerial robos and oher non-cooperaive aircraf based on velociy planning. JJ Rebollo, I. Maza and A. Ollero. IEEE Roboics. Paderne (Porugal). April 27. Experimenal Resuls of Auomaic Fire Deecion and Monioring wih UAVs. R. Marínez-de Dios, L. Merino y F. Caballero, A. Ollero y D. X. Viegas. V Inl Congress on Fores Fire Research V ICFFR 26. Noviembre 26. Improving Vision-based Planar Moion Esimaion for Unmanned Aerial Vehicles hrough Online Mosaicing. Fernando Caballero, L. Merino, Joaquín Ferruz y Aníbal Ollero. IEEE Inernaional Conference on Roboics and Auomaion, ICRA. Pgs Fire deecion using auonomous aerial vehicles wih infrared and visual cameras J. R. Marínez-de Dios, L. Merino and A. Ollero. 16h IFAC WORLD CONGRESS, July 4-8, 25, Praga, República Checa. Aerial and ground robos neworked wih he environmen. I.Maza, A. Viguria and A. Ollero. Proceedings CD Workshop on Nework Robo Sysem: Toward Inelligen Roboic Sysems Inegraed wih Environmens. IEEE Inernaional Conference on Roboics and Auomaion, Barcelona (Spain), April 25. "Cooperaive Fire Deecion using Unmanned Aerial Vehicles."L. Merino, F. Caballero, J.R. Marínez-de Dios and A. Ollero. Proceedings of he IEEE Inernaional Conference on Roboics and Auomaion, pp , Barcelona (Spain), April