Modelización de entornos con visión artificial aplicado al guiado de robots

Transcripción

1 Modelización de entornos con visión artificial aplicado al guiado de robots Boyán Bonev Grupo de Visión Robótica (), Departamento de Ciencia de la Computación e Inteligencia Artificial, Universidad de Alicante

2

3 Contenido Grupo de Visión Robótica Visión artificial en robótica SLAM con visión Otras investigaciones Visión omnidireccional, LASER Reconocimiento de patrones Robótica colaborativa

4 Grupo de Visión Robótica 4

5 Grupo de Visión Robótica Instituto Universitario de Investigación Informática 5

6

7 Visión artificial en robótica Ventajas Bajo coste del sensor Fácil instalación Desventajas Demasiada información Calibración delicada Iluminación variable Mucha información 7

8 Visión artificial en robótica Cámaras tradicionales Cámaras omnidireccionales Cámaras stereo Sensores de rango Cámaras 3D de infrarrojos Sónar, LASER 8

9

10 SLAM Simultaneous Localization and Mapping Único sensor utilizado: cámara stereo (investigación de Juan Manuel Sáez y Francisco Escolano) 10

11 Plataformas móviles 11

12 Visión estereoscópica Etapas: Calibración Correspondencia Reconstrucción 3D 12

13 Visión estereoscópica Error proveniente de varias fuentes 13

14 Egomotion Egomotion (estimación de acciones) 1) Extracción de características 2) Matching de características Máximos de gradiente locales 3) Refinamiento del Matching 4) Estimar transformación 3D observation sequence

15 Egomotion Egomotion (estimación de acciones) 1) Extracción de características Emparejar puntos con mejor similaridad 2) Matching de características (coeficiente de Pearson entre transformadas log-polares). 3) Refinamiento del Matching Trade-off entre eficiencia y robustez 4) Estimar transformación 3D observation sequence

16 II Egomotion/Action estimation Egomotion (estimación de acciones) 1) Extracción de características 2) Matching de características 3) Refinamiento del Matching 4) Estimar transformación Filtrado iterativo para eliminar matches incorrectos, buscando consistencia estrucutral en 3D. Leaving the Worst Out (LWO) 3D observation sequence

17 2 Egomotion/Action Estimation Egomotion (estimación de acciones) 1) Extracción de características Egomotion: aproximar la mejor 2) Matching de características transformación por minimización de energía (descenso de gradiente) 3) Refinamiento del Matching 4) Estimar transformación

18 Correspondencia 30 observaciones, estimaciones a 3 fps 18

19 Correspondencia 25 observaciones, estimaciones a 3 fps 19

20 Deriva en trayectorias largas 20

21 SLAM 6DOF SLAM en 6 grados de libertad 21

22 SLAM 6DOF: estrategia propuesta Minimización de energía basada en Teoría de la Información 22

23 Entropías marginales 23

24 Entropías marginales en 6DOF 24

25 6DOF sin rectificación Mapeado a distintas alturas sin SLAM (308 observaciones, metros) 25

26 Rectificación Pasos de rectificación para mantener la consistencia global Vídeo matches, vídeo rectificación 26

27 Rectificación Minimizar criterio de consistencia (entropía) Marginales 2D (sólo para hipótesis Manhattan) 27

28 Rectificación Minimizar criterio de consistencia (entropía) Marginales 2D (sólo para hipótesis Manhattan) 28

29 Exteriores no estructurados Sierra de Crevillente, 344 observaciones, m Vídeo original 29

30 AQUA Project York University (Canada) (Vídeo) 30

31 AQUA Project Formación de coral y restos de un barco. 2627m 31

32 AQUA Project (Vídeo) 32

33 Aplicación para invidentes Detección de obstáculos aéreos para invidentes Mapa local: obstáculo consistente en el tiempo 33

34 Problema de los obstáculos aéreos No detectables con el bastón La orientación de la cámara cambia continuamente Campo de visión limitado 34

35 Solución con mapa local 35

36 Solución con mapa local Vídeo 1; Vídeo 2; Vídeo 3. 36

37

38 Otras investigaciones LASER 3D: Extracción de planos 38

39 Otras investigaciones LASER 3D: Extracción de planos 39

40 Reconocimiento de patrones Basado en grafos 40

41 Reconocimiento de patrones Estimación de entropía en alta dimensionalidad Clasificación Selección de características /ITinCVPR 41

42 Otras investigaciones Navegación autónoma basada en visión omnidireccional 42

43 Otras investigaciones Navegación autónoma basada en visión omnidireccional 43

44 Otras investigaciones Navegación autónoma basada en visión omnidireccional (Vídeo) 44

45 Robótica colaborativa Visión artificial en robots autónomos (vídeo) 45

46

47 Modelización de entornos con visión artificial aplicado al guiado de robots Mapeado, Localización, Navegación. Enfoques métricos y topológicos. Boyán Bonev (boyan@ua.es) Grupo de Visión Robótica (), Departamento de Ciencia de la Computación e Inteligencia Artificial, Universidad de Alicante