VISIÓN 3D. José M. Sebastián - Luis M. Jiménez. Problema Central de la Visión Artificial Tridimensional.

Transcripción

1 VISIÓN 3D José M. Sebastián - Luis M. Jiménez Problema Central de la Visión Artificial Tridimensional. A partir de una imagen o de una secuencia de imágenes de un objeto estacionario o en movimiento, tomada desde un observador monocular (una cámara) o policular (varias cámaras), la comprensión del objeto o la escena, y sus propiedades tridimensionales. 1

2 Problema Central de la Visión Artificial Tridimensional Ejemplos: Medida de distancias Medida de velocidad y dirección de movimiento Generación de modelos de superficies 3D Localizar ( pose ) personas Detectar obstáculos. Visión 3D Humana Receptores sensoriales Sensación: estímulo que se produce en el sistema nervioso a través de los receptores sensoriales. Percepción: representación interna que hace el hombre del estímulo de sus sentidos: -2D -3D 2

3 Visión 3D Humana Binocularidad de las imágenes. Visión de imágenes desde distintos puntos de vista. Mínima distancia para la formación de imágenes tridimensionales Rango de máxima utilidad Máxima distancia de utilización Visión 3D Humana Binocularidad de las imágenes. Visión de imágenes desde distintos puntos de vista. Movimiento del punto de vista. Obtención de una serie de imágenes consecutivas. Desplazamiento relativo de objetos Rango de utilidad 3

4 Visión 3D Humana Binocularidad de las imágenes. Movimiento del punto de vista. Solapamientos, reflejos y sombras. Añaden percepcón tridimensional a las imágenes. Visión 3D Humana Binocularidad de las imágenes. Movimiento del punto de vista. Solapamientos, reflejos y sombras. Realismo de las imágenes: el gradiente de textura o la proyección de perspectiva permite establecer distancias relativas 4

5 Etapas visión 3D Recuperación de la estructura tridimensional de la escena Modelado y Representación de Objetos. Reconocimiento y localización. Interpretación de la Escena. Recuperación de la estructura 3D de la escena. I Métodos activos Proyectan haces controlados de energía (luz o sonido sobre la escena). Utilizan un observador activo Métodos pasivos. Los no considerados como activos Los métodos se basan en principios: como el de la Triangulación Espacial 5

6 Triangulación Espacial. L1 cos(a)+l2 cos(b)=d L1 sen(a)=l2 sen(b) Recuperación de la estructura 3D de la escena. II Tiempo de vuelo Disparidad, par estereoscópico. Proyección de luz estructurada. MOIRÉ Interferometría, Holografía. Enfoque. Forma a partir del sobreado Flujo óptico. Intersecciones de volúmenes. 6

7 Tiempo de vuelo I. Se basa en la medida directa o indirecta del tiempo invertido por una señal de velocidad conocida, en recorrer la distancia que separa una región de la escena del dispositivo emisor/sensor. Tiempo de vuelo II Naturaleza del haz de energía. Acústica (ultrasonidos). Electromagnética (láser). Presenta una mejor direccionalidad. Inconvenientes Baja direccionalidad (limita resolución angular) Baja energía reflejada, ocasiona alto tiempo de integración y un ajuste continuo de los umbrales de detección. 7

8 Tiempo de vuelo III Tiempo de vuelo IV 8

9 Tiempo de vuelo V Tiempo de vuelo VI 9

10 Disparidad, par esteoscópico I La tercera dimensión es recuperada mediante triangulación a partir de la escena observada por dos o más captadores. Disparidad, par esteoscópico II Ventajas Se emplean soluciones tanto activas como pasivas, en función de que los captadores posean o no alguna actividad controlada (convergencia, enfoque o movimiento) Sólo requiere la captura de una imagen por captador. Inconvenientes Las inherentes a toda triangulación, oclusiones. Correspondencia entre imágenes. Dispersión del mapa tridimensional(regiones de la escena con gradientes elevados de luminancia o color.) 10

11 Disparidad, par esteoscópico III Disparidad, par esteoscópico IV 11

12 Disparidad, par esteoscópico V Proyección de luz estructurada I Realiza la triangulación espacial con un captador de imágenes y un proyector de luz de dirección controlada. El proyector de elevada potencia lumínica origina fuertes gradientes de luminancia en zonas arbitrarias de la escena. Método activo, emplea triangulación. 12

13 Proyección de luz estructurada II Ventajas Proporciona mapas tridimensionales densos y precisos. Procesamiento sencillo. Inconvenientes Las inherentes de la triangulación, oclusiones. Elevado número de imágenes requeridas, (alto tiempo de adquisición) Mecanismo de barrido que asegure la iluminación secuencial. Escenas lejanas, atenuación de energía luminosa. Entornos donde el empleo de alta potencia sea peligroso. Proyección de luz estructurada Rejilla de luz estructurada proyectada sobre una superficie irregular 13

14 Proyección de luz estructurada V Barrido mediante luz estructurada MOIRÉ I Se basa en el fenómeno de interferencia de la luz. La superposición de dos motivos de la misma frecuencia espacial produce una interferencia de baja frecuencia que únicamente varía con la diferencia de fase. Se hace pasar la luz a través de dos rejillas. Permite la recuperación de la información tridimensional. 14

15 Ventajas MOIRÉ II No emplea triangulación Inconvenientes Limitaciones que impones sobre los gradientes y la continuidad espacial de la escena. Interferometría, holografía. Se basa en hacer interferir dos haces de luz coherente que siguiendo caminos ópticos distintos, iluminan el punto a medir. La amplitud de la interferencia resulta proporcional a la diferencia de fase, lo que permite determinar unívocamente las distancias inferiores a la longitud de onda utilizada (1 µm lo que es el principal inconveniente). 15

16 Enfoque I Determina la distancia entre sensor y escena buscando máximo contraste, mediante la variación del enfoque. Ventajas No emplea triangulación. Inconvenientes La precisión disminuye con la distancia. Necesita puntos con alto contraste lumínico Enfoque II OBJETO LENTES IMAGEN SENSOR f f F H A H F p p d d ext P 1 P 2 d int δ d sen 16

17 Forma a partir del sobreado I Shape from shading La luminancia medida por un observador sobre un punto de una superficie se relaciona con la geometría local a través del producto escalar entre la normal y la dirección de iluminación. Se utiliza esta relación para el cálculo de un campo de normales asociado a las escena. La resolución del problema se basa en la minimización de alguna función de coste (no lineal) relacionada con la diferencia entre la imagen original y la esperada Forma a partir del sobreado II 17

18 Forma a partir del sobreado III Ventajas Ideal para cooperar con otros métodos no emplea triangulación. Inconvenientes No es adecuado en escenas con discontinuidades Requiere un alto tiempo de análisis. Forma a partir de la textura I Shape from Patterns Si una superficie se encuentra cubierta con pequeños patrones (denominados texels), se puede determinar la forma de la misma en función de la deformación que sufren los patrones. 18

19 Forma a partir de la textura II Flujo óptico Determina la posición de un punto en el espacio, basandose en un campo instantáneo de velocidades. Para determinar este campo se utiliza una secuencia de imágenes. Secuencia de imágenes, son distintas imágenes tomadas en intervalos conocidos de tiempo, y dotadas de un movimiento también conocido 19

20 Flujo óptico Etapas visión 3D Recuperación de la estructura tridimensional de la escena Modelado y Representación de Objetos. Reconocimiento y localización. Interpretación de la Escena. 20

21 Modelado y representación de objetos Forma en que se almacenan los objetos percibidos y los modelos conocidos Características: Fiabilidad Mantener la información relevante Estabilidad ante errores en el proceso de captación Estabilidad ante distintas vistas Eficiencia computacional Soporte local (oclusiones) Modelado y representación de objetos Se pueden emplear: Primitivas de bajo nivel: puntos, elementos de borde,... Primitivas de alto nivel: contornos, superficies, descriptores volumétricos Los métodos de representación pueden estar: Centrados en el objeto Centrados en el observador 21

22 Etapas visión 3D Recuperación de la estructura tridimensional de la escena Modelado y Representación de Objetos. Reconocimiento y localización. Interpretación de la Escena. Reconocimiento y Localización El reconocimiento de los objetos captados se define como el proceso de emparejamiento de cada uno de los componentes de la escena con los modelos o clases de objetos de los que el sistema tiene referencia Etapas: Extracción de los objetos presentes en la escena. Selección del modelo. Correspondencia con un modelo. Incluye situación y orientación 22

23 Reconocimiento y Localización Enfoques usados en el reconocimiento: Emparejamientos de características modelo-datos. Utilización de vistas representativas del objeto Obtención de medidas invariantes ante modificaciones en el punto de vista y la iluminación Etapas visión 3D Recuperación de la estructura tridimensional de la escena Modelado y Representación de Objetos. Reconocimiento y localización. Interpretación de la Escena. 23

24 Interpretación de la Escena La interpretación va dirigida a soportar un proceso de toma de decisión, por lo que depende de la aplicación: Control de calidad Guiado de un robot móvil Ingeniería Inversa. Prototipado rápido. Cartografía. Observaciones aéreas Seguimiento de objetos Control de calidad Sistema de inspección de piezas tridimensionales con alta precisión, de DISAM-UPM 24

25 Interpretación de la Escena La interpretación va dirigida a soportar un proceso de toma de decisión, por lo que depende de la aplicación: Control de calidad Guiado de un robot móvil Ingeniería Inversa. Prototipado rápido. Cartografía. Observaciones aéreas Seguimiento de objetos Guiado de Vehículos Móviles 25

26 Interpretación de la Escena La interpretación va dirigida a soportar un proceso de toma de decisión, por lo que depende de la aplicación: Control de calidad Guiado de un robot móvil Ingeniería Inversa. Prototipado rápido. Cartografía. Observaciones aéreas Seguimiento de objetos Ingeniería Inversa Obtención del modelo CAD A partir de la pieza. Por puntos Por líneas 26

27 Ingeniería inversa: Utilización Ingeniería Inversa: Digitalizador de hormas de calzado. Se parte de un horma artesanal hecha a mano. Se sitúa en el digitalizador y se obtiene un modelo CAD a base de polilíneas Con el modelo se hace un escalado para la fabricación de los distintos número de zapatos, así como una simetría para fabricar las hormas del otro pie. Detalle de la sujeción. Detalle de la polilínea generada por el plano láser. 27

28 Ingeniería Inversa: Digitalizador de hormas de calzado. Resultados Interpretación de la Escena La interpretación va dirigida a soportar un proceso de toma de decisión, por lo que depende de la aplicación: Control de calidad Guiado de un robot móvil Ingeniería Inversa. Prototipado rápido. Cartografía. Observaciones aéreas Seguimiento de objetos 28

29 Cartografía. Observaciones aéreas Estepona (España) Interpretación de la Escena La interpretación va dirigida a soportar un proceso de toma de decisión, por lo que depende de la aplicación: Control de calidad Guiado de un robot móvil Ingeniería Inversa. Prototipado rápido. Cartografía. Observaciones aéreas Seguimiento de objetos 29

30 Seguimiento de Objetos Fotogrametría - Modelado 3D 30

31 Fotogrametría Modelado 3D 31

32 Modelado 3D Telecirugía (Enseñanza) 32

33 PhotoModeler Análisis Forense Mosaicos 33

34 Captura de Movimiento 34