Análisis de la imagen y visión 3D. Áreas de investigación y tecnologías:

Transcripción

1 2012

2 Análisis de la imagen y visión 3D Áreas de investigación y tecnologías: Detección de objetos Segmentación y seguimiento de objetos Inpainting de imagen y video 2D y 3D Reconstrucción 3D Generación de nuevas vistas Depth image based rendering Inserción de objetos virtuales Estimación de la iluminación

3

4 Detección de uno o múltiples en imágenes y videos de TV sin supervisión de usuario a partir de imágenes de logos de muestra. Detección: Tiempo Posición Tamaño Visibilidad

5 Tecnología de detección de objetos Ejemplo: aplicación a la detección de logos en eventos deportivos *All images property of Mediapro

6

7 Tecnologías de seguimiento y seguimiento Estimación del flujo óptico Flujo óptico

8 Segmentación (Propagación y segmentación de vídeo coherente en el tiempo) Segmentación Propagación VS coherente

9 Utilizando scribbles, se selecciona uno o varios objetos y el fondo y luego se siguen a lo largo de una secuencia

10

11

12 Inpainting en imagen y video: Recuperación automática de partes de una imagen o video que faltan o que están corruptas de forma el resultado sea visualmente pausible

13 Inpainting e inserción de objetos asegurando coherencia temporal y en la iluminación

14 Inpainting estereoscópico: Eliminación de objetos en pares estéreo, imágenes multivista o datos imagen+profundidad

15

16

17

18

19 Demasiado cercano para ser visto en 3D

20

21

22

23 Datos de Entrada: múltiples vistas de la misma escena

24 Aprendizaje del fondo y segmentación de los jugadores (varios métodos disponibles) Imagen de entrada Fondo calculado Cálculo del fondo utilizando varios fotogramas de la misma cámara Segmentación obtenida mediante substracción de fondo Máscara de segmentación

25 Reconstrucción 3D Método basado en fusión de profundidades Encontrar la superfície 3D que mejor encaje con los mapas de profundidad de entrada Método volumétrico, basado en la coherencia de profundidades y regularización Las máscaras de segmentación se usan como restricción Implementación en paralelo (GPU) Imagen de entrada Mapa de profundidades

26 Generación de nuevas vistas Renderizado basado en imagen

27 Reconstrucción 3D - Reconstrucción de tejados Generación de ortofotos verdaderas

28 Generación de ortofotos verdaderas Entrada: Imágenes aerias Presencia de agujeros

29

30 Objetivo Generar múltiples vistas a partir de una única imagen y su mapa de profundidades Motivación Z-cams, Conversión 2D-3D, decodificación para TV auto-esteroscópicas

31

32

33 Edición3D: Inserción de objetos virtuales Insertar objetos virtuales en una escena 3D de forma que queden coherentemente iluminados, que su posición, orientación y escala sean consistentes con la escena y que se proyecten las sombras adecuadas

34 Fig 2. Objeto insertado con sombra Fig.1 Escena original Fig.3 Inserción con oclusión

35 Fig 2. Objeto insertado con sombra Fig.1 Escena original Fig.3 Inserción con oclusión

36 Results Fig 2. Objeto insertado con sombra Fig.1 Escena original Fig.3 Inserción con oclusión

37 Estimación de la iluminación El cálculo de la iluminación o de la dirección de las fuentes de luz es un problema mal condicionado ya que las escenas reales incluyen normalmente tanto iluminación directa como indirecta distribuida de forma compleja.

38 Estimación de la iluminación Fig.1 Escena CG original Fig.2 Dirección estimada de iluminación

39 Estimación de la iluminación Fig.1 Escena real Fig.2 Dirección estimada de iluminación

40 I+D Imagen Barcelona Media crea y adapta tecnologías a aplicaciones y necesidades específicas del cliente. Contáctenos en: Barcelona Media Centro de Innovación Av. Diagonal, 177, planta 9 Barcelona Tel:

41 R+D Image Processing Barcelona Media Innovation Center Av. Diagonal, 177, planta 9 Barcelona Tel: