Visión artificial y Robótica Detección de movimiento y flujo óptico. Depto. de Ciencia de la Computación e Inteligencia Artificial

Transcripción

1 Visión artificial y Robótica Detección de movimiento y flujo óptico Depto. de Ciencia de la Computación e Inteligencia Artificial

2 Contenidos Introducción Flujo óptico Structure From Motion

3 Introducción La detección de movimiento es un tema fundamental en visión artificial y robótica Posibles aplicaciones: Seguimiento de objetos Cálculo de la estructura a partir del movimiento Reconstrucción 3D Representación y compresión de vídeo.

4 Introducción (II) El principal objetivo del análisis del movimiento es calcular el movimiento en 3D 3D-3D: Registro de dos conjuntos 3D (ICP) 2D-3D: Características 2D sobre datos 3D. (RANSAC) 2D-2D: inferir movimiento 3D en base a movimientos detectados en imágenes 2D.

5 Introducción (III) Un aspecto clave para detectar movimiento es el emparejamiento de datos en dos imágenes consecutivas Atendiendo a cómo realizamos este emparejamiento agrupamos los métodos en: Dispersos: cuando utilizan alguna característica extraída de las imágenes Densos: cuando tienden a emparejar todos los puntos de las imágenes

6 Campos de movimiento 2D Se asocia un vector de velocidad con cada punto de la imagen. El conjunto de estos vectores es un campo de movimiento p=[x,y,z] T m=[x, y] t

7 Campos de movimiento 2D (II) Desarrollando la ecuación Tenemos donde k es un vector unitario en la dirección de la profundidad despejando lo que implica que el campo de movimiento v está m en función de V p /Z

8 Flujo óptico Los vectores de campo de movimiento no pueden ser observados directamente Lo que tenemos son imágenes y puntos de éstas Podremos decir que un punto se ha movido de un lugar a otro de la imagen, lo que implica su flujo óptico flujo óptico campo de movimiento

9 Flujo Óptico (II) Aunque, en general, el flujo óptico no es igual al campo de movimiento, es lo único que tenemos para estimarlo. Asumiremos que el campo de movimiento no estará muy lejos del flujo óptico que detectemos en una sucesión de imágenes

10 Flujo Óptico (ejemplos)

11 Cálculo del flujo óptico Veamos ahora como calcular el flujo óptico en una secuencia de imágenes Notación: Imagen Velocidad de un píxel de la imagen

12 Ecuación de restricción de flujo óptico Si asumimos que la intensidad de m no cambia en el tiempo Si la intensidad cambia levemente (series de Taylor)

13 Restricción de flujo óptico Tenemos una ecuación y dos incógnitas: no podemos determinar unívocamente el flujo óptico Sólo podremos calcular el flujo óptico en la dirección normal del gradiente: Problema de la apertura

14 Solución al problema de la apertura Propuesto por Lucas-Kanade. Método local: analiza la vecindad de cada punto Se asume que el flujo óptico en una pequeña vecindad Ω es constante Dada una función de ponderación de la vecindad (una gaussiana) W(m) buscamos el vector v que minimiza:

15 Lucas-Kanade Derivamos Renombramos

16 Lucas-Kanade (II) Utilizando la notación anterior tenemos: Despejamos v: La ecuación tendrá solución cuando sea no-singular Podemos estimar la fiabilidad del método obteniendo los valores propios de

17 Analisis de movimiento basado en flujo Modelo de movimiento 2D-3D

18 Bajo proyección en perspectiva Haciendo f=1 tenemos

19 Bajo proyección en perspectiva (II) Eliminando Z, tenemos: Donde y

20 Bajo proyección en perspectiva (III) Esta ecuación no-lineal incluye 5 incógnitas: {e1, e2, Ω 1,Ω 2,Ω 3 }: Con 5 valores de flujo hay hasta 10 posibles soluciones Con 6 o más puntos de flujo la transformación es determinada unívocamente Si el movimiento es rotación, bastan 2 puntos de flujo En caso de superficies planas, con 4 puntos de flujo se obtienen dos posibles soluciones (la mayoría de las veces)

21 Aplicación: Structure From Motion Extracción de información 3D a partir de una secuencia de vídeo con cámaras sin calibrar El proceso es similar al realizado en cámaras estéreo, aunque en este caso no tenemos un sistema calibrado Ejemplos x