Estéreo estático. Derivadas segundas obtenidas en direcciones distintas sobre el mismo borde

Transcripción

1 Derivadas segundas obtenidas en direcciones distintas sobre el mismo borde Marr propuso la detección de variaciones en la intensidad de la imagen (bordes) como bosquejo primordial. Se observa que corresponde a un cruce por cero de la segunda derivada en casi todas las direcciones(excepto la dirección del borde). Además los operadores direccionales deforman las fronteras de los objetos de ahí la aplicación de un operador no direccional como el Laplaciano (el que de todas formas tiene efectos de desplazamiento indeseables). 7

2 La detección se aplica sobre una imagen suavizada para disminuir los efectos del ruido, al que son muy sensibles los operadores derivada Función Gausiana de banda limitada Operador Laplaciano El bosquejo primordial es el cruce por cero de la función Por la regla de la cadena de la convolución El operador tiene la forma que se aprecia en la figura (usualmente se presenta su opuesto en los textos) 8

3 9

4 El cálculo de las correspondencias se beneficia de las restricciones Unicidad: cada item se puede asociar a no más de un valor de disparidad Continuidad: la disparidad varía de forma suave El número de falsos emparejamientos es proporcional al rango de valores de disparidad considerado y a la escala del bosquejo primordial. Sea w c el rango de disparidades en el bosquejo basto, w f en el bosquejo fino. Se puede considerar un rango de disparidades mayor para el bosquejo más basto (coarse) (w c >w f ). De esta forma disparidades que no se pueden detectar en el bosquejo más fino (debido al alto número de falsos emparejamientos) (izqda), se pueden detectar en el bosquejo basto. Las estimaciones de disparidad en el bosquejo basto sirven para alinear las imágenes y calcular la disparidad fina, ya que los pasos por cero estarán ahora en el rango de disparidades más fino (derecha). ALGORITMO MARR-POGGIO Detecta cambios de intensidad a diferentes resoluciones El emparejamiento de descripciones bastas controla la vergencia de los ojos, hasta alcanzar el emparejamiento Emparejamientos parciales se guardan en memoria de forma independiente Las disparidades se calculan sobre el eje x (filas) 10

5 Implementación de Grimson Se extraen ventanas de proceso (retinas o fóveas) sobre las que se calcula el Bosquejo Primordial a distintas resoluciones (4) Se calcula el emparejamiento comenzando por las resoluciones más bastas. Las disparidades se calculan sobre los contornos dados por los cruces por cero. 1- Fijar las posiciones de los ojos 2- Localizar los cruces por cero de una imagen 3- Dividir la región en torno al pto correspondiente en la segunda imagen en 3 areas (pool), con vergencia positiva, nula y negativa. 4- Asignar un emparejamiento de los cruces por cero en base a los emparejamientos potenciales en los grupos 5- Deshacer ambiguedades 6- Guardar los valores de disparidad 11

6 Imágenes filtradas con filtros Laplacianos de diámetros 36, 18,9,4 12

7 Cruces por cero de las imágenes filtradas 13

8 Mapas de disparidades resultantes 14

9 Cámaras no coplanares Imágenes con ejes Y paralelos, esto es filas coplanares. baseline distancia b entre los centros ópticos O L y O R. 2θ es el ángulo entre los dos ejes ópticos Dsitancia focal f. XYZ se transforma en X L Y L Z L mediante una rotación en torno al eje Y y una traslación en el eje X. Proyección central en los planos imagen de un punto (XYZ) en coordenadas de la cámara 15

10 Triangularización Dados puntos correspondientes en las dos imágenes se pueden recuperar las coordenadas 3D en el sistema de la cámara Reescrito como: Cuando el ángulo entre los ejes ópticos es nulo (paralelos), se reduce a las ecuaciones vistas para cámaras coplanares 16

11 Restricciones y asunciones Facilitan el cálculo de correspondencias Dependen de las condiciones de captación Restricción epipolar Unicidad, compatibilidad y similaridad Continuidad de las disparidades Compatibilidad de las características Limitaciones en la magnitud de la disparidad Ordenación de los puntos proyectados en el plano imagen 17

12 Restricción epipolar El plano epipolar se define por un punto P en el espacio y los dos centros ópticos O L y O R. Las líneas que lo definen son la línea delos centros ópticos al punto y la línea base que une los centros ópticos Una línea epipolar es la intersección del plano imagen con el plano epipolar. Los epipolos son las intersecciones de los planos imagen con la línea base. Las líneas epipolares en cámaras coplanares son las filas de la imagen Un punto p L en la imagen izquierda solo puede corresponder a uno p R en la línea epipolar en la imagen derecha 18

13 Unicidad, compatibilidad y similaridad Unicidad: todo pixel en una de las imágenes estéreo sólo puede corresponder a otro pixel en otra de las imágenes Excepción: varios puntos en una línea 3D perpenticular a uno de los planos imagen Compatibilidad de intensidades (compatibilidad fotométrica diferencial): vecinos en una de las imágenes estéreo sólo pueden ser correspondientes a vecinos en la otra imagen si las intensidades son similares y la diferencia también lo es Similaridad geométrica: dos lineas en imágenes estéreo son correspondientes si su longitud y orientación es similar (su diferencia está por debajo de un umbral de decisión) 19

14 Continuidad de las disparidades Suavidad y continuidad de las disparidades : puntos vecinos tendrán disparidades similares. Continuidad de las disparidades a lo largo de los bordes (restricción de continuidad en las figuras): dados puntos correspondientes sobre bordes definidos en las imágenes estéreo, los puntos vecinos sobre los bordes son correspondientes si las disparidades son similares 20

15 Compatibilidad de las características Las características extraidas sólo deben corresponderse si tienen el mismo origen físico en la escena. No son fiables los bordes que no tienen un origen físico perceptible por ambas cámaras Tipos de bordes: Bordes debidos a la orientación delas superficies en la imagen Bordes de reflectacia debidos a los cambios de caracteristicas de reflectancia en la superficie Bordes de iluminación debidos a efectos de iluminación Bordes de reflejos debidos a especularidades de la superficie (no fiable) Bordes de oclusión debidos a las siluetas de los objetos frente al fondo (no fiable) 21

16 Límites en las disparidades Límite de la disparidad: máximo valor de disparidad perceptible (computacionalmente sirve para limitar la búsqueda de correspondencias) Implica la asunción de una distancia mínima de los objetos a la cámara El gradiente de la disparidad es la variabilidad de las disparidades entre puntos cercanos. Esta variabilidad se establece en relación a la separación ciclópea d cs (la distancia entre los puntos que veríamos con un ojo colocado entre los dos ojos). Se establece también un límite para este gradiente que restringe la búsqueda de correspondencias. 22

17 Gradiente de las disparidades Separación ciclópea Limite en el gradiente de la disparidad 23

18 Ordenación en el plano imagen Restricción de ordenación: los puntos que caen en una linea epipolar en una imagen estéreo se proyectan en la linea epipolar correspondiente en la otra imagen en exactamente el mismo orden Esta restricción implica que todos los objetos están a una distancia similar 24

19 Análisis de correspondencias basado Se extiende la restricción fotométrica a bloques de la imagen (area based stereo) que pueden corresponder a pixels normales como a pixels detectados mediante algoritmos de extracción de caracteristicas. en la intensidad Método basado en el emparejamiento de bloques. (MPEG) La imagen se divide en bloques del mismo tamaño, se calcula la correspondencia entre bloques mediante correlación. El proceso admite refinamientos disminuyendo el tamaño de los bloques. 25

20 La medida de similitud entre bloques puede ser un error cuadrático medio. (cámaras coplanares) Si consideramos correspondencias entre bloques adyacentes no solapados la disparidad d debe ser múltiplo del tamaño de la imagen m. El tamaño del bloque depende de los tamaños de los objetos, la imagen, las texturas,etc. Restricciónde continuidad Refinamiento a nivel de pixel 26

21 27

22 Emparejamiento de líneas epipolares (asume geometría estéreo estándar (ssg) por lo que las lineas epipolares son las filas de la imagen ) Error de emparejamiento sobre la linea epipolar para la disparidad Perfil epipolar: las disparidades sobre una linea epipolar Restricción de ordenación Funcional de disimilitud acumulada dado un vector de disparidades d El problema de determinar las disparidades se puede formular como la búsqueda del vector de disparidades minimización del funcional de disimilitud acumulada, con la restricción de ordenación. 28

23 Las disparidades están acotadas Restricción de unicidad: todo pixel tiene su correspondiente La restricción de ordenación queda como función parcial de disimilitud acumulada que se define inductivamente 29

24 inicialización Cálculo de las disimilitudes parciales acumulativas Minimo global Recuperación del vector de disparidades 30

25 Emparejamiento de bloques en imágenes color La constancia del color introduce robusted en el cálculo de las correspondencias. La restricción física se reescribe puntos cercanos de la superficie tendrán colores similares RGB normalizado Espacio HSI Distancias aplicables 31

26 Error de emparejamiento de bloques, sobre el espacio RGB normalizado El algoritmo basado en el emparejamiento de bloques será el mismo que en el caso de las imágenes monócromas. El refinamiento para obtener el mapa denso de disparidades se realizará usando la distancia en el espacio de color 32

27 Análisis de correspondencias basados en características (Feature based correspondence analysis) Dos fases: Ventajas Extracción de las características: bordes, etc Emparejamiento de pixeles pertenecientes a las características Se reducen las ambigüedades al disminuir el número de candidatos Es menos sensible a las variaciones fotométricas ( si las características son robustas) Las disparidades pueden determinarse de forma más precisa Desventaja: el mapa de disparidades es disperso (no denso) 33

28 Algoritmo básico El punto de partida son la imágen de cruces por cero detectada sobre la imagen izquierda. Los pixels de los bordes detectados son el punto de partida para la búsqueda del pixel correspondiente. La determinación de las correspondencias se hace examinando el error cuadrático normalizado como medida de similitud 34

29 35

30 36

31 Análisis basado en las estadísticas de los vectores de cruce por cero Las caracteristicas son los cruces por cero de la convolución con el Laplaciano de la Gausiana a distintas escalas σ 1, σ 2, σ 3, Un vector de cruces por cero e σ (i,j) se define como un vector unitario bidimensional a lo largo de los cruces por cero vecinos comenzando en (i,j) Si no es un cruce por cero Con E x (i,j), E y (i,j) gradientes en (i,j) 37

32 Un par de vectores e L σ y e R σ establecen un par de candidatos correspondientes si la diferencia angular es menor que un cierto umbral Sea la disparidad, se pueden definir las funciones de asignación binarias Para puntos correspondientes sino La tabla de frecuencias de las disparidades nos da el histograma global de disparidades (para la imagen izquierda, idem para la derecha) El histograma global de disparidades contiene muchas disparidades incorrectas. Se puede asumir que los picos en el histograma especifican correspondencias correctas 38

33 Un candidato multi-intervalo de disparidad viene dada por un umbral aplicado al histograma global de disparidades. Se considera que estas disparidades son válidas y son las que pueden ser aceptadas. Sea H σ el máximo global del histograma El proceso global puede servir para definir candidatos para el cálculo detallado de las correspondencias. Para esto el análisis se repite a nivel local 39

34 La ventana La ventana local en torno al punto p El histograma local de las disparidades es la tabla de frecuencias de las disparidades dentro de las ventanas en las imágenes dcha e izda en la misma posición, para las disparidades dentro del multi-intervalo candidato La dimensión de la ventana está relacionada con el filtro LoG utilizado (con la varianza) 40

35 Los histogramas locales pueden variar mucho, dependiendo de condiciones locales como la existencia de un borde sólo en una de las imágenes, pero en general son similares. Los histogramas locales se calculan para distintos valores de la varianza, esto es, varias resoluciones. Mejor resolución : la que tiene la mayor diferencia entre el máximo y el segundo máximo del histograma local. Asume que es el maximo valor para la resolución para la disparidad y es el segundo mayor valor del histograma local para Esto especifica un valor diferencia (analogamente para la dcha) Una asignación se acepta sólo si L(r,s) y R(r,s) superan un cierto umbral y si y son muy similares. La disparidad finalmente es de la forma 41

36 42

37 Estéreo con tres cámaras Configuraciones de las cámaras: Coplanares: extensión de la geometría estéreo standard. Las lineas epipolares son las lineas horizontales (imágenes colineales) o las horizontales y verticales (en ángulo recto) Arbitrarias. Las lineas epipolares no coinciden con las de la imagen Estrategias de asignación de puntos Sólo se consideran puntos con correspondencias en las tres imágenes. Menos puntos asignados Se consideran puntos con correspondencias al menos en dos imágenes. (Para soslayar oclusiones) 43

38 O 1, O 2, O 3 son los centros de proyección P, R son puntos en el espacio 3D p 1, p 2, p 3 son las proyecciones del punto P. Las lineas epipolares para el punto P son l 1, l 2 en las imágenes de las camaras 1 y 2 (plano O 1 O 1 P). La linea l 3 es la proyección de la linea O 1 P en el plano de imagen de la cámara 3 (plano O 1 O 3 P). La linea m 3 es la proyección de la linea O 2 P en el plano de imagen de la cámara 3 (plano O 2 O 3 P). Un punto correspondiente en las tres imágenes caerá en las intersecciones de los líneas epipolares definidas por los correspondientes planos epipolares. 44

39 El punto de partida son los bordes calculados con LoG Determina las correspondencias en las otras dos imagenes Determina las corespondenicias triples como intersecciones de las lineas epipolares Se determina directamente la posición en 3D como intersección de los planos epipolares 45

40 Algunas referencias Grimson, From Images to surfaces, MIT Press 1981 Klette, Schluns, Koschan, Computer vision. Three-Dimensional data from images, Springer Verlag 46