Introducción a la Realidad Aumentada (parte II) Jairo R. Sánchez Tapia

Transcripción

1 Introducción a la Realidad Aumentada (parte II) Jairo R. Sánchez Tapia Mar. 04

2 Motivación La Realidad Aumentada consiste en combinar objetos virtuales con imágenes tomadas del mundo real, creando sensación de coexistencia entre el mundo virtual y real. Mundo real Realidad aumentada Realidad virtual Introducción a la Realidad Aumenteda

3 Modelo pin-hole Modelo de cámara básico: Proyección en perspectiva Centro óptico Plano de imagen Punto principal Eje principal X R Y t Z X Z C f, C f Y Z C C Introducción a la Realidad Aumenteda

4 Modelo pin-hole Parámetros intrínsecos: Definen el modelo de proyección Parámetros extrínsecos: Definen la posición y orientación

5 Tracking Tracking Sencillo Rápido Poco preciso Inercial Óptico Introducción a la Realidad Aumenteda

6 Tracking Tracking Sencillo Rápido Preciso Interviene la escena Inercial Óptico Con marcadores Introducción a la Realidad Aumenteda

7 Tracking Tracking Rápido Preciso Matching complejo Necesita modelo CAD Inercial Óptico Con marcadores Sin marcadores Basados en modelo CAD Introducción a la Realidad Aumenteda

8 Tracking Tracking Precisos Sin información previa Muy lentos Sólo offline Inercial Óptico Con marcadores Sin marcadores Basados en modelo CAD Sin modelo SFM Introducción a la Realidad Aumenteda

9 Vídeo Argawal Rome in a Day (Argawal et al. 009) 50k imágenes horas en 496 cores A Strochastic Parallel Method for Real Time Monocular SLAM Applied to Augmented Reality

10 Tracking Tracking Tiempo real Sin información previa Poco precisos Muy lentos Inercial Óptico Con marcadores Sin marcadores Basados en modelo CAD Sin modelo SFM SLAM Introducción a la Realidad Aumenteda

11 Tracking Agenda HOY: SFM & SLAM PARTIMOS DE: Marcadores &CAD Inercial Óptico Con marcadores Sin marcadores Basados en modelo CAD Sin modelo SFM SLAM Introducción a la Realidad Aumenteda

12 Descripción del Problema Entrada: Captura Medidas D: Procesamiento de imagen Salida: Trayectoria: Estimación de movimiento Estructura 3D: cumpliendo: Estimación de estructura 3D A Strochastic Parallel Method for Real Time Monocular SLAM Applied to Augmented Reality

13 Análisis de Imagen Es necesario procesar las imágenes para extraer información de alto nivel: Puntos característicos Uniones Blobs Bordes

14 Tracking Detección Análisis de Imagen Buscar puntos característicos Calcular descriptores Buscar puntos característicos en las zonas inexploradas Calcular un descriptor para cada punto encontrado Flujo óptico Filtro de Kalman Determinar el desplazamiento de cada punto característico Comprobar validez del tracking mediante filtros de Kalman

15 Implementación Sistema de Realidad Aumentada sin marcadores:. Captura de imagen. Detección y tracking D 3. Reconstrucción 3D 4. Tracking de cámara Documentación: Referencia: Shervin Emami, Mastering OpenCV with Practical Computer Vision Projects

16 Estructura del programa Programa compuesto de dos funciones principales: main: función principal encargada de inicializar el programa procesarfotograma: función que se llama automáticamente cada vez que el visor está listo para mostrar un fotograma nuevo main procesarfotograma

17 Análisis de imagen Objetivo: Detectar y trackear puntos característicos a lo largo de la secuencia de vídeo Tareas: Implementar la función detectarpuntoscaracteristicos ENTRADA: imagen SALIDA: vector de puntos D, descriptores SIFT TIPs: ver clases FeatureDetector y DescriptorExtractor // extraer puntos característicos Ptr<FeatureDetector> detector = FeatureDetector::create("SIFT"); detector->detect(img, puntos); // extraer descriptores Ptr<DescriptorExtractor> descextractor = DescriptorExtractor::create("SIFT"); descextractor->compute(img, puntos, descriptores);

18 Análisis de imagen Tareas: Realizar el tracking de puntos característicos en trackearpuntoscaracteristicos ENTRADA: imagen, puntos en fotograma anterior SALIDA: vector de puntos D TIPs: usaremos el algoritmo Optical Flow piramidal vector<pointf> puntos; Mat estado, err; calcopticalflowpyrlk(fotogramaanterior, fotograma, puntosanteriores, puntos, estado, err); for(int i=0; i<estado.rows; i++) { if(estado.at<unsigned char>(i) == ) { puntosnuevos.push_back(puntos[i]); } }

19 Structure From Motion Basado en el efecto de paralaje: C M C

20 Structure From Motion Basado en el efecto de paralaje: «La proyección de un punto en la segunda imagen se desplaza dependiendo de su profundidad.» C M C

21 Structure From Motion Basado en el efecto de paralaje: «La proyección de un punto en la segunda imagen se desplaza dependiendo de su profundidad.» C M La línea que une las dos proyecciones se llama Línea Epipolar C

22 Structure From Motion C m M m C

23 Structure From Motion C m l M e e m C l

24 Structure From Motion Por definición se cumple: m P M e P C Back-projection: M P m C

25 Structure From Motion Por definición se cumple: m P M e P C Back-projection: M P m m e P P m l e P P m 0 m T F

26 Structure From Motion Por definición se cumple: m P M e P C Back-projection: M P m m e P P m l e P P m 0 m T F m m T Matriz Fundamental (3x3 rango ) 0 F

27 Structure From Motion Para cada par de proyecciones (m, m ) se cumple: T m Fm 0 (M. Pollefeys, 00)

28 Structure From Motion Para cada par de proyecciones (m, m ) se cumple: f x y f f f y 0 f 3 f f 3 f f x (M. Pollefeys, 00)

29 Structure From Motion Para cada par de proyecciones (m, m ) se cumple: xx yx x xy yy y x y f 0 f f f f f f f f (M. Pollefeys, 00)

30 Structure From Motion f f f f f f f f f y x y y y y x x x y x x y x y y y y x x x y x x y x y y y y x x x y x x n n n n n n n n n n n n ~0000 ~0000 ~0000 ~0000 ~00 ~00 ~00 ~00 Diferencia significativa en el orden de magnitud de las columnas Solución por mínimos cuadrados falla Hace falta normalizar (Hartley PAMI 97) Con un mínimo de 8 pares de puntos se puede construir un sistema lineal respecto a F Eight point algorithm (Longuet-Higgins, 98) (M. Pollefeys, 00)

31 Structure From Motion Normalmente se tiene más de 8 pares de puntos: sistema sobredeterminado Paso : Calcular el conjunto de pares de puntos Paso : Repetir Paso.: Seleccionar conjunto mínimo (8 puntos) Paso.: Calcular matriz F Paso.3: Calcular número de inliers Hasta que #inliers>95% Paso 3: Calcular F usando todos los inliers RANSAC (Fischler, M. 98)

32 Structure From Motion En el caso de que la cámara esté calibrada se puede obtener las coordenadas normalizadas de las proyecciones: mˆ mˆ K K La matriz Esencial es el caso particular de la matriz Fundamental cuando se conoce la calibración de la cámara: m m T mˆ Emˆ 0 Tiene 5 GDL Depende únicamente de R y t:

33 Ejercicio - Matriz esencial Descomenta la parte de la función main correspondiente al ejercicio. El ejercicio tiene cuatro partes: Calcular puntos característicos en dos fotogramas separados por unos 0 frames Emparejarlos usando sus descriptores Calcular la matriz fundamental Calcular matriz esencial

34 Detección & matching Objetivo: Establecer pares de puntos entre fotogramas lo suficientemente separados Tareas: Usar la función detectarpuntoscaracteristicos del ejercicio anterior Implementar la función emparejardescriptores ENTRADA: descriptores de ambos fotogramas SALIDA: emparejamientos de puntos TIPs: ver clase DescriptorMatcher y algoritmo de fuerza bruta // instanciar matcher del tipo fuerza bruta Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("BruteForce"); matcher->match(d0, d, matches); // ejecutar el emparejamiento matcher->match(d0, d, matches); Alternativa: usar el cálculo de flujo óptico. Más rápido pero más líneas de código.

35 Matriz fundamental Objetivo: Calcular la matriz fundamental para obtener la reconstrucción inicial Tareas: Implementar la función calcularmatrizfundamental ENTRADA: puntos de las dos imágenes y sus emparejamientos SALIDA: matriz fundamental F, lista de inliers TIPs: ver función findfundamentalmat

36 Matriz fundamental // alinear parejas en dos vectores (requisito de findfundamentalmat) vector<pointf> points0, points; points0.resize( pares.size() ); points.resize( pares.size() ); for(size_t i=0; i<pares.size(); i++) { points0[i] = kp0[ pares[i].queryidx ].pt; points[i] = kp[ pares[i].trainidx ].pt; } // calcular la matriz Mat status; Mat F = findfundamentalmat(points0, points, CV_FM_RANSAC,.0, 0.99, status); // extraer inliers for(size_t i=0; i<points0.size(); i++) { if(status.at<unsigned char>(i) == 0) continue; } inliers0.push_back( points0[i] ); inliers.push_back( points[i] ); return F;

37 Matriz esencial Objetivo: Calcular la matriz esencial a partir de la matriz fundamental Tareas: Implementar la función matrizesencial ENTRADA: matriz de calibración y matriz fundamental SALIDA: matriz esencial F T m 0 E mˆ 0 m T mˆ TIPs: si y pues echa cuentas Mat E = K.t()*F*K; matcher->match(d0, d, matches); return E; Alternativa: calcularla con findfundamentalmat pero usando coordenadas normalizadas

38 Reconstrucción de estructura La posición 3D de los puntos característicos se calcula mediante triangulación lineal.

39 Ejercicio 3 Reconstrucción 3D Descomenta la parte de la función main correspondiente al ejercicio 3. El ejercicio tiene dos partes: Extraer la rotación y traslación de la matriz esencial Triangular los puntos 3D

40 Extraer matriz de rotación y traslación Objetivo: Calcular las matrices de cámara para los dos fotogramas que se usaron para el cálculo de la matriz fundamental. Tareas: Implementar la función extraercamaras ENTRADA: matriz de calibración y matriz esencial SALIDA: matrices de cámara para los dos fotogramas P0 K[ I 0] P K[ R t ] Siendo E Udiag(,,0 ) V T la descomposición SVD de la matriz esencial se cumple que: T P UWV u 3 siendo W

41 Triangular los puntos Objetivo: Calcular la reconstrucción 3D de la escena Tareas: Implementar la función reconstruccion3d ENTRADA: pares de puntos y matrices de cámara de los dos fotogramas SALIDA: estructura 3D de la escena TIPs: ver la función triangulatepoints Mat reconstruccion; triangulatepoints(p0, P, input0, input, reconstruccion); matcher->match(d0, d, matches); return reconstruccion;

42 Añadir Nuevas Vistas Cuando llega una nueva vista se calcula su pose usando emparejamientos D-3D que se pueden inferir a partir de los pares D-D. Partiendo de m [ R t ] M m PM 0 M m (M. Pollefeys, 00)

43 Ejercicio 4 Añadir nuevas vistas Descomenta la parte de la función procesarfotograma correspondiente al ejercicio 4. El ejercicio tiene dos partes: Modificar trackearpuntoscaracteristicos para hacer el emparejamiento D-3D Hacer el cálculo de la transformación

44 Emparejamientos D-3D Objetivo: Para cada punto D devuelto por el optical flow, determinar su correspondecia en la reconstricción 3D. Tareas: Modificar la función trackearpuntoscaracteristicos SALIDA: puntos 3D alineados con puntosnuevos vector<pointf> puntos; Mat estado, err; vector<point3f> matching3d; calcopticalflowpyrlk(fotogramaanterior, fotograma, puntosanteriores, puntos, estado, err); for(int i=0; i<estado.rows; i++) { if(estado.at<unsigned char>(i) == ) { puntosnuevos.push_back(puntos[i]); matching3d.push_back( _reconstruccion[i] ); } } matcher->match(d0, d, matches); _reconstruccion = matching3d;

45 Añadir nuevas vistas Objetivo: Calcular la rotación y traslación para cada fotograma Tareas: Implementar la función trackearcamara ENTRADA: emparejamientos D-3D SALIDA: matriz de transformación TIPs: ver las funciones solvepnpransac y Rodrigues Mat vecrotacion, traslacion; Mat transformacion(3, 4, CV_64FC); solvepnpransac(puntos3d, proyecciones, _intrinsecos, Mat(), vecrotacion, traslacion, false, 00,.0, 500); Rodrigues(vecRotacion, transformacion.colrange(0, 3) ); traslacion.copyto( transformacion.colrange(3, 4 ) ); matcher->match(d0, d, matches); return transformacion;

46 Ajuste de la Estructura Debido a errores es necesario ajustar la estructura y matrices de cámara. Función objetivo: Reconstrucción por geometría epipolar Bundle Adjustment

47 Resumiendo Inicializar estructura Inicializar cámaras con F Ajustar estructura (BA) Extender con nuevas vistas