A L G O R I T M O S D E M A P E A D O 3 D. 5.1 introducción

Transcripción

1 A L G O R I T M O S D E M A P E A D O 3 D introducción A continuación se presentan los diferentes algoritmos que componen cada una de las partes que se ocupan de la generación de mapas 3D. Típicamente, este proceso se divide en dos etapas: en la primera se genera un mapa 3D disperso de la escena, haciendo uso de la técnica conocida como Structure From Motion. En base a este mapa disperso, se utilizarán técnicas de correlación y procesado de nubes de puntos 3D para generar un mapa denso de la superficie. En el caso de mapas 3D dispersos, se ha realizado una implementación en C++ haciendo uso de funciones de la librería OpenCV y PCL, mientras que para el mapeado denso se introducirá el uso del paquete open-source MICMAC. 5.2 modelo de caja negra De forma resumida, el esquema de software o pipeline que conlleva la generación de mapas 3D puede verse como un modelo de caja negra donde obtenemos unas salidas a partir de unas entradas dadas. Aunque se profundizará más adelante en el interior de esa caja, en esta sección se realizará esa abstracción para estudiar cuales son las necesidades desde el punto de vista entrada-salida. Figura 15: Modelo de caja negra de la generación de mapas 3D En la figura 15 se presenta este tipo de modelos, los cuales son típicos de empresas que ofrecen servicios de mapeado 3D como por ejemplo, Pix4D. Aparte de las propias imágenes aéreas, se necesita información sobre el posicionamiento de la cámara en un sistema de coordenadas así como de los parámetros relativos al proceso de 29

2 30 algoritmos de mapeado 3d calibración. En las siguientes secciones se describen estos parámetros comúnmente conocidos como parámetros extrínsecos e intrínsecos respectivamente, además de describir el formato de las imágenes y los mapas 3D obtenidos Imágenes aéreas Desde el punto de vista de los algoritmos de reconstrucción 3D, las imágenes utilizadas para tal fin deben cumplir una serie de requisitos los cuales se muestran a continuación: Calidad de la imagen: Las imágenes que se usen deben estar bien enfocadas y con una iluminación acorde a la escena a reconstruir. Para ello, hay que configurar adecuadamente parámetros de la cámara relacionados con la exposición o la sensibilidad ISO. Solapamiento entre imágenes: Como ya se mencionó anteriormente, el principio de reconstrucción 3D se basa en el establecimiento de correspondencias entre las imágenes captadas. Para ello, habrá que diseñar un plan de vuelo acorde a un solapamiento previamente calculado. Contenido: Para poder establecer esas correspondencias, es necesario que la imagen sea rica en lo que a textura se refiere. Fenómenos atmosféricos como destellos o sombras provocarán unas imágenes que no serán aptas para la generación de mapas 3D. Por este mismo motivo, se debe evitar las zonas homogéneas como mares o grandes campos, en los cuales los algoritmos utilizados fallan. Resolución: A más resolución, más características podremos obtener de una imagen, lo que mejorará considerablemente la resolución espacial del resultado final, al disminuir la GSD. Las cámaras actuales ofrecen la posibilidad de captar imágenes con una resolución en torno a los 16 megapíxeles. En resumen, antes del proceso de adquisición de imágenes se necesita un estudio previo sobre el terreno a mapear, ya que los parámetros arriba expuestos dependen sensiblemente del diseño de un buen plan de adquisición. Para un estudio más profundo, se recomienda la lectura del capítulo 3: Diseño de un vuelo para mapeado 3D, donde se dan las pautas necesarias para cumplir con estos requisitos Parámetros extrínsecos Los parámetros extrínsecos (ver tabla 2) definen la transformación de la posición de la cámara a lo largo del tiempo en un sistema de re-

3 5.2 modelo de caja negra 31 ferencia global. Es necesario pues, realizar un tracking o seguimiento de la cámara para cada una de las imágenes tomadas. Parámetro extrínseco R x,r y,r z T x,t y,t z Descripción del parámetro Ángulos de rotación para la transformación del sistema de referencia global al de la cámara. Componentes de traslación para la transformación del sistema de referencia global de cada imagen. Tabla 2: Definición de parámetros extrínsecos Como se verá más adelante, esta información de posicionamiento tambien puede obtenerse mediante el establecimiento de puntos en común entre cada una de las imágenes. Sin embargo, es necesario información externa para deshacer la ambigüedad de proyección que existe utilizando este método. En el caso de integración de cámaras fotográficas en un UAV, se puede asignar a cada imagen un dato proveniente de los sensores inerciales (GPS/IMU) para representar el movimiento de la cámara en un sistema de coordenadas dado. A partir de estos datos, se crearán unas matrices de traslación y rotación que definan ese movimiento, de manera que la matriz de proyección P sea: P = [R t] (9) Matriz de traslación Puesto que una traslación es un caso particular de transformación afín pero no una transformación lineal, generalmente se usan coordenadas homogéneas para representar la traslación mediante una matriz y poder así expresarla como una transformación lineal sobre un espacio de dimensión superior. Así un vector tridimensional T = (T x, T y, T z ) puede ser reescrito usando cuatro coordenadas homogéneas de manera que : t = (T x,t y,t z,1) (10) Por último, debido a que el sistema de ecuaciones que resolveremos más adelante es lineal, se hará uso de un sistema de coordenadas cartesiano. Usualmente, los GPS que se encuentran a bordo de los UAV obtienen la posición en coordenadas WGS84, el cual utiliza un sistema de coordenadas esférico. Será necesario pues una transformación a otro tipo de sistemas cartesianos como por ejemplo UTM.

4

5 5.2 modelo de caja negra 33 En general, cualquier rotación puede expresarse como el producto de las matrices anteriores. Al tratarse de producto de matrices, no cumple la propiedad conmutativa por lo que es importante el orden de aplicación. Por ejemplo, si aplicamos los giros en el orden yaw, pitch y roll, obtenemos una matriz de rotación resultante: R n = R ψ R θ R φ (14) cosθcosψ cosθsenψ senθ R n = cosψsinθsenφ senψcosθ cosψcosφ + senθsenψsenφ cosθsenφ cosψsenθcosφ + senψsenφ senψsenθcosφ cosψsenφ cosθcosφ (15) Por tanto, para el calculo de la matriz de rotación habrá que tener en cuenta cual es el sistema de referencia y aplicar la transformación en el orden correcto. Como en el caso anterior, se asignará a cada imagen unos ángulos de Euler concretos los cuales serán proporcionados por los sensores inerciales a bordo del UAV Parámetros intrínsecos Los parámetros intrínsecos sirven para efectuar la transformación de un punto en 3D en el sistema de referencia de la cámara a un punto en 2D en el sistema de coordenadas de la imagen, y su descripción se muestra en la tabla 3 Parámetro intrínseco f x,f y s C x,c y Descripción del parámetro Distancia focal efectiva en el modelo de cámara estenopéica, que equivale a la distancia del origen de coordenadas de la cámara al plano de la imagen. Factor de skew Coordenadas (en píxeles) del centro de distorsión radial de la imagen. Tabla 3: Definición de parámetros intrínsecos Asociada a estos parámetros, se define la matriz K, tal que: f x s c x K = 0 f y c y (16) A continuación se realiza algunas generalizaciones con respecto a esta matriz:

6 34 algoritmos de mapeado 3d 1. El factor skew es cero. 2. Los píxeles son cuadrados f x = f y. 3. El punto principal (C x,c y ) es conocido y suele coincidir con el centro de la imagen. Existen parámetros intrínsecos no lineales como las distorsiones de lente que no son contempladas por este tipo de modelo de cámara. Sin embargo existen muchos algoritmos de calibración para calcular cada uno de estos parámetros, entre los más famosos se encuentra el algoritmo de Tsai [16] Mapas 3D Prosiguiendo con el modelo de caja negra, a continuación se detallan los principales outputs o salidas del sistema de generación de mapas 3D: Mapa 3D disperso: En una primera etapa, se reconstruye la estructura a partir del establecimiento de correspondencias entre imagenes. Debido a que los detectores de caracteristicas detectan un número pequeño de puntos en común, el mapa obtenido es un mapa disperso. La densidad del mapa suele rondar el millón de puntos 3D y el formato más usado es el.ply Mapa 3D denso: Posteriormente, se utiliza la estructura anterior como esqueleto para utilizar técnicas de correlación que permitan expandir regiones y densificar el mapa. Obtenemos así mapas con densidades en torno a los 5 o 6 millones de puntos y cuyo formato más común es el.obj Ortomosaico: Una vez tenemos el mapa 3D denso, se realiza una vista ortogonal del mismo para la creación de un ortomosaico geo-referenciado. Los formatos más comunes son el.tiff y el.geotiff debido a la posibilidad de incluir metadatos de geolocalización, para su posterior procesado en programas software GIS tales como arcgis o similares. Ficheros KML: Por último, se propone tambien la generación de los ficheros.kml necesarios para compatibilizar el mapa con los servicios ofrecidos por Google Earth, lo cual es muy útil para aplicaciones que usen esa plataforma. En la figura 17 se muestra la diferencia entre un mapa disperso y uno denso al aplicar los algoritmos de mapeado 3D sobre un dataset proporcionado por la empresa Elimco.

7

8 36 algoritmos de mapeado 3d Figura 18: Esquema general de generación de mapas dispersos (Structure from Motion). una imagen para resolver cierto problema. Estos rasgos o features en la imagen pueden tratarse de puntos aislados, curvas o regiones conectadas. La detección de características puede verse como una operación de bajo nivel, ya que se examina cada píxel en busca de un determinado patrón. Normalmente este bloque suele ser el primero en una cadena de procesado mayor, por lo que la bondad del algoritmo completo suele depender en parte de estos detectores. Debido a que muchos algoritmos de visión artificial empiezan con una extracción de características, existen varios operadores como Canny, Sobel o el detector de esquinas de Harris. Sin embargo, para la generación de un modelo 3D disperso, se necesita la mayor cantidad de características posible además de que el detector sea capaz de identificar características ante cambios de escala y rotación, pues se procesarán imágenes desde diferentes ángulos. Con el objetivo de elegir el mejor descriptor de características, se presenta a continuación el trabajo recogido en [15], en el que se somete una imagen a diferentes transformaciones para comparar la eficiencia de varios extractores de características Test de rotación En este test se ha rotado la imagen original 360º con respecto a su centro con el objetivo de ver la dependencia de la extracción de características con la rotación. Como se puede observar, todos los descriptores escogidos son invariantes a rotación excepto BRIEF, por lo que se obtienen buenos resultados en general.

9 5.3 mapas 3d dispersos 37 Figura 19: Prueba de rotación para extractores de características Test de escalado Figura 20: Prueba de escalado para extractores de características. Para la realización de este test, se ha escalado la imagen original desde 0.25X hasta 2X con el propósito de ver como actúan los descriptores de características ante cambios de escala. El resultado muestra como SIFT y SURF poseen una mejor estabilidad debidos a que son más costosos computacionalmente hablando.

10 38 algoritmos de mapeado 3d Figura 21: Prueba de rendimiento para extractores de características Test de rendimiento La figura 21 muestra el tiempo de extracción para N características, el cual crece de manera lineal teniendo en cuenta la escala logarítmica del eje y Elección del extractor de características En conclusión, para obtener un modelo 3D disperso necesitamos establecer el mayor número de correspondencias posibles así como confiar en que estas correspondencias sean invariantes a escalado y rotación. En nuestro caso, el tiempo de computación no es un factor limitante por tanto, la mejor opción disponible actualmente se basa en el uso de descriptores SIFT o SURF. Para finalizar, en la figura 22 se ha realizado una prueba de extracción de características utilizando los descriptores SIFT disponibles en OpenCV, donde se puede apreciar la dependencia del contenido de la imagen con el número de características detectadas Establecimiento de correspondencias Una vez se han extraído las diferentes características, debemos realizar un seguimiento de esos puntos en el resto de imágenes captadas. Por tanto, hay que ordenar el set de imágenes para ver cuales poseen zonas de solape. La opción más fácil sería comparar todas con todas en busca de puntos en común, lo cual es extremadamente ineficiente en datasets de centenares de imágenes de alta resolución. En vistas a realizar una comparación más eficiente, se proponen dos alternativas:

11

12 40 algoritmos de mapeado 3d Figura 23: Resultado del proceso de matching entre dos imágenes aéreas consecutivas. Si la distancia del mejor candidato es pequeña y la del segundo es muy grande, se acepta con seguridad la elección del primero, pues es claramente la mejor opción. Recíprocamente, si la distancia de ambos candidatos son del mismo orden de magnitud, existe la posibilidad de cometer un error si elegimos uno u otro, por lo que se eliminarían esos puntos Filtro de simetría Si tenemos dos imágenes, todo el proceso de establecimiento de correspondencias se realiza en ambos sentidos con el objetivo de poder establecer una similitud entre ambos sets de emparejamientos. Una vez se ha eliminado outliers mediante el test de distancia, se aplica este filtro con el objetivo de eliminar aquellos puntos que no cumplan con una determinada regla de simetría. Esta regla consiste en comprobar si la correspondencia es la mejor en ambas direcciones, es decir, se calcula los mejores candidatos en ambas direcciones y, en caso de no coincidencia, se eliminan, al ser considerados falsas detecciones Filtro basado en la geometría Epipolar Como última etapa se propone un filtrado mediante el uso de las restricciones propuestas por la geometría epipolar. Después del filtrado anterior, se deben haber eliminado la mayoría de outliers, por lo que después de esta última etapa, la mayoría de los puntos emparejados serán correctos. De acuerdo con [18], consideremos dos imágenes consecutivas captadas por una cámara, tal y como se muestra en la siguiente figura: Con el objetivo de encontrar la imagen x de un punto 3D X, se puede trazar la linea que une este punto 3D con el centro de proyección

13

14

15 5.3 mapas 3d dispersos 43 común anteriormente calculados y filtrados. Se pretende estimar un punto 3D que cumpla con esas proyecciones, por tanto: x = P X x = PX (19) Estas ecuaciones pueden combinarse de la forma AX=0, la cual es una ecuación lineal en X. Como se desarrolla en [20], A es de la forma: xp 3T p 1T A = xp 3T p 2T xp 3T p 1T xp 3T p 2T (20) donde p it son las filas de P. Se tienen 4 ecuaciones con 4 incógnitas homogéneas. Esto es un sistemas de ecuaciones redundante, ya que la solución está determinada para un cierto factor de escala. Desde [21] se propone la implementación de una solución iterativa que permite resolver este sistema de ecuaciones, con el objetivo de reconstruir los puntos 3D proyectados. Por último hay que especificar que los resultados obtenidos siempre tendrán un cierto grado de error, debido a que a lo largo del proceso hay muchos puntos en los que se va perdiendo precisión y acumulando grados de error. Por ejemplo, estamos situando la proyección de X en el plano de imagen exactamente en un píxel, cuando puede darse en el espacio sub-píxel, o podemos tener errores de correspondencia que generen modelos no válidos e introduzcan error en la estimación. Una medida geométrica denominada error de reproyección cuantifica este error, al medir la distancia entre el punto original x i y la proyección del punto 3D obtenido x R i = P i X de tal manera que: error rep = x i x R (21) i Bundle Adjustment Sean n puntos 3D vistos desde M vistas diferentes,x R ij la re-proyección del punto i en la imagen j y x ij el punto original. Sea v ij una variable binaria igual a 1 si el punto i es visible en la imagen j y 0 en caso contrario. Se define bundle adjustment como el proceso que minimiza el error de reproyección total de tal manera que: min a j,b i n i=1 j=1 m xij v ij x R (22) ij

16 44 algoritmos de mapeado 3d Para conseguir reducir el error de reproyección se utiliza un algoritmo de minimización no lineal robusto que modifica los valores estimados de los parámetros conjuntamente, o dicho de otra forma, intenta ajustar el grupo (bundle) de rayos que unen las proyecciones y los puntos físicos de tal forma que el error de reproyección sea el menor posible. Este método fue creado en el campo de la fotogrametría durante la década de 1950 y ha incrementado su uso en los últimos años gracias a los avances en visión artificial. Al tratarse de un problema de optimización sobre una función no lineal, bundle adjustment hace uso de algoritmos de mínimos cuadrados. El más conocido, Levenberg-Marquardt (LM) ha probado ser uno de las mejores opciones debido a su fácil implementación y rápida convergencia.para poder empezar con la optimización, LM necesita un punto de partida, un conjunto de valores para los parámetros y las mediciones de error para dichos parámetros. A cada iteración de LM se calcula un nuevo conjunto de parámetros que reduce el error, hasta llegar a la solución óptima, y la modificación que se produce entre una iteración y la siguiente es aquella que minimiza el error en un cierto grado. En cuanto a su implementación, existen herramientas open source como sba [22] el cual implementa en el lenguaje de programación C++ una versión dispersa del algoritmo LM especialmente adaptado a reconstrucción 3D. En la figura 27 se ha representado de manera gráfica el error de reproyección con el objetivo de ver el efecto de bundle adjustment. En 27a el error de reproyección era de unos 400 píxeles de media mientras que en 31b el error disminuye hasta 0,3 píxeles. Cabe aclarar que el error de reproyección es una medida geométrica, por lo que no corresponde con medidas de error absolutas. 5.4 mapas 3d densos Hasta ahora, el procedimiento seguido para la reconstrucción de un punto 3D aislado ha sido localizar ese punto en las imágenes de las que disponemos y mediante técnicas de triangulación y optimización, calcular su coordenada 3D. Como ya se mencionó anteriormente, la media de puntos emparejados entre dos imágenes suele rondar los píxeles en imágenes cuya resolución ronda los 14 millones de píxeles. El rendimiento de detección es muy bajo y, por consiguiente, el mapa 3D obtenido es disperso. Por tanto, el objetivo de esta etapa consiste en expandir esas regiones de correspondencia haciendo uso de técnicas de correlación. Para ello, se explicará la implementación sugerida por el IGN francés a través de su librería open-source MICMAC

17

18 46 algoritmos de mapeado 3d (a) Imagen escalada 2 k k=1. (b) Imagen escalada 2 k k=3. (c) Imagen escalada 2 k k=5. (d) Imagen escalada 2 k k=7. Figura 28: Ejemplo de aproximación multi-resolución Función de energía El principal objetivo del establecimiento de correspondencias es calcular una función F z con la restricción de que las imágenes que se apliquen sean similares (de hecho serán las utilizadas en la aproximación piramidal). Sea: Corr(x,y,F z (x,y))) 0 un criterio para medir la similitud entre las diferentes imágenes. Cuando Corr=0 las imágenes son perfectamente idénticas. (F z ) el gradiente de F z. (F z ) reg la norma del gradiente que es usada como un parámetro de regulación (penaliza la variación de F z ). Se define la función de energía a minimizar como: ε(f z ) Corr(x,y,F z (x,y)+ (F z ) reg (23)

19 5.4 mapas 3d densos 47 Para minimizar esta función varios son los algoritmos propuestos por MICMAC. El primero de ellos trata de buscar el mínimo absoluto, lo cual es muy ineficiente computacionalmente hablando en problemas de dos dimensiones. Al contrario, el segundo algoritmo se basa en el cálculo un pseudo-óptimo a través de programación dinámica. Este último método tiene la ventaja de ser mucho más rápido que el anterior, además de que puede ser generalizable para problemas de dos dimensiones Coeficiente de correlación Como criterio para establecer correspondencias, MICMAC hace uso del coeficiente de correlación ZNCC (Zero-mean Normalized Cross Correlation). Este criterio se adapta bien a la generación de mapas, debido a que entre las imágenes existe variación de intensidad y contraste. La correlación en el punto x = (x,y) T en un entorno de vecindad = ( x, y) T se define: Corr x ( ) = (I(x+i) Ī(x))(I (x+ +i) Ī (x+ )) ( i (I(x+i) Ī(x))2 i (I (x+ +i) Ī (x+ ) 2 ) 1 2 (24) donde Ī y Ī hace referencia al valor medio de la intensidad de la ventana elegida y centrada en x. Por último, la figura 29 muestra los mapas de correlación haciendo uso de la aproximación multi-resolución mencionada anteriormente Procesado de la nube de puntos Una vez tenemos el mapa 3D densificado, es necesario aplicar un post-procesado a la nube de puntos obtenida con el objetivo de texturizar y dar continuidad al mapa. El principal problema de las técnicas de correlación es que no solucionan el problema de las occluded zones o zonas oscuras. Este problema está presente debido a la presencia de zonas homogéneas en la imagen las cuales poseen un coeficiente de correlación ZNCC bajo. En vistas a obtener un modelo continuo, se propone a continuación el uso de técnicas de interpolación 3D que permitirá la obtención de un modelo triangular del mapa 3D Triangulación de Delaunay La triangulación de Delaunay consiste en la creación de una red de triángulos a partir de un set de puntos aislados los cuales cumplen la condición de Delaunay.

20 48 algoritmos de mapeado 3d (a) Mapa de correlación escalado 2 k k=1. (b) Mapa de correlación escalado 2 k k=3. (c) Mapa de correlación escalado 2 k k=5. (d) Mapa de correlación escalado 2 k k=7. Figura 29: Comparativa de diferentes sistemas de captación de imágenes. Según la definición de Delaunay la circunferencia circunscrita es vacía, si no contiene otros vértices aparte de los tres que la definen. La condición de Delaunay dice que una red de triángulos es una triangulación de Delaunay si todas las circunferencias circunscritas de todos los triángulos de la red son vacías. Esa es la definición original para espacios bidimensionales. Sin embargo, es posible ampliarla para espacios tridimensionales usando la esfera circunscrita en vez de la circunferencia circunscrita. En la figura 46 se puede observar un ejemplo de triangulación de Delaunay Reconstrucción de superficies de Poisson El algoritmo de reconstrucción de superficies de Poisson es una aproximación que permite el cálculo de superficies como una solución a

21 5.4 mapas 3d densos 49 (a) Puntos iniciales. (b) Creación del modelo triangular (c) Aplicación de la condición de Delaunay Figura 30: Triangulación de Delaunay. una ecuación de Poisson. De acuerdo con [23] primero se calcula el indicador de función de la figura, definido como: χ M (p) = { 1 ifp M 0 ifp / M (25) Además se sabe que existe una relación entre los puntos muestreados de una superficie y el indicador de función del modelo. Más específicamente, el gradiente del indicador de función es un campo vectorial que es cero en casi todo el modelo excepto en los puntos cercanos a la superficie, donde es igual a la normal en ese punto. Entonces, el problema se resume en encontrar una función escalar χ cuyo gradiente mejor se aproxime al campo vectorial V tal que: min χ χ V (26) Aplicando el operador de divergencia, este problema se transforma en un problema de Poisson: ( χ) = V 2 χ = V (27) Existen varias implementaciones de estos algoritmos aunque la que se ha hecho uso para este proyecto es la implementación en la librería de tratamiento de nubes de puntos PCL [6]. La figura 31muestra el modelo triangular haciendo uso de la implementación del algoritmo de Poisson. Se ha realizado la triangulación sobre el modelo disperso con vistas a observar mejor la interpolación realizada.

22 50 algoritmos de mapeado 3d (a) Reconstrucción de superficies de Poisson sobre modelo 3D disperso (b) Visualización octree del mapa 3D. Figura 31: Ejemplo de técnicas de reconstrucción de superficies