Estimación de homografías

Transcripción

1 Estimación de homografías Visión en Robótica 1er cuatrimestre de Introducción del problema Una homografía es una transformación proyectiva que determina una correspondencia entre puntos El problema que se plantea resolver es el siguiente: dado un conjunto de puntos x i P n y su conjunto de puntos correspondientes x i Pn, calcular la transformación proyectiva que lleva x i a x i Es decir, calcular h : P n P n tal que h (x) = x = Hx El objetivo es estimar la matriz H 2 Algoritmo de transformación lineal directa (DLT) Este método sirve para estimar la matriz H antes mencionada Algoritmo 1 Dados un conjunto de n puntos de correspondencia (n 4), {x i x í }, determinar H (homografía) tal que x i = Hx i 1 Para cada correspondencia x i x i, calcular la matriz A i de dimensión 2 9 donde A i = ( 0 T w i xt i y i xt i w i xt i 0 T x i xt i ) x i = (x i, y i, w i ) y 0 T = (0, 0, 0) 2 Generar una matriz A, de dimensión 2n 9, con las matrices A i 3 Descomponer A según el SVD: A = UDV t, 1

2 4 Luego, la matriz H que estamos buscando es la siguiente: h 1 h 2 h 3 H = h 4 h 5 h 6 h 7 h 8 h 9 donde h es la última columna de V Notar que h es un vector de 9 elementos Ver la demostración correspondiente en el apéndice A 3 DLT con normalización de datos Se hace una traslación y un escalamiento de tal manera que el algoritmo queda invariante con respecto a la elección arbitraria de la escala y del origen de coordenadas Se elige una sistema de coordenadas canónico donde el algoritmo DLT es invariante a las transformaciones por similaridad Algoritmo 2 DLT con normalización de los datos Dado un conjunto {x i x i } de n puntos de correspondencia, calcular las transformaciones de similaridad H y H que consisten en una traslación y un escalamiento 1 Traslación de las coordenadas en cada imagen: para los datos x i y x i, se calculan el centroide x y x de cada conjunto de puntos correspondiente, según: x = 1 n x = 1 n 2 El centroide será el nuevo origen de coordenadas en cada caso Es decir, se genera un nuevo conjunto de puntos de correspondencia { x i x i } donde n i=1 n i=1 x i x i x i = s (x i x) y x i = s (x i x ) con s y s escalares que se obtienen como se describe a continuación 3 Calculamos la norma media de los x i y de los x i Hallamos un escalar s y s tal que al multiplicar cada uno por la norma media de los puntos trasladados, el resultado sea 2, es decir: Si d = 1 n n (x i x) i=1 2

3 queremos que s d = 2 entonces s = 2 d En forma análoga se define: s = 2 4 Finalmente, los dos conjuntos de puntos homólogos son: x i = d 2 2 d (x i x), x i = (x d i x ) con i = 1,, n Para aplicar dichas transformaciones se pueden plantear las H y H de similaridad correspondientes De esta forma, los nuevos puntos quedarían definidos según x i = Hx i (1) x i = H x i (2) Luego de aplicar estas transformaciones, se utiliza el algoritmo DLT sin alteraciones para los nuevos conjuntos de n puntos homólogos: { x i x i } Sin embaro, el resultado del algoritmo DLT será en realidad una transformacion Ḣ tal que: x i = Ḣ x i (3) mientras que lo que se buscaba en realidad es una transformación H tal que x i = Hx i (4) Asi que, para obtener H aplicaremos las definiciones (1) y (2) de x i y x i en la ecuación (3) obtieniendo: H x i = Ḣ Hx i y multiplicando a ambos lados por H 1 obtenemos que H 1 H }{{} x i = H 1 Ḣ Hx i I n n 3

4 por lo que, utilizando (4), queda que: que era lo que buscabamos H = H 1 Ḣ H 4 RANSAC Si nos restringimos a P 1, el problema de correspondencia sería el siguiente Supongamos que queremos hallar una transformación afín unidimensional, H a, entre un conjunto de puntos correspondientes {x i x i } que están sobre dos líneas ( ) ( ) ( ) x a b xi axi + b i = H a x i = =, entonces x i = ax i + b con x i R (5) El objetivo entonces es hallar una recta que minimice la suma de las distancias ortogonales al cuadrado, d 2 i, sujeto a la condición de que no haya ningún punto que se desvíe de la recta buscada más allá de una cierta distancia umbral t, que dependerá del ruido de medición Entonces, dado un conjunto de puntos homólogos debemos 1 estimar una recta de ajuste, y 2 clasificar los puntos como inliers y outliers (según t) Se propone un estimador robusto para elegir los puntos homólogos, denominado RANSAC (por RANdom SAmple Consensus), que puede usarse cuando la proporción de outliers es muy grande 41 Idea general del algoritmo (en P 1 ) 1 Se seleccionan aleatoriamente 2 puntos, con los que se calcula una recta r que pasa por ellos Esta recta es el modelo de ajuste de los puntos (ecuación (5)) 2 Se calcula el soporte de r, definido este como el conjunto de puntos que se encuentran a una cierta distancia del modelo En esta caso, esa distancia será la distancia ortogonal de los puntos a la recta 3 Se repite esta selección aleatoria (pasos 1 y 2) un número N de veces 4 La recta de ajuste con mayor soporte es la recta (o modelo) de ajuste elegida Los puntos que caen dentro del soporte serán los inliers del modelo y definen el conjunto de consenso S (fig 1) 4

5 c b a d Figura 1: Dos conjuntos de consenso (demarcadas mediante líneas punteadas) con diferentes soportes El conjunto de consenso asociado a la recta que pasa por los puntos a,b tiene soporte igual a Algoritmo general (en P 2 ) Retornando ahora a P 2, volvemos ahora a la formulación original del problema de correspondencia, planteado al principio de este apunte En este caso, el modelo ya no será una recta sino una homografía planar Como se mencionó previamente, el algoritmo tiene una forma iterativa, con un umbral N en la cantidad de iteraciones Sin embargo, como se verá a continuación, N será estimado en forma adaptativa, en base a la proporción de outliers obtenidos hasta el momento (inicialmente, en base a un ɛ dado) Algoritmo 3 RANSAC 1 Definir un ɛ [0, 1] que representa la proporción estimada de outliers asociados al modelo 2 Elegir s pares de correspondencias de puntos no-colineales y estimar la homografía entre dichos pares (por ejemplo, utilizando DLT) En P 2, alcanza con s = 4 para fijar los grados de libertad necesarios de H 3 Para cada par de puntos, calcular la distancia entre estos y los puntos transformados con H Si bien en P 1 esto se hacía directamente con la distancia ortogonal, en P 2 la medida de distancia debe ser redefinida Por ello, se define d 2 i de la siguiente forma: d 2 i = d(x i, H 1 x i ) 2 + d(x i, Hx i ) 2 donde d(, ) corresponde a la distancia euclídea 5

6 4 Clasificar todos los pares de puntos x i x i como outliers o inliers en base a un umbral t, definiendo así el conjunto de consenso S para la iteración actual, que contendrá a los inliers Es decir: S = { x i x i / d 2 i < t 2} El umbral t está definido de antemano y se encuentra tabulado Para el caso de P 2, t 2 = 5,99σ 2 (donde se puede tomar σ = 1) 5 Repetir el proceso N veces, quedándonos siempre con la H que maximiza la cantidad de inliers (es decir, que maximiza el cardinal del conjunto de consenso S asociado a la H actual) Cada vez que se obtenga un H mejor a la anterior, se debe reestimar ɛ y N, según: ɛ 1 #S n log(1 p) N log(1 (1 ɛ) s ) donde p se define de antemano y corresponde a la probabilidad de que al menos una selección de puntos esté libre de outliers En general se toma p = 0,99 6 Una vez terminado el ciclo, solo se debe re-estimar la H encontrada (nuevamente, puede utilizarse DLT), esta vez usando los puntos pertenecientes al mejor conjunto de consenso S encontrado 6

7 A Descomposición en valores singulares (SVD) Sean A una matriz de dimensión m n, con m n Entonces se puede descomponer de la forma: A = UDV t donde U es matriz ortogonal de dimensión m n, D es una matriz diagonal de n n y V es una matriz ortogonal de n n Como U tiene columnas ortogonales, entonces U t U = I n n Además U preserva la norma, es decir, se cumple que pues, Ux = Ux = x x (Ux) t (Ux) = x t U t Ux = x t Ix = x Los valores singulares de la matriz A son los valores de la diagonal D (son no negativos), que son las raíces cuadradas de los valores propios (también llamados autovalores) de la matriz A t A Para ver esto observemos que si: entonces: A = UDV t pues, como entonces A t A = ( UDV t) t ( UDV t ) = V DU t U }{{} I n n DV t = V D 2 V t = V D 2 V 1 Luego se tiene que: V t V = I n n V 1 = V t A t A = V D 2 V 1 Ahora, si llamamos H = A t A, y multiplicamos a izquierda de ambos miembros por V, tenemos que: HV = V D 2 Llamando v i = v 1i v 2i v ni a cada columna de la matriz V, podemos escribir: Hv i = d 2 i v i, 7

8 es decir, (Hv 1 Hv 2 Hv n ) = v 11 v 12 v 1n v 22 v n1 v n2 v nn d d d 2 n = con d 2 1 d 2 2 d 2 n = ( d 2 1v 1,, d 2 nv n ) Estas ecuaciones definen los valores propios de A t A, que son los elementos de la diagonal D 2, y vienen dados por d 2 i con i = 1,, n Las columnas de V son los vectores propios (o autovectores) de A t A, luego los valores singulares de A son las raíces cuadradas de los valores propios de A t A Como A t A es una matriz simétrica y definida positiva entonces los valores propios son reales y positivos, y entonces los valores singulares también son reales y positivos Así escrito tenemos que la última columna de la matriz V corresponde al valor singular menor de la matriz A Proposición 1 Dada la matriz A de m n, tal que m n, hallar x, de dimensión n, tal que minimice Ax sujeto a la condición x = 1 La solución es la última columna de la matriz V, donde A = UDV t es la descomposición SVD de la matriz A Desmostración: Sea A de m n, podemos realizamos la descomposición SVD, entonces A = UDV t Luego queremos minimizar: Ax = UDV t x Se tiene que: UDV t x = DV t x pues U es ortogonal y preserva la norma, luego queremos minimizar DV t x bajo la condición V t x = 1, esto es cierto pues se cumple que: V t x = (V t x) t (V t x) = x = 1 Sea y = V t x, hay que minimizar Dy bajo la condición y = 1, donde la matriz diagonal D = d d d n es tal que d 1 d 2 d n, o sea, d d d n y 1 y 2 y n = d 1 y 1 d 2 y 2 d n y n 8

9 tal que Como Dy 2 = Dy, entonces y y2 n = 1 0 n d 2 i y2 i y = 0 es el vector que minimiza la norma 1 i=1 x = V y = v 11 v 12 v 1n v 22 v n1 v n2 v nn que es la última columna de la matriz V B RANSAC B = El algoritmo de RANSAC incluye los siguientes términos: v 1n v nn ɛ: proporción de outliers que se estima existien en el modelo (este parámetro luego se irá re-estimando en forma adaptativa) t: umbral de clasificación de puntos como inliers o outliers T : tamaño del conjunto de consenso, es decir T = #S N: número de iteraciones o muestras aleatorias para ensayar el modelo Parámetro t Si definimos α como la probabilidad de que un punto dado sea inlier, es decir: P (x es inlier) = α lo que se busca es encontrar un t tal que satisfaga esta ecuación Supongamos que los errores de medición, e, siguen una distribución normal con media 0 y varianza σ 2, es decir e N ( 0, σ 2), entonces se puede calcular t, a partir de e Con estas consideracioes, el cuadrado de la distancia ortogonal, d 2, es la suma de variables aleatorias gaussianas, y por lo tanto, d 2 χ 2 n donde χ 2 n es la distribución Chi-cuadrado con n grados de libertad, y n es la codimensión del modelo (en una homografía planar es n = 2) Para una línea la codimensión es 1 (sólo es considerada la distancia ortogonal a la línea) 9

10 Entonces, como: tomamos P ( χ 2 n k 2) = F n ( k 2 ) = k2 0 t 2 = F 1 n (α) σ 2 χ 2 n (ζ) dζ = α En resumen, consideramos que un par de puntos correspondientes se clasifica como: { inlier si d 2 < t 2 outlier si d 2 t2 En general se pide α = 0,95, o lo que es lo mismo P (x es inlier) = 0,95; es decir que la probabilidad de rechazar un punto que es inlier sea 0,05 En el caso de la estimación de una recta de ajuste la codimensión será n = 1, mientras que en el caso de la homografía la codimensión será n = 2 En el siguiente cuadro se muestran los valores del umbral t 2 para α = 0,95, para cada valor de n, dependiendo del error de medición σ B2 Parámetro T n modelo umbral t 2 1 recta, F 3,84σ 2 2 homografía, cámara 5,99σ 2 3 tensor 7,81σ 2 Para determinar un tamaño válido para el conjunto de consenso S, se puede pensar que debería ser similar al número de inliers que se cree hay inicialmente en los datos Entonces, si ɛ es la proporción de outliers y n es la cantidad total de datos, definimos T de la siguiente manera: B3 Parámetro N T = (1 ɛ)n Para asegurar, con probabilidad p, que al menos una muestra aleatoria de s puntos está libre de outliers, se debe obtener un N que sea la cantidad de muestras aleatorias a tomar, por lo ranto, la cantidad de iteraciones del algoritmo Vamos a obtener N de la siguiente forma: Definimos entonces α = P (el punto seleccionado es inlier), ɛ = 1 α = P (el punto seleccionado es outlier) α s = P (los s puntos sean inliers) 10

11 Recordemos que s es 2 en el caso de que el modelo sea una recta y 4 en el caso de una homografía planar Luego 1 α s = P (haya uno o más outliers entre los s puntos) Con en N selecciones se tiene: Si (1 α s ) N = P (en N selecciones de s puntos haya outliers en todas ellas) entonces p = P (en N selecciones de s puntos, al menos una no tenga outliers) 1 p = P (en N selecciones de s puntos, todas tengan outliers) entonces se tiene que: Tomando logaritmos: 1 p = (1 α s ) N log (1 p) = N log (1 α s ), luego N = log (1 p) log (1 α s ) = log (1 p) log (1 (1 ɛ) s ) En resumen, N es el número de selecciones que se require para asegurar, con probabilidad p, que al menos una muestra no tiene outliers para un dado tamaño de muestra s y una dada proporción de outliers ɛ B31 Determinación adaptativa del parámetro N Si asumimos ahora ɛ desconocido, para determinar N se puede proceder de la siguiente forma Algoritmo 4 Algoritmo adaptativo para determinar N 1 Iniciar ɛ = 0,5 y N = 2 Iniciar un contador de iteraciones (o muestras) i = 0 3 Repetir, mientras i < N: a) Tomar una muestra aleatoria y contar la cantidad outliers k b) Asignar ɛ = k N c) Calcular N usando p y ɛ, en base a la ecuación (6) d) Incrementar i (6) 11

12 B32 Función de costo robusta En vez de minimizar la función de costo C = i d2 i sobre los inliers otra posibilidad sería minimizar una función de costo robusta que incluya a todos los datos Esta función de costo viene dada por: D = i γ (d i ) donde { d 2 si d γ (d) = 2 < t 2 t 2 si d 2 t 2 12