Detección de Esquinas y Vértices

Detección de Esquinas Vértices Departamento de Automática, Ingeniería Electrónica e Inormática Industrial Universidad Politécnica de Madrid Detección de Esquinas Vértices José María Sebastián http://www.disam.upm.es/vision 1

Detección de Esquinas Vértices p Introducción p Deiniciones p Curvatura de una supericie p Laplaciana segunda derivada en la dirección del gradiente p Métodos basados en la curvatura p Métodos basados en el gradiente p Métodos basados en los puntos de interés p Métodos con modelo predeinido p Métodos basados en el Scale-Space p Métodos que emplean imágenes binarias p Conclusiones http://www.disam.upm.es/vision

Detección de Esquinas Vértices Introducción p Detección de características ( eatures ) p Bordes p Esquinas p Vértices p Tipos de esquinas presentes en la imagen p Geométricas p Teturadas p Proección de un vértice http://www.disam.upm.es/vision 3

Detección de Esquinas Vértices Introducción p Características de cualquier detector de esquinas vértices p Todas las esquinas vértices se deben de detectar p No se deben de detectar alsas esquinas o vértices p Debe de ser robusto rente al ruido p La localización debe de ser precisa p La detección debe de ser eiciente p Los algoritmos presentan ecesivas dependencias de las características de las imágenes http://www.disam.upm.es/vision 4

Detección de Esquinas Vértices Introducción p Imágenes de partida p Binivel (etiquetadas como borde) p Multinivel p Características a detectar p Sólo esquinas p Sólo vértices p Indistintamente vértices esquinas p Deinición de las esquinas p Con modelo (ángulo, amplitud, suavizado) p Sin modelo http://www.disam.upm.es/vision 5

Detección de Esquinas Vértices Introducción p Enoques distintos en la detección de esquinas vértices p Se pretende detectar si eisten p Ha que localizarlos con precisión (subpiel) p Los detectores de esquinas vértices son más sensibles al diuminado de la imagen que los de bordes p Especialmente en la localización con precisión p Motivos del diuminado p Desenoque, deiciente iluminación p Función de etensión puntual (PSF), deiciencias de los sensores,... p Tratamiento de suavizado: reducción de ruido,... http://www.disam.upm.es/vision 6

Detección de Esquinas Vértices Introducción p Formas de evaluar la precisión en la detección p Mediante estudios estadísticos: no tiene en cuenta los errores sistematicos p Formas alternativas p Mediante posicionado eigente p Con puntos alineados p Invariante ante la transormación de perspectiva p Modelo de cámara sin distorsión p Comparación entre puntos 3D D p Cumplimiento de la geometría epipolar p Razón doble ( cross-ratio ) de cuatro puntos alineados p Invariante ante la transormación de perspectiva p Modelo de cámara sin distorsión http://www.disam.upm.es/vision 7

Detección de Esquinas Vértices Introducción páreas de interés de la detección de esquinas vértices p Aplicaciones D: p Medida p Reconocimiento p Aplicaciones 3D: p Calibración Euclídea Proectiva p Correspondencia p Reconstrucción 3D p Flujo Óptico p Reconocimiento http://www.disam.upm.es/vision 8

Detección de Esquinas Vértices Introducción p Muchos detectores de bordes se basan en operadores derivadas p Formas de detección: p Umbralización de la primera derivada p Centro de gravedad de la primera derivada p Máimo de la primera derivada p Paso por cero de la segunda derivada Intensidad Primera derivada Segunda derivada Píel Píel Píel Imagen lineal http://www.disam.upm.es/vision 9

Detección de Esquinas Vértices Introducción p Robustez ante el ruido p Mejor comportamiento de los operadores basados en la primera derivada p Imágenes bidimensionales p Particularidades que se analizarán en la presentación Intensidad Primera derivada Segunda derivada Píel Píel Píel Imagen lineal http://www.disam.upm.es/vision 10

Detección de Esquinas Vértices Introducción Imagen en niveles de gris Supericie 3D de la imagen, girado el punto de vista Posición del borde http://www.disam.upm.es/vision 11

Detección de Esquinas Vértices p Introducción p Deiniciones p Curvatura de una supericie p Laplaciana segunda derivada en la dirección del gradiente p Métodos basados en la curvatura p Métodos basados en el gradiente p Métodos basados en los puntos de interés p Métodos con modelo predeinido p Métodos basados en el Scale-Space p Métodos que emplean imágenes binarias p Conclusiones http://www.disam.upm.es/vision 1

Detección de Esquinas Vértices Deiniciones Supericie asociada a una imagen (, ) S(, ) i + j + (, ) Plano tangente (, ) S S i + (, ) S S j + - G(,) S(,) i g(,) j http://www.disam.upm.es/vision 13

Detección de Esquinas Vértices Deiniciones Supericie asociada a una imagen (, ) S(, ) i + j + (, ) Normal al plano tangente en el punto (,) G (, ) [ 1] T S i + S j - G(,) S(,) i g(,) j http://www.disam.upm.es/vision 14

Detección de Esquinas Vértices Deiniciones Supericie asociada a una imagen (, ) S(, ) i + j + (, ) Gradiente de la imagen: proección sobre X-Y g (, ) i + [ ] T j - G(,) S(,) i g(,) j http://www.disam.upm.es/vision 15

Detección de Esquinas Vértices Deiniciones p Primera derivada en una dirección D T T θ uθ g uθ u1θ + uθ p Primera derivada en la dirección del gradiente g T T θ D g g g + p Segunda derivada en una dirección θ D θ u θ T H u θ con H http://www.disam.upm.es/vision 16

Detección de Esquinas Vértices Deiniciones p Segunda derivada en la dirección del gradiente D g g T H g [ ] + http://www.disam.upm.es/vision 17 p Segunda derivada en la dirección perpendicular al gradiente g [ ] T [ ] + D g + T g H g

Detección de Esquinas Vértices Deiniciones p La suma de ambas segundas derivadas es: D + g + Dg + p Laplaciana de una unción: p Se cumple: + + ( )( ) + + + + D g + + D + g http://www.disam.upm.es/vision 18

Detección de Esquinas Vértices Curvatura de una Supericie Supericie asociada a una imagen Plano tangente S i + S j + La distancia ininitesimal ds ds entre dos puntos (,) (+d,+d) de la supericie medida en el plano tangente en dicho punto es: ds T ds E S S ; D E F [ d d] S S F S F d D d S j (, ) i + j + ( ) S, - G(,) g(,) S(,) i http://www.disam.upm.es/vision 0

Detección de Esquinas Vértices Curvatura de una Supericie Plano tangente S i + S j + La distancia ininitesimal ds T ds [ d d] E S S ; F S S ; D S S E F F d D d Primera Fórmula Fundamental de la supericie S(,) φ Para la imagen 1 E d + F dd + D d E S S 1+ D S S ; F 1+ S S φ ( ) ( ) 1+ d + dd + d 1 1+ http://www.disam.upm.es/vision 1

Detección de Esquinas Vértices Curvatura de una Supericie Inormación de la curvatura: la componente en la aproimación de segundo orden (un plano perpendicular al plano tangente) Cada plano origina una curva, con una determinada curvatura Se genera un haz de plano, con ininitas curvaturas - S(,) G(,) Plano tangente i j http://www.disam.upm.es/vision

Detección de Esquinas Vértices Curvatura de una Supericie Inormación de la curvatura: la componente en la aproimación de segundo orden (un plano perpendicular al plano tangente) ds T dgˆ L Gˆ S Para la imagen L M ; M M d N d Gˆ S [ d d] Gˆ G G i ; 1+ + con N j + G ˆ Gˆ S S ; S ; S G G L ; M 1+ + 1+ + 1+ + http://www.disam.upm.es/vision 3 ; N

Detección de Esquinas Vértices Curvatura de una Supericie Inormación de la curvatura: la componente en la aproimación de segundo orden (un plano perpendicular al plano tangente) ds T dgˆ L M M d N d [ d d] Segunda Fórmula Fundamental de la supericie S(,) φ L d + M dd + N d Cada plano perpendicular al plano tangente tiene asociada una curva (intersección con la supericie) con una curvatura L d E d + M dd + + F dd + N d D d Depende pues de ( d, d) http://www.disam.upm.es/vision 4

Detección de Esquinas Vértices Curvatura de una Supericie Imagen inicial Supericie 3D de la imagen, girado el punto de vista Imagen iltrada http://www.disam.upm.es/vision 5

Detección de Esquinas Vértices Curvatura de una Supericie Los valores máimos mínimos cumplirán Se obtiene H L d E d ( d) ( d) + K + M dd + N d + F dd + D d 0 ; LN M K es la Curvatura Gaussiana K ED F H es la Curvaturas Principales Curvatura Media H EN min H H K ; 0 + DL FM 0 ma ( ED F ) ma H + ma + H min min K http://www.disam.upm.es/vision 6

Detección de Esquinas Vértices Curvatura de una Supericie L d E d K es la Curvatura Gaussiana K H es la Curvaturas Principales Direcciones Principales Curvatura Media H ma + min H H K ; min + M dd + N d + F dd + D d ma ma min ( L + E ) d + ( M + F ) d 0 ( M + F ) d + ( N + D ) d 0 H + H K http://www.disam.upm.es/vision 7

Detección de Esquinas Vértices Curvatura de una Supericie Para la supericie Imagen H K Si Si Si ma ma ma ma ma min min min + min min ( ) ( ) 1+ + 1+ ( ) 3 1+ + LN M ED F ( ) + + 1 > 0 El piel es un punto elíptico < 0 El piel es un punto hiperbólico 0 El piel es un punto parabólico http://www.disam.upm.es/vision 8

Detección de Esquinas Vértices Curvatura de una Supericie Punto Elíptico Punto Parabólico Punto Hiperbólico http://www.disam.upm.es/vision 33

Detección de Esquinas Vértices Laplaciana segunda derivada en la dirección del gradiente + D g + + p Laplaciana p Los bordes se detectan en el paso por cero p Es isotrópico lineal p No deine ninguna dirección sobre la imagen p Segunda derivada en la dirección del gradiente p Los bordes se detectan en el paso por cero, que equivale al máimo local del gradiente en la dirección del gradiente (SNM) p Deine una dirección sobre la imagen http://www.disam.upm.es/vision 35

Detección de Esquinas Vértices Laplaciana segunda derivada en la dirección del gradiente + D g + + Curvatura Media Se obtiene : H ( ) ( ) 1+ + 1+ ( ) 3 1+ + ( ) ( ) 1+ + 3 H 1+ + D Si la curvatura media es pequeña, los ceros de ambas unciones coinciden g http://www.disam.upm.es/vision 36

Detección de Esquinas Vértices Laplaciana segunda derivada en la dirección del gradiente http://www.disam.upm.es/vision 37

Detección de Esquinas Vértices Laplaciana segunda derivada en la dirección del gradiente p Los puntos del borde (salvo las esquinas) tienen una curvatura media mu pequeña, por lo que los ceros de ambas unciones casi coinciden p La segunda derivada en la dirección del gradiente deine una dirección por lo que acilita su detección con precisión subpiel http://www.disam.upm.es/vision 38

Detección de Esquinas Vértices Laplaciana segunda derivada en la dirección del gradiente p Comportamiento en las esquinas Laplaciana Segunda derivada p La laplaciana se anula en la esquina p En la dirección del gradiente, la distancia depende del ángulo del diuminado http://www.disam.upm.es/vision 39

Detección de Esquinas Vértices Métodos basados en la curvatura pbeaudet (1978) p Propone un operador (invariante ante rotación) denominado DET - p La detección de esquinas se realiza por umbralización de los valores etremos de éste operador p Se corresponde con el determinante de la matriz Hessiana p Está relacionado con la Curvatura Gaussiana K ma min ( ) + + 1 http://www.disam.upm.es/vision 41

Detección de Esquinas Vértices Métodos basados en la curvatura Puntos etremos de DET Posición real de la esquina http://www.disam.upm.es/vision 4

Detección de Esquinas Vértices Métodos basados en la curvatura K p Dreschler Nagel (198) ma min p Calcula la Curvatura Gaussiana ( ) + + 1 p Selecciona los etremos de la Curvatura p Corresponde puntos Elíptico e Hiperbólico cercanos. Las direcciones deben de ser de distinto signo deben de estar alineadas p Selecciona el punto intermedio que posee curvatura nula http://www.disam.upm.es/vision 43

Detección de Esquinas Vértices Métodos basados en la curvatura p Dreschler Nagel (198). p Inconvenientes: p La distribución de los puntos elíptico, hiperbólico parabólico depende del ángulo de la esquina del diuminado p Al menos está en la bisectriz del ángulo http://www.disam.upm.es/vision 44

Detección de Esquinas Vértices Métodos basados en la curvatura p Dreschler Nagel (198). p Inconvenientes: p La distribución de los puntos elíptico, hiperbólico parabólico depende del ángulo de la esquina del diuminado p Al menos está en la bisectriz del ángulo p Ángulo de la esquina p Depende de la realidad del punto de vista p Diuminado p Depende del enoque, del PSF, del tratamiento p Las segundas derivadas son mu sensibles al ruido. Su iltrado diumina la imagen http://www.disam.upm.es/vision 45

Detección de Esquinas Vértices Métodos basados en el gradiente p Kitchen Roseneld (198). p Cambio de la dirección del gradiente a lo largo del borde, multiplicado por la magnitud del gradiente K p Para los puntos que son máimos en la dirección del gradiente, determina los máimos locales de la anterior epresión. p Segunda derivada en la dirección perpendicular al gradiente + + g T g H g D + http://www.disam.upm.es/vision 47

Detección de Esquinas Vértices Métodos basados en el gradiente Cambios en la dirección del gradiente http://www.disam.upm.es/vision 48

Detección de Esquinas Vértices Métodos basados en el gradiente p Kitchen Roseneld (198). Inconvenientes p La dirección del gradiente en la cercanía de la esquina presenta una discontinuidad, por lo que pueda estar mal deinida. p Los ceros de la segunda derivada en la dirección del gradiente no localizan eactamente al borde p Las segundas derivadas son mu sensibles al ruido. Su iltrado diumina la imagen http://www.disam.upm.es/vision 49

Detección de Esquinas Vértices Métodos basados en el gradiente p Intel. Precisión Subpiel Se pretende minimizar i p etendido a ( q p ) todo el dominio de vecindad ε i T i p i p i T q i i p i p i T p i q p i pi 0 q A 1 b http://www.disam.upm.es/vision 50

Detección de Esquinas Vértices Métodos basados en puntos de interés p Punto de interés: Punto con una variación de intensidad en cualquier dirección p Las esquinas son los máimos locales del mínimo cambio de intensidad p Harris Stephens (1988). Matriz de autocorrelación estimada por la derivadas de primer orden A http://www.disam.upm.es/vision 5

Detección de Esquinas Vértices Métodos basados en puntos de interés p Matriz de autocorrelación estimada por la derivadas de primer orden A p Los vectores propios de la matriz A son las direcciones de máimo mínimo cambio p Posibilidades según los valores propios p Ambos pequeños: Punto uniorme p Uno grande otro pequeño: Punto borde p Ambos grandes: Punto esquina http://www.disam.upm.es/vision 53

Detección de Esquinas Vértices Métodos basados en puntos de interés A p Förstner (1986). p Máimo local del Det(A)/Traza(A) p Harris (1988) p Máimo local de: Det( A) 0 Traza( A).04[ ] http://www.disam.upm.es/vision 54

Detección de Esquinas Vértices Métodos basados en puntos de interés Con Matriz de Autocorrelación p Ventajas: p Mu robusto ante el ruido p Inconvenientes p No localiza eactamente la esquina p Relativamente lento http://www.disam.upm.es/vision 55

Detección de Esquinas Vértices Métodos basados en puntos de interés p SUSAN, Smith Brad (1994) p Determina para cada punto un circulo ( nucleus ) p Determina para cada punto la región con intensidad similar dentro del nucleus (USAN- Univalue Segment Assimilating Nucleus ) p Determina la eistencia de una esquina en unción del área del centro de gravedad del USAN p Ventajas: Preciso rápido p Inconvenientes: Poco robusto http://www.disam.upm.es/vision 56

http://www.disam.upm.es/vision 58 UPM-DISAM Detección de Esquinas Vértices Métodos con modelo predeinido p Zuñiga Haralic (1983). p Modela la imagen de gris con una supericie bicúbica ( ) 3 10 9 8 3 7 6 5 4 3 1, + + + + + + + + + + p La eistencia de la esquina se detecta mediante ( ) ( ) 3 3 4 3 5 3 6 + + p Un umbral determina la eistencia de la esquina

Detección de Esquinas Vértices Métodos con modelo predeinido p Deriche Giraudon (1993). p Blasza Deriche (1994). p Las esquinas se modelan como productos de escalones convolucionados con iltros Gaussianos p Permite modelar esquinas vértices p Se minimiza mediante el algoritmo de Levenberg-Marquardt http://www.disam.upm.es/vision 59

Detección de Esquinas Vértices Métodos basados en el Scale-Space p Espacio de escala Dada una imagen (, ) Y una unción g(,, σ ) p Función Monótona Decreciente H H Se denomina Imagen Escalada F (,, σ ) (, ) g(,, σ ) [ F(, σ )] H[ F(,, σ )] para todo σ > σ 0, 1 1 > p Si g(.) es una distribución Gaussiana, los pasos por cero de la Laplaciana es una Función Monótona Decreciente http://www.disam.upm.es/vision 61

Detección de Esquinas Vértices Métodos basados en el Scale-Space p Deriche Giraudon (1993) p Se calcula la Laplaciana de la imagen p Calcula por el criterio de Beaudet la posición para dos escalas σ 1 σ p Con σ 1 σ se deine una dirección p La posición de la esquina se determina en el corte de la dirección la Laplaciana http://www.disam.upm.es/vision 6

Detección de Esquinas Vértices Métodos basados en el Scale-Space p Deriche Giraudon (1993) p Ventajas p Buen compromiso entre precisión, rapidez robustez. p Inconvenientes p Los valores de σ 1 σ dependen en eceso de las imágenes: ángulo diuminado http://www.disam.upm.es/vision 63

Detección de Esquinas Vértices Métodos que utilizan imágenes binarias p Determinan los puntos que pertenecen al borde p Adelgazando o con SNM p Mejor basados en la Laplacian que en la segunda derivada en la dirección del gradiente p Determina la curvatura de los puntos etiquetados p Las esquinas serán los puntos con máima curvatura T t H t con T g g t g [ ] T [ ] T http://www.disam.upm.es/vision 64

Detección de Esquinas Vértices Conclusiones p No eiste un método perecto p Eiste demasiada dependencia de las imágenes: modelo, ángulo, diuminado p Es conveniente distinguir dos problemas p Detectar la eistencia de borde p Localizar con precisión el borde p Se recomienda usionar métodos p Se recomienda utilizar distintas escalas p Varias σ p Varios dominios de vecindad http://www.disam.upm.es/vision 66