Visión. Sesión 3: Clasificación de imágenes mediante histogramas y características. Departamento CCIA

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Visión. Sesión 3: Clasificación de imágenes mediante histogramas y características. Departamento CCIA"

María Elena Venegas Roldán
hace 7 años
Vistas:

1 Visión Sesión 3: Clasificación de imágenes mediante histogramas y características Departamento CCIA

2 Hoy Aplicaciones: emparejamiento de imágenes, búsqueda de patrones y construcción de panoramas Plantillas Histogramas Detectores de características Harris SIFT Emparejamiento: RANSAC Referencias Derek Hoeim James Hays Steve Seitz 2

3 Matching de imágenes El problema de la variabilidad by Diva Sian by scgbt by swashford Un problema más sencillo: transformaciones afines 3

4 Búsqueda de patrones en secuencias Sivic y Zisserman, Efficient Visual Search for Objects in Videos,

5 Alineamiento de panoramas Brown y Lowe, Recognising Panoramas,

6 Filtros como plantillas La semana pasada estudiamos cómo usar determinados filtros para suavizar el ruido y también para resaltar aristas Vamos a considerar ahora cómo usar los filtros para resaltar características (features) más complejas Objetivo: encontrar una plantilla en la imagen Reto principal: Cómo medir la similitud entre dos patches de la imagen? Correlación Correlación de media cero Suma de diferencias al cuadrado Correlación cruzada normalizada Suma de diferencias al cuadrado 6

7 Suma de diferencias al cuadrado SSD (Sum of Squared Differences) Problema: es sensible a las variaciones de brillo 7

8 Correlación Cruzada Normalizada NCC (Normalized Cross Correlation) 8

9 Interpretación de la NCC Dónde está Wally Plantilla Escena Mapa de correlación Interpretación: la NNC es el coeficiente de correlación entre los valores de los Devuelve un valor entre -1 y 1 9

10 Función en OpenCV MatchTemplate realiza el filtrado de una imagen con la plantilla, pasándole como parámetro una constante que indica el tipo de método: CV_TM_SQDIFF, CV_TM_SQDIFF_NORMED: diferencias de cuadrados absolutas y normalizadas. Resultado: 0: empareja, valores altos: no empareja CV_TM_CCORR, CV_TM_CCORR_NORMED: correlación absoluta y normalizada. Resultado: 0: no empareja, valores altos: empareja CV_TM_CCOEFF, CV_TM_CCOEFF_NORMED: cross correlation absoluta y normalizada. Resultado: -1 correlación inversa, 1 - correlación dire.cta. 10

11 Histogramas Distribución de características tomadas de la imagen Color, textura, profundidad, respuesta a un filtro, etc. Probabilidad o recuento de datos en cada cajón feature 1 11

12 Histogramas conjuntos Es necesario gran cantidad de datos para evitar las zonas vacías Problema de la maldición de la dimensionalidad Distribuciones marginales 12

13 Representación de los histogramas Con pocas dimensiones: rejillas En altas dimensiones: clusters Matching de histogramas Dos imágenes (o patches) emparejan dependiendo de la distancia entre sus histogramas Ejemplo: resultado de búsquedas en bases de datos de imágenes con distancia entre histogramas usando color y aristas 13

14 Distancia entre histogramas Correlación Chi-cuadrado Intersección Bhattacharyya Coches encontrados por emparejamiento de histogramas de color usando Chi-cuadrado 14

15 Distancia entre histogramas Correlación Chi-cuadrado Intersección Bhattacharyya Coches encontrados por emparejamiento de histogramas de color usando Chi-cuadrado 14

16 Histogramas en OpenCV CreateHist crea un histograma QueryHistValue_1D, QueryHistValue_2D, QueryHistValue_3D y QueryHistValue_nD develve un float con el valor de un cajón (bin) del histograma 15

17 Más funciones NormalizeHist normaliza el histograma al factor pasado como parámetro CalcBackProject cambia valores de píxeles por valores del histograma (probabilidades) CalcHist calcula el histograma de una secuencia de imágenes 16

18 Comparación de histogramas CompareHist devuelve un float resultante de comparar dos histogramas 17

19 Características Buscamos elementos que nos sirvan para emparejar imágenes (características o features) Posibles usos Alineamiento de imágenes y construcción de panoramas Reconstrucción 3D Tracking (seguimiento de objetos en movimiento) Reconocimiento de objetos Indexación y recuperación en base de datos de imágenes 18

20 Necesitamos Características repetibles Descriptores distintivos Robustos al ruido Invariantes a cambios (luminosidad, orientación, escala,...) 19

21 Vocabulario Detector: Devuelve una posición en la imagen (detector de esquinas, detector de caras, etc.) Descriptor: Codifica una ventana de vecindad que se utiliza para buscar un emparejamento en otra imagen Detector de esquinas de Harris Descriptor SIFT (Figura de Steve Seitz) Emparejamiento: buscar la transformación que realiza el mejor match (Figura de Svetlana Lazebnik) 20

22 Detector de Harris La idea: encontrar puntos en los que el desplazamiento de la ventana en cualquier dirección proporcione un gran cambio en la intensidad de los píxeles (Figura de S. Seitz) El cambio se calcula con las diferencias al cuadrado (SSD) (Transparencia de S. Seitz) 21

23 Detector de Harris Y se puede aproximar esta función usando la Hessiana Los autovalores y autovectores de H indican las direcciones e intensidad de variación 2 autovalores fuertes: punto esquina 1 autovalor fuerte: contorno Autovalor 0: región uniforme 22

24 Detector de Harris (Transparencia de D. Hoiem) Variante basada en el menor autovalor λ - (Transparencia de S. Seitz) 23

25 Algoritmo Queremos que E(u,v) sea grande para pequeños desplazamientos en todas las direcciones El mínimo de E(u,v) debería ser grande sobre todos los vectores unitarios [u,v] El mínimo lo da el autovalor más pequeño (λ - ) de H (Figura de S. Seitz) Algoritmo Calcular el gradiente en cada punto de la imagen Crear la matriz H a partir del gradiente Calcular los autovalores Encontrar los puntos con mayor respuesta (λ - > umbral) Escoger aquellos puntos cuya λ - es un máximo local 24

26 Comparación y ejemplos Comparación Harris y λ - (Figura de S. Seitz) Ejemplo de Harris 25

27 Variantes de Harris Harris no es invariante a escala Se han propuesto bastantes soluciones, por ejemplo Harris-Laplace (Mikolajczyk, 2004) Puntos detectados con Harris Harris-Laplace Harris + correlación proporciona un buen descriptor 26

28 OpenCV CornerHarris implementa el detector de esquinas de Harris CornerEigenValsAndVecs calcula los autovalores y autovectores 27

29 OpenCV CornerMinEigenVal calcula el mínimo autovalor 28

30 SIFT Scale Invariant Feature Transform desarrollado por Lowe en 1999 Algoritmo 1. Se detectan puntos de interés en la imagen (Harris, por ejemplo) 2. Histogramas de orientaciones de gradiente 8 orientaciones x array de 4x4 = descriptor de 128 dimensiones 3. Las orientaciones se suavizan con un filtrado gaussiano basado en interpolación trilineal. Cada orientación contribuye a suavizar 8 cajones 4 en espacio x 2 en orientación 29

31 SIFT 4. Se calcula la orientación principal basándose en el histograma conjunto 5. Se rota el descriptor en esa dirección para definir el descriptor canónico 6. Se emparejan los patches usando alguna de las técnicas vistas al principio, como distancia o diferencia de cuadrados El código OpenCV se puede encontrar en este blog de Utkarsh Sinha 30

32 Ejemplos Lowe,

33 SURF Aproximación rápida a la idea de SIFT 6 veces más rápido que SIFT mediante filtros 2D e integrales de imágenes Calidad equivalente al aplicarlo a reconocimiento de objetos [Bay, ECCV 06], [Cornelis, CVGPU 08] 32

34 Comparativa y otros descriptores Tuytelaars Mikolajczyk

35 Emparejamiento con RANSAC RANSAC (RAndom SAmple Consensus) es un método robusto para realizar un ajuste de unos datos a un modelo Algoritmo: 1. Muestrear (aleatoriamente) el número de puntos requeridos para ajustar el modelo 2. Obtener los parámetros del modelo con los puntos elegidos 3. Puntuar por la fracción de puntos que se ajustan al modelo, dentro de un umbral seleccionado a priori 4. Repetir hasta que se encuentra el mejor modelo con una confianza alta Ejemplo: ajuste de una recta a un conjunto de puntos N=6 N=14 34

36 RANSAC para alinear imágenes RANSAC es aplicable para descartar malos emparejamientos y obtener la transformación correcta que ajusta una imagen con otra (Figura de Svetlana Lazebnik) Ejemplo: AutoStich 35

37 Referencias Computer Vision: Algorithms and Applications de Szelinsky: cap. 4.1 (Feature detection) Learning OpenCV: cap. 7 (Histogramas) 36

Documentos relacionados

Visión por computadora Computer vision

Visión por computadora Computer vision Conjunto de algoritmos que permiten obtener una representación visual del mundo, suficiente para la realización de una tarea dada. Representación visual El mundo: