Técnicas recientes de procesado geométrico de imágenes y de secuencias de vídeo. Philippe Salembier

Transcripción

1 Técnicas recientes de procesado geométrico de imágenes y de secuencias de vídeo Philippe Salembier JORNADA CIENTÍFICA RSME TELECOMUNICACIONES Y MATEMÁTICAS Junio 2005

2 Estructura de la Presentación 1. Introducción 1. Necesidad del filtrado basado en regiones 2. Representación de señales y procesado geométrico 3. Estrategias clásicas de filtrado 4. Operadores conexos 2. Operadores conexos basados en procesos de reconstrucción 1. anti-extensiva 2. auto-dual 3. Operadores conexos basados en técnicas de poda de árboles 1. Representación mediante árboles 2. Técnicas de poda 4. Conclusión

3 Introducción Necesidad del filtrado basado en regiones Representación de señales y procesado geométrico Estrategias clásicas de filtrado Operadores conexos Introducción

4 Necesidad del filtrado basado en regiones Representaciones clásicas: Imagen : conjunto de píxeles o combinación lineal de componentes frecuenciales Vídeo : conjunto de imágenes Aplicaciones multimedia: Compresión: noción de objetos, codificación selectiva, interactividad con el contenido Indexación: descripción semántica del contenido, creación de tablas de contenido e índice Una parte importante de la percepción es geométrica Las regiones (espacial, temporal, espacio-temporal) juegan un papel central Introducción

5 Representación de señales y procesado geométrico Modelo de imagen Procesado Conjunto de píxeles Procesado individual de los píxeles Histograma, Contraste, Color Espacio-frecuencial Filtros lineales Transformadas de Fourier, DCT, Wavelet Geométrico: regiones Morfología matemática Difusión EDP Operadores conexos Objetos: Segmentación, modelo contorno/textura Introducción

6 Introducción Representación de señales y procesado geométrico Señal o Imagen = apilamiento de sus conjuntos de niveles f() t { / ( ) λ} X = t f t λ

7 Introducción Representación de señales y procesado geométrico Morfología matemática: (1960) Difusión mediante EDP: (1980) Retículo Dilatación / erosión de conjuntos binarios Dilatación / erosión de funciones a nivel de gris Apertura, cierre, etc. X B = { p+ b} p X b B xn [ ] bn [ ] = ( xk [ ] + bn [ k]) k= Geometría diferencial EDP para transformar las líneas de niveles Difusión anisotrópica, filtros de choque. Dilatación = Flujo normal de velocidad constante C = β N t x = β x t

8 Estrategias clásicas de filtrado Original Apertura Mediana Promedio Cierre Difusión anisotrópica Uso de señales externas (respuesta impulsional, ventana o elemento estructurante) o desplazamiento de los contornos: Distorsión Estructuras no presentes en la señal original Introducción

9 Introducción Operadores conexos Noción de zona plana: Zonas donde la señal es constante Crea una partición del espacio Definición intuitiva de los operadores conexos: Operador que actúa por fusión de las zonas planas No puede introducir o desplazar los contornos Definición formal: Un operador ψ es conexo si la partición de zonas planas de su entrada f es siempre más fina que la partición de zonas planas de su salida: Ρ f Ρ ψ (f Una partición A es más fina que una partición B si ) x,y R A x,y R B

10 Introducción Ejemplo 1: filtrar / preservar (binario) Apertura por reconstrucción binaria (Klein 76) Original Erosión Salida Y Y 0 k = ε ( X ) B = δ ( Y C k 1 ) X, Iterar X Y 0 Y k

11 Ejemplo 2: filtrar / preservar (nivel de gris) Introducción Apertura por reconstrucción de erosión (Serra 88) Y Y 0 k = εb( X ) = δ ( Y C k 1 ) X, Iterar g g 0 k = ε ( f ) h = δ ( g C k 1 ) f, Iterar Erosión Original Salida

12 Operadores conexos basados en procesos de reconstrucción anti-extensiva auto-dual Introducción

13 Introducción Proceso de reconstrucción Definición: Anti-extensivo (ψ(f) f), Extensivo (f ψ(f)) g k = ρ ( g f ) = lim ( g δc k 1 k = εc k 1 k ) g k f g ρ ( g f ) = lim ( g k ) f g k f f f g o g 1 g g k g Filtrado con reconstrucción: ψ ( f ) = ρ ( α( f ) f ), ψ ( f ) = ρ ( α( f ) f )

14 Introducción Ejemplo 1: filtros de tamaño de erosión del marcador Original 150 Original Salida Nivel de gris Erosión Nivel de gris Marcador Muestra ψ ( f ) = ρ ( ε ( f ) f ) h Muestra f, si ρ ( ε ( f ) f ) ( f ) m h = ε = h 0, otro caso ψ ( f ) = ρ ( m f )

15 Introducción Ejemplo 1: filtros de tamaño Erosión de erosión Marcador del marcador

16 Introducción Ejemplo 2: filtros de contraste 200 de f-c 150 Original Nivel de gris de f-c Original - c Muestra ψ ( f ) ρ ( f c f ) = f, si ρ ( f c f ) = f m = 0, otro caso ψ ( f ) = ρ ( m f ) c del marcador

17 Introducción Tamaño versus contraste Filtrado de tamaño Filtrado de contraste

18 Introducción auto-dual Definición (Meyer 98): ρ g k Filtrado: = δ ( g C = ε ( g C ( g f ) = lim k 1 k 1 k ) ) g k [ εc ( gk 1) f ] [ δ ( g ) f ] C k 1 Nivel de gris Original ψ ( f ) = ρ ( α( f ) f ) Marcador Muestra

19 Introducción Filtros con reconstrucción auto-dual Apertura Cierre de Apertura Cierre Filtro de mediana del filtro de mediana Proporciona una versión conexa de cualquier filtro!

20 Operadores conexos basados en procesos de reconstrucción Trabaja directamente sobre una representación muestreada de la señal Implementación simple (Implementaciones eficientes a base de colas de tipo FIFO) Procesado en dos pasos: Simplificación (casi con cualquier operador) Pueden proporcionar una versión conexa de cualquier filtro Pero imponen restricciones en el criterio de simplificación Introducción

21 Operadores conexos basados en técnicas de poda de árboles Representación mediante árboles Técnicas de poda Introducción

22 Estrategia de procesado Creación de una representación jerárquica de regiones (árbol) Simplificar el árbol por poda Restituir la imagen filtrada a partir del árbol podado Imagen Creación árbol Poda Restitución imagen Imagen Max-tree Min-tree Árbol binario de partición Introducción

23 Max-tree, Min-tree Max-tree Min-tree Representación orientada a los máximos o mínimos (Árbol(f) Árbol(-f)) Nodos: zonas planas; Jerarquía: relación de inclusión Existen algoritmos eficientes Introducción

24 Árbol binario de partición Imagen original Fusión nº1 Fusión nº2 Fusión nº3 Representación auto-dual (Árbol(f) = Árbol(-f)) Secuencia de fusión de pares de regiones Flexibilidad en el proceso de fusión Introducción

25 Introducción Árbol binario de partición con criterios de color y de movimiento Fusión con criterio de movimiento E Fusión con criterio de color

26 Comparación Min-Tree Árbol binario de partición Nivel de gris Señal original Max-Tree Introducción

27 Introducción Filtrado: Poda Imagen Creación árbol Poda Restitución imagen Imagen Criterio creciente Criterio no creciente Si R1 R2 C( R1) C( R2)

28 Introducción Criterio no creciente: modificaciones de las decisiones Modificar el número mínimo de decisiones para definir una poda Problema de programación dinámica (algoritmo de Viterbi) N1 Eliminar coste:1 N1 Mantener coste:0 N2 N3 Eliminar coste:0 N2 Mantener coste:1 Eliminar coste:0 N3 Mantener coste:1 N4 N5 Eliminar coste:1 N4 Mantener coste:0 Mantener coste:1 N5 Mantener coste:0 Árbol original (Max-Tree, Min-Tree or Árbol bin. de partición) Estructura para el algoritmo de Viterbi

29 Introducción Ejemplo de optimización N1 Remove cost:1 N1 C=1 Preserve cost:0 N2 N3 Remove cost:0 N2 Preserve cost:1 Remove cost:0 N3 Preserve cost:1 N4 N5 Remove cost:1 N4 Preserve cost:0 Remove cost:1 N5 Preserve cost:0 Árbol original (Max-Tree, Min-Tree o Árbol bin. de partición) Estructura para el algoritmo de Viterbi

30 Introducción Ejemplos Criterio creciente: Área Original Apertura de área (Max-tree) Cierre de área (Min-tree)

31 Introducción Ejemplos Criterio no-creciente: DFD Original Simplificación de movimiento Dual Diferencia

32 Introducción Optimización con restricción Minimización de un criterio C(.) con restricción K(.) (C y K: aditivos) Min N i N ( ), con K( N ) * * ( i ) + λ K( Ni ), con λ tal que K( Ni ) TK C N Min N i i C N i N i i T K N i N1 N0 N2 N3 * * ( ) + λ K( N ) < C( N ) + λ K( N ) Si C N0 Podar 0 { Ni } i = 1, 2, 3 N i i N i i

33 Introducción Ejemplo: SE = ( ψ(f)(x) f(x) ) N i x N i 2 Original: zonas planas: > Perímetro: > Criterio: Número de zonas planas C(N i ) = 1 Restricción: PSNR > 31 db Criterio: Perímetro de las zonas planas: C(N i ) = Perímetro de N i Restricción: PSNR > 31 db Zonas planas: 87 Zonas planas: 219 Perímetro: 4491 Perímetro: 3684

34 Introducción Otras aplicaciones Propagación y Segmentación Optimización con restricción (aplicación a la codificación) Detección de objetos (caras) F. Marqués, V. Vilaplana

35 Operadores conexos basados en técnicas de poda de árboles Trabaja sobre una representación estructurada de la señal Procesado en tres pasos: Creación del árbol Simplificación mediante poda Restitución de la imagen Flexibilidad: Criterios de creación del árbol (color, movimiento, etc.) Criterios de poda: Filtrado: área, contraste, características geométricas, textura, movimiento, etc. Propagación y segmentación automática o interactiva Optimización con restricción (ejemplo de aplicación: codificación) Detección de objetos Introducción

36 Conclusión Filtrado basado en regiones Operador conexo Representación píxel Cualquier filtro Versión conexa Representación región Árbol: Max-tree, ABP,... Filtrado Poda Flexibilidad Creación y poda Criterio creciente Poda directa Criterio no creciente Programación dinámica (Viterbi) Optimización con restricción Optimización con técnicas de Lagrange Otras aplicaciones Segmentación Detección de objetos (cara) Introducción

37 Extensiones Aspectos teóricos Estudio de la propiedades teóricas de los filtros: Creciente, extensivo, idempotente, reglas de composición, etc. (importante para crear nuevos filtros) Combinar con técnicas alternativas Operadores conexos fusionan zonas planas sin desformarlas Morfología matemática y técnicas de procesado mediante Ecuaciones en Derivadas Parciales: deformación de las zonas planas Combinación de las dos técnicas alternativas Aplicaciones Extender los criterios de los filtros Estudiar el interés de la versión conexa de los filtros clásicos Análisis multiescala Introducción

38 Extensiones Laplacian pyramid S S S Gaussian pyramid

39 Extensiones Frecuencia Tamaño (max) Contraste (max)

40 MUCHAS GRACIAS